センサ装置、表示装置、画像データ生成方法、および画像データ生成プログラム
【課題】それぞれの光センサ回路を有効に利用して、より精緻で滑らかな画像を生成するセンサ装置を提供する。
【解決手段】センサ装置１４０は、複数の光センサ群１４４を備える。複数の光センサ群の各々は、第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路１４４Ｒと、第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路１４４Ｇと、第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路１４４Ｂとを含む。センサ装置は、第１から第３の出力信号に基づいて、光センサ群毎に２×２の画素データを生成する画像処理手段１９０とをさらに備える。画素データの各々は、第１の色成分の明度を示す第１の値と、第２の色成分の明度を示す第２の値と、第３の色成分の明度を示す第３の値とを含む。
【解決手段】センサ装置１４０は、複数の光センサ群１４４を備える。複数の光センサ群の各々は、第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路１４４Ｒと、第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路１４４Ｇと、第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路１４４Ｂとを含む。センサ装置は、第１から第３の出力信号に基づいて、光センサ群毎に２×２の画素データを生成する画像処理手段１９０とをさらに備える。画素データの各々は、第１の色成分の明度を示す第１の値と、第２の色成分の明度を示す第２の値と、第３の色成分の明度を示す第３の値とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入射光に基づいて画像データを生成するセンサ装置、表示装置、画像データ生成方法、および画像データ生成プログラムに関し、特に、それぞれの光センサ回路を有効に利用して、より精緻で滑らかな画像を生成するセンサ装置、表示装置、画像データ生成方法、および画像データ生成プログラムに関する。
【背景技術】
【０００２】
従来から、入射光に基づいて電気信号を出力する光センサ回路を搭載し、光センサ回路からの電気信号に基づいて画像データを生成するセンサ装置が知られている。たとえば、ＣＣＤ（Charge Coupled Device）カメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどがあげられる。
【０００３】
また、上記のような光センサ回路と、電気信号に基づいて可視光を発する画素回路とを搭載する表示装置も知られている。そのような表示装置は、外部から情報を受け付ける入力機能と外部に情報を表示する表示機能とを有する。たとえば、光センサ内蔵液晶パネルを搭載する表示装置があげられる。
【０００４】
たとえば、特開平４−２８２６０９号公報（特許文献１）には、イメージセンサを配列することにより駆動装置や移動操作を不要とする超薄型の画像入力装置が開示されている。特開平４−２８２６０９号公報（特許文献１）によると、画像入力装置は紙サイズの透明基板一面にイメージセンサを実装し、この上に対象物を置き、透明基板の裏側より光をあて、対象物からの反射光の強度を個々のイメージセンサで電気的に計測することにより画像情報を読み取る。カラーの場合にはＲ，Ｇ，Ｂの各色の画素に対応してセンサを配列することによりカラー画像が読み取れる。この液晶デイスプレイの表示側とは反対側の駆動装置側に，液晶デイスプレイの画素に対応してそれぞれイメージセンサを配列する。また、イメージセンサ側にイメージセンサと液晶デイスプレイを通過する光源を置く。
【特許文献１】特開平４−２８２６０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
表示装置（センサ装置）には光センサ回路や画素回路などが密集している。表示装置に配置できる光センサ回路の個数は限られているため、従来から精緻で滑らかな画像を生成するための技術が求められている。特に、画素回路を搭載する表示装置においては、画素回路を所定の位置に配置する必要があるため、光センサ回路を介して取得する画像の解像度を向上させることが困難である。
【０００６】
本発明は、かかる問題を解決するためになされたものであり、その目的は、それぞれの光センサ回路を有効に利用して、より精緻で滑らかな画像を生成するセンサ装置、表示装置、画像データ生成方法、および画像データ生成プログラムを提供することである。
【課題を解決するための手段】
【０００７】
この発明のある局面に従うと、センサ装置が提供される。センサ装置は、複数の光センサ群を備える。複数の光センサ群の各々は、第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含む。センサ装置は、第１から第３の出力信号に基づいて、光センサ群毎に２×２の画素データを生成する画像処理手段とをさらに備える。画素データの各々は、第１の色成分の明度を示す第１の値と、第２の色成分の明度を示す第２の値と、第３の色成分の明度を示す第３の値とを含む。
【０００８】
好ましくは、画像処理手段は、第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するサンプリング手段と、光センサ群の各々に対応する第１から第３のデータと、光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、画素データを生成する補正処理手段とを含む。
【０００９】
好ましくは、２×２の画素データは、左上画素データと左下画素データと右下画素データと右上画素データとを含む。補正処理手段は、光センサ群の各々に対応する第１から第３のデータと、光センサ群の左上方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、左上画素データを生成し、光センサ群の各々に対応する第１から第３のデータと、光センサ群の左下方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、左下画素データを生成し、光センサ群の各々に対応する第１から第３のデータと、光センサ群の右下方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、右下画素データを生成し、光センサ群の各々に対応する第１から第３のデータと、光センサ群の右上方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、右上画素データを生成する。
【００１０】
好ましくは、画像処理手段は、静止画像撮影モードにおいては、第１から第３の出力信号に基づいて、光センサ群毎に２×２の画素データを生成し、動画像撮影モードにおいては、第１から第３の出力信号に基づいて、光センサ群毎に１つの画素データを生成する。
【００１１】
好ましくは、複数の光センサ群は、マトリクス状に配置される。
この発明の別の局面に従うと、上記のセンサ装置と、複数の画素群とを備える表示装置が提供される。複数の画素群の各々は、第１の入力信号に応じて第１の色成分を含む光を発するための第１の画素回路と、第２の入力信号に応じて第２の色成分を含む光を発するための第２の画素回路と、第３の入力信号に応じて第３の色成分を含む光を発するための第３の画素回路とを含む。
【００１２】
好ましくは、画素群は、光センサ群毎に配置される。
好ましくは、複数の画素群は、マトリクス状に配置される。
【００１３】
この発明の別の局面に従うと、複数の光センサ群と画像処理部とを備えるセンサ装置における画像データ生成方法が提供される。複数の光センサ群の各々は、第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含む。画像データ生成方法は、画像処理部が、第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するステップと、第１から第３のデータに基づいて、光センサ群毎に２×２の画素データを生成するステップとを備える。画素データの各々は、第１の色成分の明度を示す第１の値と、第２の色成分の明度を示す第２の値と、第３の色成分の明度を示す第３の値とを含む。２×２の画素データを生成するステップは、光センサ群の各々に対応する第１から第３のデータと、光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、画素データを生成するステップを含む。
【００１４】
この発明の別の局面に従うと、複数の光センサ群と画像処理部とを備えるセンサ装置に画像データを生成させるための画像データ生成プログラムが提供される。複数の光センサ群の各々は、第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含む。画像データ生成プログラムは、画像処理部に、第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するステップと、第１から第３のデータに基づいて、光センサ群毎に２×２の画素データを生成するステップとを実行させる。画素データの各々は、第１の色成分の明度を示す第１の値と、第２の色成分の明度を示す第２の値と、第３の色成分の明度を示す第３の値とを含む。２×２の画素データを生成するステップは、光センサ群の各々に対応する第１から第３のデータと、光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、画素データを生成するステップを含む。
【発明の効果】
【００１５】
以上のように、本発明によって、それぞれの光センサ回路を有効に利用して、より精緻で滑らかな画像を生成するセンサ装置、表示装置、画像データ生成方法、および画像データ生成プログラムが提供される。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１７】
［実施の形態１］
＜液晶パネルと画素データ＞
本実施の形態に係る表示装置（センサ装置）は、光センサ内蔵液晶パネルを含む。表示装置は、光センサ内蔵液晶パネル（以下、液晶パネルともいう。）を介して、画像データを取得したり、画像を表示したりする。以下では、本実施の形態に係る液晶パネルの構成の概要を説明する。
【００１８】
図１は、本実施の形態に係る液晶パネル１４０と、生成される画素データとの関係を示すイメージ図である。図１を参照して、液晶パネル１４０は、赤色成分の光を受けて赤出力信号を出力するための赤光センサ回路１４４Ｒと、緑色成分の光を受けて緑出力信号を出力するための緑光センサ回路１４４Ｇと、青色成分の光を受けて青出力信号を出力するための青光センサ回路１４４Ｂとを含む。
【００１９】
以下では、赤光センサ回路１４４Ｒと、緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂとを合わせて光センサ群１４４という。そして、液晶パネル１４０は、このような光センサ群１４４がマトリクス状（行列状）に配置されている。
【００２０】
また、液晶パネル１４０は、後述する画像処理エンジン１８０から赤入力信号を受け付けて装置外部に赤色成分の光を発するための赤画素回路１４１Ｒと、緑入力信号を受け付けて装置外部に緑色成分の光を発するための緑画素回路１４１Ｇと、青入力信号を受け付けて装置外部に青色成分の光を発するための青画素回路１４１Ｂとを含む。
【００２１】
以下では、赤画素回路１４１Ｒと、緑画素回路１４１Ｇ、青画素回路１４１Ｂとを合わせて画素群１４１とする。そして、液晶パネル１４０は、このような画素群１４１がマトリクス状に配置されている。つまり、本実施の形態においては、液晶パネル１４０は、画素群１４１毎に１つの光センサ群１４４が配置される。
【００２２】
そして、本実施の形態に係る表示装置（センサ装置）は、静止画像を撮影するモードにおいては、液晶パネル１４０からの出力信号に応じて、光センサ群１４４毎に４つの画素データ（２×２の画素データ）を生成する。本実施の形態に係る表示装置は、動画像を撮影するモードにおいては、液晶パネル１４０からの出力信号に応じて、光センサ群１４４毎に４つ画素データを生成する。
【００２３】
すなわち、本実施の形態に係る表示装置は、光センサ群１４４毎に２×２の画素データを得ることができるため、精緻で滑らかな画像を得ることができる。換言すれば、本実施の形態に係る表示装置は、光センサ群１４４あるいは画素群１４１の個数よりも多い画素からなる画像データを得ることができる。特に、本実施の形態に係る表示装置は、光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂの個数あるいは画素回路１４１Ｒ，１４１Ｇ，１４１Ｂの個数よりも多い画素からなる画像データを得ることができる。
【００２４】
以下、このような機能を実現するための構成について詳述する。なお、本実施の形態においては、表示装置が複数の光センサ群１４４と複数の画素群１４１とを有する光センサ内蔵液晶パネル１４０を有する場合について説明する。ただし、以下の構成は、たとえばデジタルカメラのように、画素群１４１を有さないセンサ装置にも適用可能なものである。
【００２５】
＜電子機器１００のハードウェア構成＞
以下では、表示装置１０２を有する電子機器１００の具体的構成の一態様について説明する。図２は、電子機器１００のハードウェア構成を表わすブロック図である。図２を参照して、電子機器１００は、主たる構成要素として、本体装置１０１と、表示装置１０２とを含む。
【００２６】
本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、通信部１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７とを含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。
【００２７】
ＣＰＵ１１０は、プログラムを実行する。操作キー１７７は、電子機器１００の使用者による指示の入力を受ける。ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどの書込みおよび消去が可能なＲＯＭである。通信部１７４は、図示しない他の電子機器との間で無線通信を行う。なお、図２には図示していないが、電子機器１００が、他の電子機器に有線により接続するためのインターフェイス（ＩＦ）を備える構成としてもよい。
【００２８】
表示装置１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０と称する）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。
【００２９】
ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。
【００３０】
液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル１４０の詳細については、後述する。
【００３１】
内部ＩＦ（Interface）１７８は、本体装置１０１と表示装置１０２との間で、データの遣り取りを仲介する。
【００３２】
バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。
【００３３】
画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力される出力信号を処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１９０とを含む。
【００３４】
ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。
【００３５】
タイマ１８２は、時刻情報を生成し、信号処理部１９０に対して時刻情報を送る。
信号処理部１９０（画像処理部）は、上記液晶パネル１４０（赤光センサ回路１４４Ｒ、緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂ）から出力される出力信号を受け取る。ここで、上記液晶パネル１４０から出力される出力信号はアナログ信号であるため、信号処理部１９０はアナログ信号をデジタルデータへと変換する。信号処理部１９０の画像データ生成処理については後述する。
【００３６】
信号処理部１９０は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１９０は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１９０は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。
【００３７】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する（図７〜図９）。
【００３８】
なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示装置１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、電子機器１００が常に備える構成ではなく、電子機器１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。
【００３９】
ここで、表示装置１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示装置１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。
【００４０】
ところで、電子機器１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。
【００４１】
図２に示される電子機器１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、電子機器１００の本体装置については、詳細な説明は繰り返さない。
【００４２】
なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【００４３】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４４】
ただし、電子機器１００を構成する各ブロックの機能や各ステップの処理をソフトウェアによって実現する代わりに、各々を専用のハードウェア回路等によって実現してもよい。
【００４５】
＜光センサ内蔵液晶パネルの構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と当該液晶パネル１４０の周辺回路とを示した図である。
【００４６】
図３を参照して、液晶パネル１４０は、画素群１４１と、光センサ群１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊ，ＳＧｊ，ＳＢｊと、センサ信号線ＳＳＲｊ，ＳＳＧｊ，ＳＳＢｊと、センサ信号線ＳＤＲｊ，ＳＤＧｊ，ＳＤＢｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。
【００４７】
そして、画素群１４１は、赤画素回路１４１Ｒと、緑画素回路１４１Ｇと、青画素回路１４１Ｂとを含む。光センサ群１４４は、赤光センサ回路１４４Ｒと、緑光センサ回路１４４Ｇと、青光センサ回路１４４Ｂとを含む。
【００４８】
また、図２に示した表示装置１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。
【００４９】
走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【００５０】
データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。
【００５１】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【００５２】
画素群１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素群１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素群１４１は、図３の縦方向にｍ個、横方向にｎ個配されている。
【００５３】
前述したように、画素群１４１は、赤画素回路１４１Ｒと、緑画素回路１４１Ｇと、青画素回路１４１Ｂとからなる。これら３つの回路（１４１Ｒ，１４１Ｇ，１４１Ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。
【００５４】
なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示装置１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。
【００５５】
赤画素回路１４１Ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、緑画素回路１４１Ｇおよび青画素回路１４１Ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、赤画素回路１４１Ｒと同じ構成である。このため、これら２つの回路（１４１Ｇ，１４１Ｂ）についての説明は、繰り返さない。
【００５６】
ここで、画素群１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。
【００５７】
光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。
【００５８】
そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。
【００５９】
また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。
【００６０】
なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。
【００６１】
赤光センサ回路１４４Ｒは、フォトダイオード１４５Ｒと、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。
【００６２】
フォトダイオード１４５Ｒのアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５Ｒのカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５Ｒとコンデンサ１４６との接続点をノードＮと称する。
【００６３】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤＲｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳＲｊに接続されている。赤光センサ回路１４４Ｒを用いたセンシングの詳細については、後述する。
【００６４】
スイッチ１３４は、センサ信号線（ＳＤＲ１〜ＳＤＲｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤＲ１〜ＳＤＲｎ）に印加される電圧については、後述する。
【００６５】
アンプ１３５は、各センサ信号線（ＳＳＲ１〜ＳＳＲｎ）から出力された電圧を増幅する。なお、増幅された電圧は、「赤出力信号」として、図２に示した信号処理部１９０に送られる。
【００６６】
なお、画素群１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、赤光センサ回路１４４Ｒを用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。
【００６７】
同様に、緑光センサ回路１４４Ｇは、フォトダイオード１４５Ｇと、コンデンサ１４６と、ＴＦＴ１４７とを含む。フォトダイオード１４５Ｇのアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５Ｇのカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５Ｇとコンデンサ１４６との接続点をノードＮと称する。
【００６８】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤＧｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳＧｊに接続されている。
【００６９】
スイッチ１３４は、センサ信号線（ＳＤＧ１〜ＳＤＧｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤＧ１〜ＳＤＧｎ）に印加される電圧については、後述する。
【００７０】
アンプ１３５は、各センサ信号線（ＳＳＧ１〜ＳＳＧｎ）から出力された電圧を増幅する。なお、増幅された電圧は、「緑出力信号」として、図２に示した信号処理部１９０に送られる。
【００７１】
同様に、青光センサ回路１４４Ｂは、フォトダイオード１４５Ｂと、コンデンサ１４６と、ＴＦＴ１４７とを含む。フォトダイオード１４５Ｂのアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５Ｂのカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５Ｂとコンデンサ１４６との接続点をノードＮと称する。
【００７２】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤＢｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳＢｊに接続されている。
【００７３】
スイッチ１３４は、センサ信号線（ＳＤＢ１〜ＳＤＢｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤＢ１〜ＳＤＢｎ）に印加される電圧については、後述する。
【００７４】
アンプ１３５は、各センサ信号線（ＳＳＢ１〜ＳＳＢｎ）から出力された電圧を増幅する。なお、増幅された電圧は、「青出力信号」として、図２に示した信号処理部１９０に送られる。
【００７５】
図４は、液晶パネル１４０とバックライト１７９との断面図である。図４を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配置されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。
【００７６】
アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５Ｒ（１４５Ｇ，１４５Ｂ）と、データ信号線１５７と、配向膜１６４とを含む。さらに、図４には示していないが、アクティブマトリクス基板１５１Ａは、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。
【００７７】
また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５Ｒとデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。
【００７８】
対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂと、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。
【００７９】
また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂ、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂと同一の層に形成されている。
【００８０】
カラーフィルタ１５３Ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３Ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３Ｂは、青色の波長の光を透過させるフィルタである。図４では、フォトダイオード１４５Ｒは、カラーフィルタ１５３Ｒに対向する位置に配されている。
【００８１】
液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させたりする。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。
【００８２】
より詳細には、本実施の形態に係る液晶パネル１４０には、赤光センサ回路１４４Ｒのフォトダイオード１４５Ｒに対向して赤色成分の光を透過するカラーフィルタ１５３Ｒが配置されている。これによって、赤光センサ回路１４４Ｒは、赤色の波長の光を受光する。同様に、緑光センサ回路１４４Ｇのフォトダイオード１４５Ｇに対向して緑色成分の光を透過するカラーフィルタ１５３Ｇが配置されている。これによって、緑光センサ回路１４４Ｇは、緑色の波長の光を受光する。青光センサ回路１４４Ｂのフォトダイオード１４５Ｂに対向して青色成分の光を透過するカラーフィルタ１５３Ｂが配置されている。これによって、青光センサ回路１４４Ｂは、青色の波長の光を受光する。
【００８３】
このような液晶パネル１４０においては、バックライト１７９から照射された白色光は、３つのカラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂを透過し、液晶パネル１４０の表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂに対向するカラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂを透過する。
【００８４】
すなわち、スキャン対象物によって反射された光はカラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂによって３原色（Ｒ，Ｇ，Ｂ）に色分解され、各フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂは、それぞれに対応した色の光を受光する。
【００８５】
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂの受光量が各フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂで異なることになる。このため、センサ信号線ＳＳＲｊとセンサ信号線ＳＳＧｊとセンサ信号線ＳＳＢｊとの出力電圧（出力信号）は互いに異なる。それゆえ、各出力電圧に応じて、Ｒの階調とＧの階調とＢの階調とを画像処理エンジン１８０が決定することにより、画像処理エンジン１８０はＲＧＢのカラーの画像データを本体装置１０１へ送ることができる。
【００８６】
以上述べたように、本実施の形態に係る表示装置１０２は、スキャン対象物をカラーでスキャンできることになる。
【００８７】
次に、赤光センサ回路１４４Ｒ（緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂ）の動作について説明する。図５は、赤光センサ回路１４４Ｒを動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、赤光センサ回路１４４Ｒ内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図３に示したセンサ信号線ＳＳＲｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。
【００８８】
以下では、赤光センサ回路１４４Ｒをリセットするためのリセット期間と、赤光センサ回路１４４Ｒを用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【００８９】
まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（Ａ）で示す値となる。なお、式（Ａ）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。
【００９０】
ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ・・・（Ａ）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。
【００９１】
ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳＲｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。
【００９２】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。
【００９３】
このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。
【００９４】
なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳＲｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。
【００９５】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。
【００９６】
このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。
【００９７】
この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤＲｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳＲｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。
【００９８】
ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、赤光センサ回路１４４Ｒは、フォトダイオード１４５Ｒの受光量に応じて、センサ信号線ＳＳＲｊに出力する電圧の値を変化させる。
【００９９】
ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの赤光センサ回路１４４Ｒに着目して、その動作を説明した。以下では、液晶パネル１４０における各赤光センサ回路１４４Ｒの動作について説明する。
【０１００】
まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤＲ１〜ＳＤＲｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。
【０１０１】
なお、ｎ個のセンサ信号線（ＳＤＲ１〜ＳＤＲｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【０１０２】
１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【０１０３】
以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。
【０１０４】
なお、表示装置１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果（出力信号）が液晶パネル１４０から出力される。このため、以下では、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１９０が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【０１０５】
また、上記においては、ｍ×ｎ個の赤光センサ回路１４４Ｒの全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
【０１０６】
以下では、電子機器１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。
【０１０７】
このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。
【０１０８】
なお、緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂについての動作は、赤光センサ回路１４４Ｒと同様であるため、ここでは説明を繰り返さない。
【０１０９】
図６は、液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂがバックライト１７９からの光を受光する構成を示した図である。
【０１１０】
図６を参照して、ユーザの指９００が液晶パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９００（略平面）にて反射される。そして、フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂは、当該反射された光を受光する。
【０１１１】
また、指９００が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９００にて反射される。この場合においても、フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂは、当該反射された光を受光する。ただし、当該領域においては液晶パネル１４０の表面に指９００が接触していないため、指９００が接触している領域よりも、フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂの受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９００に到達しない光のほとんどについては、フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂは受光できない。
【０１１２】
ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂは、ユーザの指９００により反射した光の光量に応じた電圧をセンサ信号線ＳＳＲｊ，ＳＳＧｊ，ＳＳＢｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳＲ１〜ＳＳＲｎ，ＳＳＧ１〜ＳＳＧｎ，ＳＳＢ１〜ＳＳＢｎ）から出力される電圧が変化することになる。
【０１１３】
以上により、表示装置１０２は、指９００によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。なお、指９００以外のスキャン対象物としては、スタイラスなどが挙げられる。
【０１１４】
ところで、本実施の形態においては、電子機器１００の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。
【０１１５】
＜データについて＞
次に、センシングコマンドについて説明する。なお、表示装置１０２においては、画像処理エンジン１８０は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ（つまり、応答データ）を本体装置１０１に送り返す。
【０１１６】
図７は、センシングコマンドの概略構成を示した図である。図７を参照して、センシングコマンドは、ヘッダのデータ領域ＤＡ０１と、タイミングを示すデータ領域ＤＡ０２と、データ種別を示すデータ領域ＤＡ０３と、読取方式を示すデータ領域ＤＡ０４と、画像階調を示すデータ領域ＤＡ０５と、解像度を示すデータ領域ＤＡ０６と、予備のデータ領域ＤＡ０７とを含む。
【０１１７】
図８は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【０１１８】
図８を参照して、タイミングを示すデータ領域に「００」が設定されたセンシングコマンドは、画像処理エンジン１８０に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン１８０が受信した後に、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂを用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「０１」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「１０」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
【０１１９】
データ種別を示すデータ領域に「００１」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「０１０」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「１００」が設定されたセンシングコマンドは、全体画像の送信を要求する。
【０１２０】
ここで、「全体画像」とは、ｍ×ｎ個の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂを用いてスキャンした際に、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂから出力される電圧に基づいて、画像処理エンジン１８０により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【０１２１】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル１４０の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【０１２２】
読取方式を示すデータ領域に「００」が設定されたセンシングコマンドは、バックライト１７９を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「０１」が設定されたセンシングコマンドは、バックライト１７９を消灯してスキャンすることを要求する。なお、バックライト１７９を消灯してスキャンする構成については後述する（図１１）。さらに、読取方式を示すデータ領域に「１０」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト１７９を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
【０１２３】
画像階調を示すデータ領域に「００」が設定されたセンシングコマンドは、白黒の２値の画像データを要求する。また、画像階調を示すデータ領域に「０１」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「１０」が設定されたセンシングコマンドは、ＲＧＢのカラーの画像データを要求する。また、画像階調を示すデータ領域に「１１」が設定されたセンシングコマンドは、ＹＵＶのカラーの画像データを要求する。
【０１２４】
解像度を示すデータ領域に「０」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「１」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
【０１２５】
また、センシングコマンドには、図７および図８に示したデータ以外に、スキャンを行う領域（光センサ回路を駆動する画素の領域）の指定、スキャンを行うタイミング、バックライト１７９の点灯のタイミングなどが記述されている。
【０１２６】
図９は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置１０２の画像処理エンジン１８０が本体装置１０１に対して送信するデータである。
【０１２７】
図９を参照して、応答データは、ヘッダのデータ領域ＤＡ１１と、座標を示すデータ領域ＤＡ１２と、時刻を示すデータ領域ＤＡ１３と、画像を示すデータ領域ＤＡ１４とを含む。ここで、座標を示すデータ領域ＤＡ１２には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン１８０のタイマ１８２から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン１８０により処理がされた後の画像データ（つまり、スキャンデータ）が書き込まれる。
【０１２８】
図１０は、指９００をスキャンすることにより得られた画像（つまり、スキャン画像）を示した図である。図１０を参照して、太実線で囲まれた領域Ｗ１の画像が全体画像であり、破線で囲まれた領域Ｐ１の画像が部分画像である。また、太線で示した十字の中心点Ｃ１が、中心座標となる。
【０１２９】
本実施の形態では、矩形の領域であって、かつセンサ信号線ＳＳＲｊ，ＳＳＧｊ，ＳＳＢｊからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素（つまり、予め定められた階調または予め定められた輝度以上の画素）全てを含む領域を、部分画像の領域としている。
【０１３０】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点（つまり図心）との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【０１３１】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【０１３２】
センシングコマンドのデータ種別を示すデータ領域に「００１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に上記中心座標の値を書き込む。この場合、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４には画像データを書き込まない。画像処理エンジン１８０は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「００１」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【０１３３】
また、センシングコマンドのデータ種別を示すデータ領域に「０１０」が設定されている場合には、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１０」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【０１３４】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指９００などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【０１３５】
また、センシングコマンドのデータ種別を示すデータ領域に「０１１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【０１３６】
また、センシングコマンドのデータ種別を示すデータ領域に「１００」が設定されている場合には、画像処理エンジン１８０は、図１０に示した応答データの画像を示すデータ領域ＤＡ１４に、全体画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１００」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【０１３７】
また、センシングコマンドのデータ種別を示すデータ領域に「１０１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４に全体画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１０１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【０１３８】
次に、図６を参照して説明したスキャンの方法（つまり、反射像をスキャンする方法）とは異なるスキャンの方法について、図１１を参照して説明する。
【０１３９】
図１１は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図１１を参照して、外光の一部は、指９００によって遮られる。それゆえ、指９００と接触している液晶パネル１４０の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指９００の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【０１４０】
ここで、バックライト１７９を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂは、液晶パネル１４０の表面に対する指９００の位置に応じた電圧をセンサ信号線ＳＳＲｊ，ＳＳＧｊ，ＳＳＢｊから出力することができる。このように、バックライト１７９を点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳＲ１〜ＳＳＲｎ，ＳＳＧ１〜ＳＳＧｎ，ＳＳＢ１〜ＳＳＢｎ）から出力される電圧が変化することになる。
【０１４１】
以上により、表示装置１０２は、指９００によって外光が遮られることにより得られる像（以下、影像とも称する）をスキャンすることができる。
【０１４２】
さらに、表示装置１０２を、バックライト１７９を点灯させてスキャンを行った後に、バックライト１７９を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置１０２を、バックライト１７９を消灯させてスキャンを行った後に、バックライト１７９を点灯させて再度スキャンを行う構成としてもよい。
【０１４３】
この場合には、２つのスキャン方式を併用することになるため、２つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【０１４４】
液晶パネル１４０は上記のように構成されるので、本体装置１０１のＣＰＵ１１０は、動画像撮影モードにおいて、液晶パネル１４０からの一連の画像データを動画像データとしてＲＡＭ１７１などに記憶する。また、本体装置１０１のＣＰＵ１１０は、静止画像撮影モードにおいて、液晶パネル１４０からの画像データを静止画像データとしてＲＡＭ１７１などに記憶する。
【０１４５】
＜本実施の形態に係る信号処理部の機能構成＞
以下では、図１〜図６、図１２を参照して、本実施の形態に係る表示装置１０２の信号処理部１９０の機能構成について説明する。なお、図１２は、本実施の形態に係る信号処理部１９０の機能構成を示すブロック図である。
【０１４６】
図１２を参照して、本実施の形態に係る信号処理部１９０は、サンプリング部１９１と、補正処理部１９２と、輪郭補正部１９３と、ホワイトバランス部１９４と、ガンマ処理部１９５と、傷補正部１９６と、色空間変換部１９７とを含む。上述したように、これらの各ブロックの機能は、ＣＰＵがプログラムを実行することによって実現してもよいし、各々を専用のハードウェア回路等によって実現してもよい。
【０１４７】
まず、サンプリング部１９１は、赤光センサ回路１４４Ｒからの出力（赤出力信号）を受け付けて、赤出力信号（アナログ信号）を赤デジタルデータへと変換する。サンプリング部１９１は、緑光センサ回路１４４Ｇからの出力（緑出力信号）を受け付けて、緑出力信号（アナログ信号）を緑デジタルデータへと変換する。サンプリング部１９１は、青光センサ回路１４４Ｂからの出力（青出力信号）を受け付けて、青出力信号（アナログ信号）を青デジタルデータへと変換する。
【０１４８】
前述したように、赤出力信号は、液晶パネル１４０の赤光センサ回路１４４Ｒからの出力電圧の値である。そして、赤デジタルデータは、赤光センサ回路１４４Ｒに入射された光の強度（明度）を示す。
【０１４９】
緑出力信号は、液晶パネル１４０の緑光センサ回路１４４Ｇからの出力電圧の値である。そして、緑デジタルデータは、緑光センサ回路１４４Ｇに入射された光の強度を示す。
【０１５０】
青出力信号は、液晶パネル１４０の青光センサ回路１４４Ｂからの出力電圧の値である。そして、青デジタルデータは、青光センサ回路１４４Ｂに入射された光の強度を示す。
【０１５１】
補正処理部１９２は、静止画像撮影モードにおいて、サンプリング部１９１からのデジタルデータに基づいて、各光センサ群１４４毎に、４つ（２×２）の画素データを生成する。ここで、画素データの各々は、Ｒデータ、Ｇデータ、Ｂデータを含む。より詳細には、補正処理部１９２は、対象となる光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからの（サンプリング処理後の）デジタルデータと、当該対象となる光センサ群１４４の周囲に配置される光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータとに基づいて、光センサ群１４４に対応する４つの画素データを生成する。
【０１５２】
（補完処理）
以下、補正処理部１９２が実行する補完処理（画素データ生成処理）について説明する。図１を参照して、本実施の形態に係る補正処理部１９２は、静止画像撮影モードにおいては、光センサ群１４４毎に、２×２の画素データを生成する。ここで、２×２の画素データは、仮想の左上光センサ群１４４ＬＵに対応する左上画素データと、仮想の左下光センサ群１４４ＬＤに対応する左下画素データと、仮想の右下光センサ群１４４ＲＤに対応する右下画素データと、仮想の右上光センサ群１４４ＲＵに対応する右上画素データとを含む。
【０１５３】
なお、仮想の左上光センサ群１４４ＬＵは、光センサ群１４４のうち、図１における２点鎖線で囲まれる左上の領域である。仮想の左下光センサ群１４４ＬＤは、光センサ群１４４のうち、図１における２点鎖線で囲まれる左下の領域である。仮想の右下光センサ群１４４ＲＤは、光センサ群１４４のうち、図１における２点鎖線で囲まれる右下の領域である。仮想の右上光センサ群１４４ＲＵは、光センサ群１４４のうち、図１における２点鎖線で囲まれる右上の領域である。
【０１５４】
まず、補正処理部１９２が、仮想の左上光センサ群１４４ＬＵに対応する左上画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する処理について説明する。図１３は、補正処理部１９２による仮想の左上光センサ群１４４ＬＵに対応する左上画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する際の処理方法を示すイメージ図である。
【０１５５】
なお、図１３において、Ｒ１１は、対象となる光センサ群１４４の左上に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ１２は、対象となる光センサ群１４４の左側に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ１３は、対象となる光センサ群１４４の左下に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ２１は、対象となる光センサ群１４４の上側に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ２２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ２３は、対象となる光センサ群１４４の下側に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ３１は、対象となる光センサ群１４４の右上に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ３２は、対象となる光センサ群１４４の右側に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ３３は、対象となる光センサ群１４４の右下に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。
【０１５６】
同様に、Ｇ１１は、対象となる光センサ群１４４の左上に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ１２は、対象となる光センサ群１４４の左側に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ１３は、対象となる光センサ群１４４の左下に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ２１は、対象となる光センサ群１４４の上側に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ２２は、対象となる光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ２３は、対象となる光センサ群１４４の下側に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ３１は、対象となる光センサ群１４４の右上に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ３２は、対象となる光センサ群１４４の右側に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ３３は、対象となる光センサ群１４４の右下に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。
【０１５７】
同様に、Ｂ１１は、対象となる光センサ群１４４の左上に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ１２は、対象となる光センサ群１４４の左側に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ１３は、対象となる光センサ群１４４の左下に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ２１は、対象となる光センサ群１４４の上側に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ２２は、対象となる光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ２３は、対象となる光センサ群１４４の下側に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ３１は、対象となる光センサ群１４４の右上に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ３２は、対象となる光センサ群１４４の右側に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ３３は、対象となる光センサ群１４４の右下に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。
【０１５８】
図１および図１３を参照して、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータと、対象となる仮想の左上光センサ群１４４ＬＵの中心位置ＬＵに最も近い他の光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータとに基づいて、左上画素データのＲデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＲデータとすることができる。
【０１５９】
補正処理部１９２は、仮想の左上光センサ群１４４ＬＵの中心位置からの距離に応じて複数の赤光センサ回路１４４Ｒからのデジタルデータに重み付けした加重平均値をＲデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（１）に基づいて、左上画素データのＲデータを計算する。
【０１６０】
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１）
ここで、
Ｐｘ：各画素回路１４１Ｒ，１４１Ｇ，１４１Ｂの横サイズ
Ｐｙ：各画素回路１４１Ｒ，１４１Ｇ，１４１Ｂの縦サイズ
Ｓｘ：各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂの横サイズ
Ｓｙ：各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂの縦サイズ
Ｋ＝（Ｐｙ＋Ｓｙ）／４
である。
【０１６１】
同様に、補正処理部１９２は、対象となる光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータに基づいて、左上画素データのＧデータを生成する。すなわち、本実施の形態においては、補正処理部１９２は、以下の式（２）に基づいて、左上画素データのＧデータを計算する
Ｇ＝Ｇ２２・・・（２）
同様に、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータと、対象となる仮想の左上光センサ群１４４ＬＵの中心位置ＬＵに最も近い他の光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータとに基づいて、左上画素データのＢデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＢデータとすることができる。
【０１６２】
補正処理部１９２は、仮想の左上光センサ群１４４ＬＵの中心位置ＬＵからの距離に応じて複数の青光センサ回路１４４Ｂからのデジタルデータに重み付けした加重平均値をＢデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（３）に基づいて、左上画素データのＢデータを計算する。
【０１６３】
Ｂ＝Ｂ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３）
以上から、たとえば、Ｐｘ＝Ｓｘ＝Ｓｙ＝２、Ｐｙ＝５、Ｒ２１＝１０、Ｒ２２＝２、Ｂ１１＝２０、Ｂ２２＝１の場合には、
Ｋ＝１．７５
Ｒ＝７．２
Ｂ＝１３．３５
となる。
【０１６４】
次に、補正処理部１９２が、仮想の左下光センサ群１４４ＬＤに対応する左下画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する処理について説明する。図１４は、補正処理部１９２による仮想の左下光センサ群１４４ＬＤに対応する左下画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する際の処理方法を示すイメージ図である。なお、各種変数の定義は、図１３のそれと同様であるため、ここでは説明を繰り返さない。
【０１６５】
図１および図１４を参照して、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータに基づいて、左下画素データのＲデータを生成する。すなわち、本実施の形態においては、補正処理部１９２は、以下の式（４）に基づいて、左上画素データのＲデータを計算する。
【０１６６】
Ｒ＝Ｒ２２・・・（４）
同様に、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータと、対象となる仮想の左下光センサ群１４４ＬＤの中心位置ＬＤに最も近い他の光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータに基づいて、左下画素データのＧデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＧデータとすることができる。
【０１６７】
補正処理部１９２は、仮想の左下光センサ群１４４ＬＤの中心位置ＬＤからの距離に応じて複数の緑光センサ回路１４４Ｇからのデジタルデータに重み付けした加重平均値をＧデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（５）に基づいて、左上画素データのＢデータを計算する。
【０１６８】
Ｇ＝Ｇ２３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（５）
同様に、補正処理部１９２は、対象となる光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータと、対象となる仮想の左下光センサ群１４４ＬＤの中心位置ＬＤに最も近い他の光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータとに基づいて、左下画素データのＢデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＢデータとすることができる。
【０１６９】
補正処理部１９２は、仮想の左下光センサ群１４４ＬＤの中心位置ＬＤからの距離に応じて複数の青光センサ回路１４４Ｂからのデジタルデータに重み付けした加重平均値をＢデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（６）に基づいて、左下画素データのＢデータを計算する。
【０１７０】
Ｂ＝Ｂ１２×２／３＋Ｂ２２×１／３・・・（６）
ここでは、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂのセンサー幅が等しいことから、説明のために計算を簡略化している。すなわち、補正処理部１９２は、左下光センサ群１４４ＬＤの中心位置ＬＤに近い青光センサ回路１４４ＢからのデジタルデータＢ１２に２／３を乗じて、左下光センサ群１４４ＬＤの中心位置ＬＤから遠い青光センサ回路１４４ＢからのデジタルデータＢ２２に１／３を乗じる。
【０１７１】
以上から、たとえば、Ｐｘ＝Ｓｘ＝Ｓｙ＝２、Ｐｙ＝５、Ｇ２２＝１０、Ｇ２３＝２、Ｂ１２＝２０、Ｂ２２＝１の場合には、
Ｋ＝１．７５
Ｇ＝４．８
Ｂ＝１３．６７
となる。
【０１７２】
次に、補正処理部１９２が、仮想の右下光センサ群１４４ＲＤに対応する右下画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する処理について説明する。図１５は、補正処理部１９２による仮想の右下光センサ群１４４ＲＤに対応する右下画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する際の処理方法を示すイメージ図である。なお、各種変数の定義は、図１３のそれと同様であるため、ここでは説明を繰り返さない。
【０１７３】
図１および図１５を参照して、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータと、対象となる仮想の右下光センサ群１４４ＲＤの中心位置ＲＵに最も近い他の光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータとに基づいて、右下画素データのＲデータを生成する。本実施の形態においては、補正処理部１９２は、以下の式（７）に基づいて、右下画素データのＲデータを計算する。
【０１７４】
Ｒ＝Ｒ３２×２／３＋Ｒ２２×１／３・・・（７）
ここでは、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂのセンサー幅が等しいことから、説明のために計算を簡略化している。すなわち、補正処理部１９２は、右下光センサ群１４４ＲＤの中心位置ＲＤに近い赤光センサ回路１４４ＲからのデジタルデータＲ３２に２／３を乗じて、右下光センサ群１４４ＲＤの中心位置ＲＤから遠い赤光センサ回路１４４ＲからのデジタルデータＲ２２に１／３を乗じる。
【０１７５】
同様に、補正処理部１９２は、対象となる光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータと、対象となる仮想の右下光センサ群１４４ＲＤの中心位置ＲＤに最も近い他の光センサ回路１４４の緑光センサ回路１４４Ｇからのデジタルデータとに基づいて、右下画素データのＧデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＧデータとすることができる。
【０１７６】
補正処理部１９２は、仮想の右下光センサ群１４４ＲＤの中心位置ＲＤからの距離に応じて複数の緑光センサ回路１４４Ｇからのデジタルデータに重み付けした加重平均値をＧデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（８）に基づいて、右下画素データのＧデータを計算する。
【０１７７】
Ｇ＝Ｇ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ３３×Ｋ／Ｐｙ・・・（８）
同様に、補正処理部１９２は、対称となる光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータに基づいて、右下画素データのＢデータを生成する。すなわち、本実施の形態においては、補正処理部１９２は、以下の式（９）に基づいて、右下画素データのＢデータを計算する。
【０１７８】
Ｂ＝Ｂ２２・・・（９）
以上から、たとえば、Ｐｘ＝Ｓｘ＝Ｓｙ＝２、Ｐｙ＝５、Ｒ２２＝１、Ｒ３２＝２０、Ｇ２２＝１０、Ｇ３３＝２の場合には、
Ｋ＝１．７５
Ｒ＝１３．６７
Ｇ＝７．２
となる。
【０１７９】
次に、補正処理部１９２が、仮想の右上光センサ群１４４ＲＵに対応する右上画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する処理について説明する。図１６は、補正処理部１９２による仮想の右上光センサ群１４４ＲＵに対応する右上画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する際の処理方法を示すイメージ図である。なお、各種変数の定義は、図１３のそれと同様であるため、ここでは説明を繰り返さない。
【０１８０】
図１および図１６を参照して、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータと、対象となる仮想の右上光センサ群１４４ＲＵの中心位置ＲＵに最も近い他の光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータとに基づいて、右上画素データのＲデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＲデータとすることができる。
【０１８１】
補正処理部１９２は、仮想の右上光センサ群１４４ＲＵの中心位置ＲＵからの距離に応じて複数の赤光センサ回路１４４Ｒからのデジタルデータに重み付けした加重平均値をＲデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（１０）に基づいて、右上画素データのＲデータを計算する。
【０１８２】
Ｒ＝Ｒ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０）
同様に、補正処理部１９２は、対象となる光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータと、対象となる仮想の右上光センサ群１４４ＲＵの中心位置ＲＵに最も近い他の光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータとに基づいて、右上画素データのＧデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＧデータとすることができる。
【０１８３】
補正処理部１９２は、仮想の右上光センサ群１４４ＲＵの中心位置ＲＵからの距離に応じて複数の緑光センサ回路１４４Ｇからのデジタルデータに重み付けした加重平均値をＧデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（１１）に基づいて、左上画素データのＧデータを計算する。
【０１８４】
Ｇ＝Ｇ２２×２／３＋Ｇ３２×１／３・・・（１１）
ここでは、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂのセンサー幅が等しいことから、説明のために計算を簡略化している。すなわち、補正処理部１９２は、右上光センサ群１４４ＲＵの中心位置ＲＵに近い緑光センサ回路１４４ＧからのデジタルデータＧ２２に２／３を乗じて、右上光センサ群１４４ＲＵの中心位置ＲＵから遠い緑光センサ回路１４４ＧからのデジタルデータＧ３２に１／３を乗じる。
【０１８５】
同様に、補正処理部１９２は、対象となる光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータと、対象となる仮想の右上光センサ群１４４ＲＵの中心位置ＲＵに最も近い他の光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータとに基づいて、右上画素データのＢデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＢデータとすることができる。
【０１８６】
補正処理部１９２は、仮想の右上光センサ群１４４ＲＵの中心位置ＲＵからの距離に応じて複数の緑光センサ回路１４４Ｇからのデジタルデータに重み付けした加重平均値をＢデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（１２）に基づいて、左上画素データのＢデータを計算する。
【０１８７】
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２）
以上から、たとえば、Ｐｘ＝Ｓｘ＝Ｓｙ＝２、Ｐｙ＝５、Ｒ２２＝１、Ｒ３１＝２０、Ｇ２２＝１０、Ｇ３２＝２、Ｂ２１＝２０、Ｂ２２＝１の場合には、
Ｋ＝１．７５
Ｒ＝１３．３５
Ｇ＝７．３３３
Ｂ＝１３．３５
となる。
【０１８８】
以上のようにして、本実施の形態においては、静止画像撮影モードにおいて、補正処理部１９２は、光センサ群１４４毎に、２×２の画素データを取得することができる。その結果、本実施の形態においては、静止画像撮影モードにおいて、信号処理部１９０は、光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからの電気信号を有効に利用して、より精緻でより滑らかな画像データを生成することができる。
【０１８９】
図１２に戻って、動画モード撮影モードにおいて、補正処理部１９２は、サンプリング部１９１からのデジタルデータに基づいて、各光センサ群１４４毎に、１つの画素データを生成する。本実施の形態に係る補正処理部１９２は、各光センサ群１４４毎の画素データとして、すなわち各画素群１４１毎の画素データとして、Ｒデータ、Ｇデータ、Ｂデータを生成する。より詳細には、補正処理部１９２は、対象となる光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからの（サンプリング処理後の）デジタルデータのそれぞれに基づいて、光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂのそれぞれに対応するＲデータ、Ｇデータ、Ｂデータを生成する。
【０１９０】
輪郭補正部１９３は、画素データから構成される画像データに基づいて、画像を、その輪郭部（エッジ部）をくっきりとさせてハードな画像にしたり、逆に淡いソフトな画像にしたりする。たとえば、輪郭補正部１９３は、画像の輪郭部分の強度（輝度）を高めて、画像の解像度を高める。
【０１９１】
ホワイトバランス部１９４は、白レベルの調整を行う。ホワイトバランス部１９４は、入力の白とするべき部分のＲ，Ｇ，Ｂのゲインを決めて、フレーム内の画素に対してゲインをかける。
【０１９２】
ガンマ処理部１９５は、出力デバイスのγに合わせて、画像データを補正する。すなわち、ガンマ処理部１９５は、画像処理エンジン１８０やＣＰＵ１１０から出力されるカラー情報と実際の液晶パネル１４０における輝度とが比例関係になるように、画像データの値を修正する。たとえば、ガンマ処理部１９５は、液晶パネル１４０のγ（γ＝２．２）に合わせて、画素データの値にγ（γ＝１／２．２＝０．４５）を乗ずる。
【０１９３】
傷補正部１９６は、液晶パネル１４０の画素欠陥による画素飛びが目立たないように、画像データを補正する。
【０１９４】
色空間変換部１９７は、たとえば画像処理エンジン１８０がＹＵＶにて画像データを出力する場合に、画像データに色空間上の変換を行なう。ここで、ＹＵＶとは、各画素データを、輝度信号（Ｙ）と輝度信号と青色成分の差（Ｕ）と輝度信号と赤色成分の差（Ｖ）との３つの情報で色を表す形式をいう。たとえば、ＩＴＵ−Ｒ ＢＴ．６０１の場合、色空間変換部１９７は、画像データを構成するＲデータＲとＧデータＧとＢデータＢを以下のように変換する。
【０１９５】
Ｙ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｕ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
Ｖ＝ ０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
上記のように構成される信号処理部１９０は、生成および補正（修正）した画像データを、内部ＩＦ１７８を介して本体装置１０１のＣＰＵ１１０などに入力する。
【０１９６】
＜液晶パネルに関する他の実施の形態＞
図１７は、本実施の形態に係る液晶パネル１４０を示すイメージ図である。図１７を参照して、本実施の形態においては、液晶パネル１４０は、画素群１４１および光センサ群１４４毎に、左上部に赤画素回路１４１Ｒが配置され、左下部に赤光センサ回路１４４Ｒが配置され、中央上部に緑光センサ回路１４４Ｇが配置され、中央下部に緑画素回路１４１Ｇが配置され、右上部に青画素回路１４１Ｂが配置され、右下部に青光センサ回路１４４Ｂが配置される。
【０１９７】
そして、液晶パネル１４０には、上記のような画素群１４１および光センサ群１４４のセットが、マトリクス状に配置されている。
【０１９８】
図１８は、実施の形態２に係る液晶パネル１４０Ｂを示すイメージ図である。図１８を参照して、液晶パネル１４０Ｂは、画素群１４１および光センサ群１４４毎に、左上部に赤画素回路１４１Ｒが配置され、左下部に赤光センサ回路１４４Ｒが配置され、中央上部に緑画素回路１４１Ｇが配置され、中央下部に緑光センサ回路１４４Ｇが配置され、右上部に青画素回路１４１Ｂが配置され、右下部に青光センサ回路１４４Ｂが配置されてもよい。
【０１９９】
そして、液晶パネル１４０Ｂには、上記のような画素群１４１および光センサ群１４４のセットが、マトリクス状に配置されている。
【０２００】
このような液晶パネル１４０Ｂの場合であっても、補正処理部１９２は、上述したように、対象となる光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータと、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵの中心位置ＬＵ，ＬＤ，ＲＤ，ＲＵに最も近い光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータとに基づいて、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵに対する画素データを生成する。
【０２０１】
この場合における補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。
【０２０２】
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１−２）
Ｇ＝Ｇ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ１１×Ｋ／Ｐｙ・・・（２−２）
Ｂ＝Ｂ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３−２）
Ｒ＝Ｒ２２・・・（４−２）
Ｇ＝Ｇ２２×２／３＋Ｇ１２×１／３・・・（５−２）
Ｂ＝Ｂ１２×２／３＋Ｂ２２×１／３・・・（６−２）
Ｒ＝Ｒ３２×２／３＋Ｒ２２×１／３・・・（７−２）
Ｇ＝Ｇ２２×２／３＋Ｇ３２×１／３・・・（８−２）
Ｂ＝Ｂ２２・・・（９−２）
Ｒ＝Ｒ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−２）
Ｇ＝Ｇ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ３１×Ｋ／Ｐｙ・・・（１１−２）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−２）
図１９は、実施の形態３に係る液晶パネル１４０Ｃを示すイメージ図である。図１９を参照して、液晶パネル１４０Ｃには、画素群１４１および光センサ群１４４毎に、左上部に赤画素回路１４１Ｒが配置され、左下部に赤光センサ回路１４４Ｒが配置され、中央上部に緑光センサ回路１４４Ｇが配置され、中央下部に緑画素回路１４１Ｇが配置され、右上部に青画素回路１４１Ｂが配置され、右下部に青光センサ回路１４４Ｂが配置される。
【０２０３】
そして、赤光センサ回路１４４Ｒの下方には青画素回路１４１Ｂが配置され、緑画素回路１４１Ｇの下方には赤画素回路１４１Ｒが配置され、青光センサ回路１４４Ｂの下方には緑光センサ回路１４４Ｇが配置される。
【０２０４】
このような液晶パネル１４０Ｃの場合であっても、補正処理部１９２は、上述したように、対象となる光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータと、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵの中心位置ＬＵ，ＬＤ，ＲＤ，ＲＵに最も近い光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータとに基づいて、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵに対する画素データを生成する。
【０２０５】
この場合における補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。以下では、対象とする光センサ群１４４からの赤デジタルデータをＲ２２、対象とする光センサ群１４４からの緑デジタルデータをＧ２２、対象とする光センサ群１４４からの青デジタルデータをＢ２２とする。また、対象とする光センサ群１４４に、左から順に赤光センサ回路１４４Ｒ、緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂが配置されているものとする。
【０２０６】
Ｒ＝Ｒ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１−３）
Ｇ＝Ｇ２２×２／３＋Ｇ１２×１／３・・・（２−３）
Ｂ＝Ｂ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ１１×Ｋ／Ｐｙ・・・（３−３）
Ｒ＝Ｒ２２・・・（４−３）
Ｇ＝Ｇ１３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（５−３）
Ｂ＝Ｂ１２×２／３＋Ｂ２２×１／３・・・（６−３）
Ｒ＝Ｒ３２×２／３＋Ｒ２２×１／３・・・（７−３）
Ｇ＝Ｇ２３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（８−３）
Ｂ＝Ｂ２２・・・（９−３）
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−３）
Ｇ＝Ｇ２２×２／３＋Ｇ３２×１／３・・・（１１−３）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−３）
対象とする光センサ群１４４に、左から順に青光センサ回路１４４Ｂ、赤光センサ回路１４４Ｒ、緑光センサ回路１４４Ｇが配置されている場合、補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。
【０２０７】
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１−４）
Ｇ＝Ｇ１２×２／３＋Ｇ２２×１／３・・・（２−４）
Ｂ＝Ｂ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３−４）
Ｒ＝Ｒ２２×２／３＋Ｒ１２×１／３・・・（４−４）
Ｇ＝Ｇ２３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（５−４）
Ｂ＝Ｂ２２・・・（６−４）
Ｒ＝Ｒ２２×２／３＋Ｒ３２×１／３・・・（７−４）
Ｇ＝Ｇ３３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（８−４）
Ｂ＝Ｂ３２×２／３＋Ｂ２２×１／３・・・（９−４）
Ｒ＝Ｒ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−４）
Ｇ＝Ｇ２２・・・（１１−４）
Ｂ＝Ｂ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−４）
対象とする光センサ群１４４に、左から順に緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂ、赤光センサ回路１４４Ｒが配置されている場合、補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。
【０２０８】
Ｒ＝Ｒ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ１１×Ｋ／Ｐｙ・・・（１−５）
Ｇ＝Ｇ２２・・・（２−５）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３−５）
Ｒ＝Ｒ２２×２／３＋Ｒ１２×１／３・・・（４−５）
Ｇ＝Ｇ２３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（５−５）
Ｂ＝Ｂ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ１２×Ｋ／Ｐｙ・・・（６−５）
Ｒ＝Ｒ２２・・・（７−５）
Ｇ＝Ｇ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ３３×Ｋ／Ｐｙ・・・（８−５）
Ｂ＝Ｂ２２×２／３＋Ｂ３２×１／３・・・（９−５）
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−５）
Ｇ＝Ｇ３２×２／３＋Ｇ２２×１／３・・・（１１−５）
Ｂ＝Ｂ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−５）
図２０は、実施の形態４に係る液晶パネル１４０Ｄを示すイメージ図である。図２０を参照して、液晶パネル１４０Ｄには、画素群１４１および光センサ群１４４毎に、左上部に赤画素回路１４１Ｒが配置され、左下部に赤光センサ回路１４４Ｒが配置され、中央上部に緑画素回路１４１Ｇが配置され、中央下部に緑光センサ回路１４４Ｇが配置され、右上部に青画素回路１４１Ｂが配置され、右下部に青光センサ回路１４４Ｂが配置される。
【０２０９】
そして、赤光センサ回路１４４Ｒの下方には青画素回路１４１Ｂが配置され、緑光センサ回路１４４Ｇの下方には赤画素回路１４１Ｒが配置され、青光センサ回路１４４Ｂの下方には緑画素回路１４１Ｇが配置される。
【０２１０】
このような液晶パネル１４０Ｄの場合であっても、補正処理部１９２は、上述したように、対象となる光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータと、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵの中心位置ＬＵ，ＬＤ，ＲＤ，ＲＵに最も近い光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータとに基づいて、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵに対する画素データを生成する。
【０２１１】
この場合における補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。以下では、対象とする光センサ群１４４からの赤デジタルデータをＲ２２、対象とする光センサ群１４４からの緑デジタルデータをＧ２２、対象とする光センサ群１４４からの青デジタルデータをＢ２２とする。また、対象とする光センサ群１４４に、左から順に赤光センサ回路１４４Ｒ、緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂが配置されているものとする。
【０２１２】
Ｒ＝Ｒ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１−６）
Ｇ＝Ｇ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（２−６）
Ｂ＝Ｂ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ１１×Ｋ／Ｐｙ・・・（３−６）
Ｒ＝Ｒ２２・・・（４−６）
Ｇ＝Ｇ２２×２／３＋Ｇ１２×１／３・・・（５−６）
Ｂ＝Ｂ１２×２／３＋Ｂ２２×１／３・・・（６−６）
Ｒ＝Ｒ３２×２／３＋Ｒ２２×１／３・・・（７−６）
Ｇ＝Ｇ２２×２／３＋Ｇ３２×１／３・・・（８−６）
Ｂ＝Ｂ２２・・・（９−６）
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−６）
Ｇ＝Ｇ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（１１−６）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−６）
対象とする光センサ群１４４に、左から順に青光センサ回路１４４Ｂ、赤光センサ回路１４４Ｒ、緑光センサ回路１４４Ｇが配置されている場合、補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。
【０２１３】
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１−７）
Ｇ＝Ｇ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ１１×Ｋ／Ｐｙ・・・（２−７）
Ｂ＝Ｂ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３−７）
Ｒ＝Ｒ２２×２／３＋Ｒ１２×１／３・・・（４−７）
Ｇ＝Ｇ１２×２／３＋Ｇ２２×１／３・・・（５−７）
Ｂ＝Ｂ２２・・・（６−７）
Ｒ＝Ｒ２２×２／３＋Ｒ３２×１／３・・・（７−７）
Ｇ＝Ｇ２２・・・（８−７）
Ｂ＝Ｂ３２×２／３＋Ｂ２２×１／３・・・（９−７）
Ｒ＝Ｒ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−７）
Ｇ＝Ｇ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（１１−７）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−７）
対象とする光センサ群１４４に、左から順に緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂ、赤光センサ回路１４４Ｒが配置されている場合、補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。
【０２１４】
Ｒ＝Ｒ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ１１×Ｋ／Ｐｙ・・・（１−８）
Ｇ＝Ｇ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（２−８）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３−８）
Ｒ＝Ｒ１２×２／３＋Ｒ２２×１／３・・・（４−８）
Ｇ＝Ｇ２２・・・（５−８）
Ｂ＝Ｂ２２×２／３＋Ｂ１２×１／３・・・（６−８）
Ｒ＝Ｒ２２・・・（７−８）
Ｇ＝Ｇ３２×２／３＋Ｇ２２×１／３・・・（８−８）
Ｂ＝Ｂ２２×２／３＋Ｂ３２×１／３・・・（９−８）
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−８）
Ｇ＝Ｇ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（１１−８）
Ｂ＝Ｂ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−８）
＜その他の実施の形態＞
本発明は、画像処理エンジン１８０（信号処理部１９０）あるいは他の装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
【０２１５】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２１６】
プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭ（マスクＲＯＭ、フラッシュＥＥＰＲＯＭなど）などを用いることができる。
【０２１７】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２１８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２１９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２２０】
【図１】本実施の形態に係る液晶パネルと生成される画素データとの関係を示すイメージ図である。
【図２】電子機器のハードウェア構成を表わすブロック図である。
【図３】液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。
【図４】液晶パネルとバックライトとの断面図である。
【図５】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図６】スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。
【図７】センシングコマンドの概略構成を示した図である。
【図８】センシングコマンドの各領域におけるデータの値と当該値が示す意味内容とを示した図である。
【図９】応答データの概略構成を示した図である。
【図１０】指をスキャンすることにより得られた画像を示した図である。
【図１１】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図１２】本実施の形態に係る信号処理部の機能構成を示すブロック図である。
【図１３】補正処理部による左上画素データを生成する際の処理方法を示すイメージ図である。
【図１４】補正処理部による左下画素データを生成する際の処理方法を示すイメージ図である。
【図１５】補正処理部による右下画素データを生成する際の処理方法を示すイメージ図である。
【図１６】補正処理部による右上画素データを生成する際の処理方法を示すイメージ図である。
【図１７】実施の形態１に係る液晶パネルを示すイメージ図である。
【図１８】実施の形態２に係る液晶パネルを示すイメージ図である。
【図１９】実施の形態３に係る液晶パネルを示すイメージ図である。
【図２０】実施の形態４に係る液晶パネルを示すイメージ図である。
【符号の説明】
【０２２１】
１００ 電子機器、１０１ 本体装置、１０２ 表示装置、１１０ ＣＰＵ、１３０ ドライバ、１３１ 走査信号線駆動回路、１３２ データ信号線駆動回路、１３３ 光センサ駆動回路、１３４ スイッチ、１３５ アンプ、１４０ 光センサ内蔵液晶パネル（液晶パネル）、１４１ 画素群、１４１Ｒ，１４１Ｇ，１４１Ｂ 画素回路、１４３ 電極対、１４３ａ 画素電極、１４３ｂ 対向電極、１４４ 光センサ群、１４４Ｒ，１４４Ｇ，１４４Ｂ 光センサ回路、１４５，１４５Ｒ，１４５Ｇ，１４５Ｂ フォトダイオード、１４６ コンデンサ、１５１Ａ アクティブマトリクス基板、１５１Ｂ 対向基板、１５２ 液晶層、１５３Ｂ，１５３Ｇ，１５３Ｒ カラーフィルタ、１５７ データ信号線、１６１ 偏光フィルタ、１６２ ガラス基板、１６３ 遮光膜、１６４ 配向膜、１７１ ＲＡＭ、１７３ メモリカードリーダライタ、１７４ 通信装置、１７５ マイク、１７６ スピーカ、１７７ 操作キー、１７９ バックライト、１８０ 画像処理エンジン、１８１ ドライバ制御部、１８２ タイマ、１７３１ メモリカード、１９０ 信号処理部、１９１ サンプリング部、１９２ 補正処理部、１９３ 輪郭補正部、１９４ ホワイトバランス部、１９５ ガンマ処理部、１９６ 傷補正部、１９７ 色空間変換部、ＤＢ１，ＤＢ２ データバス。
【技術分野】
【０００１】
本発明は、入射光に基づいて画像データを生成するセンサ装置、表示装置、画像データ生成方法、および画像データ生成プログラムに関し、特に、それぞれの光センサ回路を有効に利用して、より精緻で滑らかな画像を生成するセンサ装置、表示装置、画像データ生成方法、および画像データ生成プログラムに関する。
【背景技術】
【０００２】
従来から、入射光に基づいて電気信号を出力する光センサ回路を搭載し、光センサ回路からの電気信号に基づいて画像データを生成するセンサ装置が知られている。たとえば、ＣＣＤ（Charge Coupled Device）カメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどがあげられる。
【０００３】
また、上記のような光センサ回路と、電気信号に基づいて可視光を発する画素回路とを搭載する表示装置も知られている。そのような表示装置は、外部から情報を受け付ける入力機能と外部に情報を表示する表示機能とを有する。たとえば、光センサ内蔵液晶パネルを搭載する表示装置があげられる。
【０００４】
たとえば、特開平４−２８２６０９号公報（特許文献１）には、イメージセンサを配列することにより駆動装置や移動操作を不要とする超薄型の画像入力装置が開示されている。特開平４−２８２６０９号公報（特許文献１）によると、画像入力装置は紙サイズの透明基板一面にイメージセンサを実装し、この上に対象物を置き、透明基板の裏側より光をあて、対象物からの反射光の強度を個々のイメージセンサで電気的に計測することにより画像情報を読み取る。カラーの場合にはＲ，Ｇ，Ｂの各色の画素に対応してセンサを配列することによりカラー画像が読み取れる。この液晶デイスプレイの表示側とは反対側の駆動装置側に，液晶デイスプレイの画素に対応してそれぞれイメージセンサを配列する。また、イメージセンサ側にイメージセンサと液晶デイスプレイを通過する光源を置く。
【特許文献１】特開平４−２８２６０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
表示装置（センサ装置）には光センサ回路や画素回路などが密集している。表示装置に配置できる光センサ回路の個数は限られているため、従来から精緻で滑らかな画像を生成するための技術が求められている。特に、画素回路を搭載する表示装置においては、画素回路を所定の位置に配置する必要があるため、光センサ回路を介して取得する画像の解像度を向上させることが困難である。
【０００６】
本発明は、かかる問題を解決するためになされたものであり、その目的は、それぞれの光センサ回路を有効に利用して、より精緻で滑らかな画像を生成するセンサ装置、表示装置、画像データ生成方法、および画像データ生成プログラムを提供することである。
【課題を解決するための手段】
【０００７】
この発明のある局面に従うと、センサ装置が提供される。センサ装置は、複数の光センサ群を備える。複数の光センサ群の各々は、第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含む。センサ装置は、第１から第３の出力信号に基づいて、光センサ群毎に２×２の画素データを生成する画像処理手段とをさらに備える。画素データの各々は、第１の色成分の明度を示す第１の値と、第２の色成分の明度を示す第２の値と、第３の色成分の明度を示す第３の値とを含む。
【０００８】
好ましくは、画像処理手段は、第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するサンプリング手段と、光センサ群の各々に対応する第１から第３のデータと、光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、画素データを生成する補正処理手段とを含む。
【０００９】
好ましくは、２×２の画素データは、左上画素データと左下画素データと右下画素データと右上画素データとを含む。補正処理手段は、光センサ群の各々に対応する第１から第３のデータと、光センサ群の左上方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、左上画素データを生成し、光センサ群の各々に対応する第１から第３のデータと、光センサ群の左下方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、左下画素データを生成し、光センサ群の各々に対応する第１から第３のデータと、光センサ群の右下方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、右下画素データを生成し、光センサ群の各々に対応する第１から第３のデータと、光センサ群の右上方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、右上画素データを生成する。
【００１０】
好ましくは、画像処理手段は、静止画像撮影モードにおいては、第１から第３の出力信号に基づいて、光センサ群毎に２×２の画素データを生成し、動画像撮影モードにおいては、第１から第３の出力信号に基づいて、光センサ群毎に１つの画素データを生成する。
【００１１】
好ましくは、複数の光センサ群は、マトリクス状に配置される。
この発明の別の局面に従うと、上記のセンサ装置と、複数の画素群とを備える表示装置が提供される。複数の画素群の各々は、第１の入力信号に応じて第１の色成分を含む光を発するための第１の画素回路と、第２の入力信号に応じて第２の色成分を含む光を発するための第２の画素回路と、第３の入力信号に応じて第３の色成分を含む光を発するための第３の画素回路とを含む。
【００１２】
好ましくは、画素群は、光センサ群毎に配置される。
好ましくは、複数の画素群は、マトリクス状に配置される。
【００１３】
この発明の別の局面に従うと、複数の光センサ群と画像処理部とを備えるセンサ装置における画像データ生成方法が提供される。複数の光センサ群の各々は、第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含む。画像データ生成方法は、画像処理部が、第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するステップと、第１から第３のデータに基づいて、光センサ群毎に２×２の画素データを生成するステップとを備える。画素データの各々は、第１の色成分の明度を示す第１の値と、第２の色成分の明度を示す第２の値と、第３の色成分の明度を示す第３の値とを含む。２×２の画素データを生成するステップは、光センサ群の各々に対応する第１から第３のデータと、光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、画素データを生成するステップを含む。
【００１４】
この発明の別の局面に従うと、複数の光センサ群と画像処理部とを備えるセンサ装置に画像データを生成させるための画像データ生成プログラムが提供される。複数の光センサ群の各々は、第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含む。画像データ生成プログラムは、画像処理部に、第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するステップと、第１から第３のデータに基づいて、光センサ群毎に２×２の画素データを生成するステップとを実行させる。画素データの各々は、第１の色成分の明度を示す第１の値と、第２の色成分の明度を示す第２の値と、第３の色成分の明度を示す第３の値とを含む。２×２の画素データを生成するステップは、光センサ群の各々に対応する第１から第３のデータと、光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、画素データを生成するステップを含む。
【発明の効果】
【００１５】
以上のように、本発明によって、それぞれの光センサ回路を有効に利用して、より精緻で滑らかな画像を生成するセンサ装置、表示装置、画像データ生成方法、および画像データ生成プログラムが提供される。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１７】
［実施の形態１］
＜液晶パネルと画素データ＞
本実施の形態に係る表示装置（センサ装置）は、光センサ内蔵液晶パネルを含む。表示装置は、光センサ内蔵液晶パネル（以下、液晶パネルともいう。）を介して、画像データを取得したり、画像を表示したりする。以下では、本実施の形態に係る液晶パネルの構成の概要を説明する。
【００１８】
図１は、本実施の形態に係る液晶パネル１４０と、生成される画素データとの関係を示すイメージ図である。図１を参照して、液晶パネル１４０は、赤色成分の光を受けて赤出力信号を出力するための赤光センサ回路１４４Ｒと、緑色成分の光を受けて緑出力信号を出力するための緑光センサ回路１４４Ｇと、青色成分の光を受けて青出力信号を出力するための青光センサ回路１４４Ｂとを含む。
【００１９】
以下では、赤光センサ回路１４４Ｒと、緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂとを合わせて光センサ群１４４という。そして、液晶パネル１４０は、このような光センサ群１４４がマトリクス状（行列状）に配置されている。
【００２０】
また、液晶パネル１４０は、後述する画像処理エンジン１８０から赤入力信号を受け付けて装置外部に赤色成分の光を発するための赤画素回路１４１Ｒと、緑入力信号を受け付けて装置外部に緑色成分の光を発するための緑画素回路１４１Ｇと、青入力信号を受け付けて装置外部に青色成分の光を発するための青画素回路１４１Ｂとを含む。
【００２１】
以下では、赤画素回路１４１Ｒと、緑画素回路１４１Ｇ、青画素回路１４１Ｂとを合わせて画素群１４１とする。そして、液晶パネル１４０は、このような画素群１４１がマトリクス状に配置されている。つまり、本実施の形態においては、液晶パネル１４０は、画素群１４１毎に１つの光センサ群１４４が配置される。
【００２２】
そして、本実施の形態に係る表示装置（センサ装置）は、静止画像を撮影するモードにおいては、液晶パネル１４０からの出力信号に応じて、光センサ群１４４毎に４つの画素データ（２×２の画素データ）を生成する。本実施の形態に係る表示装置は、動画像を撮影するモードにおいては、液晶パネル１４０からの出力信号に応じて、光センサ群１４４毎に４つ画素データを生成する。
【００２３】
すなわち、本実施の形態に係る表示装置は、光センサ群１４４毎に２×２の画素データを得ることができるため、精緻で滑らかな画像を得ることができる。換言すれば、本実施の形態に係る表示装置は、光センサ群１４４あるいは画素群１４１の個数よりも多い画素からなる画像データを得ることができる。特に、本実施の形態に係る表示装置は、光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂの個数あるいは画素回路１４１Ｒ，１４１Ｇ，１４１Ｂの個数よりも多い画素からなる画像データを得ることができる。
【００２４】
以下、このような機能を実現するための構成について詳述する。なお、本実施の形態においては、表示装置が複数の光センサ群１４４と複数の画素群１４１とを有する光センサ内蔵液晶パネル１４０を有する場合について説明する。ただし、以下の構成は、たとえばデジタルカメラのように、画素群１４１を有さないセンサ装置にも適用可能なものである。
【００２５】
＜電子機器１００のハードウェア構成＞
以下では、表示装置１０２を有する電子機器１００の具体的構成の一態様について説明する。図２は、電子機器１００のハードウェア構成を表わすブロック図である。図２を参照して、電子機器１００は、主たる構成要素として、本体装置１０１と、表示装置１０２とを含む。
【００２６】
本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、通信部１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７とを含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。
【００２７】
ＣＰＵ１１０は、プログラムを実行する。操作キー１７７は、電子機器１００の使用者による指示の入力を受ける。ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどの書込みおよび消去が可能なＲＯＭである。通信部１７４は、図示しない他の電子機器との間で無線通信を行う。なお、図２には図示していないが、電子機器１００が、他の電子機器に有線により接続するためのインターフェイス（ＩＦ）を備える構成としてもよい。
【００２８】
表示装置１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０と称する）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。
【００２９】
ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。
【００３０】
液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル１４０の詳細については、後述する。
【００３１】
内部ＩＦ（Interface）１７８は、本体装置１０１と表示装置１０２との間で、データの遣り取りを仲介する。
【００３２】
バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。
【００３３】
画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力される出力信号を処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１９０とを含む。
【００３４】
ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。
【００３５】
タイマ１８２は、時刻情報を生成し、信号処理部１９０に対して時刻情報を送る。
信号処理部１９０（画像処理部）は、上記液晶パネル１４０（赤光センサ回路１４４Ｒ、緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂ）から出力される出力信号を受け取る。ここで、上記液晶パネル１４０から出力される出力信号はアナログ信号であるため、信号処理部１９０はアナログ信号をデジタルデータへと変換する。信号処理部１９０の画像データ生成処理については後述する。
【００３６】
信号処理部１９０は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１９０は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１９０は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。
【００３７】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する（図７〜図９）。
【００３８】
なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示装置１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、電子機器１００が常に備える構成ではなく、電子機器１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。
【００３９】
ここで、表示装置１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示装置１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。
【００４０】
ところで、電子機器１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。
【００４１】
図２に示される電子機器１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、電子機器１００の本体装置については、詳細な説明は繰り返さない。
【００４２】
なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【００４３】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４４】
ただし、電子機器１００を構成する各ブロックの機能や各ステップの処理をソフトウェアによって実現する代わりに、各々を専用のハードウェア回路等によって実現してもよい。
【００４５】
＜光センサ内蔵液晶パネルの構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と当該液晶パネル１４０の周辺回路とを示した図である。
【００４６】
図３を参照して、液晶パネル１４０は、画素群１４１と、光センサ群１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊ，ＳＧｊ，ＳＢｊと、センサ信号線ＳＳＲｊ，ＳＳＧｊ，ＳＳＢｊと、センサ信号線ＳＤＲｊ，ＳＤＧｊ，ＳＤＢｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。
【００４７】
そして、画素群１４１は、赤画素回路１４１Ｒと、緑画素回路１４１Ｇと、青画素回路１４１Ｂとを含む。光センサ群１４４は、赤光センサ回路１４４Ｒと、緑光センサ回路１４４Ｇと、青光センサ回路１４４Ｂとを含む。
【００４８】
また、図２に示した表示装置１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。
【００４９】
走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【００５０】
データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。
【００５１】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【００５２】
画素群１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素群１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素群１４１は、図３の縦方向にｍ個、横方向にｎ個配されている。
【００５３】
前述したように、画素群１４１は、赤画素回路１４１Ｒと、緑画素回路１４１Ｇと、青画素回路１４１Ｂとからなる。これら３つの回路（１４１Ｒ，１４１Ｇ，１４１Ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。
【００５４】
なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示装置１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。
【００５５】
赤画素回路１４１Ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、緑画素回路１４１Ｇおよび青画素回路１４１Ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、赤画素回路１４１Ｒと同じ構成である。このため、これら２つの回路（１４１Ｇ，１４１Ｂ）についての説明は、繰り返さない。
【００５６】
ここで、画素群１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。
【００５７】
光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。
【００５８】
そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。
【００５９】
また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。
【００６０】
なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。
【００６１】
赤光センサ回路１４４Ｒは、フォトダイオード１４５Ｒと、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。
【００６２】
フォトダイオード１４５Ｒのアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５Ｒのカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５Ｒとコンデンサ１４６との接続点をノードＮと称する。
【００６３】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤＲｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳＲｊに接続されている。赤光センサ回路１４４Ｒを用いたセンシングの詳細については、後述する。
【００６４】
スイッチ１３４は、センサ信号線（ＳＤＲ１〜ＳＤＲｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤＲ１〜ＳＤＲｎ）に印加される電圧については、後述する。
【００６５】
アンプ１３５は、各センサ信号線（ＳＳＲ１〜ＳＳＲｎ）から出力された電圧を増幅する。なお、増幅された電圧は、「赤出力信号」として、図２に示した信号処理部１９０に送られる。
【００６６】
なお、画素群１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、赤光センサ回路１４４Ｒを用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。
【００６７】
同様に、緑光センサ回路１４４Ｇは、フォトダイオード１４５Ｇと、コンデンサ１４６と、ＴＦＴ１４７とを含む。フォトダイオード１４５Ｇのアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５Ｇのカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５Ｇとコンデンサ１４６との接続点をノードＮと称する。
【００６８】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤＧｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳＧｊに接続されている。
【００６９】
スイッチ１３４は、センサ信号線（ＳＤＧ１〜ＳＤＧｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤＧ１〜ＳＤＧｎ）に印加される電圧については、後述する。
【００７０】
アンプ１３５は、各センサ信号線（ＳＳＧ１〜ＳＳＧｎ）から出力された電圧を増幅する。なお、増幅された電圧は、「緑出力信号」として、図２に示した信号処理部１９０に送られる。
【００７１】
同様に、青光センサ回路１４４Ｂは、フォトダイオード１４５Ｂと、コンデンサ１４６と、ＴＦＴ１４７とを含む。フォトダイオード１４５Ｂのアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５Ｂのカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５Ｂとコンデンサ１４６との接続点をノードＮと称する。
【００７２】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤＢｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳＢｊに接続されている。
【００７３】
スイッチ１３４は、センサ信号線（ＳＤＢ１〜ＳＤＢｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤＢ１〜ＳＤＢｎ）に印加される電圧については、後述する。
【００７４】
アンプ１３５は、各センサ信号線（ＳＳＢ１〜ＳＳＢｎ）から出力された電圧を増幅する。なお、増幅された電圧は、「青出力信号」として、図２に示した信号処理部１９０に送られる。
【００７５】
図４は、液晶パネル１４０とバックライト１７９との断面図である。図４を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配置されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。
【００７６】
アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５Ｒ（１４５Ｇ，１４５Ｂ）と、データ信号線１５７と、配向膜１６４とを含む。さらに、図４には示していないが、アクティブマトリクス基板１５１Ａは、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。
【００７７】
また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５Ｒとデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。
【００７８】
対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂと、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。
【００７９】
また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂ、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂと同一の層に形成されている。
【００８０】
カラーフィルタ１５３Ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３Ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３Ｂは、青色の波長の光を透過させるフィルタである。図４では、フォトダイオード１４５Ｒは、カラーフィルタ１５３Ｒに対向する位置に配されている。
【００８１】
液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させたりする。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。
【００８２】
より詳細には、本実施の形態に係る液晶パネル１４０には、赤光センサ回路１４４Ｒのフォトダイオード１４５Ｒに対向して赤色成分の光を透過するカラーフィルタ１５３Ｒが配置されている。これによって、赤光センサ回路１４４Ｒは、赤色の波長の光を受光する。同様に、緑光センサ回路１４４Ｇのフォトダイオード１４５Ｇに対向して緑色成分の光を透過するカラーフィルタ１５３Ｇが配置されている。これによって、緑光センサ回路１４４Ｇは、緑色の波長の光を受光する。青光センサ回路１４４Ｂのフォトダイオード１４５Ｂに対向して青色成分の光を透過するカラーフィルタ１５３Ｂが配置されている。これによって、青光センサ回路１４４Ｂは、青色の波長の光を受光する。
【００８３】
このような液晶パネル１４０においては、バックライト１７９から照射された白色光は、３つのカラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂを透過し、液晶パネル１４０の表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂに対向するカラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂを透過する。
【００８４】
すなわち、スキャン対象物によって反射された光はカラーフィルタ１５３Ｒ，１５３Ｇ，１５３Ｂによって３原色（Ｒ，Ｇ，Ｂ）に色分解され、各フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂは、それぞれに対応した色の光を受光する。
【００８５】
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂの受光量が各フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂで異なることになる。このため、センサ信号線ＳＳＲｊとセンサ信号線ＳＳＧｊとセンサ信号線ＳＳＢｊとの出力電圧（出力信号）は互いに異なる。それゆえ、各出力電圧に応じて、Ｒの階調とＧの階調とＢの階調とを画像処理エンジン１８０が決定することにより、画像処理エンジン１８０はＲＧＢのカラーの画像データを本体装置１０１へ送ることができる。
【００８６】
以上述べたように、本実施の形態に係る表示装置１０２は、スキャン対象物をカラーでスキャンできることになる。
【００８７】
次に、赤光センサ回路１４４Ｒ（緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂ）の動作について説明する。図５は、赤光センサ回路１４４Ｒを動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、赤光センサ回路１４４Ｒ内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図３に示したセンサ信号線ＳＳＲｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。
【００８８】
以下では、赤光センサ回路１４４Ｒをリセットするためのリセット期間と、赤光センサ回路１４４Ｒを用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【００８９】
まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（Ａ）で示す値となる。なお、式（Ａ）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。
【００９０】
ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ・・・（Ａ）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。
【００９１】
ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳＲｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。
【００９２】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。
【００９３】
このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。
【００９４】
なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳＲｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。
【００９５】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。
【００９６】
このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。
【００９７】
この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤＲｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳＲｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。
【００９８】
ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、赤光センサ回路１４４Ｒは、フォトダイオード１４５Ｒの受光量に応じて、センサ信号線ＳＳＲｊに出力する電圧の値を変化させる。
【００９９】
ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの赤光センサ回路１４４Ｒに着目して、その動作を説明した。以下では、液晶パネル１４０における各赤光センサ回路１４４Ｒの動作について説明する。
【０１００】
まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤＲ１〜ＳＤＲｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。
【０１０１】
なお、ｎ個のセンサ信号線（ＳＤＲ１〜ＳＤＲｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【０１０２】
１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【０１０３】
以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。
【０１０４】
なお、表示装置１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果（出力信号）が液晶パネル１４０から出力される。このため、以下では、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１９０が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【０１０５】
また、上記においては、ｍ×ｎ個の赤光センサ回路１４４Ｒの全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
【０１０６】
以下では、電子機器１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。
【０１０７】
このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。
【０１０８】
なお、緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂについての動作は、赤光センサ回路１４４Ｒと同様であるため、ここでは説明を繰り返さない。
【０１０９】
図６は、液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂがバックライト１７９からの光を受光する構成を示した図である。
【０１１０】
図６を参照して、ユーザの指９００が液晶パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９００（略平面）にて反射される。そして、フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂは、当該反射された光を受光する。
【０１１１】
また、指９００が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９００にて反射される。この場合においても、フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂは、当該反射された光を受光する。ただし、当該領域においては液晶パネル１４０の表面に指９００が接触していないため、指９００が接触している領域よりも、フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂの受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９００に到達しない光のほとんどについては、フォトダイオード１４５Ｒ，１４５Ｇ，１４５Ｂは受光できない。
【０１１２】
ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂは、ユーザの指９００により反射した光の光量に応じた電圧をセンサ信号線ＳＳＲｊ，ＳＳＧｊ，ＳＳＢｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳＲ１〜ＳＳＲｎ，ＳＳＧ１〜ＳＳＧｎ，ＳＳＢ１〜ＳＳＢｎ）から出力される電圧が変化することになる。
【０１１３】
以上により、表示装置１０２は、指９００によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。なお、指９００以外のスキャン対象物としては、スタイラスなどが挙げられる。
【０１１４】
ところで、本実施の形態においては、電子機器１００の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。
【０１１５】
＜データについて＞
次に、センシングコマンドについて説明する。なお、表示装置１０２においては、画像処理エンジン１８０は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ（つまり、応答データ）を本体装置１０１に送り返す。
【０１１６】
図７は、センシングコマンドの概略構成を示した図である。図７を参照して、センシングコマンドは、ヘッダのデータ領域ＤＡ０１と、タイミングを示すデータ領域ＤＡ０２と、データ種別を示すデータ領域ＤＡ０３と、読取方式を示すデータ領域ＤＡ０４と、画像階調を示すデータ領域ＤＡ０５と、解像度を示すデータ領域ＤＡ０６と、予備のデータ領域ＤＡ０７とを含む。
【０１１７】
図８は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【０１１８】
図８を参照して、タイミングを示すデータ領域に「００」が設定されたセンシングコマンドは、画像処理エンジン１８０に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン１８０が受信した後に、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂを用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「０１」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「１０」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
【０１１９】
データ種別を示すデータ領域に「００１」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「０１０」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「１００」が設定されたセンシングコマンドは、全体画像の送信を要求する。
【０１２０】
ここで、「全体画像」とは、ｍ×ｎ個の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂを用いてスキャンした際に、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂから出力される電圧に基づいて、画像処理エンジン１８０により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【０１２１】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル１４０の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【０１２２】
読取方式を示すデータ領域に「００」が設定されたセンシングコマンドは、バックライト１７９を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「０１」が設定されたセンシングコマンドは、バックライト１７９を消灯してスキャンすることを要求する。なお、バックライト１７９を消灯してスキャンする構成については後述する（図１１）。さらに、読取方式を示すデータ領域に「１０」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト１７９を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
【０１２３】
画像階調を示すデータ領域に「００」が設定されたセンシングコマンドは、白黒の２値の画像データを要求する。また、画像階調を示すデータ領域に「０１」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「１０」が設定されたセンシングコマンドは、ＲＧＢのカラーの画像データを要求する。また、画像階調を示すデータ領域に「１１」が設定されたセンシングコマンドは、ＹＵＶのカラーの画像データを要求する。
【０１２４】
解像度を示すデータ領域に「０」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「１」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
【０１２５】
また、センシングコマンドには、図７および図８に示したデータ以外に、スキャンを行う領域（光センサ回路を駆動する画素の領域）の指定、スキャンを行うタイミング、バックライト１７９の点灯のタイミングなどが記述されている。
【０１２６】
図９は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置１０２の画像処理エンジン１８０が本体装置１０１に対して送信するデータである。
【０１２７】
図９を参照して、応答データは、ヘッダのデータ領域ＤＡ１１と、座標を示すデータ領域ＤＡ１２と、時刻を示すデータ領域ＤＡ１３と、画像を示すデータ領域ＤＡ１４とを含む。ここで、座標を示すデータ領域ＤＡ１２には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン１８０のタイマ１８２から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン１８０により処理がされた後の画像データ（つまり、スキャンデータ）が書き込まれる。
【０１２８】
図１０は、指９００をスキャンすることにより得られた画像（つまり、スキャン画像）を示した図である。図１０を参照して、太実線で囲まれた領域Ｗ１の画像が全体画像であり、破線で囲まれた領域Ｐ１の画像が部分画像である。また、太線で示した十字の中心点Ｃ１が、中心座標となる。
【０１２９】
本実施の形態では、矩形の領域であって、かつセンサ信号線ＳＳＲｊ，ＳＳＧｊ，ＳＳＢｊからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素（つまり、予め定められた階調または予め定められた輝度以上の画素）全てを含む領域を、部分画像の領域としている。
【０１３０】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点（つまり図心）との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【０１３１】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【０１３２】
センシングコマンドのデータ種別を示すデータ領域に「００１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に上記中心座標の値を書き込む。この場合、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４には画像データを書き込まない。画像処理エンジン１８０は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「００１」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【０１３３】
また、センシングコマンドのデータ種別を示すデータ領域に「０１０」が設定されている場合には、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１０」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【０１３４】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指９００などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【０１３５】
また、センシングコマンドのデータ種別を示すデータ領域に「０１１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【０１３６】
また、センシングコマンドのデータ種別を示すデータ領域に「１００」が設定されている場合には、画像処理エンジン１８０は、図１０に示した応答データの画像を示すデータ領域ＤＡ１４に、全体画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１００」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【０１３７】
また、センシングコマンドのデータ種別を示すデータ領域に「１０１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４に全体画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１０１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【０１３８】
次に、図６を参照して説明したスキャンの方法（つまり、反射像をスキャンする方法）とは異なるスキャンの方法について、図１１を参照して説明する。
【０１３９】
図１１は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図１１を参照して、外光の一部は、指９００によって遮られる。それゆえ、指９００と接触している液晶パネル１４０の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指９００の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【０１４０】
ここで、バックライト１７９を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂは、液晶パネル１４０の表面に対する指９００の位置に応じた電圧をセンサ信号線ＳＳＲｊ，ＳＳＧｊ，ＳＳＢｊから出力することができる。このように、バックライト１７９を点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳＲ１〜ＳＳＲｎ，ＳＳＧ１〜ＳＳＧｎ，ＳＳＢ１〜ＳＳＢｎ）から出力される電圧が変化することになる。
【０１４１】
以上により、表示装置１０２は、指９００によって外光が遮られることにより得られる像（以下、影像とも称する）をスキャンすることができる。
【０１４２】
さらに、表示装置１０２を、バックライト１７９を点灯させてスキャンを行った後に、バックライト１７９を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置１０２を、バックライト１７９を消灯させてスキャンを行った後に、バックライト１７９を点灯させて再度スキャンを行う構成としてもよい。
【０１４３】
この場合には、２つのスキャン方式を併用することになるため、２つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【０１４４】
液晶パネル１４０は上記のように構成されるので、本体装置１０１のＣＰＵ１１０は、動画像撮影モードにおいて、液晶パネル１４０からの一連の画像データを動画像データとしてＲＡＭ１７１などに記憶する。また、本体装置１０１のＣＰＵ１１０は、静止画像撮影モードにおいて、液晶パネル１４０からの画像データを静止画像データとしてＲＡＭ１７１などに記憶する。
【０１４５】
＜本実施の形態に係る信号処理部の機能構成＞
以下では、図１〜図６、図１２を参照して、本実施の形態に係る表示装置１０２の信号処理部１９０の機能構成について説明する。なお、図１２は、本実施の形態に係る信号処理部１９０の機能構成を示すブロック図である。
【０１４６】
図１２を参照して、本実施の形態に係る信号処理部１９０は、サンプリング部１９１と、補正処理部１９２と、輪郭補正部１９３と、ホワイトバランス部１９４と、ガンマ処理部１９５と、傷補正部１９６と、色空間変換部１９７とを含む。上述したように、これらの各ブロックの機能は、ＣＰＵがプログラムを実行することによって実現してもよいし、各々を専用のハードウェア回路等によって実現してもよい。
【０１４７】
まず、サンプリング部１９１は、赤光センサ回路１４４Ｒからの出力（赤出力信号）を受け付けて、赤出力信号（アナログ信号）を赤デジタルデータへと変換する。サンプリング部１９１は、緑光センサ回路１４４Ｇからの出力（緑出力信号）を受け付けて、緑出力信号（アナログ信号）を緑デジタルデータへと変換する。サンプリング部１９１は、青光センサ回路１４４Ｂからの出力（青出力信号）を受け付けて、青出力信号（アナログ信号）を青デジタルデータへと変換する。
【０１４８】
前述したように、赤出力信号は、液晶パネル１４０の赤光センサ回路１４４Ｒからの出力電圧の値である。そして、赤デジタルデータは、赤光センサ回路１４４Ｒに入射された光の強度（明度）を示す。
【０１４９】
緑出力信号は、液晶パネル１４０の緑光センサ回路１４４Ｇからの出力電圧の値である。そして、緑デジタルデータは、緑光センサ回路１４４Ｇに入射された光の強度を示す。
【０１５０】
青出力信号は、液晶パネル１４０の青光センサ回路１４４Ｂからの出力電圧の値である。そして、青デジタルデータは、青光センサ回路１４４Ｂに入射された光の強度を示す。
【０１５１】
補正処理部１９２は、静止画像撮影モードにおいて、サンプリング部１９１からのデジタルデータに基づいて、各光センサ群１４４毎に、４つ（２×２）の画素データを生成する。ここで、画素データの各々は、Ｒデータ、Ｇデータ、Ｂデータを含む。より詳細には、補正処理部１９２は、対象となる光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからの（サンプリング処理後の）デジタルデータと、当該対象となる光センサ群１４４の周囲に配置される光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータとに基づいて、光センサ群１４４に対応する４つの画素データを生成する。
【０１５２】
（補完処理）
以下、補正処理部１９２が実行する補完処理（画素データ生成処理）について説明する。図１を参照して、本実施の形態に係る補正処理部１９２は、静止画像撮影モードにおいては、光センサ群１４４毎に、２×２の画素データを生成する。ここで、２×２の画素データは、仮想の左上光センサ群１４４ＬＵに対応する左上画素データと、仮想の左下光センサ群１４４ＬＤに対応する左下画素データと、仮想の右下光センサ群１４４ＲＤに対応する右下画素データと、仮想の右上光センサ群１４４ＲＵに対応する右上画素データとを含む。
【０１５３】
なお、仮想の左上光センサ群１４４ＬＵは、光センサ群１４４のうち、図１における２点鎖線で囲まれる左上の領域である。仮想の左下光センサ群１４４ＬＤは、光センサ群１４４のうち、図１における２点鎖線で囲まれる左下の領域である。仮想の右下光センサ群１４４ＲＤは、光センサ群１４４のうち、図１における２点鎖線で囲まれる右下の領域である。仮想の右上光センサ群１４４ＲＵは、光センサ群１４４のうち、図１における２点鎖線で囲まれる右上の領域である。
【０１５４】
まず、補正処理部１９２が、仮想の左上光センサ群１４４ＬＵに対応する左上画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する処理について説明する。図１３は、補正処理部１９２による仮想の左上光センサ群１４４ＬＵに対応する左上画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する際の処理方法を示すイメージ図である。
【０１５５】
なお、図１３において、Ｒ１１は、対象となる光センサ群１４４の左上に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ１２は、対象となる光センサ群１４４の左側に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ１３は、対象となる光センサ群１４４の左下に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ２１は、対象となる光センサ群１４４の上側に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ２２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ２３は、対象となる光センサ群１４４の下側に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ３１は、対象となる光センサ群１４４の右上に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ３２は、対象となる光センサ群１４４の右側に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。Ｒ３３は、対象となる光センサ群１４４の右下に配置される光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータを示す。
【０１５６】
同様に、Ｇ１１は、対象となる光センサ群１４４の左上に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ１２は、対象となる光センサ群１４４の左側に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ１３は、対象となる光センサ群１４４の左下に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ２１は、対象となる光センサ群１４４の上側に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ２２は、対象となる光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ２３は、対象となる光センサ群１４４の下側に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ３１は、対象となる光センサ群１４４の右上に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ３２は、対象となる光センサ群１４４の右側に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。Ｇ３３は、対象となる光センサ群１４４の右下に配置される光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータを示す。
【０１５７】
同様に、Ｂ１１は、対象となる光センサ群１４４の左上に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ１２は、対象となる光センサ群１４４の左側に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ１３は、対象となる光センサ群１４４の左下に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ２１は、対象となる光センサ群１４４の上側に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ２２は、対象となる光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ２３は、対象となる光センサ群１４４の下側に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ３１は、対象となる光センサ群１４４の右上に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ３２は、対象となる光センサ群１４４の右側に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。Ｂ３３は、対象となる光センサ群１４４の右下に配置される光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータを示す。
【０１５８】
図１および図１３を参照して、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータと、対象となる仮想の左上光センサ群１４４ＬＵの中心位置ＬＵに最も近い他の光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータとに基づいて、左上画素データのＲデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＲデータとすることができる。
【０１５９】
補正処理部１９２は、仮想の左上光センサ群１４４ＬＵの中心位置からの距離に応じて複数の赤光センサ回路１４４Ｒからのデジタルデータに重み付けした加重平均値をＲデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（１）に基づいて、左上画素データのＲデータを計算する。
【０１６０】
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１）
ここで、
Ｐｘ：各画素回路１４１Ｒ，１４１Ｇ，１４１Ｂの横サイズ
Ｐｙ：各画素回路１４１Ｒ，１４１Ｇ，１４１Ｂの縦サイズ
Ｓｘ：各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂの横サイズ
Ｓｙ：各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂの縦サイズ
Ｋ＝（Ｐｙ＋Ｓｙ）／４
である。
【０１６１】
同様に、補正処理部１９２は、対象となる光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータに基づいて、左上画素データのＧデータを生成する。すなわち、本実施の形態においては、補正処理部１９２は、以下の式（２）に基づいて、左上画素データのＧデータを計算する
Ｇ＝Ｇ２２・・・（２）
同様に、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータと、対象となる仮想の左上光センサ群１４４ＬＵの中心位置ＬＵに最も近い他の光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータとに基づいて、左上画素データのＢデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＢデータとすることができる。
【０１６２】
補正処理部１９２は、仮想の左上光センサ群１４４ＬＵの中心位置ＬＵからの距離に応じて複数の青光センサ回路１４４Ｂからのデジタルデータに重み付けした加重平均値をＢデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（３）に基づいて、左上画素データのＢデータを計算する。
【０１６３】
Ｂ＝Ｂ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３）
以上から、たとえば、Ｐｘ＝Ｓｘ＝Ｓｙ＝２、Ｐｙ＝５、Ｒ２１＝１０、Ｒ２２＝２、Ｂ１１＝２０、Ｂ２２＝１の場合には、
Ｋ＝１．７５
Ｒ＝７．２
Ｂ＝１３．３５
となる。
【０１６４】
次に、補正処理部１９２が、仮想の左下光センサ群１４４ＬＤに対応する左下画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する処理について説明する。図１４は、補正処理部１９２による仮想の左下光センサ群１４４ＬＤに対応する左下画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する際の処理方法を示すイメージ図である。なお、各種変数の定義は、図１３のそれと同様であるため、ここでは説明を繰り返さない。
【０１６５】
図１および図１４を参照して、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータに基づいて、左下画素データのＲデータを生成する。すなわち、本実施の形態においては、補正処理部１９２は、以下の式（４）に基づいて、左上画素データのＲデータを計算する。
【０１６６】
Ｒ＝Ｒ２２・・・（４）
同様に、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータと、対象となる仮想の左下光センサ群１４４ＬＤの中心位置ＬＤに最も近い他の光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータに基づいて、左下画素データのＧデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＧデータとすることができる。
【０１６７】
補正処理部１９２は、仮想の左下光センサ群１４４ＬＤの中心位置ＬＤからの距離に応じて複数の緑光センサ回路１４４Ｇからのデジタルデータに重み付けした加重平均値をＧデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（５）に基づいて、左上画素データのＢデータを計算する。
【０１６８】
Ｇ＝Ｇ２３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（５）
同様に、補正処理部１９２は、対象となる光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータと、対象となる仮想の左下光センサ群１４４ＬＤの中心位置ＬＤに最も近い他の光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータとに基づいて、左下画素データのＢデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＢデータとすることができる。
【０１６９】
補正処理部１９２は、仮想の左下光センサ群１４４ＬＤの中心位置ＬＤからの距離に応じて複数の青光センサ回路１４４Ｂからのデジタルデータに重み付けした加重平均値をＢデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（６）に基づいて、左下画素データのＢデータを計算する。
【０１７０】
Ｂ＝Ｂ１２×２／３＋Ｂ２２×１／３・・・（６）
ここでは、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂのセンサー幅が等しいことから、説明のために計算を簡略化している。すなわち、補正処理部１９２は、左下光センサ群１４４ＬＤの中心位置ＬＤに近い青光センサ回路１４４ＢからのデジタルデータＢ１２に２／３を乗じて、左下光センサ群１４４ＬＤの中心位置ＬＤから遠い青光センサ回路１４４ＢからのデジタルデータＢ２２に１／３を乗じる。
【０１７１】
以上から、たとえば、Ｐｘ＝Ｓｘ＝Ｓｙ＝２、Ｐｙ＝５、Ｇ２２＝１０、Ｇ２３＝２、Ｂ１２＝２０、Ｂ２２＝１の場合には、
Ｋ＝１．７５
Ｇ＝４．８
Ｂ＝１３．６７
となる。
【０１７２】
次に、補正処理部１９２が、仮想の右下光センサ群１４４ＲＤに対応する右下画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する処理について説明する。図１５は、補正処理部１９２による仮想の右下光センサ群１４４ＲＤに対応する右下画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する際の処理方法を示すイメージ図である。なお、各種変数の定義は、図１３のそれと同様であるため、ここでは説明を繰り返さない。
【０１７３】
図１および図１５を参照して、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータと、対象となる仮想の右下光センサ群１４４ＲＤの中心位置ＲＵに最も近い他の光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータとに基づいて、右下画素データのＲデータを生成する。本実施の形態においては、補正処理部１９２は、以下の式（７）に基づいて、右下画素データのＲデータを計算する。
【０１７４】
Ｒ＝Ｒ３２×２／３＋Ｒ２２×１／３・・・（７）
ここでは、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂのセンサー幅が等しいことから、説明のために計算を簡略化している。すなわち、補正処理部１９２は、右下光センサ群１４４ＲＤの中心位置ＲＤに近い赤光センサ回路１４４ＲからのデジタルデータＲ３２に２／３を乗じて、右下光センサ群１４４ＲＤの中心位置ＲＤから遠い赤光センサ回路１４４ＲからのデジタルデータＲ２２に１／３を乗じる。
【０１７５】
同様に、補正処理部１９２は、対象となる光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータと、対象となる仮想の右下光センサ群１４４ＲＤの中心位置ＲＤに最も近い他の光センサ回路１４４の緑光センサ回路１４４Ｇからのデジタルデータとに基づいて、右下画素データのＧデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＧデータとすることができる。
【０１７６】
補正処理部１９２は、仮想の右下光センサ群１４４ＲＤの中心位置ＲＤからの距離に応じて複数の緑光センサ回路１４４Ｇからのデジタルデータに重み付けした加重平均値をＧデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（８）に基づいて、右下画素データのＧデータを計算する。
【０１７７】
Ｇ＝Ｇ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ３３×Ｋ／Ｐｙ・・・（８）
同様に、補正処理部１９２は、対称となる光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータに基づいて、右下画素データのＢデータを生成する。すなわち、本実施の形態においては、補正処理部１９２は、以下の式（９）に基づいて、右下画素データのＢデータを計算する。
【０１７８】
Ｂ＝Ｂ２２・・・（９）
以上から、たとえば、Ｐｘ＝Ｓｘ＝Ｓｙ＝２、Ｐｙ＝５、Ｒ２２＝１、Ｒ３２＝２０、Ｇ２２＝１０、Ｇ３３＝２の場合には、
Ｋ＝１．７５
Ｒ＝１３．６７
Ｇ＝７．２
となる。
【０１７９】
次に、補正処理部１９２が、仮想の右上光センサ群１４４ＲＵに対応する右上画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する処理について説明する。図１６は、補正処理部１９２による仮想の右上光センサ群１４４ＲＵに対応する右上画素データ（Ｒデータ、Ｇデータ、Ｂデータ）を生成する際の処理方法を示すイメージ図である。なお、各種変数の定義は、図１３のそれと同様であるため、ここでは説明を繰り返さない。
【０１８０】
図１および図１６を参照して、補正処理部１９２は、対象となる光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータと、対象となる仮想の右上光センサ群１４４ＲＵの中心位置ＲＵに最も近い他の光センサ群１４４の赤光センサ回路１４４Ｒからのデジタルデータとに基づいて、右上画素データのＲデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＲデータとすることができる。
【０１８１】
補正処理部１９２は、仮想の右上光センサ群１４４ＲＵの中心位置ＲＵからの距離に応じて複数の赤光センサ回路１４４Ｒからのデジタルデータに重み付けした加重平均値をＲデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（１０）に基づいて、右上画素データのＲデータを計算する。
【０１８２】
Ｒ＝Ｒ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０）
同様に、補正処理部１９２は、対象となる光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータと、対象となる仮想の右上光センサ群１４４ＲＵの中心位置ＲＵに最も近い他の光センサ群１４４の緑光センサ回路１４４Ｇからのデジタルデータとに基づいて、右上画素データのＧデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＧデータとすることができる。
【０１８３】
補正処理部１９２は、仮想の右上光センサ群１４４ＲＵの中心位置ＲＵからの距離に応じて複数の緑光センサ回路１４４Ｇからのデジタルデータに重み付けした加重平均値をＧデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（１１）に基づいて、左上画素データのＧデータを計算する。
【０１８４】
Ｇ＝Ｇ２２×２／３＋Ｇ３２×１／３・・・（１１）
ここでは、各光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂのセンサー幅が等しいことから、説明のために計算を簡略化している。すなわち、補正処理部１９２は、右上光センサ群１４４ＲＵの中心位置ＲＵに近い緑光センサ回路１４４ＧからのデジタルデータＧ２２に２／３を乗じて、右上光センサ群１４４ＲＵの中心位置ＲＵから遠い緑光センサ回路１４４ＧからのデジタルデータＧ３２に１／３を乗じる。
【０１８５】
同様に、補正処理部１９２は、対象となる光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータと、対象となる仮想の右上光センサ群１４４ＲＵの中心位置ＲＵに最も近い他の光センサ群１４４の青光センサ回路１４４Ｂからのデジタルデータとに基づいて、右上画素データのＢデータを生成する。たとえば、補正処理部１９２は、当該デジタルデータの平均値をＢデータとすることができる。
【０１８６】
補正処理部１９２は、仮想の右上光センサ群１４４ＲＵの中心位置ＲＵからの距離に応じて複数の緑光センサ回路１４４Ｇからのデジタルデータに重み付けした加重平均値をＢデータとして出力してもよい。本実施の形態においては、補正処理部１９２は、以下の式（１２）に基づいて、左上画素データのＢデータを計算する。
【０１８７】
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２）
以上から、たとえば、Ｐｘ＝Ｓｘ＝Ｓｙ＝２、Ｐｙ＝５、Ｒ２２＝１、Ｒ３１＝２０、Ｇ２２＝１０、Ｇ３２＝２、Ｂ２１＝２０、Ｂ２２＝１の場合には、
Ｋ＝１．７５
Ｒ＝１３．３５
Ｇ＝７．３３３
Ｂ＝１３．３５
となる。
【０１８８】
以上のようにして、本実施の形態においては、静止画像撮影モードにおいて、補正処理部１９２は、光センサ群１４４毎に、２×２の画素データを取得することができる。その結果、本実施の形態においては、静止画像撮影モードにおいて、信号処理部１９０は、光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからの電気信号を有効に利用して、より精緻でより滑らかな画像データを生成することができる。
【０１８９】
図１２に戻って、動画モード撮影モードにおいて、補正処理部１９２は、サンプリング部１９１からのデジタルデータに基づいて、各光センサ群１４４毎に、１つの画素データを生成する。本実施の形態に係る補正処理部１９２は、各光センサ群１４４毎の画素データとして、すなわち各画素群１４１毎の画素データとして、Ｒデータ、Ｇデータ、Ｂデータを生成する。より詳細には、補正処理部１９２は、対象となる光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからの（サンプリング処理後の）デジタルデータのそれぞれに基づいて、光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂのそれぞれに対応するＲデータ、Ｇデータ、Ｂデータを生成する。
【０１９０】
輪郭補正部１９３は、画素データから構成される画像データに基づいて、画像を、その輪郭部（エッジ部）をくっきりとさせてハードな画像にしたり、逆に淡いソフトな画像にしたりする。たとえば、輪郭補正部１９３は、画像の輪郭部分の強度（輝度）を高めて、画像の解像度を高める。
【０１９１】
ホワイトバランス部１９４は、白レベルの調整を行う。ホワイトバランス部１９４は、入力の白とするべき部分のＲ，Ｇ，Ｂのゲインを決めて、フレーム内の画素に対してゲインをかける。
【０１９２】
ガンマ処理部１９５は、出力デバイスのγに合わせて、画像データを補正する。すなわち、ガンマ処理部１９５は、画像処理エンジン１８０やＣＰＵ１１０から出力されるカラー情報と実際の液晶パネル１４０における輝度とが比例関係になるように、画像データの値を修正する。たとえば、ガンマ処理部１９５は、液晶パネル１４０のγ（γ＝２．２）に合わせて、画素データの値にγ（γ＝１／２．２＝０．４５）を乗ずる。
【０１９３】
傷補正部１９６は、液晶パネル１４０の画素欠陥による画素飛びが目立たないように、画像データを補正する。
【０１９４】
色空間変換部１９７は、たとえば画像処理エンジン１８０がＹＵＶにて画像データを出力する場合に、画像データに色空間上の変換を行なう。ここで、ＹＵＶとは、各画素データを、輝度信号（Ｙ）と輝度信号と青色成分の差（Ｕ）と輝度信号と赤色成分の差（Ｖ）との３つの情報で色を表す形式をいう。たとえば、ＩＴＵ−Ｒ ＢＴ．６０１の場合、色空間変換部１９７は、画像データを構成するＲデータＲとＧデータＧとＢデータＢを以下のように変換する。
【０１９５】
Ｙ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｕ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
Ｖ＝ ０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
上記のように構成される信号処理部１９０は、生成および補正（修正）した画像データを、内部ＩＦ１７８を介して本体装置１０１のＣＰＵ１１０などに入力する。
【０１９６】
＜液晶パネルに関する他の実施の形態＞
図１７は、本実施の形態に係る液晶パネル１４０を示すイメージ図である。図１７を参照して、本実施の形態においては、液晶パネル１４０は、画素群１４１および光センサ群１４４毎に、左上部に赤画素回路１４１Ｒが配置され、左下部に赤光センサ回路１４４Ｒが配置され、中央上部に緑光センサ回路１４４Ｇが配置され、中央下部に緑画素回路１４１Ｇが配置され、右上部に青画素回路１４１Ｂが配置され、右下部に青光センサ回路１４４Ｂが配置される。
【０１９７】
そして、液晶パネル１４０には、上記のような画素群１４１および光センサ群１４４のセットが、マトリクス状に配置されている。
【０１９８】
図１８は、実施の形態２に係る液晶パネル１４０Ｂを示すイメージ図である。図１８を参照して、液晶パネル１４０Ｂは、画素群１４１および光センサ群１４４毎に、左上部に赤画素回路１４１Ｒが配置され、左下部に赤光センサ回路１４４Ｒが配置され、中央上部に緑画素回路１４１Ｇが配置され、中央下部に緑光センサ回路１４４Ｇが配置され、右上部に青画素回路１４１Ｂが配置され、右下部に青光センサ回路１４４Ｂが配置されてもよい。
【０１９９】
そして、液晶パネル１４０Ｂには、上記のような画素群１４１および光センサ群１４４のセットが、マトリクス状に配置されている。
【０２００】
このような液晶パネル１４０Ｂの場合であっても、補正処理部１９２は、上述したように、対象となる光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータと、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵの中心位置ＬＵ，ＬＤ，ＲＤ，ＲＵに最も近い光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータとに基づいて、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵに対する画素データを生成する。
【０２０１】
この場合における補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。
【０２０２】
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１−２）
Ｇ＝Ｇ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ１１×Ｋ／Ｐｙ・・・（２−２）
Ｂ＝Ｂ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３−２）
Ｒ＝Ｒ２２・・・（４−２）
Ｇ＝Ｇ２２×２／３＋Ｇ１２×１／３・・・（５−２）
Ｂ＝Ｂ１２×２／３＋Ｂ２２×１／３・・・（６−２）
Ｒ＝Ｒ３２×２／３＋Ｒ２２×１／３・・・（７−２）
Ｇ＝Ｇ２２×２／３＋Ｇ３２×１／３・・・（８−２）
Ｂ＝Ｂ２２・・・（９−２）
Ｒ＝Ｒ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−２）
Ｇ＝Ｇ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ３１×Ｋ／Ｐｙ・・・（１１−２）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−２）
図１９は、実施の形態３に係る液晶パネル１４０Ｃを示すイメージ図である。図１９を参照して、液晶パネル１４０Ｃには、画素群１４１および光センサ群１４４毎に、左上部に赤画素回路１４１Ｒが配置され、左下部に赤光センサ回路１４４Ｒが配置され、中央上部に緑光センサ回路１４４Ｇが配置され、中央下部に緑画素回路１４１Ｇが配置され、右上部に青画素回路１４１Ｂが配置され、右下部に青光センサ回路１４４Ｂが配置される。
【０２０３】
そして、赤光センサ回路１４４Ｒの下方には青画素回路１４１Ｂが配置され、緑画素回路１４１Ｇの下方には赤画素回路１４１Ｒが配置され、青光センサ回路１４４Ｂの下方には緑光センサ回路１４４Ｇが配置される。
【０２０４】
このような液晶パネル１４０Ｃの場合であっても、補正処理部１９２は、上述したように、対象となる光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータと、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵの中心位置ＬＵ，ＬＤ，ＲＤ，ＲＵに最も近い光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータとに基づいて、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵに対する画素データを生成する。
【０２０５】
この場合における補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。以下では、対象とする光センサ群１４４からの赤デジタルデータをＲ２２、対象とする光センサ群１４４からの緑デジタルデータをＧ２２、対象とする光センサ群１４４からの青デジタルデータをＢ２２とする。また、対象とする光センサ群１４４に、左から順に赤光センサ回路１４４Ｒ、緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂが配置されているものとする。
【０２０６】
Ｒ＝Ｒ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１−３）
Ｇ＝Ｇ２２×２／３＋Ｇ１２×１／３・・・（２−３）
Ｂ＝Ｂ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ１１×Ｋ／Ｐｙ・・・（３−３）
Ｒ＝Ｒ２２・・・（４−３）
Ｇ＝Ｇ１３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（５−３）
Ｂ＝Ｂ１２×２／３＋Ｂ２２×１／３・・・（６−３）
Ｒ＝Ｒ３２×２／３＋Ｒ２２×１／３・・・（７−３）
Ｇ＝Ｇ２３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（８−３）
Ｂ＝Ｂ２２・・・（９−３）
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−３）
Ｇ＝Ｇ２２×２／３＋Ｇ３２×１／３・・・（１１−３）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−３）
対象とする光センサ群１４４に、左から順に青光センサ回路１４４Ｂ、赤光センサ回路１４４Ｒ、緑光センサ回路１４４Ｇが配置されている場合、補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。
【０２０７】
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１−４）
Ｇ＝Ｇ１２×２／３＋Ｇ２２×１／３・・・（２−４）
Ｂ＝Ｂ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３−４）
Ｒ＝Ｒ２２×２／３＋Ｒ１２×１／３・・・（４−４）
Ｇ＝Ｇ２３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（５−４）
Ｂ＝Ｂ２２・・・（６−４）
Ｒ＝Ｒ２２×２／３＋Ｒ３２×１／３・・・（７−４）
Ｇ＝Ｇ３３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（８−４）
Ｂ＝Ｂ３２×２／３＋Ｂ２２×１／３・・・（９−４）
Ｒ＝Ｒ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−４）
Ｇ＝Ｇ２２・・・（１１−４）
Ｂ＝Ｂ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−４）
対象とする光センサ群１４４に、左から順に緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂ、赤光センサ回路１４４Ｒが配置されている場合、補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。
【０２０８】
Ｒ＝Ｒ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ１１×Ｋ／Ｐｙ・・・（１−５）
Ｇ＝Ｇ２２・・・（２−５）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３−５）
Ｒ＝Ｒ２２×２／３＋Ｒ１２×１／３・・・（４−５）
Ｇ＝Ｇ２３×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（５−５）
Ｂ＝Ｂ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ１２×Ｋ／Ｐｙ・・・（６−５）
Ｒ＝Ｒ２２・・・（７−５）
Ｇ＝Ｇ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ３３×Ｋ／Ｐｙ・・・（８−５）
Ｂ＝Ｂ２２×２／３＋Ｂ３２×１／３・・・（９−５）
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−５）
Ｇ＝Ｇ３２×２／３＋Ｇ２２×１／３・・・（１１−５）
Ｂ＝Ｂ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−５）
図２０は、実施の形態４に係る液晶パネル１４０Ｄを示すイメージ図である。図２０を参照して、液晶パネル１４０Ｄには、画素群１４１および光センサ群１４４毎に、左上部に赤画素回路１４１Ｒが配置され、左下部に赤光センサ回路１４４Ｒが配置され、中央上部に緑画素回路１４１Ｇが配置され、中央下部に緑光センサ回路１４４Ｇが配置され、右上部に青画素回路１４１Ｂが配置され、右下部に青光センサ回路１４４Ｂが配置される。
【０２０９】
そして、赤光センサ回路１４４Ｒの下方には青画素回路１４１Ｂが配置され、緑光センサ回路１４４Ｇの下方には赤画素回路１４１Ｒが配置され、青光センサ回路１４４Ｂの下方には緑画素回路１４１Ｇが配置される。
【０２１０】
このような液晶パネル１４０Ｄの場合であっても、補正処理部１９２は、上述したように、対象となる光センサ群１４４の光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータと、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵの中心位置ＬＵ，ＬＤ，ＲＤ，ＲＵに最も近い光センサ回路１４４Ｒ，１４４Ｇ，１４４Ｂからのデジタルデータとに基づいて、対象となる仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵに対する画素データを生成する。
【０２１１】
この場合における補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。以下では、対象とする光センサ群１４４からの赤デジタルデータをＲ２２、対象とする光センサ群１４４からの緑デジタルデータをＧ２２、対象とする光センサ群１４４からの青デジタルデータをＢ２２とする。また、対象とする光センサ群１４４に、左から順に赤光センサ回路１４４Ｒ、緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂが配置されているものとする。
【０２１２】
Ｒ＝Ｒ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１−６）
Ｇ＝Ｇ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（２−６）
Ｂ＝Ｂ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ１１×Ｋ／Ｐｙ・・・（３−６）
Ｒ＝Ｒ２２・・・（４−６）
Ｇ＝Ｇ２２×２／３＋Ｇ１２×１／３・・・（５−６）
Ｂ＝Ｂ１２×２／３＋Ｂ２２×１／３・・・（６−６）
Ｒ＝Ｒ３２×２／３＋Ｒ２２×１／３・・・（７−６）
Ｇ＝Ｇ２２×２／３＋Ｇ３２×１／３・・・（８−６）
Ｂ＝Ｂ２２・・・（９−６）
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−６）
Ｇ＝Ｇ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（１１−６）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−６）
対象とする光センサ群１４４に、左から順に青光センサ回路１４４Ｂ、赤光センサ回路１４４Ｒ、緑光センサ回路１４４Ｇが配置されている場合、補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。
【０２１３】
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１−７）
Ｇ＝Ｇ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ１１×Ｋ／Ｐｙ・・・（２−７）
Ｂ＝Ｂ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３−７）
Ｒ＝Ｒ２２×２／３＋Ｒ１２×１／３・・・（４−７）
Ｇ＝Ｇ１２×２／３＋Ｇ２２×１／３・・・（５−７）
Ｂ＝Ｂ２２・・・（６−７）
Ｒ＝Ｒ２２×２／３＋Ｒ３２×１／３・・・（７−７）
Ｇ＝Ｇ２２・・・（８−７）
Ｂ＝Ｂ３２×２／３＋Ｂ２２×１／３・・・（９−７）
Ｒ＝Ｒ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−７）
Ｇ＝Ｇ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（１１−７）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−７）
対象とする光センサ群１４４に、左から順に緑光センサ回路１４４Ｇ、青光センサ回路１４４Ｂ、赤光センサ回路１４４Ｒが配置されている場合、補正処理部１９２は、以下の式に基づいて、仮想の光センサ群１４４ＬＵ，１４４ＬＤ，１４４ＲＤ，１４４ＲＵのそれぞれに対応する画素データのＲデータ、Ｇデータ、Ｂデータを計算する。
【０２１４】
Ｒ＝Ｒ２２×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ１１×Ｋ／Ｐｙ・・・（１−８）
Ｇ＝Ｇ１１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（２−８）
Ｂ＝Ｂ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（３−８）
Ｒ＝Ｒ１２×２／３＋Ｒ２２×１／３・・・（４−８）
Ｇ＝Ｇ２２・・・（５−８）
Ｂ＝Ｂ２２×２／３＋Ｂ１２×１／３・・・（６−８）
Ｒ＝Ｒ２２・・・（７−８）
Ｇ＝Ｇ３２×２／３＋Ｇ２２×１／３・・・（８−８）
Ｂ＝Ｂ２２×２／３＋Ｂ３２×１／３・・・（９−８）
Ｒ＝Ｒ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｒ２２×Ｋ／Ｐｙ・・・（１０−８）
Ｇ＝Ｇ２１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｇ２２×Ｋ／Ｐｙ・・・（１１−８）
Ｂ＝Ｂ３１×（Ｐｙ−Ｋ）／Ｐｙ＋Ｂ２２×Ｋ／Ｐｙ・・・（１２−８）
＜その他の実施の形態＞
本発明は、画像処理エンジン１８０（信号処理部１９０）あるいは他の装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
【０２１５】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２１６】
プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭ（マスクＲＯＭ、フラッシュＥＥＰＲＯＭなど）などを用いることができる。
【０２１７】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２１８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２１９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２２０】
【図１】本実施の形態に係る液晶パネルと生成される画素データとの関係を示すイメージ図である。
【図２】電子機器のハードウェア構成を表わすブロック図である。
【図３】液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。
【図４】液晶パネルとバックライトとの断面図である。
【図５】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図６】スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。
【図７】センシングコマンドの概略構成を示した図である。
【図８】センシングコマンドの各領域におけるデータの値と当該値が示す意味内容とを示した図である。
【図９】応答データの概略構成を示した図である。
【図１０】指をスキャンすることにより得られた画像を示した図である。
【図１１】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図１２】本実施の形態に係る信号処理部の機能構成を示すブロック図である。
【図１３】補正処理部による左上画素データを生成する際の処理方法を示すイメージ図である。
【図１４】補正処理部による左下画素データを生成する際の処理方法を示すイメージ図である。
【図１５】補正処理部による右下画素データを生成する際の処理方法を示すイメージ図である。
【図１６】補正処理部による右上画素データを生成する際の処理方法を示すイメージ図である。
【図１７】実施の形態１に係る液晶パネルを示すイメージ図である。
【図１８】実施の形態２に係る液晶パネルを示すイメージ図である。
【図１９】実施の形態３に係る液晶パネルを示すイメージ図である。
【図２０】実施の形態４に係る液晶パネルを示すイメージ図である。
【符号の説明】
【０２２１】
１００ 電子機器、１０１ 本体装置、１０２ 表示装置、１１０ ＣＰＵ、１３０ ドライバ、１３１ 走査信号線駆動回路、１３２ データ信号線駆動回路、１３３ 光センサ駆動回路、１３４ スイッチ、１３５ アンプ、１４０ 光センサ内蔵液晶パネル（液晶パネル）、１４１ 画素群、１４１Ｒ，１４１Ｇ，１４１Ｂ 画素回路、１４３ 電極対、１４３ａ 画素電極、１４３ｂ 対向電極、１４４ 光センサ群、１４４Ｒ，１４４Ｇ，１４４Ｂ 光センサ回路、１４５，１４５Ｒ，１４５Ｇ，１４５Ｂ フォトダイオード、１４６ コンデンサ、１５１Ａ アクティブマトリクス基板、１５１Ｂ 対向基板、１５２ 液晶層、１５３Ｂ，１５３Ｇ，１５３Ｒ カラーフィルタ、１５７ データ信号線、１６１ 偏光フィルタ、１６２ ガラス基板、１６３ 遮光膜、１６４ 配向膜、１７１ ＲＡＭ、１７３ メモリカードリーダライタ、１７４ 通信装置、１７５ マイク、１７６ スピーカ、１７７ 操作キー、１７９ バックライト、１８０ 画像処理エンジン、１８１ ドライバ制御部、１８２ タイマ、１７３１ メモリカード、１９０ 信号処理部、１９１ サンプリング部、１９２ 補正処理部、１９３ 輪郭補正部、１９４ ホワイトバランス部、１９５ ガンマ処理部、１９６ 傷補正部、１９７ 色空間変換部、ＤＢ１，ＤＢ２ データバス。
【特許請求の範囲】
【請求項１】
複数の光センサ群を備え、
前記複数の光センサ群の各々は、
第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、
第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、
第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含み、
前記第１から第３の出力信号に基づいて、前記光センサ群毎に２×２の画素データを生成する画像処理手段とをさらに備え、
前記画素データの各々は、前記第１の色成分の明度を示す第１の値と、前記第２の色成分の明度を示す第２の値と、前記第３の色成分の明度を示す第３の値とを含む、センサ装置。
【請求項２】
前記画像処理手段は、
前記第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するサンプリング手段と、
前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記画素データを生成する補正処理手段とを含む、請求項１に記載のセンサ装置。
【請求項３】
前記２×２の画素データは、左上画素データと左下画素データと右下画素データと右上画素データとを含み、
前記補正処理手段は、
前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の左上方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記左上画素データを生成し、
前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の左下方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記左下画素データを生成し、
前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の右下方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記右下画素データを生成し、
前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の右上方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記右上画素データを生成する、請求項２に記載のセンサ装置。
【請求項４】
前記画像処理手段は、
静止画像撮影モードにおいては、前記第１から第３の出力信号に基づいて、前記光センサ群毎に２×２の画素データを生成し、
動画像撮影モードにおいては、前記第１から第３の出力信号に基づいて、前記光センサ群毎に１つの画素データを生成する、請求項１から３のいずれかに記載のセンサ装置。
【請求項５】
前記複数の光センサ群は、マトリクス状に配置される、請求項１から４のいずれかに記載のセンサ装置。
【請求項６】
請求項１から５のいずれかに記載のセンサ装置と、
複数の画素群とを備え、
前記複数の画素群の各々は、
第１の入力信号に応じて前記第１の色成分を含む光を発するための第１の画素回路と、
第２の入力信号に応じて前記第２の色成分を含む光を発するための第２の画素回路と、
第３の入力信号に応じて前記第３の色成分を含む光を発するための第３の画素回路とを含む、表示装置。
【請求項７】
前記画素群は、前記光センサ群毎に配置される、請求項６に記載の表示装置。
【請求項８】
前記複数の画素群は、マトリクス状に配置される、請求項６または７に記載の表示装置。
【請求項９】
複数の光センサ群と画像処理部とを備えるセンサ装置における画像データ生成方法であって、
前記複数の光センサ群の各々は、
第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、
第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、
第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含み、
画像データ生成方法は、
画像処理部が、前記第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するステップと、
前記第１から第３のデータに基づいて、前記光センサ群毎に２×２の画素データを生成するステップとを備え、
前記画素データの各々は、前記第１の色成分の明度を示す第１の値と、前記第２の色成分の明度を示す第２の値と、前記第３の色成分の明度を示す第３の値とを含み、
前記２×２の画素データを生成するステップは、前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記画素データを生成するステップを含む、画像データ生成方法。
【請求項１０】
複数の光センサ群と画像処理部とを備えるセンサ装置に画像データを生成させるための画像データ生成プログラムであって、
前記複数の光センサ群の各々は、
第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、
第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、
第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含み、
画像データ生成プログラムは、前記画像処理部に、
前記第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するステップと、
前記第１から第３のデータに基づいて、前記光センサ群毎に２×２の画素データを生成するステップとを実行させ、
前記画素データの各々は、前記第１の色成分の明度を示す第１の値と、前記第２の色成分の明度を示す第２の値と、前記第３の色成分の明度を示す第３の値とを含み、
前記２×２の画素データを生成するステップは、前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記画素データを生成するステップを含む、画像データ生成プログラム。
【請求項１】
複数の光センサ群を備え、
前記複数の光センサ群の各々は、
第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、
第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、
第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含み、
前記第１から第３の出力信号に基づいて、前記光センサ群毎に２×２の画素データを生成する画像処理手段とをさらに備え、
前記画素データの各々は、前記第１の色成分の明度を示す第１の値と、前記第２の色成分の明度を示す第２の値と、前記第３の色成分の明度を示す第３の値とを含む、センサ装置。
【請求項２】
前記画像処理手段は、
前記第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するサンプリング手段と、
前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記画素データを生成する補正処理手段とを含む、請求項１に記載のセンサ装置。
【請求項３】
前記２×２の画素データは、左上画素データと左下画素データと右下画素データと右上画素データとを含み、
前記補正処理手段は、
前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の左上方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記左上画素データを生成し、
前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の左下方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記左下画素データを生成し、
前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の右下方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記右下画素データを生成し、
前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の右上方向に配置される光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記右上画素データを生成する、請求項２に記載のセンサ装置。
【請求項４】
前記画像処理手段は、
静止画像撮影モードにおいては、前記第１から第３の出力信号に基づいて、前記光センサ群毎に２×２の画素データを生成し、
動画像撮影モードにおいては、前記第１から第３の出力信号に基づいて、前記光センサ群毎に１つの画素データを生成する、請求項１から３のいずれかに記載のセンサ装置。
【請求項５】
前記複数の光センサ群は、マトリクス状に配置される、請求項１から４のいずれかに記載のセンサ装置。
【請求項６】
請求項１から５のいずれかに記載のセンサ装置と、
複数の画素群とを備え、
前記複数の画素群の各々は、
第１の入力信号に応じて前記第１の色成分を含む光を発するための第１の画素回路と、
第２の入力信号に応じて前記第２の色成分を含む光を発するための第２の画素回路と、
第３の入力信号に応じて前記第３の色成分を含む光を発するための第３の画素回路とを含む、表示装置。
【請求項７】
前記画素群は、前記光センサ群毎に配置される、請求項６に記載の表示装置。
【請求項８】
前記複数の画素群は、マトリクス状に配置される、請求項６または７に記載の表示装置。
【請求項９】
複数の光センサ群と画像処理部とを備えるセンサ装置における画像データ生成方法であって、
前記複数の光センサ群の各々は、
第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、
第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、
第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含み、
画像データ生成方法は、
画像処理部が、前記第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するステップと、
前記第１から第３のデータに基づいて、前記光センサ群毎に２×２の画素データを生成するステップとを備え、
前記画素データの各々は、前記第１の色成分の明度を示す第１の値と、前記第２の色成分の明度を示す第２の値と、前記第３の色成分の明度を示す第３の値とを含み、
前記２×２の画素データを生成するステップは、前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記画素データを生成するステップを含む、画像データ生成方法。
【請求項１０】
複数の光センサ群と画像処理部とを備えるセンサ装置に画像データを生成させるための画像データ生成プログラムであって、
前記複数の光センサ群の各々は、
第１の色成分を含む入射光を受けて第１の出力信号を出力する第１のセンサ回路と、
第２の色成分を含む入射光を受けて第２の出力信号を出力する第２のセンサ回路と、
第３の色成分を含む入射光を受けて第３の出力信号を出力する第３のセンサ回路とを含み、
画像データ生成プログラムは、前記画像処理部に、
前記第１から第３の出力信号のそれぞれに基づいて第１から第３のデータを生成するステップと、
前記第１から第３のデータに基づいて、前記光センサ群毎に２×２の画素データを生成するステップとを実行させ、
前記画素データの各々は、前記第１の色成分の明度を示す第１の値と、前記第２の色成分の明度を示す第２の値と、前記第３の色成分の明度を示す第３の値とを含み、
前記２×２の画素データを生成するステップは、前記光センサ群の各々に対応する前記第１から第３のデータと、前記光センサ群の周囲に配置される他の光センサ群に含まれる光センサ回路に対応する第１から第３のいずれかのデータとに基づいて、前記画素データを生成するステップを含む、画像データ生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−１５４２９９（Ｐ２０１０−１５４２９９Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３３０８５８（Ｐ２００８−３３０８５８）
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]