色検出／色出力装置、色検出／色出力プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出／色出力方法
【課題】面状部材の表示面上に、色鉛筆などで描画するような自然な感覚で電子的に描画できるようにする。
【解決手段】複数の画素回路３１及び光センサ６を含むセンサ内蔵液晶パネル３０１と、画素回路３１を発色させる画像表示処理部１８と、画像表示処理部１８が、画素回路３１を発色させた場合に、センサ内蔵液晶パネル３０１に接触するペンＰの像を、各光センサ６を用いてスキャンするスキャン処理部１２と、スキャン処理部１２によってスキャンされた、ペンＰの像のそれぞれに基づいて、ペンＰのセンサ内蔵液晶パネル３０１上におけるペン先の色を検出する色判定処理部１４Ａと、センサ内蔵液晶パネル３０１上に、色判定処理部１４Ａによって検出した色を表示する色判定結果表示画像作成部１８２を備える。
【解決手段】複数の画素回路３１及び光センサ６を含むセンサ内蔵液晶パネル３０１と、画素回路３１を発色させる画像表示処理部１８と、画像表示処理部１８が、画素回路３１を発色させた場合に、センサ内蔵液晶パネル３０１に接触するペンＰの像を、各光センサ６を用いてスキャンするスキャン処理部１２と、スキャン処理部１２によってスキャンされた、ペンＰの像のそれぞれに基づいて、ペンＰのセンサ内蔵液晶パネル３０１上におけるペン先の色を検出する色判定処理部１４Ａと、センサ内蔵液晶パネル３０１上に、色判定処理部１４Ａによって検出した色を表示する色判定結果表示画像作成部１８２を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色検出／色出力装置、色検出／色出力プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出／色出力方法に関するものであり、より詳細には、面状部材の表示面上に電子的な描画を行うことができる色検出／色出力装置、色検出／色出力プログラム及び該色検出／色出力プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに色検出／色出力方法に関するものである。
【背景技術】
【０００２】
携帯電話やＰＤＡ（Personal Digital Assistants）などの各種機器に、画像表示部として液晶ディスプレイを備えた画像表示装置が幅広く利用されていることは周知の通りである。
【０００３】
特に、ＰＤＡでは、古くからタッチセンサ（アナログ抵抗膜方式、静電容量方式）を備えることにより、直接指などを液晶ディスプレイに接触させることによって情報を入力するタッチ入力が可能となっている。また、携帯電話やその他の機器においても、タッチセンサを備えるセンサ内蔵型液晶表示装置の普及が期待されている。
【０００４】
一方、例えば、描画表示機能を有する電子黒板は、表示画面上に接触したペンなどの指示位置を認識し、その表示画面上の指示位置を含む所定領域において所定の色を発色させることで、表示画面上に描画できるようになっている。
【０００５】
このような電子黒板の機能を液晶ディスプレイなどの画像表示機能と組合せれば、ユーザの利便性をさらに向上させることができる。
【０００６】
表示画面上にペンなどを用いて電子的に描画する描画表示装置の従来例として、例えば、特許文献１には、電子黒板における入力色判定方法に関する技術が開示されている。
【０００７】
この電子黒板における入力色判定方法では、電子黒板に設けられたペンホルダから赤、青及び黒のフェルトペンのうちいずれの色のフェルトペンが残っているのかをペンホルダ内の色検出器により判定することで、ペンホルダ内に存在しない現在使用中のフェルトペンの色を判定するようになっている。
【０００８】
また、他の例として特許文献２には、ＣＡＤ（computer-aided design）における表示方法に関する技術が開示されている。
【０００９】
このＣＡＤにおける表示方法では、特定の色に対応したペン番号を入力できるようになっており、入力したペン番号に基づいて、当該ペン番号に対応する色で、表示画面上に描画できるようになっている。
【００１０】
また、さらに他の例として、特許文献３には、メッセージプリント方法に関する技術が開示されている。
【００１１】
このメッセージプリント方法では、写真データが表示された表示画面上にライトペンを用いてメッセージを書き込むことにより、写真データに手書きメッセージが書き込まれた状態でプリント写真がプリントアウトされるようになっている。なお、メッセージの色の選択は、表示画面に表示されたアイコン等をライトペンで選択することで行われるようになっている。
【００１２】
また、さらに他の例として、特許文献４には、座標検出装置に関する技術が開示されている。
【００１３】
この座標検出装置は、検出されたペンの太さでペンの動きに沿って描画を行うようになっている。
【００１４】
また、さらに他の例として、特許文献５には、入力用ペンを用いた入力装置に関する技術が開示されている。
【００１５】
この入力用ペンを用いた入力装置は、入力用のペン先に表示部を設け、該表示部に入力モードに応じた表示を行うようになっている。
【００１６】
また、さらに他の例として、特許文献６には、超薄型入出力一体型情報処理装置に関する技術が開示されている。
【００１７】
この超薄型入出力一体型情報処理装置では、イメージセンサと、ＴＦＴ液晶と、Ｒ（Red）、Ｇ（Green）及びＢ（Blue）のカラーフィルタを組合せて画像の読み取りや、文字認識を行うことができるようになっている。
【００１８】
また、さらに他の例として、特許文献７には、平面表示装置に関する技術が開示されている。
【００１９】
この平面表示装置では、光ペン１７１は青色のＬＥＤ６０１を用い、ペン先の光出射口６０２が表示パネル１４８と接触するか、もしくは一定距離以内に近づくと、ＬＥＤ６０１が点灯するようになっている。
【００２０】
また、ＬＥＤ６０１から放射された光は、ペン軸６０３の内面で反射して出射口６０２に導かれるようになっており、ＬＥＤ６０１の電源スイッチＳＷは、ペン先６１１に取り付けられたオンオフ部、近接センサである赤外線センサの検出部で制御されている。
【特許文献１】特開昭６１ −２１３９１８号公報（１９８６年 ９月２２日公開）
【特許文献２】特開平０２ −１２１０７２号公報（１９９０年 ５月 ８日公開）
【特許文献３】特開平１０ −２６８４４０号公報（１９９８年１０月 ９日公開）
【特許文献４】特開平 ７ −２００１３６号公報（１９９５年 ８月 ４日公開）
【特許文献５】特開平 ９ − ５４６５２号公報（１９９７年 ２月２５日公開）
【特許文献６】特開平 ４ −２８２６０９号公報（１９９２年１０月 ７日公開）
【特許文献７】特開２００６−２４３８５０号公報（２００６年 ９月１４日公開）
【特許文献８】特開平 １ −１８８０６９号公報（１９８９年 ７月２７日公開）
【特許文献９】特開平 ４ −３１３７２２号公報（１９９２年１１月 ５日公開）
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、前記従来のセンサ内蔵型液晶表示装置では、液晶ディスプレイ上に接触する接触物の色を直接検出することができなかったため、例えば、液晶ディスプレイ上にペンなどの入力装置を用いて描画を行っているペン先の色などの検出はできなかった。
【００２２】
特許文献４に記載された座標検出装置では、検出されたペンの太さでペンの動きに沿って描画を行うようになっているものの、表示画面上で電子的に描画を行っているペン先の色などを直接検出する方法については、開示されていない。
【００２３】
さらに、特許文献１〜３，５及び６のいずれにも、表示画面上で電子的に描画を行っているペン先の色を直接検出する方法については、開示されていない。
【００２４】
本発明は、前記従来の問題点に鑑みなされたものであって、その目的は、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に、色鉛筆で描画するような自然な感覚で電子的な描画を行うことができる色検出／色出力装置、色検出／色出力プログラム及び該色検出／色出力プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに色検出／色出力方法を提供することにある。
【課題を解決するための手段】
【００２５】
本発明の色検出／色出力装置は、前記課題を解決するために、複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材と、前記単位画素のそれぞれを発色させる発色制御手段と、前記発色制御手段が、前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御手段と、前記撮像制御手段によって撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出手段と、前記面状部材上に、前記色検出手段によって検出した色を表示する検出色表示制御手段とを備えることを特徴としている。
【００２６】
本発明の色検出／色出力方法は、前記課題を解決するために、複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材を用いた色検出／色出力方法であって、前記単位画素のそれぞれを発色させる発色制御ステップと、前記発色制御ステップで、前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御ステップと、前記撮像制御ステップで、撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出ステップと、前記面状部材上に、前記色検出ステップで検出した色を表示する検出色表示制御ステップとを含んでいることを特徴としている。
【００２７】
前記構成又は方法によれば、面状部材は、複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含んでいる。
【００２８】
したがって、面状部材の複数の単位画素を動作させることにより画像を、面状部材上（例えば、「所定の表示面」に表示することが考えられるので、以下、便宜上「表示面」と称して説明する。）に表示することが可能である。
【００２９】
また、面状部材の複数の単位画素が、発色（発光）するときの光を利用して、表示面上の接触物に光を当て、その反射光を面状部材の複数の撮像センサで検出することにより表示面上の接触物の像を撮像することが可能である。
【００３０】
以上の構成によれば、画像表示部と、画像撮像部とを別々の装置で構成する必要がないので、入出力一体型装置の小型化が可能となる。
【００３１】
また、前記構成又は方法によれば、発色制御手段（発色制御ステップで）は、前記単位画素のそれぞれを、発色させるようになっている。
【００３２】
また、前記構成又は方法によれば、撮像制御手段（撮像制御ステップで）は、前記発色制御手段が（前記発色制御ステップで）、前記単位画素のそれぞれを発色させた場合に、前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像するようになっている。
【００３３】
また、前記構成又は方法によれば、色検出手段（色検出ステップで）は、前記撮像制御手段によって（撮像制御ステップで）撮像された、前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出するようになっている。
【００３４】
さらに、前記構成又は方法によれば、検出色表示制御手段は、前記面状部材上（の表示面）に、前記色検出手段によって検出した色を表示するようになっている。
【００３５】
以上の構成又は方法によれば、面状部材（の表示面上）に接触した接触物の色を直接検出して、検出した色を表示面上に表示させることができる。
【００３６】
よって、入出力一体型ディスプレイ（面状部材）の表示面上に、色鉛筆で描画するような自然な感覚で電子的な描画を行うことができる。
【００３７】
ところで、毛筆などで描画する場合、厳密には、毛筆などの接触部分の太さは、リアルタイムに変化する。
【００３８】
しかしながら、特許文献４に記載された座標検出装置では、ペンの太さの検出のために、タブレットの入力面上でペンが指示する位置の前回検出した座標と今回検出した座標とから両位置の距離を算出し、この操作をｎ回繰り返すという複雑な動作が必要なので、一度検出したペンの太さを固定した描画は可能であると考えられるが、その後のペンの太さの変化に追随させたリアルタイムな描画は困難であるという別の課題が生じる。
【００３９】
このような課題を解決するために、本発明の色検出／色出力装置は、前記構成に加えて、前記接触物の像におけるエッジ部分に含まれる単位画素を特定すると共に、前記エッジ部分に含まれる単位画素に囲まれたエッジ領域を特定するエッジ領域特定手段を備えており、前記検出色表示制御手段は、前記エッジ領域特定手段によって特定された前記エッジ領域内を、前記色検出手段によって検出した色で表示することが好ましい。
【００４０】
前記構成によれば、エッジ領域特定手段は、前記接触物の像におけるエッジ部分に含まれる単位画素（エッジ画素）を特定する。また、このように特定されたエッジ画素に囲まれたエッジ領域を特定するようになっている。
【００４１】
なお、「エッジ画素」とは、接触物の像を構成する各単位画素のうち、明るさが急激に変化する部分（エッジ）における単位画素である。
【００４２】
また、接触物の像における単位画素毎の画素値とは、接触物の像の画像データにおける各単位画素に対応するデータ位置における画素値のことを意味する場合も含む広い概念である。
【００４３】
エッジ画素の特定は、例えば、画素値の勾配の大きさが所定の閾値以上である単位画素を特定すれば良い。
【００４４】
ここで、「画素値」の例としては、画素毎の「階調値」などが例示できる。
【００４５】
「画素値の勾配量」はベクトル量であり、大きさ（勾配の大きさ）と向き（勾配方向）とを持つ。
【００４６】
ここで、各勾配方向の分布は、例えば、ペン先が丸いペンのように接触物の接触部分が円形になるような場合には、ペン（接触物）の像におけるエッジ部分に囲まれたエッジ領域（エッジ部分に含まれる単位画素に、囲まれた領域）の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。
【００４７】
また、接触物の接触部分がその他の形状であっても、エッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、例えば、描画目的の接触物の種類に応じて、大きく変わることは無い。
【００４８】
よって、エッジ領域を特定すれば、概ね接触物の接触部分の形状を特定したことになる。これにより、例えば、ペンの太さに応じた描画が可能となる。
【００４９】
また、「画素値の勾配量」は、１フレームの撮像画像から得られる量である。よって、撮像制御手段によって撮像された、前記接触物の像毎にエッジ領域を特定することができる。よって、フレーム毎に、ペンの太さが変化しても、リアルタイムに表示を行うことができる。これにより、ペンの太さの変化に追随させたリアルタイムな描画を行うことが可能となる。
【００５０】
また、本発明の色検出／色出力装置は、前記構成に加えて、前記エッジ領域特定手段により、第１エッジ領域が特定された後に、第２エッジ領域が特定された場合に、前記エッジ領域特定手段が特定した、前記第１エッジ領域及び前記第２エッジ領域間を補間するための補間領域を特定する補間領域特定手段とを備えており、前記検出色表示制御手段は、前記第１エッジ領域内、前記第２エッジ領域内、及び前記補間領域内を、前記色検出手段によって検出した色で表示することが好ましい。
【００５１】
前記構成によれば、補間領域特定手段は、前記エッジ領域特定手段により、第１エッジ領域が特定された後に、第２エッジ領域が特定された場合に、前記エッジ領域特定手段が特定した、前記第１エッジ領域及び前記第２エッジ領域間を補間するための補間領域を特定するようになっている。
【００５２】
また、前記検出色表示制御手段は、前記第１エッジ領域内、前記第２エッジ領域内、及び前記補間領域内を、前記色検出手段によって検出した色で表示するようになっている。
【００５３】
よって、第１エッジ領域及び第２エッジ領域間をスムーズに繋いで色を表示できるので、例えば、赤く染められた毛筆状の接触物を用いた場合、赤い墨汁をつけた毛筆で描画するような自然な感覚で電子的な描画を行うことができる。
【００５４】
ところで、液晶ディスプレイに接触するペンなどのペン先の色を検出する方法としては、従来のＣＣＤ（Charge-coupled device）カメラの技術分野で行なわれている方法と同様にイメージセンサの前に３原色のフィルタを設けることなどにより色を検出することが考えられる。
【００５５】
このような従来の色検出／色出力方法に関する技術の一例として、特許文献７には、光源、イメージセンサ、カラーＴＦＴ液晶、及びカラーフィルタからなる超薄型入出力一体型情報処理装置に関する技術が開示されている。
【００５６】
この超薄型入出力一体型情報処理装置では、Ｒ（Red）、Ｇ（Green）及びＢ（Blue）の画素に対応してイメージセンサをそれぞれ配列することにより、カラーＴＦＴ液晶による画像表示と、表示画面上に載置された画像読み取り対象物のカラー画像の読み取りが可能となっている。
【００５７】
なお、この超薄型入出力一体型情報処理装置では、画像読み取り対象物のカラー画像の読み取りの際は、カラーＴＦＴ液晶のすべての画素を光が透過する状態とする点のみしか開示されていない。
【００５８】
また、この超薄型入出力一体型情報処理装置では、Ｒ、Ｇ及びＢの各画素に対応するサブピクセルごとにイメージセンサを設けている。
【００５９】
ここで、図１９（ａ）及び図１９（ｂ）に基づき、特許文献７に記載された超薄型入出力一体型情報処理装置の問題点について説明する。
【００６０】
図１９（ａ）及び図１９（ｂ）は、光源とイメージセンサとの間にカラーフィルタを設ける場合の、イメージセンサとカラーフィルタとの大きさの関係を説明するための概念図である。なお、イメージセンサはカラーフィルタの下に配置されているものとする。
【００６１】
なお、以下では、１ピクセルの画素に３つのサブピクセルが存在している場合について説明する。
【００６２】
図１９（ａ）は、特許文献７に開示された超薄型入出力一体型情報処理装置におけるイメージセンサとカラーフィルタとの大きさの関係を概念的に示したものであり、イメージセンサ３つのサブピクセルにＲ、Ｇ及びＢの３原色フィルタをそれぞれ設けた場合を示している。
【００６３】
このように、サブピクセル毎に、イメージセンサを設ける方法では、精細な加工が必要となりコスト面に問題があると共に、Ｒ、Ｇ及びＢ、１色当たりのイメージセンサの面積が小さくなり感度が低下してしまうという課題がある。
【００６４】
一方、例えば、図１９（ｂ）は、Ｒ、Ｇ及びＢの３原色フィルタのそれぞれのサイズを１ピクセルのサイズと同じ大きさとし、ピクセル毎にイメージセンサを設けた場合を概念的に示している。
【００６５】
この場合、３つのサブピクセル分の光を利用でき、イメージセンサのサイズも比較的大きくできるので、感度をおよそ３倍向上させることができるが、逆に解像度が１／３に低下してしまうという別の課題がある。
【００６６】
このような課題を解決するため、本発明の色検出／色出力装置は、前記構成に加えて、前記発色制御手段は、前記単位画素のそれぞれを、等色の原理を満たす第１色、第２色及び第３色で、順次発色させ、前記撮像制御手段は、前記発色制御手段が、前記単位画素のそれぞれを、前記第１色、第２色及び第３色で発色させる毎に、前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像し、前記色検出手段は、前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御手段によって撮像された、前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出することが好ましい。
【００６７】
前記構成によれば、色検出手段は、前記発色制御手段が、前記第１色、第２色及び第３色で（順次）発色させる毎に、前記撮像制御手段によって撮像された、前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出するようになっている。
【００６８】
ここで、「等色の原理」とは、色彩学の学術用語であり、すべての色は３つの色で表現できるという原理のことである。
【００６９】
また、対象物の色を検出するためには、等色の原理より、３つの異なる色を有する光を対象物に照射し、その反射光を検出すれば良い。
【００７０】
以上のように、前記第１色、第２色及び第３色で発色させて、接触物の接触部分の色を検出するようにすれば、接触物の接触部分の色が仮に第１色と同じ色であるような場合でも、残りの第２色及び第３色を発色させて撮像した撮像データを基に、色の検出を行うことができる。
【００７１】
また、「第１色、第２色及び第３色で発色させる」とは、まず、第１色を発色させ、次に第２色を発色させ、さらに第３色を発色させることを意味する。
【００７２】
ここで、色検出の精度向上の観点からは、第１色、第２色及び第３色を１度に発色させて、これらの３色が混色した状態を撮像した１つの撮像データを解析して色検出を行うよりも、等色の原理を満たす３色を第１色、第２色及び第３色を、発色させて、前記第１色、第２色及び第３色で発色させる毎に各撮像センサを用いて撮像した、撮像データを３つ用意して、これらの３つの撮像データを解析する方が好ましい。
【００７３】
なぜなら、等色の原理を満たす第１色、第２色及び第３色が混色した状態を撮像した撮像データ１つを解析して色検出を行うよりも、第１色、第２色及び第３色のそれぞれを分離した状態の３つの撮像データを解析して色検出を行う方が、分析が遥かに容易であり、検出精度も高いからである。
【００７４】
以上の構成によれば、例えば、単位画素毎に撮像センサを設けた場合でも、各単位画素は、少なくとも１つの撮像センサで、第１色、第２色及び第３色の３色分の撮像データを別々に得ることができる。
【００７５】
色検出の検出精度の観点からは、色画素毎に撮像センサを配置することが好ましいが、前記構成によれば、撮像センサの数が少なくても色検出の検出精度が比較的高いので、現状のセンサ面積（例えば、単位画素の数：撮像センサの数＝１：１）及び色検出の検出精度を確保しつつ、検出感度の低下を防止することができる。
【００７６】
また、前記構成によれば、検出感度を上げるために、単位画素中の３つの色画素から出射されるすべての光を用いて１つの色を発色させるようにしなくても良いので、解像度の劣化も防止することができる。
【００７７】
以上より、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができる。
【００７８】
また、本発明の色検出／色出力装置は、前記構成に加えて、前記発色制御手段は、前記色検出手段によって前記接触部分の色が検出された場合に、前記単位画素を前記第１色、第２色及び第３色で、順次発色させる動作を終了することが好ましい。
【００７９】
前記構成によれば、色検出手段により接触物の接触部分の色が検出されるまで、前記単位画素を発色させる動作を続けるので、接触物の接触部分の色を、確実に検出することができる。
【００８０】
また、一旦、色が検出された後は、発色動作を終了するので、重ねて色を検出するといった無駄な動作などを防止することができる。
【００８１】
また、本発明の色検出／色出力装置は、前記構成に加えて、前記第１色は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）及び白色からなる４色のうちのいずれかであり、
前記第２色は、該４色のうち、前記第１色でない残りの３色のうちのいずれかであり、
前記第３色は、該３色のうち、前記第２色でない残りの２色のうちのいずれかであることが好ましい。
【００８２】
前記構成によれば、画像表示装置に一般的に用いられているＲ画素、Ｇ画素及びＢ画素の集まりを単位画素とする画像表示装置に本願発明を適用することができる。
【００８３】
なお、単位画素を白色に発色させるには、Ｒ画素、Ｇ画素及びＢ画素のすべてを発色させれば良い。
【００８４】
本発明の色検出／色出力装置は、前記構成に加えて、前記接触物が前記面状部材に接触しているか否かを判定する接触判定手段を備えており、前記発色制御手段は、前記接触判定手段によって前記接触物が前記面状部材に接触していると判定された場合に、前記単位画素を、前記第１色、第２色及び第３色で、順次発色させることが好ましい。
【００８５】
前記構成によれば、接触判定手段が、接触物が面状部材に接触していると判定している場合にしか単位画素を、前記第１色、第２色及び第３色で順次発色させる動作を行わないので、色検出ができない場合に、色検出を行ってしまうなどといった無駄な検出動作を防止することができる。
【００８６】
ここで、図１９（ｃ）に基づき、前記第１色、第２色及び第３色を発色させる構成が有するさらに別の課題について説明する。
【００８７】
図１９（ｃ）は、従来のカラースキャナで、カラー画像に対してＲ、Ｇ及びＢの光を順次照射して、イメージセンサで画像の取り込みを行っているものを示す概念図である。
【００８８】
例えば、特許文献８及び９には、前記従来のカラースキャナの変形例として光源と原稿との間に液晶を設け、液晶にて光源色を変化させ色を取り込むスキャナが開示されている。
【００８９】
なお、特許文献８及び９に開示された技術では、いずれも画像表示用の画素を利用して色検出を行うという観点については、記載及び示唆されていない。また、レンズ等の別の光学系素子を用いており、装置の小型化の観点は考慮されていない。
【００９０】
ここで、カラースキャナの場合は、スキャン画面上に、原稿等を載置した状態で、原稿の画像データを取り込むので、スキャン画面にＲ、Ｇ及びＢの光が、順次照射されても、その光は、原稿等に隠れて、ユーザには、ほとんど見えない。
【００９１】
しかしながら、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を検出する場合には、表示面上に画像表示が行なわれている状態をユーザが見ている状態で、接触物の色を検出する関係上、前記第１色、第２色及び第３色を順次発色させると表示にチラツキが生じてしまうという別の課題が生じる。
【００９２】
このような問題点を解決するため、本発明の色検出／色出力装置は、前記構成に加えて、前記発色制御手段は、前記エッジ領域に含まれる前記単位画素のみを発色させることが好ましい。
【００９３】
前記構成によれば、発色制御手段は、エッジ領域に含まれる単位画素のみを発色させる。
【００９４】
すなわち、エッジ領域は、ほぼ接触物が接触している接触部分の形状を反映した形状となると考えられるので、このエッジ領域における表示のチラツキは、該接触物の接触部分に隠れてユーザには、ほぼ完全に見えないようにすることができる。
【００９５】
以上より、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を、感度の低下及び解像度の劣化を防止しつつ、表示のチラツキをユーザに認識させることなく検出することができる。
【００９６】
また、本発明の色検出／色出力装置は、前記構成に加えて、前記色検出手段が検出した前記接触物の接触部分の色を示す色情報を保持する記憶部を備えていることが好ましい。
【００９７】
前記構成によれば、前記色検出手段が検出した前記接触物の接触部分の色を示す色情報を保持するので、同じ接触物の色を再検出する必要がない。
【００９８】
なお、色情報を保持するタイミングについては、色検出手段が接触物の色を検出した直後であることが好ましい。
【００９９】
また、色情報を保持する期間としては、接触物が接触（例えば、接触判定手段が、接触物が接触していると判定）して、色検出されてから離れる（例えば、接触判定手段が、接触物が接触していないと判定する）までの期間などが例示できる。
【０１００】
なお、前記色検出／色出力装置及び色検出／色出力方法における各手段、各機能、各ステップ及び各処理のそれぞれは、コンピュータによって実現してもよく、この場合には、コンピュータを各手段として動作させ、コンピュータに各機能を実現させ、若しくはコンピュータに各ステップ及び各処理を実行させることにより前記前記色検出／色出力装置及び色検出／色出力方法を、コンピュータにて実現させる色検出／色出力プログラム、並びにそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【０１０１】
本発明の色検出／色出力装置は、以上のように、複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材と、前記単位画素のそれぞれを発色させる発色制御手段と、前記発色制御手段が、前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御手段と、前記撮像制御手段によって撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出手段と、前記面状部材上に、前記色検出手段によって検出した色を表示する検出色表示制御手段とを備えるものである。
【０１０２】
また、本発明の色検出／色出力方法は、以上のように、複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材を用いた色検出／色出力方法であって、前記単位画素のそれぞれを発色させる発色制御ステップと、前記発色制御ステップで、前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御ステップと、前記撮像制御ステップで、撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出ステップと、前記面状部材上に、前記色検出ステップで検出した色を表示する検出色表示制御ステップとを含んでいる方法である。
【０１０３】
それゆえ、入出力一体型ディスプレイ（面状部材）の表示面上に、色鉛筆で描画するような自然な感覚で電子的な描画を行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【０１０４】
本発明の一実施形態について図１〜図１５に基づいて説明すれば、以下の通りである。
【０１０５】
〔実施の形態１〕
（データ表示／センサ装置の概観構成及びその機能の概要）
まず、図１に基づき、本発明の一実施形態であるデータ表示／センサ装置（色検出／色出力装置）１００の外観構成及びその機能の概要について説明する。
【０１０６】
図１は、本発明の一実施形態に係るデータ表示／センサ装置１００の概観構成及びその機能の概要を示す模式図である。
【０１０７】
図１に示すように、本実施形態に係るデータ表示／センサ装置１００の概観構成は、ヒンジＨで結合された２つ折りに折り畳み可能な筐体３００Ａ及び筐体３００Ｂを有し、筐体３００Ａ及び筐体３００Ｂを折り畳んだ状態で対向する２つの内面のそれぞれに、センサ内蔵液晶パネル（面状部材）３０１Ａ及びセンサ内蔵液晶パネル（面状部材）３０１Ｂ（以下、纏めてセンサ内蔵液晶パネル（面状部材）３０１と称する）が、互いに対向するようにそれぞれ配設されている構成である。
【０１０８】
また、その機能の概要としては、それぞれのセンサ内蔵液晶パネル３０１に含まれる複数の画素回路（単位画素）３１（図８参照）と、画素回路３１毎に少なくとも１つ設けられた複数の光センサ（撮像センサ）６（図２（ａ）・図２（ｂ）参照）とを駆動させることにより、２つのセンサ内蔵液晶パネル３０１Ａ及びセンサ内蔵液晶パネル３０１Ｂのいずれかに接触したペン（接触物）Ｐのペン先（接触部分）の色を検出することが可能となっている。
【０１０９】
なお、ここで、画素回路３１の括弧書きの括弧内に単位画素と記載しているが、図２（ａ）に示すように、「単位画素」は、例えば、液晶ディスプレイの場合、厳密には、少なくともカラーフィルタ５３ｒ、カラーフィルタ５３ｇ、及びカラーフィルタ５３ｂ、液晶層５２、バックライト３０７を含む１組のことであるが、以下の説明では、煩雑なので、画素回路３１を便宜上「単位画素」と称して説明する。なお、画素回路３１自体を説明している部分については、画素回路３１そのものを意味しているものとする。Ｒ画素回路（色画素，Ｒ画素）３１ｒ、Ｇ画素回路（色画素，Ｇ画素）３１ｇ、Ｂ画素回路（色画素，Ｂ画素）３１ｂのそれぞれの括弧内の表記についても同趣旨である。
【０１１０】
また、詳細は後ほど説明するが、図１に示すように、データ表示／センサ装置１００は、ペンＰのペン先がセンサ内蔵液晶パネル３０１（図１では、センサ内蔵液晶パネル３０１Ｂに接触している）に接触したことを検知（判定）すると、各画素回路３１が発色したときの特定色の光が、ペンＰに照射され、その反射光を複数の光センサ６で検出することにより、ペンＰのペン先の色を検出するようになっている。
【０１１１】
また、データ表示／センサ装置１００は、少なくともペンＰがセンサ内蔵液晶パネル３０１に接触している間、検出した色を保持し、その色で、例えば、軌跡Ｌを描くことができるようになっている。
【０１１２】
以上のように、センサ内蔵液晶パネル３０１は、複数の画素回路３１と、画素回路３１毎に少なくとも１つ設けられた複数の光センサ６とを含んでいる。
【０１１３】
したがって、センサ内蔵液晶パネル３０１の複数の画素回路３１を動作させることにより画像をセンサ内蔵液晶パネル３０１上の所定の表示面に表示することが可能である。また、センサ内蔵液晶パネル３０１の複数の画素回路３１が、発色するときの光を利用して、表示面上のペンＰに光を当て、その反射光をセンサ内蔵液晶パネル３０１の複数の光センサ６で検出することにより表示面上のペンＰの像を撮像することが可能である。
【０１１４】
複数の光センサ６及び複数の画素回路３１のそれぞれの個数は、画像表示機能、及び、以下で説明する色検出機能を確保できる数であれば、任意であって良いが、例えば、個々の光センサ６のセンサ面積の観点からは、１対１で同数であることが好ましい。これにより、従来の微細加工技術で簡単にセンサ内蔵液晶パネル３０１を作成することができ、従来のセンサ面積を維持できる。
【０１１５】
しかしながら、技術の進歩により、将来的にセンサ面積当たりの光センサ６の感度が向上し、微細加工技術が進歩することも予想されるので、色検出に必要なセンサ面積の大きさを確保可能であれば、複数の光センサ６及び複数の画素回路３１のそれぞれの個数が、１対３で、後者が前者の３倍の数であっても良い。このような構成を採用すれば、画素回路３１が、例えば、３つの色画素を有する場合に、個々の色画素が発色する光の光センサ６による検出の色ごとの独立性を確保できる。
【０１１６】
なお、複数の光センサ６及び複数の画素回路３１のそれぞれの個数が、１対２で、後者が前者の２倍の数であっても良い。
【０１１７】
すなわち、光センサ６は、複数の画素回路３１毎に、少なくとも１つ含んでいれば良い。
【０１１８】
なお、複数の光センサ６及び複数の画素回路３１のそれぞれは、センサ内蔵液晶パネル３０１の面方向（表示画の面内方向）の所定範囲に面状に並設されていることが好ましい。例えば、マトリクス状の配列などが例示できる。
【０１１９】
また、複数の光センサ６及び複数の画素回路３１の位置関係は、例えば、それぞれの数が１対１で同数の場合であり、かつ以下で説明するように、画素回路３１が３つの色画素からなる場合、光センサ６の位置は、３つの色画素のいずれからも近い位置であることが好ましい（例えば、図２（ｂ）参照）。
【０１２０】
以上の構成によれば、画像表示部と、画像撮像部とを別々の装置で構成する必要がないので、データ表示／センサ装置１００の小型化が可能となる。
【０１２１】
センサ内蔵液晶パネル３０１のような面状部材としては、本実施形態のセンサ内蔵液晶パネルに限られない、例えば、ディスプレイの例としては、液晶ディスプレイの他、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ（Light Emitting）発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイなどが例示できるが、これらのディスプレイと撮像センサ（イメージセンサ、光センサ）とを一体化した入出力一体型ディスプレイが将来的に開発された場合でも、これらの入出力一体型ディスプレイに本発明を適用できることは、以下の説明から明白であろう。
【０１２２】
まず、以下で、前記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【０１２３】
（センサ内蔵液晶パネルの概要）
データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【０１２４】
図２（ａ）及び図２（ｂ）を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２（ａ）は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【０１２５】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【０１２６】
なお、光センサ回路３２に含まれる光センサ６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【０１２７】
次に、図２（ｂ）を参照しながら、光センサ６の配置方法の他の例について説明する。
【０１２８】
図２（ｂ）は、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の他の例の１画素を示す模式図である。
【０１２９】
図示のように、この例では、光センサ６が、カラーフィルタ５３ｒ、カラーフィルタ５３ｇ及びカラーフィルタ５３ｂのいずれからも近くなるように、直線状に併設されたカラーフィルタ５３ｒ、カラーフィルタ５３ｇ及びカラーフィルタ５３ｂの紙面に対して上側に配置されている。このような配置を採用することにより、光センサ６のサイズを大きくできるとともに、カラーフィルタ５３ｒ、カラーフィルタ５３ｇ及びカラーフィルタ５３ｂからのいずれからも感度良く光を検出することができる。
【０１３０】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【０１３１】
図３（ａ）は、反射像を検出することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、光センサ６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検出する。これにより、対象物６４の反射像を検出することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検出することにより、タッチした位置を検出することができる。
【０１３２】
また、図３（ｂ）は、影像を検出することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、光センサ６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検出する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検出する光量が減る。これにより、対象物６２の影像を検出することができる。このように、センサ内蔵液晶パネル３０１は、影像を検出することにより、タッチした位置を検出することもできる。
【０１３３】
上述のように、光センサ６は、バックライト３０７より出射された光の反射光（影像）を検出してもよいし、外光による影像を検出してもよい。また、前記２種類の検出方法を併用して、影像と反射像とを両方を同時に検出するようにしてもよい。
【０１３４】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、前記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。
【０１３５】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【０１３６】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【０１３７】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【０１３８】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【０１３９】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加して、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【０１４０】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【０１４１】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【０１４２】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加して、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【０１４３】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【０１４４】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【０１４５】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【０１４６】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【０１４７】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【０１４８】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【０１４９】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【０１５０】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【０１５１】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【０１５２】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【０１５３】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１５４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【０１５５】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【０１５６】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせたりするために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【０１５７】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【０１５８】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【０１５９】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【０１６０】
なお、前記スイッチの例としては、電源のオンとオフとを切り換える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【０１６１】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【０１６２】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【０１６３】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【０１６４】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【０１６５】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１６６】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【０１６７】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【０１６８】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、前記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。
【０１６９】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【０１７０】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１７１】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０１７２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、対象物が接近する先の点の座標として、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。
【０１７３】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、前記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【０１７４】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１７５】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【０１７６】
“反射”は、バックライト３０７を点灯した状態でスキャンを行うこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１７７】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。
【０１７８】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１７９】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１８０】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１８１】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１８２】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１８３】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１８４】
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010”（二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【０１８５】
ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１８６】
次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010” （二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【０１８７】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１８８】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１８９】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１９０】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、前記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１９１】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１９２】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１９３】
（全体画像データ／部分画像データ／座標データ）
次に、図７（ａ）及び図７（ｂ）を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１９４】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１９５】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１９６】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１９７】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１９８】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１９９】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０２００】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０２０１】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０２０２】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０２０３】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０２０４】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０２０５】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０２０６】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０２０７】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０２０８】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０２０９】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０２１０】
（主制御部の構成及び記憶部に記憶されるデータ）
次に、図９に基づき、主制御部８００の構成及び記憶部９０１に記憶される各種データについて説明する。
【０２１１】
図９は、データ表示／センサ装置１００の要部構成のうち、主制御部８００及び記憶部９０１の詳細を示すブロック図である。
【０２１２】
図示のように、主制御部８００は、スキャン処理部（撮像制御手段）１２、色判定処理部（色検出手段）１４Ａ及び画像表示処理部（発色制御手段，検出色表示制御手段）１８を含んでいる。
【０２１３】
また、記憶部９０１は、スキャン属性情報記憶部２２、画像データ記憶部２３、及び原色画像データ記憶部２４の３つの記憶領域を含んでいる。なお、スキャン属性情報記憶部２２には、接触領域判定コマンド記憶部２２２、色検出コマンド記憶部２２３及び検出色表示コマンド記憶部２２４の３つの記憶領域を含んでおり、画像データ記憶部２３は、接触領域／エッジ領域特定用データ記憶部２３１及び接触領域／エッジ領域特定結果記憶部２３２の２つの記憶領域を含んでおり、原色画像データ記憶部２４は、色判定用データ記憶部２４１及び色判定結果記憶部（記憶部）２４２の２つの記録領域を含んでいる。
【０２１４】
上述したように、サブピクセル毎に、イメージセンサを設ける方法では、精細な加工が必要となりコスト面に問題があると共に、Ｒ、Ｇ及びＢ、１色当たりのイメージセンサの面積が小さくなり感度が低下してしまうという課題がある。
【０２１５】
また、Ｒ、Ｇ及びＢの３原色フィルタのそれぞれのサイズを１ピクセルのサイズと同じ大きさとし、ピクセル毎にイメージセンサを設けた場合には、３つのサブピクセル分の光を利用でき、イメージセンサのサイズも比較的大きくできるので、感度をおよそ３倍向上させることができるが、逆に解像度が１／３に低下してしまうという別の課題がある。
【０２１６】
このような課題を解決するため、画像表示処理部１８は、原色画像作成部（発色制御手段）１８１を備えており、原色画像作成部１８１が作成する原色画像データ（以下、例えば、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂを、順次発色させる場合には、それぞれ、Ｒ画像表示用データ、Ｇ画像表示用データ、Ｂ画像表示用データと称する）をデータ処理部７００（及び回路制御部６００）を介して表示／光センサ部３００に送信してセンサ内蔵液晶パネル３０１に含まれる画素回路３１のそれぞれを、等色の原理を満たす第１色、第２色及び第３色で、順次発色させるようになっている。
【０２１７】
具体的には、例えば、第１色で発色させる場合は、原色画像作成部１８１が作成する原色画像データ全体を、第１色のみのデータとすれば良い。また、第２色で発色させる場合は、原色画像データ全体を第２色のみのデータとし、第３色で発色させる場合は、原色画像データ全体を第３色のみのデータとすれば良い。
【０２１８】
ここで、「等色の原理」とは、色彩学の学術用語であり、すべての色は３つの色で表現できるという原理のことである。具体的には、色の３原色や、光の３原色、また、１２色相環上で、環にそって４つおきに選択した３つの色（２次色など）などが好ましい。
【０２１９】
また、ペンＰのペン先の色を検出するためには、等色の原理より、３つの異なる色を有する光をペンＰ（又はペン先）に照射し、その反射光を検出すれば良い。
【０２２０】
例えば、ペン先の色が赤色である場合には、ペン先は赤色の光を吸収する。したがって、ペン先に赤色、緑色、及び青色の光をそれぞれ照射したときには、緑色及び青色の光の反射光は検出されるが、赤色の光の反射光は全く検出されないか、あるいは検出される光の強度が他の２色と比べて小さくなる。これにより、ペン先が赤色であると判断することができる。
【０２２１】
また、「第１色、第２色及び第３色で発色させる」とは、まず、第１色を発色させ、次に第２色を発色させ、さらに第３色を発色させることを意味する。なお、第１色、第２色及び第３色のうちの特定の色から他の色への切り替えの速度は、検出感度の観点から可能な限り高速であることが好ましい。
【０２２２】
なお、画素回路３１を、第１色、第２色及び第３色で発色させる構成としては、例えば、第１色、第２色及び第３色のそれぞれを発色可能な色画素の集まりを画素回路３１とすれば良い。
【０２２３】
また、色画素としては、本実施形態のＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、及びＢ画素回路３１ｂのように、３原色フィルタ及び液晶を組合せ、バックライト３０７からの光を３原色フィルタへ透過させるか否かを該液晶で切り換える構成であっても良いし、例えば、ＬＥＤ素子を用いた色画素のように、バックライトを用いず、色画素自身が、その色を発光（発色）する構成であっても良い。
【０２２４】
なお、原色画像作成部１８１は、以下で説明するように、色判定部１４１によってペンＰのペン先の色が判定（検出）された場合に、画素回路３１を第１色、第２色及び第３色で順次発色（発色動作）させる一連の動作を終了するように構成する。
【０２２５】
これによれば、色判定部１４１によりペンＰのペン先の色が検出されるまで、原色画像作成部１８１は、画素回路３１を第１色、第２色及び第３色で発色させる動作を続けるので、ペンＰのペン先の色を確実に検出することができる。
【０２２６】
また、一端、色が検出された後は、原色画像作成部１８１は、発色動作を終了するので、重ねて色を検出するといった無駄な動作などを防止することができる。
【０２２７】
また、画像表示処理部１８は、色判定結果表示画像作成部１８２を備えており、ペンＰのペン先が接触する領域ＰＰに、以下で説明する色判定処理部（色検出手段）１４Ａによって検出されたペンＰのペン先の色と同じ色で表示する（例えば、図１に示す軌跡Ｌを表示する）ための「色判定結果表示画像」を作成するものでもある。
【０２２８】
等色の原理を満たす第１色、第２色及び第３色の例としては、第１色を、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）からなる３色のうちのいずれかとし、第２色を、該３色のうち、第１色でない２色のうちのいずれかとし、第３色を、該２色のうち、第２色でない残りの１色とする場合が例示できる。
【０２２９】
また、等色の原理を満たす第１色、第２色及び第３色の他の例としては、第１色は、赤色、緑色及び青色のうちのいずれか２色、並びに白色からなる３色のうちのいずれかとし、第２色は、該３色のうち、第１色でない２色のうちのいずれかとし、第３色は、該２色のうち、第２色でない残りの１色とする場合が例示できる。
【０２３０】
これにより、画像表示装置に一般的に用いられているＲ画素（Ｒ画素回路３１ｒ）、Ｇ画素（Ｇ画素回路３１ｇ）及びＢ画素（Ｂ画素回路３１ｂ）の集まりを単位画素（画素回路３１）とする画像表示装置に本願発明を適用することができる。
【０２３１】
なお、画素回路３１を白色に発色させるには、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂのすべてを発色させれば良い。具体的には、原色画像作成部１８１が作成する原色画像データ全体を白色のみのデータとすれば良い。
【０２３２】
スキャン処理部１２は、スキャン実行部１３１を備えており、スキャン実行部１３１がデータ処理部７００（及び回路制御部６００）を介して表示／光センサ部３００の光センサ回路３２を動作させて、画像表示処理部１８が、領域ＰＰに含まれる画素回路３１を、第１色、第２色及び第３色で発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像を、各光センサ６を用いてスキャン（撮像）するものでもある。
【０２３３】
また、スキャン処理部１２は、接触領域特定部（接触判定手段，接触領域特定手段，エッジ領域特定手段）１３６Ａを備えており、ペンＰのペン先がセンサ内蔵液晶パネル３０１（センサ内蔵液晶パネル３０１Ａ及びセンサ内蔵液晶パネル３０１Ｂのいずれか）に接触しているか否かを判定するものでもある。
【０２３４】
ここで、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触しているか否かの判定は、例えば、接触領域特定部１３６Ａは、上述したコマンドの「データ取得タイミング」が“イベント”に設定されている場合に、「部分画像データ」等がデータ処理部７００から主制御部８００に送信されたことをトリガとして、ペンＰがセンサ内蔵液晶パネル３０１に接触したことを判定するようにすれば良い。
【０２３５】
また、逆に、接触領域特定部１３６Ａは、コマンドの「データ取得タイミング」が“イベント”に設定されている場合に、「部分画像データ」等が、所定時間、全く、データ処理部７００から主制御部８００に送信されないことをトリガとして、ペンＰがセンサ内蔵液晶パネル３０１から離れたことを判定するようにすれば良い。
【０２３６】
これによれば、接触領域特定部１３６Ａが、ペンＰがセンサ内蔵液晶パネル３０１に接触していると判定した場合にしか画素回路３１に発色動作を実行させないので、色検出ができない場合に、色検出のための動作を行ってしまうなどといった無駄な動作を防止することができる。
【０２３７】
なお、本実施形態では、接触領域特定部１３６Ａが、上述した接触判定機能と、以下で説明する接触領域特定機能とを併有している場合について説明するが、これらの機能を別々の機能ブロックで構成しても良い。
【０２３８】
また、以下で説明する「検出色表示ステップ」では、ペンＰのペン先の位置が接触位置から変化した場合も考慮して、コマンドの「データ取得タイミング」を“オール”に設定しているので、この場合にペン先の位置を特定するためには、エッジ領域特定部（エッジ領域特定手段，接触判定手段）１８２１がエッジ領域を特定できなかったことをトリガとしてペンＰがセンサ内蔵液晶パネル３０１から離れたと判定するようにすれば良い。
【０２３９】
スキャンデータ格納部１３３は、スキャン（撮像）された、全体画像データ、部分画像データ及び代表座標（以下、単に「スキャンデータ」という）を、スキャンデータ／接触領域特定結果保持部１３４、画像データ記憶部２３の接触領域／エッジ領域特定用データ記憶部２３１、原色画像データ記憶部２４の色判定用データ記憶部２４１に格納する制御を行うものである。
【０２４０】
また、スキャン処理部１２は、スキャン属性情報設定部１３５を備えており、スキャン属性情報設定部１３５は、スキャン属性情報記憶部２２に記録されている各種コマンドデータを読み出して、データ表示／センサ装置１００のスキャン属性の設定を行うものである。
【０２４１】
上述したように、センサ内蔵液晶パネル３０１（面状部材）の表示面上に接触したペンＰのペン先の色を検出する場合には、表示面に画像表示が行なわれている状態をユーザが見ている状態で、ペンＰのペン先の色を検出する関係上、前記第１色、第２色及び第３色を順次発色させると表示にチラツキが生じてしまうという別の課題が生じる。
【０２４２】
そこで、このような課題を解決するため、スキャン処理部１２の接触領域特定部（接触判定手段，接触領域特定手段）１３６Ａは、スキャンされたペンＰの像に基づいて、センサ内蔵液晶パネル３０１上におけるペンＰのペン先を含む所定の領域ＰＰを特定するようにしている。
【０２４３】
また、接触領域特定部１３６Ａは、領域ＰＰを特定するとその結果をスキャンデータ／接触領域特定結果保持部１３４、又は、画像データ記憶部２３の接触領域／エッジ領域特定結果記憶部２３２に記憶するようになっている。
【０２４４】
スキャンデータ／接触領域特定結果保持部１３４は、各データを一時記憶させる部分である。一方、画像データ記憶部２３の接触領域／エッジ領域特定結果記憶部２３２は、各データを一時的に記憶させても良いし、常時記憶する構成であっても良い。
【０２４５】
また、画像表示処理部１８は、接触領域特定部１３６Ａによって特定された領域ＰＰに含まれる画素回路３１のみを発色させるようになっている。
【０２４６】
具体的には、例えば、領域ＰＰを第１色で発色させる場合は、原色画像作成部１８１が作成する原色画像データの領域ＰＰに対応する部分を、第１色のみのデータとし、それ以外を無色のデータとすれば良い（ただし、動画像などのアプリケーションデータを表示している場合には、画像表示処理部１８は、アプリケーション画像データの領域ＰＰに相当する部分を無色のデータとしたアプリケーション画像データを作成し、原色画像データと重ねて送信することが好ましい。以下同じ）。
【０２４７】
また、領域ＰＰを第２色で発色させる場合は、原色画像データの領域ＰＰに対応する部分を第２色のみのデータとし、それ以外を無色のデータとすれば良い。また、領域ＰＰを第３色で発色させる場合は、原色画像データの領域ＰＰに対応する部分を第３色のみのデータとし、それ以外を無色のデータとすれば良い。
【０２４８】
これによれば、画像表示処理部１８は、センサ内蔵液晶パネル３０１上の表示面の領域ＰＰに含まれる画素回路３１のみを特定色で発色させる。
【０２４９】
よって、領域ＰＰの大きさを色検出が可能な範囲で、できるだけ小さくすることにより、表示のチラツキがユーザに認識されないようにすることができる。
【０２５０】
すなわち、領域ＰＰには、ペンＰが接触しているので、この領域ＰＰにおける表示のチラツキは、ペンＰに隠れてユーザには、ほとんど見えないようにすることができる。
【０２５１】
なお、本実施形態では、以下で説明するエッジ領域特定部（エッジ領域特定手段，接触判定手段）１８２１と、接触領域特定部１３６Ａとが、別々の構成であるとして説明するが、接触領域特定部１３６Ａがエッジ領域特定部１８２１の機能を併有していても良い。
【０２５２】
また、原色画像作成部１８１は、センサ内蔵液晶パネル３０１上の表示面のエッジ領域に含まれる画素回路３１のみを特定色で発色させても良い。
【０２５３】
すなわち、エッジ領域は、ほぼ接触物が接触している接触部分の形状を反映した形状となると考えられるので、このエッジ領域における表示のチラツキは、該接触物の接触部分に隠れてユーザには、ほぼ完全に見えないようにすることができる。
【０２５４】
次に、色判定処理部（色検出手段）１４Ａは、色判定部１４１、色判定結果保持部１４５を備えており、色判定部１４１は、原色画像データ記憶部２４の色判定用データ記憶部２４１に記憶されている、前記第１色、第２色及び第３色で発色させる毎に、各光センサ６を用いてスキャン（撮像）したスキャンデータを読み出して、これを解析（分析）して、ペンＰのペン先の色を判定（検出）するものである。
【０２５５】
また、色判定処理部１４Ａは、色判定部１４１を備えており、色判定部１４１の色判定用データ解析部１４２は、画像表示処理部１８が、領域ＰＰに含まれる画素回路３１のそれぞれを、第１色、第２色及び第３色で、順次発色させる毎に、スキャン処理部１２によってスキャンされた、ペンＰの像のそれぞれのスキャンデータを解析することで、ペンＰのセンサ内蔵液晶パネル３０１上におけるペンＰのペン先の色を特定（検出）するものである。
【０２５６】
以上のように、第１色、第２色及び第３色で、順次発色させて、ペンＰのペン先の色を検出するようにすれば、ペンＰのペン先の色が仮に第１色と同じ色であるような場合でも、残りの第２色及び第３色を発色させてスキャンしたスキャンデータを基に、色の検出を行うことができる。
【０２５７】
ここで、色検出の精度向上の観点からは、第１色、第２色及び第３色を１度に発色させて、これらの３色が混色した状態をスキャンした１つのスキャンデータを解析して色検出を行うよりも、等色の原理を満たす３色を第１色、第２色及び第３色を順次、発色させて、第１色、第２色及び第３色で発色させる毎に各光センサ６を用いてスキャンした、スキャンデータを３つ用意して、これらの３つのスキャンデータを解析する方が好ましい。
【０２５８】
なぜなら、等色の原理を満たす第１色、第２色及び第３色が混色した状態をスキャンしたスキャンデータ１つを解析して色検出を行うよりも、第１色、第２色及び第３色のそれぞれを分離した状態の３つのスキャンデータを解析して色検出を行う方が遥かに容易であり、検出精度も高いからである。
【０２５９】
以上によれば、例えば、画素回路３１毎に光センサ６を設けた場合でも、各画素回路３１は、１つの光センサ６で、第１色、第２色及び第３色の３色分のスキャンデータを別々に得ることができる。
【０２６０】
色検出の検出精度の観点からは、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂの色画素毎に光センサ６を配置することが好ましいが、以上の構成を採用すれば、光センサ６の数が少なくても色検出の検出精度が比較的高いので、現状のセンサ面積（例えば、本実施形態の画素回路３１の数：光センサ６の数＝１：１）及び色検出の検出精度を確保しつつ、検出感度の低下を防止することができる。
【０２６１】
また、以上の構成を採用すれば、検出感度を上げるために、画素回路３１中の３つの色画素から出射されるすべての光を用いて１つの色を発色させるようにしなくても良いので、解像度の劣化も防止することができる。
【０２６２】
色判定結果格納部１４３は、色判定部１４１の色判定結果を、色判定結果保持部（記憶部）１４５、又は、原色画像データ記憶部２４の色判定結果記憶部（記憶部）２４２に記憶させるものである。
【０２６３】
色判定結果保持部１４５は、色判定部１４１の色判定結果を一時記憶するものである。又は、原色画像データ記憶部２４の色判定結果記憶部２４２は、色判定部１４１の色判定結果を一時記憶させても良いし、常時記憶するようにしても良い。
【０２６４】
前記構成によれば、色判定処理部１４Ａが検出したペンＰのペン先の色を示す色情報を保持するので、同じペンＰの色を再検出する必要がない。
【０２６５】
なお、色情報を保持するタイミングについては、色判定処理部１４ＡがペンＰのペン先の色を検出した直後であることが好ましい。
【０２６６】
また、色情報を保持する期間としては、ペンＰが接触（例えば、接触領域特定部１３６Ａが、ペンＰが接触していると判定）して、色検出されてから離れる（例えば、接触領域特定部１３６Ａ又はエッジ領域特定部１８２１が、ペンＰが接触していないと判定する）までの期間などが例示できる。
【０２６７】
また、保持した色を適宜必要な処理に利用することができる。例えば、検出したペンＰのペン先の色で、センサ内蔵液晶パネル３０１に描画できるように構成すれば、画用紙に色鉛筆で描画するのと同じ感覚で、電子的な描画を行うことができる。
【０２６８】
以上より、センサ内蔵液晶パネル３０１の表示面上に接触したペンＰのペン先の色を直接検出して、検出した色を表示面上の領域ＰＰに表示させることができる。
【０２６９】
よって、センサ内蔵液晶パネル３０１の表示面上に、色鉛筆で描画するような自然な感覚で電子的な描画を行うことができるデータ表示／センサ装置１００を提供することができる。
【０２７０】
（色判定結果表示画像作成部の詳細）
次に、図１０に基づき、色判定結果表示画像作成部１８２の要部構成の詳細について説明する。図１０は、主制御部８００の要部構成のうち、色判定結果表示画像作成部１８２の詳細を示すブロック図である。
【０２７１】
ところで、毛筆などで描画する場合、厳密には、毛筆などの接触部分の太さは、リアルタイムに変化する。
【０２７２】
しかしながら、特許文献４に記載された座標検出装置では、ペンの太さの検出のために、タブレットの入力面上でペンが指示する位置の前回検出した座標と今回検出した座標とから両位置の距離を算出し、この操作をｎ回繰り返すという複雑な動作が必要なので、一度検出したペンの太さを固定した描画は可能であると考えられるが、その後のペンの太さの変化に追随させたリアルタイムな描画は困難であるという別の課題が生じる。
【０２７３】
このような課題を解決するため、図１０に示すように、色判定結果表示画像作成部１８２は、エッジ領域特定部１８２１、補間領域特定部（補間領域特定手段）１８２２、及び表示画像作成部（検出色表示制御手段）１８２３から構成される。
【０２７４】
エッジ領域特定部１８２１は、ペンＰの像における画素回路３１毎の画素値（階調値）の勾配量から、ペンＰの像における又はペンＰの像によって形成されたエッジ部分に含まれる画素回路３１を特定すると共に、このように特定されたエッジ部分に含まれる画素回路３１に囲まれたエッジ領域を特定するものである。
【０２７５】
但し、「ペンＰの像における画素回路３１毎の画素値」とは、ペンＰの像の画像データ（全体画像データ又は部分画像データ）における各画素回路３１に対応するデータ位置における画素値（階調値）のことを意味する場合も含む広い概念である。
【０２７６】
また、「画素値の勾配量」はベクトル量であり、大きさ（勾配の大きさ）と向き（勾配方向）とを持つ。
【０２７７】
よって、エッジ部分に含まれる画素回路３１の特定は、例えば、勾配の大きさが所定の閾値以上である画素回路３１をエッジ画素として特定すれば良い。
【０２７８】
ここで、エッジ画素とは、ペンＰの像を構成する各画素回路３１のうち、明るさが急激に変化する部分（エッジ）における画素回路３１である。また、エッジ画素とは、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は勾配の大きさＡＢＳ（Ｓ）が所定の閾値以上である画素回路３１のことである。
【０２７９】
より、具体的には、画素回路３１画素毎に、注目する画素回路３１（以下、「注目画素と称する」の画素値と複数の隣接する画素回路３１の画素値とから注目画素の画素値の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出する。例えば、Ｓｏｂｅｌ（ソベル）オペレータ、Ｐｒｅｗｉｔｔ（プリウイット）オペレータなどのエッジ抽出オペレータを用いれば良い。
【０２８０】
例えば、Ｓｏｂｅｌオペレータについて説明すると、各画素の画素位置ｘ（ｉ，ｊ）における局所的な縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘは、次式（１）のように求められる。
【０２８１】
Ｓｘ＝ｘｉ＋１ｊ−１−ｘｉ―１ｊ−１＋２ｘｉ＋１ｊ−２ｘｉ―１ｊ＋ｘｉ＋１ｊ＋１−ｘｉ―１ｊ＋１
Ｓｙ＝ｘｉ−１ｊ＋１−ｘｉ−１ｊ−１＋２ｘｉｊ＋１−２ｘｉｊ−１＋ｘｉ＋１ｊ＋１−ｘｉ＋１ｊ−１
・・・（１）
ここで、ｘｉｊは画素位置ｘ（ｉ，ｊ）における画素値を表し、ｉは水平方向に沿った画素の位置を、ｊは垂直方向に沿った画素の位置をそれぞれ表す。ここに、ｉ及びｊは正の整数である。
【０２８２】
ここで、式（１）は、次式（２）・（３）の３×３のＳｏｂｅｌオペレータ（行列演算子Ｓｘ及びＳｙ）を、画素位置ｘ（ｉ，ｊ）を注目画素とする３×３画素に適用することと等価である。
【０２８３】
【数１】
【０２８４】
なお、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘに基づけば、画素位置ｘ（ｉ，ｊ）における勾配の大きさＡＢＳ（Ｓ）及び勾配方向ＡＮＧ（Ｓ）は、次のように与えられる。なお、以下では、演算子としての縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを各画素に適用することによって得られた縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘをそれぞれ、便宜上縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘと記載する場合がある。
【０２８５】
ＡＢＳ（Ｓ）＝（Ｓｘ2＋Ｓｙ2）1/2 ・・・（４）
ＡＮＧ（Ｓ）＝ｔａｎ-1（Ｓｙ／Ｓｘ） ・・・（５）
ここで、各勾配方向の分布は、例えば、ペン先が丸いペンのように接触物の接触部分が円形になるような場合には、ペン先（接触物の接触部分）の像のエッジ部分に囲まれたエッジ領域（エッジ部分に含まれる画素回路３１に、囲まれた領域）の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。
【０２８６】
また、接触物の接触部分がその他の形状であっても、エッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、例えば、描画目的の接触物の種類に応じて、大きく変わることは無い。
【０２８７】
よって、エッジ領域を特定すれば、概ね接触物の接触部分の形状を特定したことになる。これにより、例えば、ペンＰの太さに応じた描画が可能となる。
【０２８８】
また、「画素値の勾配量」は、１フレームのペンＰの像から得られる量である。よって、スキャン処理部１２によってスキャンされた、ペンＰの像毎にエッジ領域を特定することができる。よって、フレーム毎に、ペンＰの太さが変化しても、リアルタイムに表示を行うことができる。これにより、ペンＰの太さの変化に追随させたリアルタイムな描画を行うことが可能となる。
【０２８９】
次に、補間領域特定部１８２２は、エッジ領域特定部１８２１により、第１エッジ領域が特定された後に、第２エッジ領域が特定された場合に、エッジ領域特定部１８２１が特定した、前記第１エッジ領域及び前記第２エッジ領域間を補間するための補間領域を特定するものである。
【０２９０】
なお、補間領域の特定方法の例としては、例えば、エッジ画素の中から、Ｓｘ＝０（Ｓｘの絶対値が最小の場合でも良い。）かつＳｙ≠０、及びＳｘ≠０かつＳｙ≠０（Ｓｙの絶対値が最小の場合でも良い。）の条件を満たすエッジ画素を特定する。
【０２９１】
なぜなら、ペンＰの像によるエッジ領域は、上述のように、通常、複数のエッジ画素に囲まれた領域（閉じた領域）になるから、上記条件を満たす点を少なくとも４つ以上得ることができる。
【０２９２】
また、第２エッジ領域は、第１エッジ領域が特定された直後のものであるから、これらのエッジ領域の形状は、第１エッジ領域と第２エッジ領域とで大きく変化しないと仮定することができる。
【０２９３】
そうすると、第１エッジ領域の上記条件を満たす少なくとも４つの点のそれぞれと、第２エッジ領域の上記条件を満たす少なくとも４つの点のそれぞれとを対応付けることが可能となる。
【０２９４】
そこで、第１エッジ領域の上記条件を満たす少なくとも４つの点のぞれぞれと、対応付けた第２エッジ領域の上記条件を満たす少なくとも４つの点のそれぞれとを直線で結べば、第１エッジ領域及び第２エッジ領域の位置関係に関わらず、第１エッジ領域の２点のそれぞれ及びこれらの点に対応する第２エッジ領域の２点のそれぞれの合計４つの点で、最大の面積を持つ四辺形の領域が、必ず１つ特定される。よって、この最大の面積を持つ四辺形の領域を補間領域とすれば良い。
【０２９５】
また、表示画像作成部１８２３は、エッジ領域特定部１８２１によって特定された第１エッジ領域内、第２エッジ領域内、及び前記補間領域内を、を、色判定処理部１４Ａによって判定（検出）した色で表示するものである。
【０２９６】
よって、第１エッジ領域及び第２エッジ領域間をスムーズに繋いで色を表示できるので、例えば、赤い墨汁をつけた毛筆を選ぶような自然な感覚で電子的な描画を行うことができる。
【０２９７】
（各種コマンドとデータ表示／センサ装置の動作との関係）
ここで、データ表示／センサ装置１００における各種コマンドと、データ表示／センサ装置１００の動作との関係について説明する。
【０２９８】
本実施形態では、データ表示／センサ装置１００の接触判定及び接触領域特定処理に関するコマンドの名称を「接触領域判定コマンド」と称し、予め接触領域判定コマンド記憶部２２２に記憶されているものとして説明する。
【０２９９】
また、データ表示／センサ装置１００の色判定処理に関するコマンドの名称を「色検出コマンド」と称し、予め、色検出コマンド記憶部２２３に記憶されているものとする。
【０３００】
さらに、データ表示／センサ装置１００の検出色表示処理に関するコマンドの名称を「検出色表示コマンド」と称し、ここでは、検出色表示コマンド記憶部２２４に記憶されているものとする。
【０３０１】
なお、「接触領域判定コマンド」は、接触判定処理及び接触領域特定処理のため主としてスキャン処理部１２のスキャン属性を設定するためのコマンドである。
【０３０２】
また、「色検出コマンド」は、色判定処理のため主としてスキャン処理部１２のスキャン属性を設定するためのコマンドである。
【０３０３】
さらに、「検出色表示コマンド」は、検出色表示処理のため主としてスキャン処理部１２のスキャン属性を設定するためのコマンドである。
【０３０４】
まず、「接触領域判定コマンド」では、図６に示す「データ取得タイミング」フィールドの値を“01”（イベント）と指定する。
【０３０５】
なぜなら、上述したように、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで、データ処理部７００から主制御部８００に画像データ等を送信することを指定するものであるから、これを利用することによって、接触判定処理及び接触領域特定処理を行うことが可能となるからである。
【０３０６】
具体的には、「データ取得タイミング」フィールドの値が“イベント”であれば、ペンＰの接触により、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信される。
【０３０７】
次に、「接触判定コマンド」の「データ種別」フィールドの値は、“010”（部分画像）を指定することが好ましい。
【０３０８】
なぜなら、上述したように、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データ（部分画像データ及び代表座標）を主制御部８００に送信するようにできるからである。
【０３０９】
なお、以下では、便宜上、“部分画像”が占める領域をそのまま領域ＰＰとする場合について説明するが、上述した接触領域特定部１３６Ａは、画像データ記憶部２３の接触領域／エッジ領域特定用データ記憶部２３１に記憶されている代表座標を中心として“部分画像”の領域と大きさの異なる領域を領域ＰＰとしても良い。
【０３１０】
また、接触領域特定部１３６Ａが、エッジ領域特定部１８２１の機能を併有している構成を採用した場合には、接触領域特定部１３６Ａが、直接、エッジ領域を特定し、このエッジ領域を領域ＰＰとしても良い。
【０３１１】
なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０３１２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、ペンＰのペン先が接触する先の点の座標として、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。
【０３１３】
スキャンデータ格納部１３３は、前記「部分画像データ」及び「代表座標」のそれぞれを画像データ記憶部２３の接触領域／エッジ領域特定用データ記憶部２３１に記憶させる。
【０３１４】
なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。
【０３１５】
次に、「接触判定コマンド」の「スキャン方式」フィールドの値は、“00”（反射）を指定する。ペンＰのペン先に画素回路３１が発色する光を照射して、その反射光を検出するためである。
【０３１６】
次に、「接触判定コマンド」の「スキャン画像階調」フィールドの値は、“00”（２値）、および“01”（多値）のいずれを指定しても良い。また、「接触判定コマンド」の「スキャン解像度」フィールドの値は、“0”（高）若しくは“1”（低）のいずれを指定しても良い。なぜなら、領域ＰＰの特定ができれば良く、２値階調でスキャンすれば充分だからである。なお、「スキャン解像度」フィールドの値は、領域ＰＰの特定精度の観点からは、“0”（高）に設定することが好ましい。
【０３１７】
一方、「色検出コマンド」では、図６に示す「データ取得タイミング」フィールドの値を“00”（センス）を指定する。
【０３１８】
なぜなら、“センス”は、最新のデータを、データ処理部７００から主制御部８００に直ちに送信すること指定するものであるから、これにより、画像表示処理部１８が、領域ＰＰに含まれる画素回路３１を、第１色、第２色及び第３色で、順次発色させる毎に、スキャン処理部１２によってスキャンされたスキャンデータを主制御部８００に送信されるようにできるからである。
【０３１９】
次に、「色検出コマンド」の「データ種別」フィールドの値は、“010”（部分画像）を指定することが好ましい。
【０３２０】
なぜなら、全体画像データ上の部分画像データが占める領域（若しくは領域ＰＰ）に含まれる部分のみを特定色で発色させることで、表示のチラツキを防止できるからである。
【０３２１】
なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０３２２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、ペンＰのペン先が接触する先の点の座標として、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。
【０３２３】
なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。
【０３２４】
スキャンデータ格納部１３３は、前記「部分画像データ」及び「代表座標」のそれぞれを、色判定結果保持部１４５、又は原色画像データ記憶部２４の色判定用データ記憶部２４１接触領域特定用データに記憶させる。
【０３２５】
次に、「色検出コマンド」の「スキャン方式」フィールドの値は、“00”（反射）を指定する。ペンＰのペン先に画素回路３１が発色する光を照射して、その反射光を検出するためである。
【０３２６】
次に、「色検出コマンド」の「スキャン画像階調」フィールドの値は、“01”（多値）を指定する。なぜなら、色検出を可能とするためには、多値階調でスキャンする必要があるからである。
【０３２７】
また、「色検出コマンド」の「スキャン解像度」フィールドの値は、“0”（高）若しくは“1”（低）のいずれを指定しても良いが、色検出の精度の観点からは、“0”（高）に設定することが好ましい。
【０３２８】
次に、「検出色表示コマンド」では、図６に示す「データ取得タイミング」フィールドの値を“10”（オール）に指定する。“オール”は、所定周期でデータを送信すること指定するものであるから、スキャンデータを所定周期で得ることができるからである。
【０３２９】
ここで、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信するようになっている。なお、前記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。
【０３３０】
なお、「色検出コマンド」では、「データ取得タイミング」フィールドの値が、“センス”に設定されているので、「色検出コマンド」から「検出色表示コマンド」への切り替えは、スキャン属性情報設定部１３５が、「色検出コマンド」にて色検出処理が終了したことをトリガとして、「データ取得タイミング」フィールドの値を“オール”に切り換えることによって行えば良い。
【０３３１】
また、「接触領域特定コマンド」では、「データ取得タイミング」フィールドの値は“イベント”に設定されるので、「検出色表示コマンド」から「接触領域特定コマンド」への切り替えは、エッジ領域特定部１８２１（接触領域特定部１３６Ａ）によってペンＰがセンサ内蔵液晶パネル３０１に接触していないと判定されたことをトリガとして、「データ取得タイミング」フィールドの値を“イベント”に切り換えれば良い。
【０３３２】
次に、「検出色表示コマンド」の「データ種別」フィールドの値は、少なくとも“100”（全体画像）だけは、指定する。なお、“全体画像”さえ指定されていれば、併せて“部分画像”及び“座標”を指定することは構わない。
【０３３３】
なぜなら、「データ種別」フィールドの値が“部分画像”及び“座標”のいずれかであった場合、ペンＰの位置の変化は、ほぼ連続的であるから、ペンＰの位置の変化の前後では、センサデータ処理部７０３が、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分であると認識しない可能性があるからである。
【０３３４】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。
【０３３５】
スキャンデータ格納部１３３は、「データ取得タイミング」フィールドの値が“オール”に設定されている場合には、「全体画像データ」を画像データ記憶部２３の接触領域／エッジ領域特定用データ記憶部２３１に記憶するように構成する。
【０３３６】
次に、「検出色表示コマンド」の「スキャン方式」フィールドの値は、“00”（反射）を指定する。ペンＰのペン先に画素回路３１が発色する光を照射して、その反射光を検出するためである。
【０３３７】
次に、「検出色表示コマンド」の「スキャン画像階調」フィールドの値は、“00”（２値）を指定することが好ましい。なぜなら、エッジ領域の特定ができれば良く、２値階調でスキャンすれば充分だからである。なお、エッジ領域の特定精度の観点から「スキャン画像階調」フィールドの値を“01”（多値）に設定しても良い。
【０３３８】
また、「検出色表示コマンド」の「スキャン解像度」フィールドの値は、“0”（高）若しくは“1”（低）のいずれを指定しても良い。なお、「スキャン解像度」フィールドの値は、エッジ領域の特定精度の観点からは、“0”（高）に設定することが好ましい。
【０３３９】
次に、データ表示／センサ装置１００の動作と「接触判定コマンド」、「色検出コマンド」及び「検出色表示コマンド」との関係の詳細について説明する。
【０３４０】
最初に、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触していない状態では、スキャン属性情報設定部１３５は、接触領域判定コマンド記憶部２２２から予め記憶されている「接触領域判定コマンド」を読み出して「データ取得タイミング」のフィールド値を“イベント”に設定しているものとする。
【０３４１】
ここで、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触すると、上述のように、「データ取得タイミング」が“イベント”に設定されているので、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触したことにより、センサデータ処理部７０３は、センサ制御部６０２から受信する画像データに変化が生じたと認識して、主制御部８００に得られたスキャンデータを送信する。
【０３４２】
なお、接触領域特定部（接触判定手段，接触領域特定手段）１３６Ａは、主制御部８００にスキャンデータが送信されたことをトリガとして、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触したと判定する。
【０３４３】
スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“イベント”に設定されているので、得られたスキャンデータを接触領域特定用データとして接触領域／エッジ領域特定用データ記憶部２３１に記憶する。
【０３４４】
また、その後、スキャンデータ格納部１３３は、スキャンデータを接触領域／エッジ領域特定用データ記憶部２３１に記憶させたことを、接触領域特定部１３６Ａに通知し、接触領域特定部１３６Ａは、接触領域／エッジ領域特定用データ記憶部２３１に記録されたスキャンデータに基づいて、領域ＰＰを特定する。この場合、スキャンデータに含まれる部分画像データの全体画像データ上に占める領域をそのまま領域ＰＰとしても良いし、スキャンデータに含まれる代表座標を中心とする所定の大きさを有する領域を領域ＰＰとしても良い。
【０３４５】
なお、接触領域特定部１３６Ａが、エッジ領域特定部１８２１の機能を併有している構成を採用した場合は、エッジ領域を特定し、該エッジ領域を領域ＰＰとしても良い。
【０３４６】
その後、接触領域特定部１３６Ａは、領域ＰＰを特定したことを画像表示処理部１８の原色画像作成部１８１に通知する。
【０３４７】
原色画像作成部１８１は、上記通知を受けて、スキャン属性情報設定部１３５を駆動し、スキャン属性情報設定部１３５は、色検出コマンド記憶部２２３から予め記憶されている「色検出コマンド」を読み出し、「データ取得タイミング」のフィールド値を“センス”に切り換える。
【０３４８】
原色画像作成部１８１は、第１色から第３色までの原色画像データを作成し、順次、データ処理部７００（及び回路制御部６００）を介して表示／光センサ部３００に、原色画像データを送信する。
【０３４９】
その後、スキャンデータ格納部１３３は、「データ取得タイミング」のフィールド値が“センス”に設定されているので、第１色、第２色及び第３色で発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像が、各光センサ６を用いてスキャンされたスキャンデータを、データ処理部７００から受信する。
【０３５０】
スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“センス”に設定されているので、色判定用データとして、色判定用データ記憶部２４１に記憶する。
【０３５１】
次に、スキャンデータ格納部１３３は、第１色、第２色及び第３色で発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像が、各光センサ６を用いてスキャンされたスキャンデータのすべてを、色判定用データ記憶部２４１に記憶させると、その旨を色判定処理部１４Ａに通知する。
【０３５２】
色判定処理部１４Ａの色判定用データ解析部１４２は、色判定用データ記憶部２４１に記憶されている第１色、第２色及び第３色で発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像が、各光センサ６を用いてスキャンされたスキャンデータを解析して、ペンＰのペン先の色を判定（検出）する。
【０３５３】
色判定用データ解析部１４２は、ペンＰのペン先の色の判定が終わるとその結果を色判定結果格納部１４３に通知し、色判定結果格納部１４３は、ペンＰのペン先の色の判定結果（色情報）を色判定結果保持部１４５及び色判定結果記憶部２４２に記憶させる。
【０３５４】
色判定結果格納部１４３は、色情報を色判定結果保持部１４５及び色判定結果記憶部２４２に記憶させると、その旨を、色判定結果表示画像作成部１８２に通知する。
【０３５５】
色判定結果表示画像作成部１８２は、上記通知を受けて、スキャン属性情報設定部１３５を駆動し、スキャン属性情報設定部１３５は、コマンドの「データ取得タイミング」のフィールド値を“オール”に切り換える。
【０３５６】
スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“オール”に設定されているので、データ処理部７００から主制御部８００に周期的に得られる、少なくとも全体画像データを含むスキャンデータを接触領域／エッジ領域特定用データ記憶部２３１に記憶する。
【０３５７】
エッジ領域特定部１８２１は、スキャンデータ格納部１３３が、コマンドの「データ取得タイミング」のフィールド値が“オール”に設定されている状態でスキャンデータを接触領域／エッジ領域特定用データ記憶部２３１に記憶させたことをトリガとして、該スキャンデータを読み出し、スキャンデータに含まれる全体画像データに基づいて、エッジ領域を特定する。
【０３５８】
ここで、エッジ領域特定部１８２１が、第１エッジ領域が特定された後に、第２エッジ領域を特定した場合には、補間領域特定部１８２２が、前記第１エッジ領域及び前記第２エッジ領域間を補間するための補間領域を特定する。
【０３５９】
その後、表示画像作成部１８２３は、色判定結果保持部１４５に記憶されている検出された色情報に基づいて、第１エッジ領域内、第２エッジ領域内、及び補間領域内を、当該色で塗りつぶした画像（色検出結果表示画像）を作成し、データ処理部７００に送信する。
【０３６０】
以下、エッジ領域特定部１８２１によるエッジ領域の特定、補間領域特定部１８２２による補間領域の特定及び表示画像作成部１８２３によるデータ処理部７００への色検出結果表示画像の送信の動作を、接触領域特定部１３６Ａが、ペンＰが離れたと判定するまで繰り返す。
【０３６１】
エッジ領域特定部（接触判定手段）１８２１（又は接触領域特定部１３６Ａ）が、ペンＰが離れたと判定すると、スキャン属性情報設定部１３５は、コマンドの「データ取得タイミング」のフィールド値を“イベント”に切り換えて、「接触領域特定コマンド」に戻る。
【０３６２】
（データ表示／センサ装置の動作）
次に、図１１〜図１５に基づき、データ表示／センサ装置１００の動作の詳細について説明する。
【０３６３】
図１１は、データ表示／センサ装置１００の色検出動作を概念的に示す模式図であり、図１１の（ａ）は、色検出動作の時間経過を示し、図１１の（ｂ）は、色検出動作の際の画面表示の様子を示す。
【０３６４】
まず、図１１の（ａ）に示すように、センサ内蔵液晶パネル３０１にペンＰのペン先が接触（ペンタッチ）したと判定されると、白塗り矢印が示す位置から原色画像作成部１８１の原色画像データの作成動作が開始する。
【０３６５】
その後、Ｒ画像表示用データ、Ｇ画像表示用データ、及びＢ画像表示用データが、順次作成される。ここで、Ｒ画素点灯期間ＴＲは、ペンタッチがあって、Ｒ画像表示用データが表示されてからその表示が終了するまでの時間、Ｇ画素点灯期間ＴＧは、Ｇ画像表示用データが表示されてからその表示が終了するまでの時間、Ｂ画素点灯期間ＴＢは、Ｂ画像表示用データが表示されてからその表示が終了するまでの時間である。
【０３６６】
ここで、発色動作の時間Ｔ＝Ｒ画素点灯期間ＴＲ＋Ｇ画素点灯期間ＴＧ＋Ｂ画素点灯期間ＴＢは、表示のチラツキ防止の観点からは、できるだけ短い方が好ましい。
【０３６７】
また、図１１の（ｂ）に示すように、スキャン処理部１２において、全体画像データ、部分画像データ（領域ＰＰ）及び代表座標の取得は、周期的に常時行なわれている（接触領域判定用のスキャンデータでも、色検出用のスキャンデータでも部分画像データ及び代表座標を取得すれば、座標検出は可能である）が、ペンＰのペン先の色を検出するための色検出処理（ペン先の色と座標を検出）におけるＲ画像表示用データ、Ｇ画像表示用データ、及びＢ画像表示用データの発色動作は、色判定部１４１によりペンＰのペン先の色が判定されると、ただちに終了し、検出色表示処理（座標検出）又は接触判定処理（座標検出）に戻る。
【０３６８】
なお、図１１では、１回の色検出処理終了後、ただちに座標検出に戻っているが、何らかの理由により、色検出ができなかった場合、再度、色検出処理を行う。
【０３６９】
次に、図１２に基づき、データ表示／センサ装置１００の検出色表示動作（検出色表示制御ステップ）について説明する。
【０３７０】
図１２は、データ表示／センサ装置１００の検出色表示動作を概念的に示す模式図である。
【０３７１】
データ表示／センサ装置１００は、ペンの太さを検出する機能及びペンの太さの変化に追随する機能を有しているので、図１２に示すように、細いペン、太いペン、及び筆の例のように、ペン書き、筆書き風での描画が可能である。
【０３７２】
また、データ表示／センサ装置１００は、ペンのペン先の色を検出する機能を有しているので、赤ペン、緑ペン及び青ペンの例のように、画用紙に色鉛筆で描画するような感覚で、センサ内蔵液晶パネル３０１の表示面に描画することが可能である。
【０３７３】
次に、図１３に示すフローチャートに基づき、接触領域特定ステップのフローについて説明する。図１３は、データ表示／センサ装置１００の動作（接触領域特定ステップ）を示すフローチャートである。
【０３７４】
図１３に示すように、データ表示／センサ装置１００の電源スイッチが入ってセンサ内蔵液晶パネル３０１の表示がＯＮになると、スキャン属性情報設定部１３５が、スキャン属性情報記憶部２２に予め記憶されている「接触領域判定コマンド」の各フィールドの値を読み出してそのスキャン属性情報を設定してスタートとなる。
【０３７５】
ステップＳ１（以下、「ステップ」は、省略する）では、スキャン実行部１３１から送られる「接触領域判定コマンド」により、センサ制御部６０２が、光センサ駆動回路３０５を介して光センサ６によりスキャンを行って、そのスキャンデータ（ここでは、全体画像データを含む）をデータ処理部７００の画像データバッファ７０４に蓄積（保持）する動作を所定のタイミングＴＣ２で繰り返している。なお、この時点では、「データ取得タイミング」のフィールド値は、既に“01”（イベント）に設定されている（コマンドは、「接触領域判定コマンド」に設定）ものとする。
【０３７６】
次に、Ｓ２で、ユーザが、特定色の色鉛筆であるペンＰをセンサ内蔵液晶パネル３０１Ｂに接触させると、Ｓ３に進む。
【０３７７】
Ｓ３では、センサデータ処理部７０３は、スキャン実行部１３１から送られる「接触領域判定コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサ制御部６０２から受信する画像データから、ペンＰの接触により、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出された場合には、該抽出した領域の画像データ（部分画像データ及び代表座標）を主制御部８００に送信し、「ＹＥＳ」となり、Ｓ４に進む。
【０３７８】
一方、Ｓ３で、ペンＰの接触により、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出されなかった場合は、「ＮＯ」となり、センサデータ処理部７０３は、Ｓ１の動作に戻る。
【０３７９】
Ｓ４では、スキャンデータ格納部１３３は、「接触領域判定コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサデータ処理部７０３から主制御部８００に送られたスキャンデータ（部分画像データ及び代表座標）を接触領域／エッジ領域特定用データ記憶部２３１に記憶（保持）させてＳ５に進む。
【０３８０】
Ｓ５では、接触領域特定部１３６Ａは、「接触領域判定コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサデータ処理部７０３から主制御部８００にスキャンデータ（部分画像データ及び代表座標）が送られることをトリガとして、「ペンＰが、センサ内蔵液晶パネル３０１Ｂに接触した」と判定し、領域ＰＰを特定（接触領域特定処理）して「結合子Ａ」に進む。
【０３８１】
この接触領域特定処理では、接触領域特定部１３６Ａは、スキャンデータに含まれる部分画像データの全体画像データに占める領域を領域ＰＰとして特定しても良いし、スキャンデータに含まれる代表座標に基づいて、該代表座標を中心とする所定の大きさの領域を領域ＰＰとして特定しても良い。
【０３８２】
なお、以下では、接触領域特定部１３６Ａが、スキャンデータに含まれる部分画像データの全体画像データに占める領域を領域ＰＰとして特定した場合について説明する。
【０３８３】
次に、図１４は、データ表示／センサ装置１００の動作（色検出ステップ）を示すフローチャートである。
【０３８４】
「結合子Ａ」からＳ６に進み、Ｓ６では、接触領域特定部１３６Ａは、領域ＰＰを特定したことを画像表示処理部１８に通知する。
【０３８５】
画像表示処理部１８は、上記通知を受けて、原色画像作成部１８１を駆動し、原色画像作成部１８１は、接触領域／エッジ領域特定用データ記憶部２３１からスキャンデータを読み出して領域ＰＰの全体画像データ上に占める領域のみを等色の原理を満たすＲ、Ｇ及びＢ表示としたＲ画像表示用データ、Ｇ画像表示用データ、Ｂ画像表示用データを作成し、順次、データ処理部７００に送信する。これにより、センサ内蔵液晶パネル３０１の領域ＰＰに含まれる画素回路３１のそれぞれを、等色の原理を満たすＲ、Ｇ及びＢで、順次発色（表示）させて、Ｓ７に進む。
【０３８６】
Ｓ７では、原色画像作成部１８１は、スキャン属性情報設定部１３５を駆動し、スキャン属性情報設定部１３５は、色検出コマンド記憶部２２３から予め記憶されている「色検出コマンド」を読み出し、「データ取得タイミング」のフィールド値を“センス”に切り換える。
【０３８７】
その後、スキャンデータ格納部１３３は、「データ取得タイミング」のフィールド値が“センス”に設定されているので、Ｒ、Ｇ及びＢで発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像を、各光センサ６を用いてスキャンされたスキャンデータを、データ処理部７００から受信する。
【０３８８】
スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“センス”に設定されているので、色判定用データとして、色判定用データ記憶部２４１に記憶させる。このとき、スキャンデータ格納部１３３は、色判定用データ記憶部２４１に、Ｒ、Ｇ及びＢで発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像が、各光センサ６を用いてスキャンされた３つのスキャンデータをすべて記憶させると、色判定処理部１４Ａにその旨を通知してＳ８に進む。
【０３８９】
Ｓ８では、色判定処理部１４Ａが、上記通知を受けて色判定部１４１を駆動し、色判定部１４１は、色判定用データ記憶部２４１に記憶されている３つのスキャンデータに基づいて、Ｒ、Ｇ及びＢのそれぞれの光による反射光の強度を解析して、センサ内蔵液晶パネル３０１Ｂに接触したペンＰのペン先の色を判定し、その色判定結果（色情報）を出力する。その後、色判定結果格納部１４３は、出力された色判定結果を色判定結果保持部１４５又は、色判定結果記憶部２４２に記憶させ、そのこと（記憶させたこと）をスキャン属性情報設定部１３５及びエッジ領域特定部１８２１に通知して「結合子Ｂ」に進む。
【０３９０】
次に、図１５は、データ表示／センサ装置１００の動作（検出色表示ステップ）を示すフローチャートである。
【０３９１】
「結合子Ｂ」からＳ９に進み、Ｓ９では、スキャン属性情報設定部１３５が、コマンドの「データ取得タイミング」のフィールド値を“オール”に切り換える。
【０３９２】
スキャン実行部１３１は、コマンドの「データ取得タイミング」のフィールド値が“オール”に設定されているので、所定の周期で、少なくとも全体画像を含むスキャンデータをスキャンし、スキャンデータ格納部１３３は、そのスキャンデータを接触領域／エッジ領域特定用データ記憶部２３１に記憶させてＳ１０に進む。
【０３９３】
Ｓ１０では、エッジ領域特定部１８２１は、色判定結果格納部１４３からの通知を受けて待機状態となっており、スキャンデータ格納部１３３が、上記スキャンデータを接触領域／エッジ領域特定用データ記憶部２３１に記憶させたことをトリガとして、エッジ領域を特定する動作を開始し、Ｓ１１に進む。
【０３９４】
Ｓ１１では、エッジ領域特定部１８２１が、エッジ領域を特定できた場合は、ペンＰがペンアップしていない（センサ内蔵液晶パネル３０１に接触している）と判定し、「ＮＯ」となり、Ｓ１２に進む。
【０３９５】
一方、Ｓ１１で、エッジ領域特定部１８２１が、エッジ領域を特定できなかった場合は、ペンＰがペンアップした（センサ内蔵液晶パネル３０１に接触していない）と判定し、「ＹＥＳ」となり、「ＥＮＤ」となる。
【０３９６】
Ｓ１２では、エッジ領域特定部１８２１が、エッジ領域を２つ以上特定した場合には、「ＹＥＳ」となり、Ｓ１３に進む。
【０３９７】
一方、Ｓ１２で、エッジ領域特定部１８２１が、エッジ領域を１つしか特定しなかった場合には、「ＮＯ」となり、Ｓ１５に進む。
【０３９８】
Ｓ１３では、補間領域特定部１８２２が、エッジ領域が２つ以上特定されたことをトリガとして、順次特定されるエッジ領域間のそれぞれの補間領域を特定してＳ１４に進む。
【０３９９】
Ｓ１４では、表示画像作成部１８２３が、特定された２つ以上のエッジ領域と、順次特定されるエッジ領域間のそれぞれの補間領域のすべての領域内を、検出した色で塗りつぶした表示画像データを作成してＳ１６に進む。
【０４００】
また、Ｓ１５では、特定された１つのエッジ領域の領域内を検出した色で塗りつぶした表示画像データを作成してＳ１６に進む。
【０４０１】
Ｓ１６では、表示画像作成部１８２３が、データ処理部７００を介して表示／光センサ部３００に、作成した表示画像データを送信し、センサ内蔵液晶パネル３０１に検出した色の描画像が表示されてＳ９に戻る。以上の動作は、Ｓ１１でペンＰがペンアップしたと判定されるまで繰り返される。
【０４０２】
以上より、センサ内蔵液晶パネル３０１の表示面上に、色鉛筆や毛筆で描画するような自然な感覚で電子的な描画を行うことができるデータ表示／センサ装置１００を提供することができる。
【０４０３】
〔実施の形態２〕
本発明の他の実施の形態について図１６及び図１７に基づいて説明すれば、以下の通りである。なお、本実施の形態において説明すること以外の構成は、前記実施の形態１と同じである。また、説明の便宜上、前記の実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【０４０４】
本実施形態では、図４の表示制御部６０１及びセンサ制御部６０２のそれぞれの機能をハードウェアロジックで構成した場合について説明する。
【０４０５】
図１６は、データ表示／センサ装置１００の要部構成をハードで実装した場合の一例を示すブロック図である。
【０４０６】
図１６に示すように、本実施形態（データ表示／センサ装置Ａという）の要部構成は、光センサ６、シフトレジスタ（発色制御手段）４０１、インバータ（発色制御手段）４０２ｒ、ＸＮＯＲ回路（発色制御手段）４０２ｇ、インバータ（発色制御手段）４０２ｂ、ＡＮＤ回路（撮像制御手段）４０３、シフトクロック生成部（発色制御手段）４０４、トランジスタ（撮像制御手段）４０５ｒ、トランジスタ（撮像制御手段）４０５ｇ及びトランジスタ（撮像制御手段）４０５ｂ、インバータ付きトランジスタ（撮像制御手段）４０６ｒ、インバータ付きトランジスタ（撮像制御手段）４０６ｇ及びインバータ付きトランジスタ（撮像制御手段）４０６ｂ、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂ、座標演算部１３６Ｂ、色演算部１４Ｂ、並びに、色記憶（記憶部）４０７ｒ、色記憶（記憶部）４０７ｇ及び色記憶（記憶部）４０７ｂからなる構成である。
【０４０７】
図１６は、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂがすべて点灯している場合（白表示）を示している。
【０４０８】
シフトレジスタ（発色制御手段）４０１は、シフトクロック生成部４０４の駆動により、「１１０００００００００」の情報を順次、１つずつ、循環させて出力するものである。
【０４０９】
図１６では、インバータ４０２ｒ及びＸＮＯＲ回路４０２ｇに対して「０」（ＬＯＷレベル）が出力され、ＸＮＯＲ回路４０２ｇ及びインバータ４０２ｂに対して「１」（ＨＩＧＨレベル）が出力されている様子を示している。
【０４１０】
インバータ４０２ｒは、「０」が入力されているので、「１」を出力する。これにより、Ｒ画素回路３１ｒが点灯する。
【０４１１】
ＸＮＯＲ回路４０２ｇは、「００」が入力されているので、「１」を出力する。これにより、Ｇ画素回路３１ｇが点灯する。
【０４１２】
インバータ４０２ｂは、「０」が入力されているので、「１」を出力する。これにより、Ｂ画素回路３１ｂが点灯する。
【０４１３】
これにより、光センサ６は、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。
【０４１４】
ここで、ＡＮＤ回路４０３は、「１１１」が入力されているので「１」を出力するが、トランジスタ４０５ｒ〜トランジスタ４０５ｂのゲートには、すべて「１」が入力されているので、トランジスタ４０５ｒ〜トランジスタ４０５ｂのゲートは開放される。
【０４１５】
しかしながら、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂは、ＡＮＤ回路４０３からの「１」がインバータによって反転して「０」がトランジスタのゲートに入力されるので、光センサ６の検出信号は、色記憶４０７ｒ〜色記憶４０７ｂには流れない。
【０４１６】
すなわち、図１６の状態では、色検出処理が行なわれていない状態を示している。
【０４１７】
ここで、ペンＰのペン先が接触すると、座標演算部１３６Ｂは、光センサ６の検出信号に基づいて、座標演算を行い「座標情報」が出力される。
【０４１８】
座標演算部１３６Ｂは、このとき、シフトクロック生成部４０４を駆動する。そして、シフトクロック生成部４０４は、シフトレジスタ４０１を駆動して図１７（ａ）に示す状態が実現される。
【０４１９】
図１７（ａ）は、データ表示／センサ装置Ａの要部構成をハードで実装した場合においてＲ画素が点灯している様子を示す図であり、図１７（ｂ）は、Ｇ画素が点灯している様子を示す図であり、図１７（ｃ）は、Ｂ画素が点灯している様子を示す図である。
【０４２０】
まず、図１７（ａ）に示すように、シフトレジスタ４０１が駆動されて、インバータ４０２ｒには、「０」が入力されるので、インバータ４０２ｒは、「１」を出力する。これにより、Ｒ画素回路３１ｒが点灯する。
【０４２１】
また、ＸＮＯＲ回路４０２ｇには、「０１」が入力されるので、ＸＮＯＲ回路４０２ｇは、「０」を出力する。これにより、Ｇ画素回路３１ｇは、点灯しない。
【０４２２】
また、インバータ４０２ｂは、「１」が入力されるので、インバータ４０２ｂは、「０」を出力する。これにより、Ｂ画素回路３１ｂは、点灯しない。
【０４２３】
このとき、光センサ６は、Ｒ画素回路３１ｒが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。
【０４２４】
ここで、ＡＮＤ回路４０３には、「１００」が入力されるので、ＡＮＤ回路４０３は、「０」を出力する。
【０４２５】
ここで、インバータ４０２ｒ〜インバータ４０２ｂには、ＡＮＤ回路４０３より「０」が入力されるので、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートには、すべて「１」が入力されて、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートは開放される。
【０４２６】
一方、トランジスタ４０５ｒ〜トランジスタ４０５ｂでは、トランジスタ４０５ｒのみゲートに「１」が入力されるので、トランジスタ４０５ｒのみゲートが開放される。
【０４２７】
これにより、色記憶４０７ｒに光センサ６の検出信号による検出情報が記憶される。その後、シフトクロック生成部４０４がシフトレジスタ４０１を駆動して、図１７（ｂ）の状態に進む。
【０４２８】
図１７（ｂ）では、シフトレジスタ４０１が駆動されて、インバータ４０２ｒには、「１」が入力されるので、インバータ４０２ｒは、「０」を出力する。これにより、Ｒ画素回路３１ｒが点灯しない。
【０４２９】
また、ＸＮＯＲ回路４０２ｇには、「１１」が入力されるので、ＸＮＯＲ回路４０２ｇは、「１」を出力する。これにより、Ｇ画素回路３１ｇは、点灯する。
【０４３０】
また、インバータ４０２ｂは、「１」が入力されるので、インバータ４０２ｂは、「０」を出力する。これにより、Ｂ画素回路３１ｂは、点灯しない。
【０４３１】
このとき、光センサ６は、Ｇ画素回路３１ｇが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。
【０４３２】
ここで、ＡＮＤ回路４０３には、「０１０」が入力されるので、ＡＮＤ回路４０３は、「０」を出力する。
【０４３３】
ここで、インバータ４０２ｒ〜インバータ４０２ｂには、ＡＮＤ回路４０３より「０」が入力されるので、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートには、すべて「１」が入力されて、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートは開放される。
【０４３４】
一方、トランジスタ４０５ｒ〜トランジスタ４０５ｂでは、トランジスタ４０５ｇのみゲートに「１」が入力されるので、トランジスタ４０５ｇのみゲートが開放される。
【０４３５】
これにより、色記憶４０７ｇに光センサ６の検出信号による検出情報が記憶される。
【０４３６】
同様に、図１７（ｃ）では、シフトレジスタ４０１が駆動されて、インバータ４０２ｒには、「１」が入力されるので、インバータ４０２ｒは、「０」を出力する。これにより、Ｒ画素回路３１ｒが点灯しない。
【０４３７】
また、ＸＮＯＲ回路４０２ｇには、「１０」が入力されるので、ＸＮＯＲ回路４０２ｇは、「０」を出力する。これにより、Ｇ画素回路３１ｇは、点灯しない。
【０４３８】
また、インバータ４０２ｂには、「０」が入力されるので、インバータ４０２ｂは、「１」を出力する。これにより、Ｂ画素回路３１ｂは、点灯する。
【０４３９】
このとき、光センサ６は、Ｂ画素回路３１ｂが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。
【０４４０】
ここで、ＡＮＤ回路４０３には、「００１」が入力されるので、ＡＮＤ回路４０３は、「０」を出力する。
【０４４１】
ここで、インバータ４０２ｒ〜インバータ４０２ｂには、ＡＮＤ回路４０３より「０」が入力されるので、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートには、すべて「１」が入力されて、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートは開放される。
【０４４２】
一方、トランジスタ４０５ｒ〜トランジスタ４０５ｂでは、トランジスタ４０５ｂのみゲートに「１」が入力されるので、トランジスタ４０５ｂのみゲートが開放される。
【０４４３】
これにより、色記憶４０７ｂに光センサ６の検出信号による検出情報が記憶される。
【０４４４】
以上説明した、図１７（ａ）〜図１７（ｃ）までの一連の動作により、色記憶４０７ｒ〜色記憶４０７ｂのすべてに検出情報が記録されることをトリガとして、色演算部１４Ｂは、ペンＰのペン先の色を解析し、色情報を出力する。
【０４４５】
以上より、装置の小型化に有用な、入出力一体型ディスプレイ（センサ内蔵液晶パネル３０１）の表示面上に接触したペンＰのペン先の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができるデータ表示／センサ装置Ａを提供することができる。
【０４４６】
〔実施の形態３〕
本発明のさらに他の実施の形態について図１８に基づいて説明すれば、以下の通りである。なお、本実施の形態において説明すること以外の構成は、前記実施の形態１及び２と同じである。また、説明の便宜上、前記の実施の形態１及び２の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【０４４７】
図１８は、本実施形態のデータ表示／センサ装置（データ表示／センサ装置Ｂと呼ぶ）の要部構成をハードで実装した場合の他の例を示すブロック図である。
【０４４８】
本実施形態が実施の形態２と異なる点は、まず、トランジスタ４０５ｂが無いことと、インバータ付きトランジスタ４０６ｂに替えて、トランジスタ（撮像制御手段）４０６ｗが設けられている点のみであり、それ以外の構成は、実施の形態２と同じである。なお、動作については、実施の形態２と同様なので、ここでは、説明を省略し、実施の形態２と本実施形態との作用の違いについて説明する。
【０４４９】
実施の形態２のデータ表示／センサ装置Ａでは、Ｒ、Ｇ及びＢのそれぞれの光が順次、発光し、Ｒ、Ｇ及びＢのそれぞれの光が、光センサ６によって検出された検出情報として色記憶４０７ｒ〜色記憶４０７ｂに記録される。
【０４５０】
一方、実施の形態３では、Ｒ、Ｇ及び白（Ｒ〜Ｇのすべて点灯）のそれぞれの光が順次、発光し、Ｒ、Ｇ及白のそれぞれの光が、光センサ６によって検出された検出情報として色記憶４０７ｒ〜色記憶（記憶部）４０７ｗに記録される。
【０４５１】
以上より、装置の小型化に有用な、入出力一体型ディスプレイ（センサ内蔵液晶パネル３０１）の表示面上に接触したペンＰのペン先の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができるデータ表示／センサ装置Ｂを提供することができる。
【０４５２】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組合せて得られる実施形態についても本発明の技術的範囲に含まれる。
【０４５３】
最後に、データ表示／センサ装置１００の各ブロック、特に主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０４５４】
すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、前記プログラムを格納したＲＯＭ（read only memory）、前記プログラムを展開するＲＡＭ（random access memory）、前記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、前記データ表示／センサ装置１００に供給し、そのコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０４５５】
前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０４５６】
また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０４５７】
以上より、入出力一体型ディスプレイ（面状部材）の表示面上に、色鉛筆や毛筆で描画するような自然な感覚で電子的な描画を行うことができるデータ表示／センサ装置１００、色検出／色出力プログラム及び該色検出／色出力プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに色検出／色出力方法を提供することができる。
【産業上の利用可能性】
【０４５８】
本発明は、複数の単位画素及び複数の撮像センサを備えた表示装置に適用できる。具体的には、表示装置として、例えば、アクティブマトリクス型の液晶表示装置に用いることができると共に、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイにも利用することができる。
【図面の簡単な説明】
【０４５９】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の概観構成及びその機能の概要を示す模式図である。
【図２】（ａ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面の一例を示す模式図であり、（ｂ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの他の例の１画素を示す模式図である。
【図３】（ａ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、（ｂ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】前記データ表示／センサ装置の要部構成を示すブロック図である。
【図５】前記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】（ａ）は、前記データ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データであり、（ｂ）は、前記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】前記データ表示／センサ装置の要部構成のうち、主制御部及び記憶部の詳細を示すブロック図である。
【図１０】前記主制御部の要部構成のうち、色判定結果表示画像作成部の詳細を示すブロック図である。
【図１１】前記データ表示／センサ装置の色検出動作を概念的に示す模式図であり、（ａ）は、前記色検出動作の時間経過を示し、（ｂ）は、前記色検出動作の際の画面表示の様子を示す。
【図１２】前記データ表示／センサ装置の検出色表示動作を概念的に示す模式図である。
【図１３】前記データ表示／センサ装置の動作（接触領域特定ステップ）を示すフローチャートである。
【図１４】前記データ表示／センサ装置の動作（色検出ステップ）を示すフローチャートである。
【図１５】前記データ表示／センサ装置の動作（検出色表示ステップ）を示すフローチャートである。
【図１６】前記データ表示／センサ装置の要部構成をハードで実装した場合の一例を示すブロック図である。
【図１７】（ａ）は、前記データ表示／センサ装置の要部構成をハードで実装した場合においてＲ画素が点灯している様子を示す図であり、（ｂ）は、Ｇ画素が点灯している様子を示す図であり、（ｃ）は、Ｂ画素が点灯している様子を示す図である。
【図１８】前記データ表示／センサ装置の要部構成をハードで実装した場合の他の例を示すブロック図である。
【図１９】（ａ）及び（ｂ）は、従来のカラースキャナにおいて、光源とイメージセンサとの間にカラーフィルタを設ける場合の、イメージセンサとカラーフィルタとの大きさの関係を説明するための概念図であり、（ｃ）は、従来のカラースキャナにおいて、赤、緑及び青のＬＥＤ（light-emitting diode）を順次点灯させて、それぞれの光をスキャンする様子を示す図である。
【符号の説明】
【０４６０】
６ 光センサ（撮像センサ）
１２ スキャン処理部（撮像制御手段）
１４Ａ 色判定処理部（色検出手段）
１４Ｂ 色演算部（色検出手段）
１８ 画像表示処理部（発色制御手段，検出色表示制御手段）
２２ スキャン属性情報記憶部
２３ 画像データ記憶部
２４ 原色画像データ記憶部
３１ 画素回路（単位画素）
３１ｒ Ｒ画素回路（色画素,Ｒ画素）
３１ｇ Ｇ画素回路（色画素,Ｇ画素）
３１ｂ Ｂ画素回路（色画素,Ｂ画素）
５３ｒ,５３ｇ,５３ｂ カラーフィルタ（３原色カラーフィルタ）
１００ データ表示／センサ装置（色検出／色出力装置）
１３１ スキャン実行部
１３２ スキャン実行指示部
１３３ スキャンデータ格納部
１３４ スキャンデータ／接触領域特定結果保持部
１３５ スキャン属性情報設定部
１３６Ａ 接触領域特定部（接触判定手段,接触領域特定手段，エッジ領域特定手段）
１３６Ｂ 座標演算部（接触判定手段,接触領域特定手段）
１４１ 色判定部
１４２ 色判定用データ解析部
１４３ 色判定結果格納部
１４５ 色判定結果保持部（記憶部）
１８１ 原色画像作成部（発色制御手段）
１８２ 色判定結果表示画像作成部
２２２ 接触領域判定コマンド記憶部
２２３ 色検出コマンド記憶部
２２４ 検出色表示コマンド記憶部
２３１ 接触領域／エッジ領域特定用データ記憶部
２３２ 接触領域／エッジ領域特定結果記憶部
２４１ 色判定用データ記憶部
２４２ 色判定結果記憶部（記憶部）
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
３０１Ａ センサ内蔵液晶パネル（面状部材）
３０１Ｂ センサ内蔵液晶パネル（面状部材）
４０１ シフトレジスタ（発色制御手段）
４０２ｒ インバータ（発色制御手段）
４０２ｇ ＸＮＯＲ回路（発色制御手段）
４０２ｂ インバータ（発色制御手段）
４０３ ＡＮＤ回路（撮像制御手段）
４０４ シフトクロック生成部（発色制御手段）
４０５ｒ,４０５ｇ,４０５ｂ トランジスタ（撮像制御手段）
４０６ｒ,４０６ｇ,４０６ｂ インバータ付きトランジスタ（撮像制御手段）
４０６ｗ トランジスタ（撮像制御手段）
４０７ｒ,４０７ｇ,４０７ｂ 色記憶（記録部）
４０７ｗ 色記憶（記録部）
６００ 回路制御部
６０１ 表示制御部
６０２ センサ制御部
６０３ バックライト制御部
７００ データ処理部
７０１ 表示データ処理部
７０３ センサデータ処理部
８００ 主制御部
９０１ 記憶部
９０３ 操作部
１８２１ エッジ領域特定部（エッジ領域特定手段，接触判定手段）
１８２２ 補間領域特定部（補間領域特定手段）
１８２３ 表示画像作成部（検出色表示制御手段）
Ｐ ペン（接触物）
ＰＰ 領域（接触領域）
Ｌ 軌跡
Ｈ ヒンジ
ＴＲ Ｒ画素点灯期間
ＴＧ Ｇ画素点灯期間
ＴＢ Ｂ画素点灯期間
【技術分野】
【０００１】
本発明は、色検出／色出力装置、色検出／色出力プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出／色出力方法に関するものであり、より詳細には、面状部材の表示面上に電子的な描画を行うことができる色検出／色出力装置、色検出／色出力プログラム及び該色検出／色出力プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに色検出／色出力方法に関するものである。
【背景技術】
【０００２】
携帯電話やＰＤＡ（Personal Digital Assistants）などの各種機器に、画像表示部として液晶ディスプレイを備えた画像表示装置が幅広く利用されていることは周知の通りである。
【０００３】
特に、ＰＤＡでは、古くからタッチセンサ（アナログ抵抗膜方式、静電容量方式）を備えることにより、直接指などを液晶ディスプレイに接触させることによって情報を入力するタッチ入力が可能となっている。また、携帯電話やその他の機器においても、タッチセンサを備えるセンサ内蔵型液晶表示装置の普及が期待されている。
【０００４】
一方、例えば、描画表示機能を有する電子黒板は、表示画面上に接触したペンなどの指示位置を認識し、その表示画面上の指示位置を含む所定領域において所定の色を発色させることで、表示画面上に描画できるようになっている。
【０００５】
このような電子黒板の機能を液晶ディスプレイなどの画像表示機能と組合せれば、ユーザの利便性をさらに向上させることができる。
【０００６】
表示画面上にペンなどを用いて電子的に描画する描画表示装置の従来例として、例えば、特許文献１には、電子黒板における入力色判定方法に関する技術が開示されている。
【０００７】
この電子黒板における入力色判定方法では、電子黒板に設けられたペンホルダから赤、青及び黒のフェルトペンのうちいずれの色のフェルトペンが残っているのかをペンホルダ内の色検出器により判定することで、ペンホルダ内に存在しない現在使用中のフェルトペンの色を判定するようになっている。
【０００８】
また、他の例として特許文献２には、ＣＡＤ（computer-aided design）における表示方法に関する技術が開示されている。
【０００９】
このＣＡＤにおける表示方法では、特定の色に対応したペン番号を入力できるようになっており、入力したペン番号に基づいて、当該ペン番号に対応する色で、表示画面上に描画できるようになっている。
【００１０】
また、さらに他の例として、特許文献３には、メッセージプリント方法に関する技術が開示されている。
【００１１】
このメッセージプリント方法では、写真データが表示された表示画面上にライトペンを用いてメッセージを書き込むことにより、写真データに手書きメッセージが書き込まれた状態でプリント写真がプリントアウトされるようになっている。なお、メッセージの色の選択は、表示画面に表示されたアイコン等をライトペンで選択することで行われるようになっている。
【００１２】
また、さらに他の例として、特許文献４には、座標検出装置に関する技術が開示されている。
【００１３】
この座標検出装置は、検出されたペンの太さでペンの動きに沿って描画を行うようになっている。
【００１４】
また、さらに他の例として、特許文献５には、入力用ペンを用いた入力装置に関する技術が開示されている。
【００１５】
この入力用ペンを用いた入力装置は、入力用のペン先に表示部を設け、該表示部に入力モードに応じた表示を行うようになっている。
【００１６】
また、さらに他の例として、特許文献６には、超薄型入出力一体型情報処理装置に関する技術が開示されている。
【００１７】
この超薄型入出力一体型情報処理装置では、イメージセンサと、ＴＦＴ液晶と、Ｒ（Red）、Ｇ（Green）及びＢ（Blue）のカラーフィルタを組合せて画像の読み取りや、文字認識を行うことができるようになっている。
【００１８】
また、さらに他の例として、特許文献７には、平面表示装置に関する技術が開示されている。
【００１９】
この平面表示装置では、光ペン１７１は青色のＬＥＤ６０１を用い、ペン先の光出射口６０２が表示パネル１４８と接触するか、もしくは一定距離以内に近づくと、ＬＥＤ６０１が点灯するようになっている。
【００２０】
また、ＬＥＤ６０１から放射された光は、ペン軸６０３の内面で反射して出射口６０２に導かれるようになっており、ＬＥＤ６０１の電源スイッチＳＷは、ペン先６１１に取り付けられたオンオフ部、近接センサである赤外線センサの検出部で制御されている。
【特許文献１】特開昭６１ −２１３９１８号公報（１９８６年 ９月２２日公開）
【特許文献２】特開平０２ −１２１０７２号公報（１９９０年 ５月 ８日公開）
【特許文献３】特開平１０ −２６８４４０号公報（１９９８年１０月 ９日公開）
【特許文献４】特開平 ７ −２００１３６号公報（１９９５年 ８月 ４日公開）
【特許文献５】特開平 ９ − ５４６５２号公報（１９９７年 ２月２５日公開）
【特許文献６】特開平 ４ −２８２６０９号公報（１９９２年１０月 ７日公開）
【特許文献７】特開２００６−２４３８５０号公報（２００６年 ９月１４日公開）
【特許文献８】特開平 １ −１８８０６９号公報（１９８９年 ７月２７日公開）
【特許文献９】特開平 ４ −３１３７２２号公報（１９９２年１１月 ５日公開）
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、前記従来のセンサ内蔵型液晶表示装置では、液晶ディスプレイ上に接触する接触物の色を直接検出することができなかったため、例えば、液晶ディスプレイ上にペンなどの入力装置を用いて描画を行っているペン先の色などの検出はできなかった。
【００２２】
特許文献４に記載された座標検出装置では、検出されたペンの太さでペンの動きに沿って描画を行うようになっているものの、表示画面上で電子的に描画を行っているペン先の色などを直接検出する方法については、開示されていない。
【００２３】
さらに、特許文献１〜３，５及び６のいずれにも、表示画面上で電子的に描画を行っているペン先の色を直接検出する方法については、開示されていない。
【００２４】
本発明は、前記従来の問題点に鑑みなされたものであって、その目的は、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に、色鉛筆で描画するような自然な感覚で電子的な描画を行うことができる色検出／色出力装置、色検出／色出力プログラム及び該色検出／色出力プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに色検出／色出力方法を提供することにある。
【課題を解決するための手段】
【００２５】
本発明の色検出／色出力装置は、前記課題を解決するために、複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材と、前記単位画素のそれぞれを発色させる発色制御手段と、前記発色制御手段が、前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御手段と、前記撮像制御手段によって撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出手段と、前記面状部材上に、前記色検出手段によって検出した色を表示する検出色表示制御手段とを備えることを特徴としている。
【００２６】
本発明の色検出／色出力方法は、前記課題を解決するために、複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材を用いた色検出／色出力方法であって、前記単位画素のそれぞれを発色させる発色制御ステップと、前記発色制御ステップで、前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御ステップと、前記撮像制御ステップで、撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出ステップと、前記面状部材上に、前記色検出ステップで検出した色を表示する検出色表示制御ステップとを含んでいることを特徴としている。
【００２７】
前記構成又は方法によれば、面状部材は、複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含んでいる。
【００２８】
したがって、面状部材の複数の単位画素を動作させることにより画像を、面状部材上（例えば、「所定の表示面」に表示することが考えられるので、以下、便宜上「表示面」と称して説明する。）に表示することが可能である。
【００２９】
また、面状部材の複数の単位画素が、発色（発光）するときの光を利用して、表示面上の接触物に光を当て、その反射光を面状部材の複数の撮像センサで検出することにより表示面上の接触物の像を撮像することが可能である。
【００３０】
以上の構成によれば、画像表示部と、画像撮像部とを別々の装置で構成する必要がないので、入出力一体型装置の小型化が可能となる。
【００３１】
また、前記構成又は方法によれば、発色制御手段（発色制御ステップで）は、前記単位画素のそれぞれを、発色させるようになっている。
【００３２】
また、前記構成又は方法によれば、撮像制御手段（撮像制御ステップで）は、前記発色制御手段が（前記発色制御ステップで）、前記単位画素のそれぞれを発色させた場合に、前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像するようになっている。
【００３３】
また、前記構成又は方法によれば、色検出手段（色検出ステップで）は、前記撮像制御手段によって（撮像制御ステップで）撮像された、前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出するようになっている。
【００３４】
さらに、前記構成又は方法によれば、検出色表示制御手段は、前記面状部材上（の表示面）に、前記色検出手段によって検出した色を表示するようになっている。
【００３５】
以上の構成又は方法によれば、面状部材（の表示面上）に接触した接触物の色を直接検出して、検出した色を表示面上に表示させることができる。
【００３６】
よって、入出力一体型ディスプレイ（面状部材）の表示面上に、色鉛筆で描画するような自然な感覚で電子的な描画を行うことができる。
【００３７】
ところで、毛筆などで描画する場合、厳密には、毛筆などの接触部分の太さは、リアルタイムに変化する。
【００３８】
しかしながら、特許文献４に記載された座標検出装置では、ペンの太さの検出のために、タブレットの入力面上でペンが指示する位置の前回検出した座標と今回検出した座標とから両位置の距離を算出し、この操作をｎ回繰り返すという複雑な動作が必要なので、一度検出したペンの太さを固定した描画は可能であると考えられるが、その後のペンの太さの変化に追随させたリアルタイムな描画は困難であるという別の課題が生じる。
【００３９】
このような課題を解決するために、本発明の色検出／色出力装置は、前記構成に加えて、前記接触物の像におけるエッジ部分に含まれる単位画素を特定すると共に、前記エッジ部分に含まれる単位画素に囲まれたエッジ領域を特定するエッジ領域特定手段を備えており、前記検出色表示制御手段は、前記エッジ領域特定手段によって特定された前記エッジ領域内を、前記色検出手段によって検出した色で表示することが好ましい。
【００４０】
前記構成によれば、エッジ領域特定手段は、前記接触物の像におけるエッジ部分に含まれる単位画素（エッジ画素）を特定する。また、このように特定されたエッジ画素に囲まれたエッジ領域を特定するようになっている。
【００４１】
なお、「エッジ画素」とは、接触物の像を構成する各単位画素のうち、明るさが急激に変化する部分（エッジ）における単位画素である。
【００４２】
また、接触物の像における単位画素毎の画素値とは、接触物の像の画像データにおける各単位画素に対応するデータ位置における画素値のことを意味する場合も含む広い概念である。
【００４３】
エッジ画素の特定は、例えば、画素値の勾配の大きさが所定の閾値以上である単位画素を特定すれば良い。
【００４４】
ここで、「画素値」の例としては、画素毎の「階調値」などが例示できる。
【００４５】
「画素値の勾配量」はベクトル量であり、大きさ（勾配の大きさ）と向き（勾配方向）とを持つ。
【００４６】
ここで、各勾配方向の分布は、例えば、ペン先が丸いペンのように接触物の接触部分が円形になるような場合には、ペン（接触物）の像におけるエッジ部分に囲まれたエッジ領域（エッジ部分に含まれる単位画素に、囲まれた領域）の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。
【００４７】
また、接触物の接触部分がその他の形状であっても、エッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、例えば、描画目的の接触物の種類に応じて、大きく変わることは無い。
【００４８】
よって、エッジ領域を特定すれば、概ね接触物の接触部分の形状を特定したことになる。これにより、例えば、ペンの太さに応じた描画が可能となる。
【００４９】
また、「画素値の勾配量」は、１フレームの撮像画像から得られる量である。よって、撮像制御手段によって撮像された、前記接触物の像毎にエッジ領域を特定することができる。よって、フレーム毎に、ペンの太さが変化しても、リアルタイムに表示を行うことができる。これにより、ペンの太さの変化に追随させたリアルタイムな描画を行うことが可能となる。
【００５０】
また、本発明の色検出／色出力装置は、前記構成に加えて、前記エッジ領域特定手段により、第１エッジ領域が特定された後に、第２エッジ領域が特定された場合に、前記エッジ領域特定手段が特定した、前記第１エッジ領域及び前記第２エッジ領域間を補間するための補間領域を特定する補間領域特定手段とを備えており、前記検出色表示制御手段は、前記第１エッジ領域内、前記第２エッジ領域内、及び前記補間領域内を、前記色検出手段によって検出した色で表示することが好ましい。
【００５１】
前記構成によれば、補間領域特定手段は、前記エッジ領域特定手段により、第１エッジ領域が特定された後に、第２エッジ領域が特定された場合に、前記エッジ領域特定手段が特定した、前記第１エッジ領域及び前記第２エッジ領域間を補間するための補間領域を特定するようになっている。
【００５２】
また、前記検出色表示制御手段は、前記第１エッジ領域内、前記第２エッジ領域内、及び前記補間領域内を、前記色検出手段によって検出した色で表示するようになっている。
【００５３】
よって、第１エッジ領域及び第２エッジ領域間をスムーズに繋いで色を表示できるので、例えば、赤く染められた毛筆状の接触物を用いた場合、赤い墨汁をつけた毛筆で描画するような自然な感覚で電子的な描画を行うことができる。
【００５４】
ところで、液晶ディスプレイに接触するペンなどのペン先の色を検出する方法としては、従来のＣＣＤ（Charge-coupled device）カメラの技術分野で行なわれている方法と同様にイメージセンサの前に３原色のフィルタを設けることなどにより色を検出することが考えられる。
【００５５】
このような従来の色検出／色出力方法に関する技術の一例として、特許文献７には、光源、イメージセンサ、カラーＴＦＴ液晶、及びカラーフィルタからなる超薄型入出力一体型情報処理装置に関する技術が開示されている。
【００５６】
この超薄型入出力一体型情報処理装置では、Ｒ（Red）、Ｇ（Green）及びＢ（Blue）の画素に対応してイメージセンサをそれぞれ配列することにより、カラーＴＦＴ液晶による画像表示と、表示画面上に載置された画像読み取り対象物のカラー画像の読み取りが可能となっている。
【００５７】
なお、この超薄型入出力一体型情報処理装置では、画像読み取り対象物のカラー画像の読み取りの際は、カラーＴＦＴ液晶のすべての画素を光が透過する状態とする点のみしか開示されていない。
【００５８】
また、この超薄型入出力一体型情報処理装置では、Ｒ、Ｇ及びＢの各画素に対応するサブピクセルごとにイメージセンサを設けている。
【００５９】
ここで、図１９（ａ）及び図１９（ｂ）に基づき、特許文献７に記載された超薄型入出力一体型情報処理装置の問題点について説明する。
【００６０】
図１９（ａ）及び図１９（ｂ）は、光源とイメージセンサとの間にカラーフィルタを設ける場合の、イメージセンサとカラーフィルタとの大きさの関係を説明するための概念図である。なお、イメージセンサはカラーフィルタの下に配置されているものとする。
【００６１】
なお、以下では、１ピクセルの画素に３つのサブピクセルが存在している場合について説明する。
【００６２】
図１９（ａ）は、特許文献７に開示された超薄型入出力一体型情報処理装置におけるイメージセンサとカラーフィルタとの大きさの関係を概念的に示したものであり、イメージセンサ３つのサブピクセルにＲ、Ｇ及びＢの３原色フィルタをそれぞれ設けた場合を示している。
【００６３】
このように、サブピクセル毎に、イメージセンサを設ける方法では、精細な加工が必要となりコスト面に問題があると共に、Ｒ、Ｇ及びＢ、１色当たりのイメージセンサの面積が小さくなり感度が低下してしまうという課題がある。
【００６４】
一方、例えば、図１９（ｂ）は、Ｒ、Ｇ及びＢの３原色フィルタのそれぞれのサイズを１ピクセルのサイズと同じ大きさとし、ピクセル毎にイメージセンサを設けた場合を概念的に示している。
【００６５】
この場合、３つのサブピクセル分の光を利用でき、イメージセンサのサイズも比較的大きくできるので、感度をおよそ３倍向上させることができるが、逆に解像度が１／３に低下してしまうという別の課題がある。
【００６６】
このような課題を解決するため、本発明の色検出／色出力装置は、前記構成に加えて、前記発色制御手段は、前記単位画素のそれぞれを、等色の原理を満たす第１色、第２色及び第３色で、順次発色させ、前記撮像制御手段は、前記発色制御手段が、前記単位画素のそれぞれを、前記第１色、第２色及び第３色で発色させる毎に、前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像し、前記色検出手段は、前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御手段によって撮像された、前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出することが好ましい。
【００６７】
前記構成によれば、色検出手段は、前記発色制御手段が、前記第１色、第２色及び第３色で（順次）発色させる毎に、前記撮像制御手段によって撮像された、前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出するようになっている。
【００６８】
ここで、「等色の原理」とは、色彩学の学術用語であり、すべての色は３つの色で表現できるという原理のことである。
【００６９】
また、対象物の色を検出するためには、等色の原理より、３つの異なる色を有する光を対象物に照射し、その反射光を検出すれば良い。
【００７０】
以上のように、前記第１色、第２色及び第３色で発色させて、接触物の接触部分の色を検出するようにすれば、接触物の接触部分の色が仮に第１色と同じ色であるような場合でも、残りの第２色及び第３色を発色させて撮像した撮像データを基に、色の検出を行うことができる。
【００７１】
また、「第１色、第２色及び第３色で発色させる」とは、まず、第１色を発色させ、次に第２色を発色させ、さらに第３色を発色させることを意味する。
【００７２】
ここで、色検出の精度向上の観点からは、第１色、第２色及び第３色を１度に発色させて、これらの３色が混色した状態を撮像した１つの撮像データを解析して色検出を行うよりも、等色の原理を満たす３色を第１色、第２色及び第３色を、発色させて、前記第１色、第２色及び第３色で発色させる毎に各撮像センサを用いて撮像した、撮像データを３つ用意して、これらの３つの撮像データを解析する方が好ましい。
【００７３】
なぜなら、等色の原理を満たす第１色、第２色及び第３色が混色した状態を撮像した撮像データ１つを解析して色検出を行うよりも、第１色、第２色及び第３色のそれぞれを分離した状態の３つの撮像データを解析して色検出を行う方が、分析が遥かに容易であり、検出精度も高いからである。
【００７４】
以上の構成によれば、例えば、単位画素毎に撮像センサを設けた場合でも、各単位画素は、少なくとも１つの撮像センサで、第１色、第２色及び第３色の３色分の撮像データを別々に得ることができる。
【００７５】
色検出の検出精度の観点からは、色画素毎に撮像センサを配置することが好ましいが、前記構成によれば、撮像センサの数が少なくても色検出の検出精度が比較的高いので、現状のセンサ面積（例えば、単位画素の数：撮像センサの数＝１：１）及び色検出の検出精度を確保しつつ、検出感度の低下を防止することができる。
【００７６】
また、前記構成によれば、検出感度を上げるために、単位画素中の３つの色画素から出射されるすべての光を用いて１つの色を発色させるようにしなくても良いので、解像度の劣化も防止することができる。
【００７７】
以上より、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができる。
【００７８】
また、本発明の色検出／色出力装置は、前記構成に加えて、前記発色制御手段は、前記色検出手段によって前記接触部分の色が検出された場合に、前記単位画素を前記第１色、第２色及び第３色で、順次発色させる動作を終了することが好ましい。
【００７９】
前記構成によれば、色検出手段により接触物の接触部分の色が検出されるまで、前記単位画素を発色させる動作を続けるので、接触物の接触部分の色を、確実に検出することができる。
【００８０】
また、一旦、色が検出された後は、発色動作を終了するので、重ねて色を検出するといった無駄な動作などを防止することができる。
【００８１】
また、本発明の色検出／色出力装置は、前記構成に加えて、前記第１色は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）及び白色からなる４色のうちのいずれかであり、
前記第２色は、該４色のうち、前記第１色でない残りの３色のうちのいずれかであり、
前記第３色は、該３色のうち、前記第２色でない残りの２色のうちのいずれかであることが好ましい。
【００８２】
前記構成によれば、画像表示装置に一般的に用いられているＲ画素、Ｇ画素及びＢ画素の集まりを単位画素とする画像表示装置に本願発明を適用することができる。
【００８３】
なお、単位画素を白色に発色させるには、Ｒ画素、Ｇ画素及びＢ画素のすべてを発色させれば良い。
【００８４】
本発明の色検出／色出力装置は、前記構成に加えて、前記接触物が前記面状部材に接触しているか否かを判定する接触判定手段を備えており、前記発色制御手段は、前記接触判定手段によって前記接触物が前記面状部材に接触していると判定された場合に、前記単位画素を、前記第１色、第２色及び第３色で、順次発色させることが好ましい。
【００８５】
前記構成によれば、接触判定手段が、接触物が面状部材に接触していると判定している場合にしか単位画素を、前記第１色、第２色及び第３色で順次発色させる動作を行わないので、色検出ができない場合に、色検出を行ってしまうなどといった無駄な検出動作を防止することができる。
【００８６】
ここで、図１９（ｃ）に基づき、前記第１色、第２色及び第３色を発色させる構成が有するさらに別の課題について説明する。
【００８７】
図１９（ｃ）は、従来のカラースキャナで、カラー画像に対してＲ、Ｇ及びＢの光を順次照射して、イメージセンサで画像の取り込みを行っているものを示す概念図である。
【００８８】
例えば、特許文献８及び９には、前記従来のカラースキャナの変形例として光源と原稿との間に液晶を設け、液晶にて光源色を変化させ色を取り込むスキャナが開示されている。
【００８９】
なお、特許文献８及び９に開示された技術では、いずれも画像表示用の画素を利用して色検出を行うという観点については、記載及び示唆されていない。また、レンズ等の別の光学系素子を用いており、装置の小型化の観点は考慮されていない。
【００９０】
ここで、カラースキャナの場合は、スキャン画面上に、原稿等を載置した状態で、原稿の画像データを取り込むので、スキャン画面にＲ、Ｇ及びＢの光が、順次照射されても、その光は、原稿等に隠れて、ユーザには、ほとんど見えない。
【００９１】
しかしながら、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を検出する場合には、表示面上に画像表示が行なわれている状態をユーザが見ている状態で、接触物の色を検出する関係上、前記第１色、第２色及び第３色を順次発色させると表示にチラツキが生じてしまうという別の課題が生じる。
【００９２】
このような問題点を解決するため、本発明の色検出／色出力装置は、前記構成に加えて、前記発色制御手段は、前記エッジ領域に含まれる前記単位画素のみを発色させることが好ましい。
【００９３】
前記構成によれば、発色制御手段は、エッジ領域に含まれる単位画素のみを発色させる。
【００９４】
すなわち、エッジ領域は、ほぼ接触物が接触している接触部分の形状を反映した形状となると考えられるので、このエッジ領域における表示のチラツキは、該接触物の接触部分に隠れてユーザには、ほぼ完全に見えないようにすることができる。
【００９５】
以上より、装置の小型化に有用な、入出力一体型ディスプレイ（面状部材）の表示面上に接触した接触物の色を、感度の低下及び解像度の劣化を防止しつつ、表示のチラツキをユーザに認識させることなく検出することができる。
【００９６】
また、本発明の色検出／色出力装置は、前記構成に加えて、前記色検出手段が検出した前記接触物の接触部分の色を示す色情報を保持する記憶部を備えていることが好ましい。
【００９７】
前記構成によれば、前記色検出手段が検出した前記接触物の接触部分の色を示す色情報を保持するので、同じ接触物の色を再検出する必要がない。
【００９８】
なお、色情報を保持するタイミングについては、色検出手段が接触物の色を検出した直後であることが好ましい。
【００９９】
また、色情報を保持する期間としては、接触物が接触（例えば、接触判定手段が、接触物が接触していると判定）して、色検出されてから離れる（例えば、接触判定手段が、接触物が接触していないと判定する）までの期間などが例示できる。
【０１００】
なお、前記色検出／色出力装置及び色検出／色出力方法における各手段、各機能、各ステップ及び各処理のそれぞれは、コンピュータによって実現してもよく、この場合には、コンピュータを各手段として動作させ、コンピュータに各機能を実現させ、若しくはコンピュータに各ステップ及び各処理を実行させることにより前記前記色検出／色出力装置及び色検出／色出力方法を、コンピュータにて実現させる色検出／色出力プログラム、並びにそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【０１０１】
本発明の色検出／色出力装置は、以上のように、複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材と、前記単位画素のそれぞれを発色させる発色制御手段と、前記発色制御手段が、前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御手段と、前記撮像制御手段によって撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出手段と、前記面状部材上に、前記色検出手段によって検出した色を表示する検出色表示制御手段とを備えるものである。
【０１０２】
また、本発明の色検出／色出力方法は、以上のように、複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材を用いた色検出／色出力方法であって、前記単位画素のそれぞれを発色させる発色制御ステップと、前記発色制御ステップで、前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御ステップと、前記撮像制御ステップで、撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出ステップと、前記面状部材上に、前記色検出ステップで検出した色を表示する検出色表示制御ステップとを含んでいる方法である。
【０１０３】
それゆえ、入出力一体型ディスプレイ（面状部材）の表示面上に、色鉛筆で描画するような自然な感覚で電子的な描画を行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【０１０４】
本発明の一実施形態について図１〜図１５に基づいて説明すれば、以下の通りである。
【０１０５】
〔実施の形態１〕
（データ表示／センサ装置の概観構成及びその機能の概要）
まず、図１に基づき、本発明の一実施形態であるデータ表示／センサ装置（色検出／色出力装置）１００の外観構成及びその機能の概要について説明する。
【０１０６】
図１は、本発明の一実施形態に係るデータ表示／センサ装置１００の概観構成及びその機能の概要を示す模式図である。
【０１０７】
図１に示すように、本実施形態に係るデータ表示／センサ装置１００の概観構成は、ヒンジＨで結合された２つ折りに折り畳み可能な筐体３００Ａ及び筐体３００Ｂを有し、筐体３００Ａ及び筐体３００Ｂを折り畳んだ状態で対向する２つの内面のそれぞれに、センサ内蔵液晶パネル（面状部材）３０１Ａ及びセンサ内蔵液晶パネル（面状部材）３０１Ｂ（以下、纏めてセンサ内蔵液晶パネル（面状部材）３０１と称する）が、互いに対向するようにそれぞれ配設されている構成である。
【０１０８】
また、その機能の概要としては、それぞれのセンサ内蔵液晶パネル３０１に含まれる複数の画素回路（単位画素）３１（図８参照）と、画素回路３１毎に少なくとも１つ設けられた複数の光センサ（撮像センサ）６（図２（ａ）・図２（ｂ）参照）とを駆動させることにより、２つのセンサ内蔵液晶パネル３０１Ａ及びセンサ内蔵液晶パネル３０１Ｂのいずれかに接触したペン（接触物）Ｐのペン先（接触部分）の色を検出することが可能となっている。
【０１０９】
なお、ここで、画素回路３１の括弧書きの括弧内に単位画素と記載しているが、図２（ａ）に示すように、「単位画素」は、例えば、液晶ディスプレイの場合、厳密には、少なくともカラーフィルタ５３ｒ、カラーフィルタ５３ｇ、及びカラーフィルタ５３ｂ、液晶層５２、バックライト３０７を含む１組のことであるが、以下の説明では、煩雑なので、画素回路３１を便宜上「単位画素」と称して説明する。なお、画素回路３１自体を説明している部分については、画素回路３１そのものを意味しているものとする。Ｒ画素回路（色画素，Ｒ画素）３１ｒ、Ｇ画素回路（色画素，Ｇ画素）３１ｇ、Ｂ画素回路（色画素，Ｂ画素）３１ｂのそれぞれの括弧内の表記についても同趣旨である。
【０１１０】
また、詳細は後ほど説明するが、図１に示すように、データ表示／センサ装置１００は、ペンＰのペン先がセンサ内蔵液晶パネル３０１（図１では、センサ内蔵液晶パネル３０１Ｂに接触している）に接触したことを検知（判定）すると、各画素回路３１が発色したときの特定色の光が、ペンＰに照射され、その反射光を複数の光センサ６で検出することにより、ペンＰのペン先の色を検出するようになっている。
【０１１１】
また、データ表示／センサ装置１００は、少なくともペンＰがセンサ内蔵液晶パネル３０１に接触している間、検出した色を保持し、その色で、例えば、軌跡Ｌを描くことができるようになっている。
【０１１２】
以上のように、センサ内蔵液晶パネル３０１は、複数の画素回路３１と、画素回路３１毎に少なくとも１つ設けられた複数の光センサ６とを含んでいる。
【０１１３】
したがって、センサ内蔵液晶パネル３０１の複数の画素回路３１を動作させることにより画像をセンサ内蔵液晶パネル３０１上の所定の表示面に表示することが可能である。また、センサ内蔵液晶パネル３０１の複数の画素回路３１が、発色するときの光を利用して、表示面上のペンＰに光を当て、その反射光をセンサ内蔵液晶パネル３０１の複数の光センサ６で検出することにより表示面上のペンＰの像を撮像することが可能である。
【０１１４】
複数の光センサ６及び複数の画素回路３１のそれぞれの個数は、画像表示機能、及び、以下で説明する色検出機能を確保できる数であれば、任意であって良いが、例えば、個々の光センサ６のセンサ面積の観点からは、１対１で同数であることが好ましい。これにより、従来の微細加工技術で簡単にセンサ内蔵液晶パネル３０１を作成することができ、従来のセンサ面積を維持できる。
【０１１５】
しかしながら、技術の進歩により、将来的にセンサ面積当たりの光センサ６の感度が向上し、微細加工技術が進歩することも予想されるので、色検出に必要なセンサ面積の大きさを確保可能であれば、複数の光センサ６及び複数の画素回路３１のそれぞれの個数が、１対３で、後者が前者の３倍の数であっても良い。このような構成を採用すれば、画素回路３１が、例えば、３つの色画素を有する場合に、個々の色画素が発色する光の光センサ６による検出の色ごとの独立性を確保できる。
【０１１６】
なお、複数の光センサ６及び複数の画素回路３１のそれぞれの個数が、１対２で、後者が前者の２倍の数であっても良い。
【０１１７】
すなわち、光センサ６は、複数の画素回路３１毎に、少なくとも１つ含んでいれば良い。
【０１１８】
なお、複数の光センサ６及び複数の画素回路３１のそれぞれは、センサ内蔵液晶パネル３０１の面方向（表示画の面内方向）の所定範囲に面状に並設されていることが好ましい。例えば、マトリクス状の配列などが例示できる。
【０１１９】
また、複数の光センサ６及び複数の画素回路３１の位置関係は、例えば、それぞれの数が１対１で同数の場合であり、かつ以下で説明するように、画素回路３１が３つの色画素からなる場合、光センサ６の位置は、３つの色画素のいずれからも近い位置であることが好ましい（例えば、図２（ｂ）参照）。
【０１２０】
以上の構成によれば、画像表示部と、画像撮像部とを別々の装置で構成する必要がないので、データ表示／センサ装置１００の小型化が可能となる。
【０１２１】
センサ内蔵液晶パネル３０１のような面状部材としては、本実施形態のセンサ内蔵液晶パネルに限られない、例えば、ディスプレイの例としては、液晶ディスプレイの他、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ（Light Emitting）発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイなどが例示できるが、これらのディスプレイと撮像センサ（イメージセンサ、光センサ）とを一体化した入出力一体型ディスプレイが将来的に開発された場合でも、これらの入出力一体型ディスプレイに本発明を適用できることは、以下の説明から明白であろう。
【０１２２】
まず、以下で、前記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【０１２３】
（センサ内蔵液晶パネルの概要）
データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【０１２４】
図２（ａ）及び図２（ｂ）を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２（ａ）は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【０１２５】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【０１２６】
なお、光センサ回路３２に含まれる光センサ６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【０１２７】
次に、図２（ｂ）を参照しながら、光センサ６の配置方法の他の例について説明する。
【０１２８】
図２（ｂ）は、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の他の例の１画素を示す模式図である。
【０１２９】
図示のように、この例では、光センサ６が、カラーフィルタ５３ｒ、カラーフィルタ５３ｇ及びカラーフィルタ５３ｂのいずれからも近くなるように、直線状に併設されたカラーフィルタ５３ｒ、カラーフィルタ５３ｇ及びカラーフィルタ５３ｂの紙面に対して上側に配置されている。このような配置を採用することにより、光センサ６のサイズを大きくできるとともに、カラーフィルタ５３ｒ、カラーフィルタ５３ｇ及びカラーフィルタ５３ｂからのいずれからも感度良く光を検出することができる。
【０１３０】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【０１３１】
図３（ａ）は、反射像を検出することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、光センサ６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検出する。これにより、対象物６４の反射像を検出することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検出することにより、タッチした位置を検出することができる。
【０１３２】
また、図３（ｂ）は、影像を検出することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、光センサ６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検出する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検出する光量が減る。これにより、対象物６２の影像を検出することができる。このように、センサ内蔵液晶パネル３０１は、影像を検出することにより、タッチした位置を検出することもできる。
【０１３３】
上述のように、光センサ６は、バックライト３０７より出射された光の反射光（影像）を検出してもよいし、外光による影像を検出してもよい。また、前記２種類の検出方法を併用して、影像と反射像とを両方を同時に検出するようにしてもよい。
【０１３４】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、前記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。
【０１３５】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【０１３６】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【０１３７】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【０１３８】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【０１３９】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加して、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【０１４０】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【０１４１】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【０１４２】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加して、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【０１４３】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【０１４４】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【０１４５】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【０１４６】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【０１４７】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【０１４８】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【０１４９】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【０１５０】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【０１５１】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【０１５２】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【０１５３】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１５４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【０１５５】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【０１５６】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせたりするために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【０１５７】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【０１５８】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【０１５９】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【０１６０】
なお、前記スイッチの例としては、電源のオンとオフとを切り換える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【０１６１】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【０１６２】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【０１６３】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【０１６４】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【０１６５】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１６６】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【０１６７】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【０１６８】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、前記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。
【０１６９】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【０１７０】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１７１】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０１７２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、対象物が接近する先の点の座標として、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。
【０１７３】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、前記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【０１７４】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１７５】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【０１７６】
“反射”は、バックライト３０７を点灯した状態でスキャンを行うこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１７７】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。
【０１７８】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１７９】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１８０】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１８１】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１８２】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１８３】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１８４】
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010”（二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【０１８５】
ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１８６】
次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010” （二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【０１８７】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１８８】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１８９】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１９０】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、前記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１９１】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１９２】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１９３】
（全体画像データ／部分画像データ／座標データ）
次に、図７（ａ）及び図７（ｂ）を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１９４】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１９５】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１９６】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１９７】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１９８】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１９９】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０２００】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０２０１】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０２０２】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０２０３】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０２０４】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０２０５】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０２０６】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０２０７】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０２０８】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０２０９】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０２１０】
（主制御部の構成及び記憶部に記憶されるデータ）
次に、図９に基づき、主制御部８００の構成及び記憶部９０１に記憶される各種データについて説明する。
【０２１１】
図９は、データ表示／センサ装置１００の要部構成のうち、主制御部８００及び記憶部９０１の詳細を示すブロック図である。
【０２１２】
図示のように、主制御部８００は、スキャン処理部（撮像制御手段）１２、色判定処理部（色検出手段）１４Ａ及び画像表示処理部（発色制御手段，検出色表示制御手段）１８を含んでいる。
【０２１３】
また、記憶部９０１は、スキャン属性情報記憶部２２、画像データ記憶部２３、及び原色画像データ記憶部２４の３つの記憶領域を含んでいる。なお、スキャン属性情報記憶部２２には、接触領域判定コマンド記憶部２２２、色検出コマンド記憶部２２３及び検出色表示コマンド記憶部２２４の３つの記憶領域を含んでおり、画像データ記憶部２３は、接触領域／エッジ領域特定用データ記憶部２３１及び接触領域／エッジ領域特定結果記憶部２３２の２つの記憶領域を含んでおり、原色画像データ記憶部２４は、色判定用データ記憶部２４１及び色判定結果記憶部（記憶部）２４２の２つの記録領域を含んでいる。
【０２１４】
上述したように、サブピクセル毎に、イメージセンサを設ける方法では、精細な加工が必要となりコスト面に問題があると共に、Ｒ、Ｇ及びＢ、１色当たりのイメージセンサの面積が小さくなり感度が低下してしまうという課題がある。
【０２１５】
また、Ｒ、Ｇ及びＢの３原色フィルタのそれぞれのサイズを１ピクセルのサイズと同じ大きさとし、ピクセル毎にイメージセンサを設けた場合には、３つのサブピクセル分の光を利用でき、イメージセンサのサイズも比較的大きくできるので、感度をおよそ３倍向上させることができるが、逆に解像度が１／３に低下してしまうという別の課題がある。
【０２１６】
このような課題を解決するため、画像表示処理部１８は、原色画像作成部（発色制御手段）１８１を備えており、原色画像作成部１８１が作成する原色画像データ（以下、例えば、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂを、順次発色させる場合には、それぞれ、Ｒ画像表示用データ、Ｇ画像表示用データ、Ｂ画像表示用データと称する）をデータ処理部７００（及び回路制御部６００）を介して表示／光センサ部３００に送信してセンサ内蔵液晶パネル３０１に含まれる画素回路３１のそれぞれを、等色の原理を満たす第１色、第２色及び第３色で、順次発色させるようになっている。
【０２１７】
具体的には、例えば、第１色で発色させる場合は、原色画像作成部１８１が作成する原色画像データ全体を、第１色のみのデータとすれば良い。また、第２色で発色させる場合は、原色画像データ全体を第２色のみのデータとし、第３色で発色させる場合は、原色画像データ全体を第３色のみのデータとすれば良い。
【０２１８】
ここで、「等色の原理」とは、色彩学の学術用語であり、すべての色は３つの色で表現できるという原理のことである。具体的には、色の３原色や、光の３原色、また、１２色相環上で、環にそって４つおきに選択した３つの色（２次色など）などが好ましい。
【０２１９】
また、ペンＰのペン先の色を検出するためには、等色の原理より、３つの異なる色を有する光をペンＰ（又はペン先）に照射し、その反射光を検出すれば良い。
【０２２０】
例えば、ペン先の色が赤色である場合には、ペン先は赤色の光を吸収する。したがって、ペン先に赤色、緑色、及び青色の光をそれぞれ照射したときには、緑色及び青色の光の反射光は検出されるが、赤色の光の反射光は全く検出されないか、あるいは検出される光の強度が他の２色と比べて小さくなる。これにより、ペン先が赤色であると判断することができる。
【０２２１】
また、「第１色、第２色及び第３色で発色させる」とは、まず、第１色を発色させ、次に第２色を発色させ、さらに第３色を発色させることを意味する。なお、第１色、第２色及び第３色のうちの特定の色から他の色への切り替えの速度は、検出感度の観点から可能な限り高速であることが好ましい。
【０２２２】
なお、画素回路３１を、第１色、第２色及び第３色で発色させる構成としては、例えば、第１色、第２色及び第３色のそれぞれを発色可能な色画素の集まりを画素回路３１とすれば良い。
【０２２３】
また、色画素としては、本実施形態のＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、及びＢ画素回路３１ｂのように、３原色フィルタ及び液晶を組合せ、バックライト３０７からの光を３原色フィルタへ透過させるか否かを該液晶で切り換える構成であっても良いし、例えば、ＬＥＤ素子を用いた色画素のように、バックライトを用いず、色画素自身が、その色を発光（発色）する構成であっても良い。
【０２２４】
なお、原色画像作成部１８１は、以下で説明するように、色判定部１４１によってペンＰのペン先の色が判定（検出）された場合に、画素回路３１を第１色、第２色及び第３色で順次発色（発色動作）させる一連の動作を終了するように構成する。
【０２２５】
これによれば、色判定部１４１によりペンＰのペン先の色が検出されるまで、原色画像作成部１８１は、画素回路３１を第１色、第２色及び第３色で発色させる動作を続けるので、ペンＰのペン先の色を確実に検出することができる。
【０２２６】
また、一端、色が検出された後は、原色画像作成部１８１は、発色動作を終了するので、重ねて色を検出するといった無駄な動作などを防止することができる。
【０２２７】
また、画像表示処理部１８は、色判定結果表示画像作成部１８２を備えており、ペンＰのペン先が接触する領域ＰＰに、以下で説明する色判定処理部（色検出手段）１４Ａによって検出されたペンＰのペン先の色と同じ色で表示する（例えば、図１に示す軌跡Ｌを表示する）ための「色判定結果表示画像」を作成するものでもある。
【０２２８】
等色の原理を満たす第１色、第２色及び第３色の例としては、第１色を、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）からなる３色のうちのいずれかとし、第２色を、該３色のうち、第１色でない２色のうちのいずれかとし、第３色を、該２色のうち、第２色でない残りの１色とする場合が例示できる。
【０２２９】
また、等色の原理を満たす第１色、第２色及び第３色の他の例としては、第１色は、赤色、緑色及び青色のうちのいずれか２色、並びに白色からなる３色のうちのいずれかとし、第２色は、該３色のうち、第１色でない２色のうちのいずれかとし、第３色は、該２色のうち、第２色でない残りの１色とする場合が例示できる。
【０２３０】
これにより、画像表示装置に一般的に用いられているＲ画素（Ｒ画素回路３１ｒ）、Ｇ画素（Ｇ画素回路３１ｇ）及びＢ画素（Ｂ画素回路３１ｂ）の集まりを単位画素（画素回路３１）とする画像表示装置に本願発明を適用することができる。
【０２３１】
なお、画素回路３１を白色に発色させるには、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂのすべてを発色させれば良い。具体的には、原色画像作成部１８１が作成する原色画像データ全体を白色のみのデータとすれば良い。
【０２３２】
スキャン処理部１２は、スキャン実行部１３１を備えており、スキャン実行部１３１がデータ処理部７００（及び回路制御部６００）を介して表示／光センサ部３００の光センサ回路３２を動作させて、画像表示処理部１８が、領域ＰＰに含まれる画素回路３１を、第１色、第２色及び第３色で発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像を、各光センサ６を用いてスキャン（撮像）するものでもある。
【０２３３】
また、スキャン処理部１２は、接触領域特定部（接触判定手段，接触領域特定手段，エッジ領域特定手段）１３６Ａを備えており、ペンＰのペン先がセンサ内蔵液晶パネル３０１（センサ内蔵液晶パネル３０１Ａ及びセンサ内蔵液晶パネル３０１Ｂのいずれか）に接触しているか否かを判定するものでもある。
【０２３４】
ここで、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触しているか否かの判定は、例えば、接触領域特定部１３６Ａは、上述したコマンドの「データ取得タイミング」が“イベント”に設定されている場合に、「部分画像データ」等がデータ処理部７００から主制御部８００に送信されたことをトリガとして、ペンＰがセンサ内蔵液晶パネル３０１に接触したことを判定するようにすれば良い。
【０２３５】
また、逆に、接触領域特定部１３６Ａは、コマンドの「データ取得タイミング」が“イベント”に設定されている場合に、「部分画像データ」等が、所定時間、全く、データ処理部７００から主制御部８００に送信されないことをトリガとして、ペンＰがセンサ内蔵液晶パネル３０１から離れたことを判定するようにすれば良い。
【０２３６】
これによれば、接触領域特定部１３６Ａが、ペンＰがセンサ内蔵液晶パネル３０１に接触していると判定した場合にしか画素回路３１に発色動作を実行させないので、色検出ができない場合に、色検出のための動作を行ってしまうなどといった無駄な動作を防止することができる。
【０２３７】
なお、本実施形態では、接触領域特定部１３６Ａが、上述した接触判定機能と、以下で説明する接触領域特定機能とを併有している場合について説明するが、これらの機能を別々の機能ブロックで構成しても良い。
【０２３８】
また、以下で説明する「検出色表示ステップ」では、ペンＰのペン先の位置が接触位置から変化した場合も考慮して、コマンドの「データ取得タイミング」を“オール”に設定しているので、この場合にペン先の位置を特定するためには、エッジ領域特定部（エッジ領域特定手段，接触判定手段）１８２１がエッジ領域を特定できなかったことをトリガとしてペンＰがセンサ内蔵液晶パネル３０１から離れたと判定するようにすれば良い。
【０２３９】
スキャンデータ格納部１３３は、スキャン（撮像）された、全体画像データ、部分画像データ及び代表座標（以下、単に「スキャンデータ」という）を、スキャンデータ／接触領域特定結果保持部１３４、画像データ記憶部２３の接触領域／エッジ領域特定用データ記憶部２３１、原色画像データ記憶部２４の色判定用データ記憶部２４１に格納する制御を行うものである。
【０２４０】
また、スキャン処理部１２は、スキャン属性情報設定部１３５を備えており、スキャン属性情報設定部１３５は、スキャン属性情報記憶部２２に記録されている各種コマンドデータを読み出して、データ表示／センサ装置１００のスキャン属性の設定を行うものである。
【０２４１】
上述したように、センサ内蔵液晶パネル３０１（面状部材）の表示面上に接触したペンＰのペン先の色を検出する場合には、表示面に画像表示が行なわれている状態をユーザが見ている状態で、ペンＰのペン先の色を検出する関係上、前記第１色、第２色及び第３色を順次発色させると表示にチラツキが生じてしまうという別の課題が生じる。
【０２４２】
そこで、このような課題を解決するため、スキャン処理部１２の接触領域特定部（接触判定手段，接触領域特定手段）１３６Ａは、スキャンされたペンＰの像に基づいて、センサ内蔵液晶パネル３０１上におけるペンＰのペン先を含む所定の領域ＰＰを特定するようにしている。
【０２４３】
また、接触領域特定部１３６Ａは、領域ＰＰを特定するとその結果をスキャンデータ／接触領域特定結果保持部１３４、又は、画像データ記憶部２３の接触領域／エッジ領域特定結果記憶部２３２に記憶するようになっている。
【０２４４】
スキャンデータ／接触領域特定結果保持部１３４は、各データを一時記憶させる部分である。一方、画像データ記憶部２３の接触領域／エッジ領域特定結果記憶部２３２は、各データを一時的に記憶させても良いし、常時記憶する構成であっても良い。
【０２４５】
また、画像表示処理部１８は、接触領域特定部１３６Ａによって特定された領域ＰＰに含まれる画素回路３１のみを発色させるようになっている。
【０２４６】
具体的には、例えば、領域ＰＰを第１色で発色させる場合は、原色画像作成部１８１が作成する原色画像データの領域ＰＰに対応する部分を、第１色のみのデータとし、それ以外を無色のデータとすれば良い（ただし、動画像などのアプリケーションデータを表示している場合には、画像表示処理部１８は、アプリケーション画像データの領域ＰＰに相当する部分を無色のデータとしたアプリケーション画像データを作成し、原色画像データと重ねて送信することが好ましい。以下同じ）。
【０２４７】
また、領域ＰＰを第２色で発色させる場合は、原色画像データの領域ＰＰに対応する部分を第２色のみのデータとし、それ以外を無色のデータとすれば良い。また、領域ＰＰを第３色で発色させる場合は、原色画像データの領域ＰＰに対応する部分を第３色のみのデータとし、それ以外を無色のデータとすれば良い。
【０２４８】
これによれば、画像表示処理部１８は、センサ内蔵液晶パネル３０１上の表示面の領域ＰＰに含まれる画素回路３１のみを特定色で発色させる。
【０２４９】
よって、領域ＰＰの大きさを色検出が可能な範囲で、できるだけ小さくすることにより、表示のチラツキがユーザに認識されないようにすることができる。
【０２５０】
すなわち、領域ＰＰには、ペンＰが接触しているので、この領域ＰＰにおける表示のチラツキは、ペンＰに隠れてユーザには、ほとんど見えないようにすることができる。
【０２５１】
なお、本実施形態では、以下で説明するエッジ領域特定部（エッジ領域特定手段，接触判定手段）１８２１と、接触領域特定部１３６Ａとが、別々の構成であるとして説明するが、接触領域特定部１３６Ａがエッジ領域特定部１８２１の機能を併有していても良い。
【０２５２】
また、原色画像作成部１８１は、センサ内蔵液晶パネル３０１上の表示面のエッジ領域に含まれる画素回路３１のみを特定色で発色させても良い。
【０２５３】
すなわち、エッジ領域は、ほぼ接触物が接触している接触部分の形状を反映した形状となると考えられるので、このエッジ領域における表示のチラツキは、該接触物の接触部分に隠れてユーザには、ほぼ完全に見えないようにすることができる。
【０２５４】
次に、色判定処理部（色検出手段）１４Ａは、色判定部１４１、色判定結果保持部１４５を備えており、色判定部１４１は、原色画像データ記憶部２４の色判定用データ記憶部２４１に記憶されている、前記第１色、第２色及び第３色で発色させる毎に、各光センサ６を用いてスキャン（撮像）したスキャンデータを読み出して、これを解析（分析）して、ペンＰのペン先の色を判定（検出）するものである。
【０２５５】
また、色判定処理部１４Ａは、色判定部１４１を備えており、色判定部１４１の色判定用データ解析部１４２は、画像表示処理部１８が、領域ＰＰに含まれる画素回路３１のそれぞれを、第１色、第２色及び第３色で、順次発色させる毎に、スキャン処理部１２によってスキャンされた、ペンＰの像のそれぞれのスキャンデータを解析することで、ペンＰのセンサ内蔵液晶パネル３０１上におけるペンＰのペン先の色を特定（検出）するものである。
【０２５６】
以上のように、第１色、第２色及び第３色で、順次発色させて、ペンＰのペン先の色を検出するようにすれば、ペンＰのペン先の色が仮に第１色と同じ色であるような場合でも、残りの第２色及び第３色を発色させてスキャンしたスキャンデータを基に、色の検出を行うことができる。
【０２５７】
ここで、色検出の精度向上の観点からは、第１色、第２色及び第３色を１度に発色させて、これらの３色が混色した状態をスキャンした１つのスキャンデータを解析して色検出を行うよりも、等色の原理を満たす３色を第１色、第２色及び第３色を順次、発色させて、第１色、第２色及び第３色で発色させる毎に各光センサ６を用いてスキャンした、スキャンデータを３つ用意して、これらの３つのスキャンデータを解析する方が好ましい。
【０２５８】
なぜなら、等色の原理を満たす第１色、第２色及び第３色が混色した状態をスキャンしたスキャンデータ１つを解析して色検出を行うよりも、第１色、第２色及び第３色のそれぞれを分離した状態の３つのスキャンデータを解析して色検出を行う方が遥かに容易であり、検出精度も高いからである。
【０２５９】
以上によれば、例えば、画素回路３１毎に光センサ６を設けた場合でも、各画素回路３１は、１つの光センサ６で、第１色、第２色及び第３色の３色分のスキャンデータを別々に得ることができる。
【０２６０】
色検出の検出精度の観点からは、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂの色画素毎に光センサ６を配置することが好ましいが、以上の構成を採用すれば、光センサ６の数が少なくても色検出の検出精度が比較的高いので、現状のセンサ面積（例えば、本実施形態の画素回路３１の数：光センサ６の数＝１：１）及び色検出の検出精度を確保しつつ、検出感度の低下を防止することができる。
【０２６１】
また、以上の構成を採用すれば、検出感度を上げるために、画素回路３１中の３つの色画素から出射されるすべての光を用いて１つの色を発色させるようにしなくても良いので、解像度の劣化も防止することができる。
【０２６２】
色判定結果格納部１４３は、色判定部１４１の色判定結果を、色判定結果保持部（記憶部）１４５、又は、原色画像データ記憶部２４の色判定結果記憶部（記憶部）２４２に記憶させるものである。
【０２６３】
色判定結果保持部１４５は、色判定部１４１の色判定結果を一時記憶するものである。又は、原色画像データ記憶部２４の色判定結果記憶部２４２は、色判定部１４１の色判定結果を一時記憶させても良いし、常時記憶するようにしても良い。
【０２６４】
前記構成によれば、色判定処理部１４Ａが検出したペンＰのペン先の色を示す色情報を保持するので、同じペンＰの色を再検出する必要がない。
【０２６５】
なお、色情報を保持するタイミングについては、色判定処理部１４ＡがペンＰのペン先の色を検出した直後であることが好ましい。
【０２６６】
また、色情報を保持する期間としては、ペンＰが接触（例えば、接触領域特定部１３６Ａが、ペンＰが接触していると判定）して、色検出されてから離れる（例えば、接触領域特定部１３６Ａ又はエッジ領域特定部１８２１が、ペンＰが接触していないと判定する）までの期間などが例示できる。
【０２６７】
また、保持した色を適宜必要な処理に利用することができる。例えば、検出したペンＰのペン先の色で、センサ内蔵液晶パネル３０１に描画できるように構成すれば、画用紙に色鉛筆で描画するのと同じ感覚で、電子的な描画を行うことができる。
【０２６８】
以上より、センサ内蔵液晶パネル３０１の表示面上に接触したペンＰのペン先の色を直接検出して、検出した色を表示面上の領域ＰＰに表示させることができる。
【０２６９】
よって、センサ内蔵液晶パネル３０１の表示面上に、色鉛筆で描画するような自然な感覚で電子的な描画を行うことができるデータ表示／センサ装置１００を提供することができる。
【０２７０】
（色判定結果表示画像作成部の詳細）
次に、図１０に基づき、色判定結果表示画像作成部１８２の要部構成の詳細について説明する。図１０は、主制御部８００の要部構成のうち、色判定結果表示画像作成部１８２の詳細を示すブロック図である。
【０２７１】
ところで、毛筆などで描画する場合、厳密には、毛筆などの接触部分の太さは、リアルタイムに変化する。
【０２７２】
しかしながら、特許文献４に記載された座標検出装置では、ペンの太さの検出のために、タブレットの入力面上でペンが指示する位置の前回検出した座標と今回検出した座標とから両位置の距離を算出し、この操作をｎ回繰り返すという複雑な動作が必要なので、一度検出したペンの太さを固定した描画は可能であると考えられるが、その後のペンの太さの変化に追随させたリアルタイムな描画は困難であるという別の課題が生じる。
【０２７３】
このような課題を解決するため、図１０に示すように、色判定結果表示画像作成部１８２は、エッジ領域特定部１８２１、補間領域特定部（補間領域特定手段）１８２２、及び表示画像作成部（検出色表示制御手段）１８２３から構成される。
【０２７４】
エッジ領域特定部１８２１は、ペンＰの像における画素回路３１毎の画素値（階調値）の勾配量から、ペンＰの像における又はペンＰの像によって形成されたエッジ部分に含まれる画素回路３１を特定すると共に、このように特定されたエッジ部分に含まれる画素回路３１に囲まれたエッジ領域を特定するものである。
【０２７５】
但し、「ペンＰの像における画素回路３１毎の画素値」とは、ペンＰの像の画像データ（全体画像データ又は部分画像データ）における各画素回路３１に対応するデータ位置における画素値（階調値）のことを意味する場合も含む広い概念である。
【０２７６】
また、「画素値の勾配量」はベクトル量であり、大きさ（勾配の大きさ）と向き（勾配方向）とを持つ。
【０２７７】
よって、エッジ部分に含まれる画素回路３１の特定は、例えば、勾配の大きさが所定の閾値以上である画素回路３１をエッジ画素として特定すれば良い。
【０２７８】
ここで、エッジ画素とは、ペンＰの像を構成する各画素回路３１のうち、明るさが急激に変化する部分（エッジ）における画素回路３１である。また、エッジ画素とは、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は勾配の大きさＡＢＳ（Ｓ）が所定の閾値以上である画素回路３１のことである。
【０２７９】
より、具体的には、画素回路３１画素毎に、注目する画素回路３１（以下、「注目画素と称する」の画素値と複数の隣接する画素回路３１の画素値とから注目画素の画素値の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出する。例えば、Ｓｏｂｅｌ（ソベル）オペレータ、Ｐｒｅｗｉｔｔ（プリウイット）オペレータなどのエッジ抽出オペレータを用いれば良い。
【０２８０】
例えば、Ｓｏｂｅｌオペレータについて説明すると、各画素の画素位置ｘ（ｉ，ｊ）における局所的な縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘは、次式（１）のように求められる。
【０２８１】
Ｓｘ＝ｘｉ＋１ｊ−１−ｘｉ―１ｊ−１＋２ｘｉ＋１ｊ−２ｘｉ―１ｊ＋ｘｉ＋１ｊ＋１−ｘｉ―１ｊ＋１
Ｓｙ＝ｘｉ−１ｊ＋１−ｘｉ−１ｊ−１＋２ｘｉｊ＋１−２ｘｉｊ−１＋ｘｉ＋１ｊ＋１−ｘｉ＋１ｊ−１
・・・（１）
ここで、ｘｉｊは画素位置ｘ（ｉ，ｊ）における画素値を表し、ｉは水平方向に沿った画素の位置を、ｊは垂直方向に沿った画素の位置をそれぞれ表す。ここに、ｉ及びｊは正の整数である。
【０２８２】
ここで、式（１）は、次式（２）・（３）の３×３のＳｏｂｅｌオペレータ（行列演算子Ｓｘ及びＳｙ）を、画素位置ｘ（ｉ，ｊ）を注目画素とする３×３画素に適用することと等価である。
【０２８３】
【数１】
【０２８４】
なお、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘに基づけば、画素位置ｘ（ｉ，ｊ）における勾配の大きさＡＢＳ（Ｓ）及び勾配方向ＡＮＧ（Ｓ）は、次のように与えられる。なお、以下では、演算子としての縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを各画素に適用することによって得られた縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘをそれぞれ、便宜上縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘと記載する場合がある。
【０２８５】
ＡＢＳ（Ｓ）＝（Ｓｘ2＋Ｓｙ2）1/2 ・・・（４）
ＡＮＧ（Ｓ）＝ｔａｎ-1（Ｓｙ／Ｓｘ） ・・・（５）
ここで、各勾配方向の分布は、例えば、ペン先が丸いペンのように接触物の接触部分が円形になるような場合には、ペン先（接触物の接触部分）の像のエッジ部分に囲まれたエッジ領域（エッジ部分に含まれる画素回路３１に、囲まれた領域）の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。
【０２８６】
また、接触物の接触部分がその他の形状であっても、エッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、例えば、描画目的の接触物の種類に応じて、大きく変わることは無い。
【０２８７】
よって、エッジ領域を特定すれば、概ね接触物の接触部分の形状を特定したことになる。これにより、例えば、ペンＰの太さに応じた描画が可能となる。
【０２８８】
また、「画素値の勾配量」は、１フレームのペンＰの像から得られる量である。よって、スキャン処理部１２によってスキャンされた、ペンＰの像毎にエッジ領域を特定することができる。よって、フレーム毎に、ペンＰの太さが変化しても、リアルタイムに表示を行うことができる。これにより、ペンＰの太さの変化に追随させたリアルタイムな描画を行うことが可能となる。
【０２８９】
次に、補間領域特定部１８２２は、エッジ領域特定部１８２１により、第１エッジ領域が特定された後に、第２エッジ領域が特定された場合に、エッジ領域特定部１８２１が特定した、前記第１エッジ領域及び前記第２エッジ領域間を補間するための補間領域を特定するものである。
【０２９０】
なお、補間領域の特定方法の例としては、例えば、エッジ画素の中から、Ｓｘ＝０（Ｓｘの絶対値が最小の場合でも良い。）かつＳｙ≠０、及びＳｘ≠０かつＳｙ≠０（Ｓｙの絶対値が最小の場合でも良い。）の条件を満たすエッジ画素を特定する。
【０２９１】
なぜなら、ペンＰの像によるエッジ領域は、上述のように、通常、複数のエッジ画素に囲まれた領域（閉じた領域）になるから、上記条件を満たす点を少なくとも４つ以上得ることができる。
【０２９２】
また、第２エッジ領域は、第１エッジ領域が特定された直後のものであるから、これらのエッジ領域の形状は、第１エッジ領域と第２エッジ領域とで大きく変化しないと仮定することができる。
【０２９３】
そうすると、第１エッジ領域の上記条件を満たす少なくとも４つの点のそれぞれと、第２エッジ領域の上記条件を満たす少なくとも４つの点のそれぞれとを対応付けることが可能となる。
【０２９４】
そこで、第１エッジ領域の上記条件を満たす少なくとも４つの点のぞれぞれと、対応付けた第２エッジ領域の上記条件を満たす少なくとも４つの点のそれぞれとを直線で結べば、第１エッジ領域及び第２エッジ領域の位置関係に関わらず、第１エッジ領域の２点のそれぞれ及びこれらの点に対応する第２エッジ領域の２点のそれぞれの合計４つの点で、最大の面積を持つ四辺形の領域が、必ず１つ特定される。よって、この最大の面積を持つ四辺形の領域を補間領域とすれば良い。
【０２９５】
また、表示画像作成部１８２３は、エッジ領域特定部１８２１によって特定された第１エッジ領域内、第２エッジ領域内、及び前記補間領域内を、を、色判定処理部１４Ａによって判定（検出）した色で表示するものである。
【０２９６】
よって、第１エッジ領域及び第２エッジ領域間をスムーズに繋いで色を表示できるので、例えば、赤い墨汁をつけた毛筆を選ぶような自然な感覚で電子的な描画を行うことができる。
【０２９７】
（各種コマンドとデータ表示／センサ装置の動作との関係）
ここで、データ表示／センサ装置１００における各種コマンドと、データ表示／センサ装置１００の動作との関係について説明する。
【０２９８】
本実施形態では、データ表示／センサ装置１００の接触判定及び接触領域特定処理に関するコマンドの名称を「接触領域判定コマンド」と称し、予め接触領域判定コマンド記憶部２２２に記憶されているものとして説明する。
【０２９９】
また、データ表示／センサ装置１００の色判定処理に関するコマンドの名称を「色検出コマンド」と称し、予め、色検出コマンド記憶部２２３に記憶されているものとする。
【０３００】
さらに、データ表示／センサ装置１００の検出色表示処理に関するコマンドの名称を「検出色表示コマンド」と称し、ここでは、検出色表示コマンド記憶部２２４に記憶されているものとする。
【０３０１】
なお、「接触領域判定コマンド」は、接触判定処理及び接触領域特定処理のため主としてスキャン処理部１２のスキャン属性を設定するためのコマンドである。
【０３０２】
また、「色検出コマンド」は、色判定処理のため主としてスキャン処理部１２のスキャン属性を設定するためのコマンドである。
【０３０３】
さらに、「検出色表示コマンド」は、検出色表示処理のため主としてスキャン処理部１２のスキャン属性を設定するためのコマンドである。
【０３０４】
まず、「接触領域判定コマンド」では、図６に示す「データ取得タイミング」フィールドの値を“01”（イベント）と指定する。
【０３０５】
なぜなら、上述したように、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで、データ処理部７００から主制御部８００に画像データ等を送信することを指定するものであるから、これを利用することによって、接触判定処理及び接触領域特定処理を行うことが可能となるからである。
【０３０６】
具体的には、「データ取得タイミング」フィールドの値が“イベント”であれば、ペンＰの接触により、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信される。
【０３０７】
次に、「接触判定コマンド」の「データ種別」フィールドの値は、“010”（部分画像）を指定することが好ましい。
【０３０８】
なぜなら、上述したように、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データ（部分画像データ及び代表座標）を主制御部８００に送信するようにできるからである。
【０３０９】
なお、以下では、便宜上、“部分画像”が占める領域をそのまま領域ＰＰとする場合について説明するが、上述した接触領域特定部１３６Ａは、画像データ記憶部２３の接触領域／エッジ領域特定用データ記憶部２３１に記憶されている代表座標を中心として“部分画像”の領域と大きさの異なる領域を領域ＰＰとしても良い。
【０３１０】
また、接触領域特定部１３６Ａが、エッジ領域特定部１８２１の機能を併有している構成を採用した場合には、接触領域特定部１３６Ａが、直接、エッジ領域を特定し、このエッジ領域を領域ＰＰとしても良い。
【０３１１】
なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０３１２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、ペンＰのペン先が接触する先の点の座標として、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。
【０３１３】
スキャンデータ格納部１３３は、前記「部分画像データ」及び「代表座標」のそれぞれを画像データ記憶部２３の接触領域／エッジ領域特定用データ記憶部２３１に記憶させる。
【０３１４】
なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。
【０３１５】
次に、「接触判定コマンド」の「スキャン方式」フィールドの値は、“00”（反射）を指定する。ペンＰのペン先に画素回路３１が発色する光を照射して、その反射光を検出するためである。
【０３１６】
次に、「接触判定コマンド」の「スキャン画像階調」フィールドの値は、“00”（２値）、および“01”（多値）のいずれを指定しても良い。また、「接触判定コマンド」の「スキャン解像度」フィールドの値は、“0”（高）若しくは“1”（低）のいずれを指定しても良い。なぜなら、領域ＰＰの特定ができれば良く、２値階調でスキャンすれば充分だからである。なお、「スキャン解像度」フィールドの値は、領域ＰＰの特定精度の観点からは、“0”（高）に設定することが好ましい。
【０３１７】
一方、「色検出コマンド」では、図６に示す「データ取得タイミング」フィールドの値を“00”（センス）を指定する。
【０３１８】
なぜなら、“センス”は、最新のデータを、データ処理部７００から主制御部８００に直ちに送信すること指定するものであるから、これにより、画像表示処理部１８が、領域ＰＰに含まれる画素回路３１を、第１色、第２色及び第３色で、順次発色させる毎に、スキャン処理部１２によってスキャンされたスキャンデータを主制御部８００に送信されるようにできるからである。
【０３１９】
次に、「色検出コマンド」の「データ種別」フィールドの値は、“010”（部分画像）を指定することが好ましい。
【０３２０】
なぜなら、全体画像データ上の部分画像データが占める領域（若しくは領域ＰＰ）に含まれる部分のみを特定色で発色させることで、表示のチラツキを防止できるからである。
【０３２１】
なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０３２２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、ペンＰのペン先が接触する先の点の座標として、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。
【０３２３】
なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。
【０３２４】
スキャンデータ格納部１３３は、前記「部分画像データ」及び「代表座標」のそれぞれを、色判定結果保持部１４５、又は原色画像データ記憶部２４の色判定用データ記憶部２４１接触領域特定用データに記憶させる。
【０３２５】
次に、「色検出コマンド」の「スキャン方式」フィールドの値は、“00”（反射）を指定する。ペンＰのペン先に画素回路３１が発色する光を照射して、その反射光を検出するためである。
【０３２６】
次に、「色検出コマンド」の「スキャン画像階調」フィールドの値は、“01”（多値）を指定する。なぜなら、色検出を可能とするためには、多値階調でスキャンする必要があるからである。
【０３２７】
また、「色検出コマンド」の「スキャン解像度」フィールドの値は、“0”（高）若しくは“1”（低）のいずれを指定しても良いが、色検出の精度の観点からは、“0”（高）に設定することが好ましい。
【０３２８】
次に、「検出色表示コマンド」では、図６に示す「データ取得タイミング」フィールドの値を“10”（オール）に指定する。“オール”は、所定周期でデータを送信すること指定するものであるから、スキャンデータを所定周期で得ることができるからである。
【０３２９】
ここで、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信するようになっている。なお、前記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。
【０３３０】
なお、「色検出コマンド」では、「データ取得タイミング」フィールドの値が、“センス”に設定されているので、「色検出コマンド」から「検出色表示コマンド」への切り替えは、スキャン属性情報設定部１３５が、「色検出コマンド」にて色検出処理が終了したことをトリガとして、「データ取得タイミング」フィールドの値を“オール”に切り換えることによって行えば良い。
【０３３１】
また、「接触領域特定コマンド」では、「データ取得タイミング」フィールドの値は“イベント”に設定されるので、「検出色表示コマンド」から「接触領域特定コマンド」への切り替えは、エッジ領域特定部１８２１（接触領域特定部１３６Ａ）によってペンＰがセンサ内蔵液晶パネル３０１に接触していないと判定されたことをトリガとして、「データ取得タイミング」フィールドの値を“イベント”に切り換えれば良い。
【０３３２】
次に、「検出色表示コマンド」の「データ種別」フィールドの値は、少なくとも“100”（全体画像）だけは、指定する。なお、“全体画像”さえ指定されていれば、併せて“部分画像”及び“座標”を指定することは構わない。
【０３３３】
なぜなら、「データ種別」フィールドの値が“部分画像”及び“座標”のいずれかであった場合、ペンＰの位置の変化は、ほぼ連続的であるから、ペンＰの位置の変化の前後では、センサデータ処理部７０３が、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分であると認識しない可能性があるからである。
【０３３４】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。
【０３３５】
スキャンデータ格納部１３３は、「データ取得タイミング」フィールドの値が“オール”に設定されている場合には、「全体画像データ」を画像データ記憶部２３の接触領域／エッジ領域特定用データ記憶部２３１に記憶するように構成する。
【０３３６】
次に、「検出色表示コマンド」の「スキャン方式」フィールドの値は、“00”（反射）を指定する。ペンＰのペン先に画素回路３１が発色する光を照射して、その反射光を検出するためである。
【０３３７】
次に、「検出色表示コマンド」の「スキャン画像階調」フィールドの値は、“00”（２値）を指定することが好ましい。なぜなら、エッジ領域の特定ができれば良く、２値階調でスキャンすれば充分だからである。なお、エッジ領域の特定精度の観点から「スキャン画像階調」フィールドの値を“01”（多値）に設定しても良い。
【０３３８】
また、「検出色表示コマンド」の「スキャン解像度」フィールドの値は、“0”（高）若しくは“1”（低）のいずれを指定しても良い。なお、「スキャン解像度」フィールドの値は、エッジ領域の特定精度の観点からは、“0”（高）に設定することが好ましい。
【０３３９】
次に、データ表示／センサ装置１００の動作と「接触判定コマンド」、「色検出コマンド」及び「検出色表示コマンド」との関係の詳細について説明する。
【０３４０】
最初に、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触していない状態では、スキャン属性情報設定部１３５は、接触領域判定コマンド記憶部２２２から予め記憶されている「接触領域判定コマンド」を読み出して「データ取得タイミング」のフィールド値を“イベント”に設定しているものとする。
【０３４１】
ここで、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触すると、上述のように、「データ取得タイミング」が“イベント”に設定されているので、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触したことにより、センサデータ処理部７０３は、センサ制御部６０２から受信する画像データに変化が生じたと認識して、主制御部８００に得られたスキャンデータを送信する。
【０３４２】
なお、接触領域特定部（接触判定手段，接触領域特定手段）１３６Ａは、主制御部８００にスキャンデータが送信されたことをトリガとして、ペンＰのペン先がセンサ内蔵液晶パネル３０１に接触したと判定する。
【０３４３】
スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“イベント”に設定されているので、得られたスキャンデータを接触領域特定用データとして接触領域／エッジ領域特定用データ記憶部２３１に記憶する。
【０３４４】
また、その後、スキャンデータ格納部１３３は、スキャンデータを接触領域／エッジ領域特定用データ記憶部２３１に記憶させたことを、接触領域特定部１３６Ａに通知し、接触領域特定部１３６Ａは、接触領域／エッジ領域特定用データ記憶部２３１に記録されたスキャンデータに基づいて、領域ＰＰを特定する。この場合、スキャンデータに含まれる部分画像データの全体画像データ上に占める領域をそのまま領域ＰＰとしても良いし、スキャンデータに含まれる代表座標を中心とする所定の大きさを有する領域を領域ＰＰとしても良い。
【０３４５】
なお、接触領域特定部１３６Ａが、エッジ領域特定部１８２１の機能を併有している構成を採用した場合は、エッジ領域を特定し、該エッジ領域を領域ＰＰとしても良い。
【０３４６】
その後、接触領域特定部１３６Ａは、領域ＰＰを特定したことを画像表示処理部１８の原色画像作成部１８１に通知する。
【０３４７】
原色画像作成部１８１は、上記通知を受けて、スキャン属性情報設定部１３５を駆動し、スキャン属性情報設定部１３５は、色検出コマンド記憶部２２３から予め記憶されている「色検出コマンド」を読み出し、「データ取得タイミング」のフィールド値を“センス”に切り換える。
【０３４８】
原色画像作成部１８１は、第１色から第３色までの原色画像データを作成し、順次、データ処理部７００（及び回路制御部６００）を介して表示／光センサ部３００に、原色画像データを送信する。
【０３４９】
その後、スキャンデータ格納部１３３は、「データ取得タイミング」のフィールド値が“センス”に設定されているので、第１色、第２色及び第３色で発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像が、各光センサ６を用いてスキャンされたスキャンデータを、データ処理部７００から受信する。
【０３５０】
スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“センス”に設定されているので、色判定用データとして、色判定用データ記憶部２４１に記憶する。
【０３５１】
次に、スキャンデータ格納部１３３は、第１色、第２色及び第３色で発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像が、各光センサ６を用いてスキャンされたスキャンデータのすべてを、色判定用データ記憶部２４１に記憶させると、その旨を色判定処理部１４Ａに通知する。
【０３５２】
色判定処理部１４Ａの色判定用データ解析部１４２は、色判定用データ記憶部２４１に記憶されている第１色、第２色及び第３色で発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像が、各光センサ６を用いてスキャンされたスキャンデータを解析して、ペンＰのペン先の色を判定（検出）する。
【０３５３】
色判定用データ解析部１４２は、ペンＰのペン先の色の判定が終わるとその結果を色判定結果格納部１４３に通知し、色判定結果格納部１４３は、ペンＰのペン先の色の判定結果（色情報）を色判定結果保持部１４５及び色判定結果記憶部２４２に記憶させる。
【０３５４】
色判定結果格納部１４３は、色情報を色判定結果保持部１４５及び色判定結果記憶部２４２に記憶させると、その旨を、色判定結果表示画像作成部１８２に通知する。
【０３５５】
色判定結果表示画像作成部１８２は、上記通知を受けて、スキャン属性情報設定部１３５を駆動し、スキャン属性情報設定部１３５は、コマンドの「データ取得タイミング」のフィールド値を“オール”に切り換える。
【０３５６】
スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“オール”に設定されているので、データ処理部７００から主制御部８００に周期的に得られる、少なくとも全体画像データを含むスキャンデータを接触領域／エッジ領域特定用データ記憶部２３１に記憶する。
【０３５７】
エッジ領域特定部１８２１は、スキャンデータ格納部１３３が、コマンドの「データ取得タイミング」のフィールド値が“オール”に設定されている状態でスキャンデータを接触領域／エッジ領域特定用データ記憶部２３１に記憶させたことをトリガとして、該スキャンデータを読み出し、スキャンデータに含まれる全体画像データに基づいて、エッジ領域を特定する。
【０３５８】
ここで、エッジ領域特定部１８２１が、第１エッジ領域が特定された後に、第２エッジ領域を特定した場合には、補間領域特定部１８２２が、前記第１エッジ領域及び前記第２エッジ領域間を補間するための補間領域を特定する。
【０３５９】
その後、表示画像作成部１８２３は、色判定結果保持部１４５に記憶されている検出された色情報に基づいて、第１エッジ領域内、第２エッジ領域内、及び補間領域内を、当該色で塗りつぶした画像（色検出結果表示画像）を作成し、データ処理部７００に送信する。
【０３６０】
以下、エッジ領域特定部１８２１によるエッジ領域の特定、補間領域特定部１８２２による補間領域の特定及び表示画像作成部１８２３によるデータ処理部７００への色検出結果表示画像の送信の動作を、接触領域特定部１３６Ａが、ペンＰが離れたと判定するまで繰り返す。
【０３６１】
エッジ領域特定部（接触判定手段）１８２１（又は接触領域特定部１３６Ａ）が、ペンＰが離れたと判定すると、スキャン属性情報設定部１３５は、コマンドの「データ取得タイミング」のフィールド値を“イベント”に切り換えて、「接触領域特定コマンド」に戻る。
【０３６２】
（データ表示／センサ装置の動作）
次に、図１１〜図１５に基づき、データ表示／センサ装置１００の動作の詳細について説明する。
【０３６３】
図１１は、データ表示／センサ装置１００の色検出動作を概念的に示す模式図であり、図１１の（ａ）は、色検出動作の時間経過を示し、図１１の（ｂ）は、色検出動作の際の画面表示の様子を示す。
【０３６４】
まず、図１１の（ａ）に示すように、センサ内蔵液晶パネル３０１にペンＰのペン先が接触（ペンタッチ）したと判定されると、白塗り矢印が示す位置から原色画像作成部１８１の原色画像データの作成動作が開始する。
【０３６５】
その後、Ｒ画像表示用データ、Ｇ画像表示用データ、及びＢ画像表示用データが、順次作成される。ここで、Ｒ画素点灯期間ＴＲは、ペンタッチがあって、Ｒ画像表示用データが表示されてからその表示が終了するまでの時間、Ｇ画素点灯期間ＴＧは、Ｇ画像表示用データが表示されてからその表示が終了するまでの時間、Ｂ画素点灯期間ＴＢは、Ｂ画像表示用データが表示されてからその表示が終了するまでの時間である。
【０３６６】
ここで、発色動作の時間Ｔ＝Ｒ画素点灯期間ＴＲ＋Ｇ画素点灯期間ＴＧ＋Ｂ画素点灯期間ＴＢは、表示のチラツキ防止の観点からは、できるだけ短い方が好ましい。
【０３６７】
また、図１１の（ｂ）に示すように、スキャン処理部１２において、全体画像データ、部分画像データ（領域ＰＰ）及び代表座標の取得は、周期的に常時行なわれている（接触領域判定用のスキャンデータでも、色検出用のスキャンデータでも部分画像データ及び代表座標を取得すれば、座標検出は可能である）が、ペンＰのペン先の色を検出するための色検出処理（ペン先の色と座標を検出）におけるＲ画像表示用データ、Ｇ画像表示用データ、及びＢ画像表示用データの発色動作は、色判定部１４１によりペンＰのペン先の色が判定されると、ただちに終了し、検出色表示処理（座標検出）又は接触判定処理（座標検出）に戻る。
【０３６８】
なお、図１１では、１回の色検出処理終了後、ただちに座標検出に戻っているが、何らかの理由により、色検出ができなかった場合、再度、色検出処理を行う。
【０３６９】
次に、図１２に基づき、データ表示／センサ装置１００の検出色表示動作（検出色表示制御ステップ）について説明する。
【０３７０】
図１２は、データ表示／センサ装置１００の検出色表示動作を概念的に示す模式図である。
【０３７１】
データ表示／センサ装置１００は、ペンの太さを検出する機能及びペンの太さの変化に追随する機能を有しているので、図１２に示すように、細いペン、太いペン、及び筆の例のように、ペン書き、筆書き風での描画が可能である。
【０３７２】
また、データ表示／センサ装置１００は、ペンのペン先の色を検出する機能を有しているので、赤ペン、緑ペン及び青ペンの例のように、画用紙に色鉛筆で描画するような感覚で、センサ内蔵液晶パネル３０１の表示面に描画することが可能である。
【０３７３】
次に、図１３に示すフローチャートに基づき、接触領域特定ステップのフローについて説明する。図１３は、データ表示／センサ装置１００の動作（接触領域特定ステップ）を示すフローチャートである。
【０３７４】
図１３に示すように、データ表示／センサ装置１００の電源スイッチが入ってセンサ内蔵液晶パネル３０１の表示がＯＮになると、スキャン属性情報設定部１３５が、スキャン属性情報記憶部２２に予め記憶されている「接触領域判定コマンド」の各フィールドの値を読み出してそのスキャン属性情報を設定してスタートとなる。
【０３７５】
ステップＳ１（以下、「ステップ」は、省略する）では、スキャン実行部１３１から送られる「接触領域判定コマンド」により、センサ制御部６０２が、光センサ駆動回路３０５を介して光センサ６によりスキャンを行って、そのスキャンデータ（ここでは、全体画像データを含む）をデータ処理部７００の画像データバッファ７０４に蓄積（保持）する動作を所定のタイミングＴＣ２で繰り返している。なお、この時点では、「データ取得タイミング」のフィールド値は、既に“01”（イベント）に設定されている（コマンドは、「接触領域判定コマンド」に設定）ものとする。
【０３７６】
次に、Ｓ２で、ユーザが、特定色の色鉛筆であるペンＰをセンサ内蔵液晶パネル３０１Ｂに接触させると、Ｓ３に進む。
【０３７７】
Ｓ３では、センサデータ処理部７０３は、スキャン実行部１３１から送られる「接触領域判定コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサ制御部６０２から受信する画像データから、ペンＰの接触により、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出された場合には、該抽出した領域の画像データ（部分画像データ及び代表座標）を主制御部８００に送信し、「ＹＥＳ」となり、Ｓ４に進む。
【０３７８】
一方、Ｓ３で、ペンＰの接触により、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出されなかった場合は、「ＮＯ」となり、センサデータ処理部７０３は、Ｓ１の動作に戻る。
【０３７９】
Ｓ４では、スキャンデータ格納部１３３は、「接触領域判定コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサデータ処理部７０３から主制御部８００に送られたスキャンデータ（部分画像データ及び代表座標）を接触領域／エッジ領域特定用データ記憶部２３１に記憶（保持）させてＳ５に進む。
【０３８０】
Ｓ５では、接触領域特定部１３６Ａは、「接触領域判定コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサデータ処理部７０３から主制御部８００にスキャンデータ（部分画像データ及び代表座標）が送られることをトリガとして、「ペンＰが、センサ内蔵液晶パネル３０１Ｂに接触した」と判定し、領域ＰＰを特定（接触領域特定処理）して「結合子Ａ」に進む。
【０３８１】
この接触領域特定処理では、接触領域特定部１３６Ａは、スキャンデータに含まれる部分画像データの全体画像データに占める領域を領域ＰＰとして特定しても良いし、スキャンデータに含まれる代表座標に基づいて、該代表座標を中心とする所定の大きさの領域を領域ＰＰとして特定しても良い。
【０３８２】
なお、以下では、接触領域特定部１３６Ａが、スキャンデータに含まれる部分画像データの全体画像データに占める領域を領域ＰＰとして特定した場合について説明する。
【０３８３】
次に、図１４は、データ表示／センサ装置１００の動作（色検出ステップ）を示すフローチャートである。
【０３８４】
「結合子Ａ」からＳ６に進み、Ｓ６では、接触領域特定部１３６Ａは、領域ＰＰを特定したことを画像表示処理部１８に通知する。
【０３８５】
画像表示処理部１８は、上記通知を受けて、原色画像作成部１８１を駆動し、原色画像作成部１８１は、接触領域／エッジ領域特定用データ記憶部２３１からスキャンデータを読み出して領域ＰＰの全体画像データ上に占める領域のみを等色の原理を満たすＲ、Ｇ及びＢ表示としたＲ画像表示用データ、Ｇ画像表示用データ、Ｂ画像表示用データを作成し、順次、データ処理部７００に送信する。これにより、センサ内蔵液晶パネル３０１の領域ＰＰに含まれる画素回路３１のそれぞれを、等色の原理を満たすＲ、Ｇ及びＢで、順次発色（表示）させて、Ｓ７に進む。
【０３８６】
Ｓ７では、原色画像作成部１８１は、スキャン属性情報設定部１３５を駆動し、スキャン属性情報設定部１３５は、色検出コマンド記憶部２２３から予め記憶されている「色検出コマンド」を読み出し、「データ取得タイミング」のフィールド値を“センス”に切り換える。
【０３８７】
その後、スキャンデータ格納部１３３は、「データ取得タイミング」のフィールド値が“センス”に設定されているので、Ｒ、Ｇ及びＢで発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像を、各光センサ６を用いてスキャンされたスキャンデータを、データ処理部７００から受信する。
【０３８８】
スキャンデータ格納部１３３は、コマンドの「データ取得タイミング」のフィールド値が“センス”に設定されているので、色判定用データとして、色判定用データ記憶部２４１に記憶させる。このとき、スキャンデータ格納部１３３は、色判定用データ記憶部２４１に、Ｒ、Ｇ及びＢで発色させる毎に、センサ内蔵液晶パネル３０１に接触するペンＰの像が、各光センサ６を用いてスキャンされた３つのスキャンデータをすべて記憶させると、色判定処理部１４Ａにその旨を通知してＳ８に進む。
【０３８９】
Ｓ８では、色判定処理部１４Ａが、上記通知を受けて色判定部１４１を駆動し、色判定部１４１は、色判定用データ記憶部２４１に記憶されている３つのスキャンデータに基づいて、Ｒ、Ｇ及びＢのそれぞれの光による反射光の強度を解析して、センサ内蔵液晶パネル３０１Ｂに接触したペンＰのペン先の色を判定し、その色判定結果（色情報）を出力する。その後、色判定結果格納部１４３は、出力された色判定結果を色判定結果保持部１４５又は、色判定結果記憶部２４２に記憶させ、そのこと（記憶させたこと）をスキャン属性情報設定部１３５及びエッジ領域特定部１８２１に通知して「結合子Ｂ」に進む。
【０３９０】
次に、図１５は、データ表示／センサ装置１００の動作（検出色表示ステップ）を示すフローチャートである。
【０３９１】
「結合子Ｂ」からＳ９に進み、Ｓ９では、スキャン属性情報設定部１３５が、コマンドの「データ取得タイミング」のフィールド値を“オール”に切り換える。
【０３９２】
スキャン実行部１３１は、コマンドの「データ取得タイミング」のフィールド値が“オール”に設定されているので、所定の周期で、少なくとも全体画像を含むスキャンデータをスキャンし、スキャンデータ格納部１３３は、そのスキャンデータを接触領域／エッジ領域特定用データ記憶部２３１に記憶させてＳ１０に進む。
【０３９３】
Ｓ１０では、エッジ領域特定部１８２１は、色判定結果格納部１４３からの通知を受けて待機状態となっており、スキャンデータ格納部１３３が、上記スキャンデータを接触領域／エッジ領域特定用データ記憶部２３１に記憶させたことをトリガとして、エッジ領域を特定する動作を開始し、Ｓ１１に進む。
【０３９４】
Ｓ１１では、エッジ領域特定部１８２１が、エッジ領域を特定できた場合は、ペンＰがペンアップしていない（センサ内蔵液晶パネル３０１に接触している）と判定し、「ＮＯ」となり、Ｓ１２に進む。
【０３９５】
一方、Ｓ１１で、エッジ領域特定部１８２１が、エッジ領域を特定できなかった場合は、ペンＰがペンアップした（センサ内蔵液晶パネル３０１に接触していない）と判定し、「ＹＥＳ」となり、「ＥＮＤ」となる。
【０３９６】
Ｓ１２では、エッジ領域特定部１８２１が、エッジ領域を２つ以上特定した場合には、「ＹＥＳ」となり、Ｓ１３に進む。
【０３９７】
一方、Ｓ１２で、エッジ領域特定部１８２１が、エッジ領域を１つしか特定しなかった場合には、「ＮＯ」となり、Ｓ１５に進む。
【０３９８】
Ｓ１３では、補間領域特定部１８２２が、エッジ領域が２つ以上特定されたことをトリガとして、順次特定されるエッジ領域間のそれぞれの補間領域を特定してＳ１４に進む。
【０３９９】
Ｓ１４では、表示画像作成部１８２３が、特定された２つ以上のエッジ領域と、順次特定されるエッジ領域間のそれぞれの補間領域のすべての領域内を、検出した色で塗りつぶした表示画像データを作成してＳ１６に進む。
【０４００】
また、Ｓ１５では、特定された１つのエッジ領域の領域内を検出した色で塗りつぶした表示画像データを作成してＳ１６に進む。
【０４０１】
Ｓ１６では、表示画像作成部１８２３が、データ処理部７００を介して表示／光センサ部３００に、作成した表示画像データを送信し、センサ内蔵液晶パネル３０１に検出した色の描画像が表示されてＳ９に戻る。以上の動作は、Ｓ１１でペンＰがペンアップしたと判定されるまで繰り返される。
【０４０２】
以上より、センサ内蔵液晶パネル３０１の表示面上に、色鉛筆や毛筆で描画するような自然な感覚で電子的な描画を行うことができるデータ表示／センサ装置１００を提供することができる。
【０４０３】
〔実施の形態２〕
本発明の他の実施の形態について図１６及び図１７に基づいて説明すれば、以下の通りである。なお、本実施の形態において説明すること以外の構成は、前記実施の形態１と同じである。また、説明の便宜上、前記の実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【０４０４】
本実施形態では、図４の表示制御部６０１及びセンサ制御部６０２のそれぞれの機能をハードウェアロジックで構成した場合について説明する。
【０４０５】
図１６は、データ表示／センサ装置１００の要部構成をハードで実装した場合の一例を示すブロック図である。
【０４０６】
図１６に示すように、本実施形態（データ表示／センサ装置Ａという）の要部構成は、光センサ６、シフトレジスタ（発色制御手段）４０１、インバータ（発色制御手段）４０２ｒ、ＸＮＯＲ回路（発色制御手段）４０２ｇ、インバータ（発色制御手段）４０２ｂ、ＡＮＤ回路（撮像制御手段）４０３、シフトクロック生成部（発色制御手段）４０４、トランジスタ（撮像制御手段）４０５ｒ、トランジスタ（撮像制御手段）４０５ｇ及びトランジスタ（撮像制御手段）４０５ｂ、インバータ付きトランジスタ（撮像制御手段）４０６ｒ、インバータ付きトランジスタ（撮像制御手段）４０６ｇ及びインバータ付きトランジスタ（撮像制御手段）４０６ｂ、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂ、座標演算部１３６Ｂ、色演算部１４Ｂ、並びに、色記憶（記憶部）４０７ｒ、色記憶（記憶部）４０７ｇ及び色記憶（記憶部）４０７ｂからなる構成である。
【０４０７】
図１６は、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂがすべて点灯している場合（白表示）を示している。
【０４０８】
シフトレジスタ（発色制御手段）４０１は、シフトクロック生成部４０４の駆動により、「１１０００００００００」の情報を順次、１つずつ、循環させて出力するものである。
【０４０９】
図１６では、インバータ４０２ｒ及びＸＮＯＲ回路４０２ｇに対して「０」（ＬＯＷレベル）が出力され、ＸＮＯＲ回路４０２ｇ及びインバータ４０２ｂに対して「１」（ＨＩＧＨレベル）が出力されている様子を示している。
【０４１０】
インバータ４０２ｒは、「０」が入力されているので、「１」を出力する。これにより、Ｒ画素回路３１ｒが点灯する。
【０４１１】
ＸＮＯＲ回路４０２ｇは、「００」が入力されているので、「１」を出力する。これにより、Ｇ画素回路３１ｇが点灯する。
【０４１２】
インバータ４０２ｂは、「０」が入力されているので、「１」を出力する。これにより、Ｂ画素回路３１ｂが点灯する。
【０４１３】
これにより、光センサ６は、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。
【０４１４】
ここで、ＡＮＤ回路４０３は、「１１１」が入力されているので「１」を出力するが、トランジスタ４０５ｒ〜トランジスタ４０５ｂのゲートには、すべて「１」が入力されているので、トランジスタ４０５ｒ〜トランジスタ４０５ｂのゲートは開放される。
【０４１５】
しかしながら、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂは、ＡＮＤ回路４０３からの「１」がインバータによって反転して「０」がトランジスタのゲートに入力されるので、光センサ６の検出信号は、色記憶４０７ｒ〜色記憶４０７ｂには流れない。
【０４１６】
すなわち、図１６の状態では、色検出処理が行なわれていない状態を示している。
【０４１７】
ここで、ペンＰのペン先が接触すると、座標演算部１３６Ｂは、光センサ６の検出信号に基づいて、座標演算を行い「座標情報」が出力される。
【０４１８】
座標演算部１３６Ｂは、このとき、シフトクロック生成部４０４を駆動する。そして、シフトクロック生成部４０４は、シフトレジスタ４０１を駆動して図１７（ａ）に示す状態が実現される。
【０４１９】
図１７（ａ）は、データ表示／センサ装置Ａの要部構成をハードで実装した場合においてＲ画素が点灯している様子を示す図であり、図１７（ｂ）は、Ｇ画素が点灯している様子を示す図であり、図１７（ｃ）は、Ｂ画素が点灯している様子を示す図である。
【０４２０】
まず、図１７（ａ）に示すように、シフトレジスタ４０１が駆動されて、インバータ４０２ｒには、「０」が入力されるので、インバータ４０２ｒは、「１」を出力する。これにより、Ｒ画素回路３１ｒが点灯する。
【０４２１】
また、ＸＮＯＲ回路４０２ｇには、「０１」が入力されるので、ＸＮＯＲ回路４０２ｇは、「０」を出力する。これにより、Ｇ画素回路３１ｇは、点灯しない。
【０４２２】
また、インバータ４０２ｂは、「１」が入力されるので、インバータ４０２ｂは、「０」を出力する。これにより、Ｂ画素回路３１ｂは、点灯しない。
【０４２３】
このとき、光センサ６は、Ｒ画素回路３１ｒが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。
【０４２４】
ここで、ＡＮＤ回路４０３には、「１００」が入力されるので、ＡＮＤ回路４０３は、「０」を出力する。
【０４２５】
ここで、インバータ４０２ｒ〜インバータ４０２ｂには、ＡＮＤ回路４０３より「０」が入力されるので、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートには、すべて「１」が入力されて、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートは開放される。
【０４２６】
一方、トランジスタ４０５ｒ〜トランジスタ４０５ｂでは、トランジスタ４０５ｒのみゲートに「１」が入力されるので、トランジスタ４０５ｒのみゲートが開放される。
【０４２７】
これにより、色記憶４０７ｒに光センサ６の検出信号による検出情報が記憶される。その後、シフトクロック生成部４０４がシフトレジスタ４０１を駆動して、図１７（ｂ）の状態に進む。
【０４２８】
図１７（ｂ）では、シフトレジスタ４０１が駆動されて、インバータ４０２ｒには、「１」が入力されるので、インバータ４０２ｒは、「０」を出力する。これにより、Ｒ画素回路３１ｒが点灯しない。
【０４２９】
また、ＸＮＯＲ回路４０２ｇには、「１１」が入力されるので、ＸＮＯＲ回路４０２ｇは、「１」を出力する。これにより、Ｇ画素回路３１ｇは、点灯する。
【０４３０】
また、インバータ４０２ｂは、「１」が入力されるので、インバータ４０２ｂは、「０」を出力する。これにより、Ｂ画素回路３１ｂは、点灯しない。
【０４３１】
このとき、光センサ６は、Ｇ画素回路３１ｇが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。
【０４３２】
ここで、ＡＮＤ回路４０３には、「０１０」が入力されるので、ＡＮＤ回路４０３は、「０」を出力する。
【０４３３】
ここで、インバータ４０２ｒ〜インバータ４０２ｂには、ＡＮＤ回路４０３より「０」が入力されるので、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートには、すべて「１」が入力されて、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートは開放される。
【０４３４】
一方、トランジスタ４０５ｒ〜トランジスタ４０５ｂでは、トランジスタ４０５ｇのみゲートに「１」が入力されるので、トランジスタ４０５ｇのみゲートが開放される。
【０４３５】
これにより、色記憶４０７ｇに光センサ６の検出信号による検出情報が記憶される。
【０４３６】
同様に、図１７（ｃ）では、シフトレジスタ４０１が駆動されて、インバータ４０２ｒには、「１」が入力されるので、インバータ４０２ｒは、「０」を出力する。これにより、Ｒ画素回路３１ｒが点灯しない。
【０４３７】
また、ＸＮＯＲ回路４０２ｇには、「１０」が入力されるので、ＸＮＯＲ回路４０２ｇは、「０」を出力する。これにより、Ｇ画素回路３１ｇは、点灯しない。
【０４３８】
また、インバータ４０２ｂには、「０」が入力されるので、インバータ４０２ｂは、「１」を出力する。これにより、Ｂ画素回路３１ｂは、点灯する。
【０４３９】
このとき、光センサ６は、Ｂ画素回路３１ｂが発色（発光）することによって生じた光がペンＰに照射されることによって生じた反射光を受光する。
【０４４０】
ここで、ＡＮＤ回路４０３には、「００１」が入力されるので、ＡＮＤ回路４０３は、「０」を出力する。
【０４４１】
ここで、インバータ４０２ｒ〜インバータ４０２ｂには、ＡＮＤ回路４０３より「０」が入力されるので、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートには、すべて「１」が入力されて、インバータ付きトランジスタ４０６ｒ〜インバータ付きトランジスタ４０６ｂのゲートは開放される。
【０４４２】
一方、トランジスタ４０５ｒ〜トランジスタ４０５ｂでは、トランジスタ４０５ｂのみゲートに「１」が入力されるので、トランジスタ４０５ｂのみゲートが開放される。
【０４４３】
これにより、色記憶４０７ｂに光センサ６の検出信号による検出情報が記憶される。
【０４４４】
以上説明した、図１７（ａ）〜図１７（ｃ）までの一連の動作により、色記憶４０７ｒ〜色記憶４０７ｂのすべてに検出情報が記録されることをトリガとして、色演算部１４Ｂは、ペンＰのペン先の色を解析し、色情報を出力する。
【０４４５】
以上より、装置の小型化に有用な、入出力一体型ディスプレイ（センサ内蔵液晶パネル３０１）の表示面上に接触したペンＰのペン先の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができるデータ表示／センサ装置Ａを提供することができる。
【０４４６】
〔実施の形態３〕
本発明のさらに他の実施の形態について図１８に基づいて説明すれば、以下の通りである。なお、本実施の形態において説明すること以外の構成は、前記実施の形態１及び２と同じである。また、説明の便宜上、前記の実施の形態１及び２の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【０４４７】
図１８は、本実施形態のデータ表示／センサ装置（データ表示／センサ装置Ｂと呼ぶ）の要部構成をハードで実装した場合の他の例を示すブロック図である。
【０４４８】
本実施形態が実施の形態２と異なる点は、まず、トランジスタ４０５ｂが無いことと、インバータ付きトランジスタ４０６ｂに替えて、トランジスタ（撮像制御手段）４０６ｗが設けられている点のみであり、それ以外の構成は、実施の形態２と同じである。なお、動作については、実施の形態２と同様なので、ここでは、説明を省略し、実施の形態２と本実施形態との作用の違いについて説明する。
【０４４９】
実施の形態２のデータ表示／センサ装置Ａでは、Ｒ、Ｇ及びＢのそれぞれの光が順次、発光し、Ｒ、Ｇ及びＢのそれぞれの光が、光センサ６によって検出された検出情報として色記憶４０７ｒ〜色記憶４０７ｂに記録される。
【０４５０】
一方、実施の形態３では、Ｒ、Ｇ及び白（Ｒ〜Ｇのすべて点灯）のそれぞれの光が順次、発光し、Ｒ、Ｇ及白のそれぞれの光が、光センサ６によって検出された検出情報として色記憶４０７ｒ〜色記憶（記憶部）４０７ｗに記録される。
【０４５１】
以上より、装置の小型化に有用な、入出力一体型ディスプレイ（センサ内蔵液晶パネル３０１）の表示面上に接触したペンＰのペン先の色を、感度の低下及び解像度の劣化を防止しつつ、検出することができるデータ表示／センサ装置Ｂを提供することができる。
【０４５２】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組合せて得られる実施形態についても本発明の技術的範囲に含まれる。
【０４５３】
最後に、データ表示／センサ装置１００の各ブロック、特に主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０４５４】
すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、前記プログラムを格納したＲＯＭ（read only memory）、前記プログラムを展開するＲＡＭ（random access memory）、前記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、前記データ表示／センサ装置１００に供給し、そのコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０４５５】
前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０４５６】
また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０４５７】
以上より、入出力一体型ディスプレイ（面状部材）の表示面上に、色鉛筆や毛筆で描画するような自然な感覚で電子的な描画を行うことができるデータ表示／センサ装置１００、色検出／色出力プログラム及び該色検出／色出力プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに色検出／色出力方法を提供することができる。
【産業上の利用可能性】
【０４５８】
本発明は、複数の単位画素及び複数の撮像センサを備えた表示装置に適用できる。具体的には、表示装置として、例えば、アクティブマトリクス型の液晶表示装置に用いることができると共に、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイにも利用することができる。
【図面の簡単な説明】
【０４５９】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の概観構成及びその機能の概要を示す模式図である。
【図２】（ａ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面の一例を示す模式図であり、（ｂ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの他の例の１画素を示す模式図である。
【図３】（ａ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、（ｂ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】前記データ表示／センサ装置の要部構成を示すブロック図である。
【図５】前記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】（ａ）は、前記データ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データであり、（ｂ）は、前記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】前記データ表示／センサ装置の要部構成のうち、主制御部及び記憶部の詳細を示すブロック図である。
【図１０】前記主制御部の要部構成のうち、色判定結果表示画像作成部の詳細を示すブロック図である。
【図１１】前記データ表示／センサ装置の色検出動作を概念的に示す模式図であり、（ａ）は、前記色検出動作の時間経過を示し、（ｂ）は、前記色検出動作の際の画面表示の様子を示す。
【図１２】前記データ表示／センサ装置の検出色表示動作を概念的に示す模式図である。
【図１３】前記データ表示／センサ装置の動作（接触領域特定ステップ）を示すフローチャートである。
【図１４】前記データ表示／センサ装置の動作（色検出ステップ）を示すフローチャートである。
【図１５】前記データ表示／センサ装置の動作（検出色表示ステップ）を示すフローチャートである。
【図１６】前記データ表示／センサ装置の要部構成をハードで実装した場合の一例を示すブロック図である。
【図１７】（ａ）は、前記データ表示／センサ装置の要部構成をハードで実装した場合においてＲ画素が点灯している様子を示す図であり、（ｂ）は、Ｇ画素が点灯している様子を示す図であり、（ｃ）は、Ｂ画素が点灯している様子を示す図である。
【図１８】前記データ表示／センサ装置の要部構成をハードで実装した場合の他の例を示すブロック図である。
【図１９】（ａ）及び（ｂ）は、従来のカラースキャナにおいて、光源とイメージセンサとの間にカラーフィルタを設ける場合の、イメージセンサとカラーフィルタとの大きさの関係を説明するための概念図であり、（ｃ）は、従来のカラースキャナにおいて、赤、緑及び青のＬＥＤ（light-emitting diode）を順次点灯させて、それぞれの光をスキャンする様子を示す図である。
【符号の説明】
【０４６０】
６ 光センサ（撮像センサ）
１２ スキャン処理部（撮像制御手段）
１４Ａ 色判定処理部（色検出手段）
１４Ｂ 色演算部（色検出手段）
１８ 画像表示処理部（発色制御手段，検出色表示制御手段）
２２ スキャン属性情報記憶部
２３ 画像データ記憶部
２４ 原色画像データ記憶部
３１ 画素回路（単位画素）
３１ｒ Ｒ画素回路（色画素,Ｒ画素）
３１ｇ Ｇ画素回路（色画素,Ｇ画素）
３１ｂ Ｂ画素回路（色画素,Ｂ画素）
５３ｒ,５３ｇ,５３ｂ カラーフィルタ（３原色カラーフィルタ）
１００ データ表示／センサ装置（色検出／色出力装置）
１３１ スキャン実行部
１３２ スキャン実行指示部
１３３ スキャンデータ格納部
１３４ スキャンデータ／接触領域特定結果保持部
１３５ スキャン属性情報設定部
１３６Ａ 接触領域特定部（接触判定手段,接触領域特定手段，エッジ領域特定手段）
１３６Ｂ 座標演算部（接触判定手段,接触領域特定手段）
１４１ 色判定部
１４２ 色判定用データ解析部
１４３ 色判定結果格納部
１４５ 色判定結果保持部（記憶部）
１８１ 原色画像作成部（発色制御手段）
１８２ 色判定結果表示画像作成部
２２２ 接触領域判定コマンド記憶部
２２３ 色検出コマンド記憶部
２２４ 検出色表示コマンド記憶部
２３１ 接触領域／エッジ領域特定用データ記憶部
２３２ 接触領域／エッジ領域特定結果記憶部
２４１ 色判定用データ記憶部
２４２ 色判定結果記憶部（記憶部）
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
３０１Ａ センサ内蔵液晶パネル（面状部材）
３０１Ｂ センサ内蔵液晶パネル（面状部材）
４０１ シフトレジスタ（発色制御手段）
４０２ｒ インバータ（発色制御手段）
４０２ｇ ＸＮＯＲ回路（発色制御手段）
４０２ｂ インバータ（発色制御手段）
４０３ ＡＮＤ回路（撮像制御手段）
４０４ シフトクロック生成部（発色制御手段）
４０５ｒ,４０５ｇ,４０５ｂ トランジスタ（撮像制御手段）
４０６ｒ,４０６ｇ,４０６ｂ インバータ付きトランジスタ（撮像制御手段）
４０６ｗ トランジスタ（撮像制御手段）
４０７ｒ,４０７ｇ,４０７ｂ 色記憶（記録部）
４０７ｗ 色記憶（記録部）
６００ 回路制御部
６０１ 表示制御部
６０２ センサ制御部
６０３ バックライト制御部
７００ データ処理部
７０１ 表示データ処理部
７０３ センサデータ処理部
８００ 主制御部
９０１ 記憶部
９０３ 操作部
１８２１ エッジ領域特定部（エッジ領域特定手段，接触判定手段）
１８２２ 補間領域特定部（補間領域特定手段）
１８２３ 表示画像作成部（検出色表示制御手段）
Ｐ ペン（接触物）
ＰＰ 領域（接触領域）
Ｌ 軌跡
Ｈ ヒンジ
ＴＲ Ｒ画素点灯期間
ＴＧ Ｇ画素点灯期間
ＴＢ Ｂ画素点灯期間
【特許請求の範囲】
【請求項１】
複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材と、
前記単位画素のそれぞれを発色させる発色制御手段と、
前記発色制御手段が、前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御手段と、
前記撮像制御手段によって撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出手段と、
前記面状部材上に、前記色検出手段によって検出した色を表示する検出色表示制御手段とを備えることを特徴とする色検出／色出力装置。
【請求項２】
前記接触物の像におけるエッジ部分に含まれる単位画素を特定すると共に、前記エッジ部分に含まれる単位画素に囲まれたエッジ領域を特定するエッジ領域特定手段を備えており、
前記検出色表示制御手段は、前記エッジ領域特定手段によって特定された前記エッジ領域内を、前記色検出手段によって検出した色で表示することを特徴とする請求項１に記載の色検出／色出力装置。
【請求項３】
前記エッジ領域特定手段により、第１エッジ領域が特定された後に、第２エッジ領域が特定された場合に、
前記エッジ領域特定手段が特定した、前記第１エッジ領域及び前記第２エッジ領域間を補間するための補間領域を特定する補間領域特定手段を備えており、
前記検出色表示制御手段は、前記第１エッジ領域内、前記第２エッジ領域内、及び前記補間領域内を、前記色検出手段によって検出した色で表示することを特徴とする請求項２に記載の色検出／色出力装置。
【請求項４】
前記発色制御手段は、前記単位画素のそれぞれを、等色の原理を満たす第１色、第２色及び第３色で、順次発色させ、
前記撮像制御手段は、前記発色制御手段が、前記単位画素のそれぞれを、前記第１色、第２色及び第３色で発色させる毎に、前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像し、
前記色検出手段は、前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御手段によって撮像された、前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出することを特徴とする請求項１から３までのいずれか１項に記載の色検出／色出力装置。
【請求項５】
前記発色制御手段は、前記色検出手段によって前記接触部分の色が検出された場合に、前記単位画素を前記第１色、第２色及び第３色で、順次発色させる動作を終了することを特徴とする請求項４に記載の色検出／色出力装置。
【請求項６】
前記第１色は、赤色、緑色、青色及び白色からなる４色のうちのいずれかであり、
前記第２色は、該４色のうち、前記第１色でない残りの３色のうちのいずれかであり、
前記第３色は、該３色のうち、前記第２色でない残りの２色のうちのいずれかであることを特徴とする請求項４又は５に記載の色検出／色出力装置。
【請求項７】
前記接触物が前記面状部材に接触しているか否かを判定する接触判定手段を備えており、
前記発色制御手段は、前記接触判定手段によって前記接触物が前記面状部材に接触していると判定された場合に、前記単位画素を、前記第１色、第２色及び第３色で、順次発色させることを特徴とする請求項４から６までのいずれか１項に記載の色検出／色出力装置。
【請求項８】
前記発色制御手段は、前記エッジ領域に含まれる前記単位画素のみを発色させることを特徴とする請求項１から７までのいずれか１項に記載の色検出／色出力装置。
【請求項９】
前記色検出手段が検出した前記接触物の接触部分の色を示す色情報を保持する記憶部を備えていることを特徴とする請求項１から８までのいずれか１項に記載の色検出／色出力装置。
【請求項１０】
請求項１から９までのいずれか１項に記載の色検出／色出力装置における各手段としてコンピュータを動作させるための色検出／色出力プログラム。
【請求項１１】
請求項１０に記載の色検出／色出力プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材を用いた色検出／色出力方法であって、
前記単位画素のそれぞれを発色させる発色制御ステップと、
前記発色制御ステップで前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御ステップと、
前記撮像制御ステップで撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出ステップと、
前記面状部材上に、前記色検出ステップで検出した色を表示する検出色表示制御ステップとを含んでいることを特徴とする色検出／色出力方法。
【請求項１】
複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材と、
前記単位画素のそれぞれを発色させる発色制御手段と、
前記発色制御手段が、前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御手段と、
前記撮像制御手段によって撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出手段と、
前記面状部材上に、前記色検出手段によって検出した色を表示する検出色表示制御手段とを備えることを特徴とする色検出／色出力装置。
【請求項２】
前記接触物の像におけるエッジ部分に含まれる単位画素を特定すると共に、前記エッジ部分に含まれる単位画素に囲まれたエッジ領域を特定するエッジ領域特定手段を備えており、
前記検出色表示制御手段は、前記エッジ領域特定手段によって特定された前記エッジ領域内を、前記色検出手段によって検出した色で表示することを特徴とする請求項１に記載の色検出／色出力装置。
【請求項３】
前記エッジ領域特定手段により、第１エッジ領域が特定された後に、第２エッジ領域が特定された場合に、
前記エッジ領域特定手段が特定した、前記第１エッジ領域及び前記第２エッジ領域間を補間するための補間領域を特定する補間領域特定手段を備えており、
前記検出色表示制御手段は、前記第１エッジ領域内、前記第２エッジ領域内、及び前記補間領域内を、前記色検出手段によって検出した色で表示することを特徴とする請求項２に記載の色検出／色出力装置。
【請求項４】
前記発色制御手段は、前記単位画素のそれぞれを、等色の原理を満たす第１色、第２色及び第３色で、順次発色させ、
前記撮像制御手段は、前記発色制御手段が、前記単位画素のそれぞれを、前記第１色、第２色及び第３色で発色させる毎に、前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像し、
前記色検出手段は、前記第１色、第２色及び第３色で発色させる毎に、前記撮像制御手段によって撮像された、前記接触物の像のそれぞれに基づいて、前記接触物の前記面状部材上における接触部分の色を検出することを特徴とする請求項１から３までのいずれか１項に記載の色検出／色出力装置。
【請求項５】
前記発色制御手段は、前記色検出手段によって前記接触部分の色が検出された場合に、前記単位画素を前記第１色、第２色及び第３色で、順次発色させる動作を終了することを特徴とする請求項４に記載の色検出／色出力装置。
【請求項６】
前記第１色は、赤色、緑色、青色及び白色からなる４色のうちのいずれかであり、
前記第２色は、該４色のうち、前記第１色でない残りの３色のうちのいずれかであり、
前記第３色は、該３色のうち、前記第２色でない残りの２色のうちのいずれかであることを特徴とする請求項４又は５に記載の色検出／色出力装置。
【請求項７】
前記接触物が前記面状部材に接触しているか否かを判定する接触判定手段を備えており、
前記発色制御手段は、前記接触判定手段によって前記接触物が前記面状部材に接触していると判定された場合に、前記単位画素を、前記第１色、第２色及び第３色で、順次発色させることを特徴とする請求項４から６までのいずれか１項に記載の色検出／色出力装置。
【請求項８】
前記発色制御手段は、前記エッジ領域に含まれる前記単位画素のみを発色させることを特徴とする請求項１から７までのいずれか１項に記載の色検出／色出力装置。
【請求項９】
前記色検出手段が検出した前記接触物の接触部分の色を示す色情報を保持する記憶部を備えていることを特徴とする請求項１から８までのいずれか１項に記載の色検出／色出力装置。
【請求項１０】
請求項１から９までのいずれか１項に記載の色検出／色出力装置における各手段としてコンピュータを動作させるための色検出／色出力プログラム。
【請求項１１】
請求項１０に記載の色検出／色出力プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
複数の単位画素と、該単位画素毎に少なくとも１つ設けられた複数の撮像センサとを含む面状部材を用いた色検出／色出力方法であって、
前記単位画素のそれぞれを発色させる発色制御ステップと、
前記発色制御ステップで前記単位画素のそれぞれを発色させた場合の前記面状部材に接触する接触物の像を、前記各撮像センサを用いて撮像する撮像制御ステップと、
前記撮像制御ステップで撮像された前記接触物の像に基づいて、前記接触物の前記面状部材上における接触部分の色を検出する色検出ステップと、
前記面状部材上に、前記色検出ステップで検出した色を表示する検出色表示制御ステップとを含んでいることを特徴とする色検出／色出力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−１１７６８７（Ｐ２０１０−１１７６８７Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２９２７１４（Ｐ２００８−２９２７１４）
【出願日】平成２０年１１月１４日（２００８．１１．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１４日（２００８．１１．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]