位置検出システム、位置検出装置及びプログラム
【課題】電子ペーパーなどの表示手段側に位置検出のための多数のセンサや印刷パターンなどの構成を設けなくても、その表示面上において操作者が指定した位置を検出する。
【解決手段】電子ペン１は表示面の撮像画像データを所定周期毎に電子ペーパー２に送信する。電子ペーパー２は、取得した撮像画像データが表す撮像画像を、同一色の連続領域にそれぞれ分離し、分離された複数の領域から、予め決められた大きさの範囲内に収まる領域を、不良表示素子に相当する領域として抽出し、その領域の重心の座標値を割り出して、不良表示素子の配置パターンとして記憶する。そして、電子ペーパー２は、この不良表示素子の配置パターンと、直前に記憶した不良表示素子の配置パターンとを逐一照合することで、電子ペン１が撮像した位置が描く軌跡を、検出する。そして、電子ペーパー２は、この軌跡に応じた処理を行う。
【解決手段】電子ペン１は表示面の撮像画像データを所定周期毎に電子ペーパー２に送信する。電子ペーパー２は、取得した撮像画像データが表す撮像画像を、同一色の連続領域にそれぞれ分離し、分離された複数の領域から、予め決められた大きさの範囲内に収まる領域を、不良表示素子に相当する領域として抽出し、その領域の重心の座標値を割り出して、不良表示素子の配置パターンとして記憶する。そして、電子ペーパー２は、この不良表示素子の配置パターンと、直前に記憶した不良表示素子の配置パターンとを逐一照合することで、電子ペン１が撮像した位置が描く軌跡を、検出する。そして、電子ペーパー２は、この軌跡に応じた処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の表示素子から不良表示素子の位置を検出するための技術に関する。
【背景技術】
【０００２】
電子データに基づいて何度でも表示内容を書き換えることができる表示装置が開発されている。特に薄型の表示装置は電子ペーパーなどと呼ばれているが、この種の薄型の表示装置に適した表示方式として、電気泳動方式がある。この電気泳動方式は、着色した帯電粒子を分散させた有機溶媒等の液体をマイクロカプセルに封入し、このマイクロカプセルに対する電界を変化させることにより、帯電粒子をマイクロカプセル内で移動させて表示を行うというものである。電気泳動方式に基づく表示に関する技術は、例えば特許文献１に開示されている。
【０００３】
また、ペン先の軌跡を認識してこれに応じたデータを出力する電子ペンが開発されている。例えば特許文献２には、紙に特殊なパターンを印刷しておき、電子ペンに備えられたカメラがこれを撮像してパターン解析することにより、ペン先がその紙のどの部分に置かれているかを認識するという技術が開示されている。このような電子ペンによれば、書いた文字や図形等を電子データとして直接扱うことができるため、これらの文字等の加工、解析および再利用に適している。
【特許文献１】特許第３７１９１７２号
【特許文献２】特表２００３−５１１７６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記のような電子ペーパーに対し、電子データとして直接扱うことができる文字等を書き込むことを可能にするためには、電子ペーパー側か電子ペン側のいずれかにペン先の位置を認識するための構成を設ける必要がある。例えば電子ペーパーによりペン先の位置を認識する場合には、例えば感圧素子などの、表示方式に影響を与えないセンサを電子ペーパーに多数設けなければならない。しかし、このような多数のセンサを設けようとすると、電子ペーパーの製造工程が複雑化して製造コストが上昇するほか、電子ペーパーの重量が増すので、電子ペーパー自体の携帯性が損なわれてしまうという問題がある。一方、電子ペンによりペン先の位置を認識させるためには、電子ペーパー側に上述したような特殊なパターンを目立たないように予め印刷しておく必要がある。よって、この場合も、電子ペーパーの製造工程が増えるという問題がある。
【０００５】
本発明は、このような背景に鑑みてなされたものであり、その目的は、電子ペーパーなどの表示手段側に位置検出のための多数のセンサや印刷パターンなどの構成を設けなくても、その表示面上において操作者が指定した位置を検出することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明に係る位置検出システムは、複数の表示素子が並べられた表示面を有し、当該複数の表示素子をそれぞれ駆動手段により駆動して画像を表示する表示手段と、前記表示面を撮像し、撮像画像を表す撮像画像データを生成する撮像手段と、前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段とを具備することを特徴とする。
本発明によれば、電子ペーパーなどの表示手段側に位置検出のための多数のセンサや印刷パターンなどの構成を設けなくても、その表示面上において操作者が指定した位置を検出することができる。
【０００７】
好ましくは、前記表示素子には、着色された複数の帯電粒子を分散させた液体が封入されており、前記表示手段は、前記表示素子に対する電界の方向を変化させて、当該表示素子に封入されている液体内の前記帯電粒子を移動させることにより、画像を表示するとよい。
この態様によれば、表示手段の表示面に、位置の検出に充分な程度の割合で不良表示素子をランダムに散在させることができる。
【０００８】
また、本発明に係る位置検出装置は、駆動手段により駆動させられる複数の表示素子が並べられた表示面を撮像して撮像画像を表す撮像画像データを生成する撮像手段から、当該撮像画像データを取得する取得手段と、前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段とを備えることを特徴とする。
本発明によれば、電子ペーパーなどの表示手段側に位置検出のための多数のセンサや印刷パターンなどの構成を設けなくても、その表示面上において操作者が指定した位置を検出することができる。
【０００９】
また、好ましくは、前記不良表示素子検出手段は、前記撮像画像データが表す撮像画像を色毎の画像領域に分離し、分離した複数の画像領域のうち、予め決められた大きさの範囲内に収まる画像領域の位置を前記不良表示素子の位置として検出するとよい。
この態様によれば、表示手段の表示面に画像が表示されていても、その表示に関わらず、駆動手段により駆動させられる表示素子と、駆動手段により駆動することができない不良表示素子とを識別することができる。
【００１０】
また、好ましくは、前記不良表示素子検出手段は、前記表示素子を駆動するための電極の形状を記憶しており、前記撮像画像データが表す撮像画像において、それぞれ異なる色の画像領域の境界線を特定し、特定した当該境界線と記憶しておいた前記電極の形状とが一致しない位置を、前記不良表示素子の位置として検出するとよい。
この態様によれば、上述した表示素子と不良表示素子との識別を、より精度良く行うことができる。
【００１１】
また、好ましくは、前記撮像手段は、それぞれ異なる撮像タイミングで前記表示面の一部を撮像し、各々の撮像画像を表す撮像画像データを出力するものであり、前記取得手段は、前記撮像手段によって出力される各々の前記撮像画像データを取得し、前記不良表示素子検出手段により各々の前記撮像画像から検出された複数の不良表示素子のうち、素子どうしの相対的な位置関係が一致する不良表示素子を、各々の前記撮像画像において共通する共通不良表示素子として特定する共通素子特定手段と、前記共通素子特定手段により特定された共通不良表示素子の前記各撮像画像における位置の変位と、前記各撮像画像の撮像タイミングとに基づいて、前記表示面に対する前記撮像手段の移動方向、又は、移動速度若しくは移動量を算出して出力する算出手段とを備えるとよい。
この態様によれば、電子ペーパーなどの表示面上において操作者が指定した位置が時間の経過に従って移動したときに、その移動方向、又は、移動速度若しくは移動量として検出することができる。
【００１２】
また、好ましくは、前記算出手段によって算出された移動方向、又は、移動速度若しくは移動量に応じた処理を行う処理手段を備えるとよい。
この態様によれば、表示手段の表示面上で操作者によって指定された位置の移動方向、又は、移動速度若しくは移動量に応じた処理を行うことができる。
【００１３】
また、好ましくは、前記共通素子特定手段は、素子どうしの相対的な位置関係に加えて、各々の前記不良表示素子の大きさ又は形状の少なくとも一方が一致する不良表示素子を、前記共通不良表示素子として特定するとよい。
この態様によれば、上述した共通不良表示素子の特定を、より精度良く行うことができる。
【００１４】
また、本発明に係るプログラムは、コンピュータを、駆動手段により駆動させられる複数の表示素子が並べられた表示面を撮像して撮像画像を表す撮像画像データを生成する撮像手段から、当該撮像画像データを取得する取得手段と、前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段として機能させるためのプログラムである。
本発明によれば、電子ペーパーなどの表示手段側に位置検出のための多数のセンサや印刷パターンなどの構成を設けなくても、その表示面上において操作者が指定した位置を検出することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施の形態を説明する。
（Ａ：構成）
（Ａ−１：画像処理システムの全体構成）
図１は、画像処理システム９の全体構成を示す図である。
画像処理システム９は、電子ペン１と、電子ペーパー２とを有する。電子ペン１は、操作者が文字や図形等を記入するべく電子ペーパー２の表示面上を移動させられる筆記具として機能する。この電子ペン１は、電子ペーパー２と通信可能に構成されているとともに、ペン先部分にカメラを備えており、このカメラによって撮像された画像を表す撮像画像データを電子ペーパー２に送信する。電子ペーパー２は、電気泳動方式で画像を表示する表示装置である。この電子ペーパー２は、電子ペン１から送信されてくる撮像画像データを用いて、表示面における電子ペン１のペン先の移動方向および移動距離を検出し、その検出した移動方向および移動距離をもとにペン先の軌跡を計算して、操作者が描いた文字や図形を表現する。図１では、操作者が、電子ペーパー２の表示面の下方の領域に電子ペン１で所望の図形（図中点線Ｒ）を描いたときに、その電子ペン１のペン先の軌跡（図中実線Ｒ’）が、電子ペーパー２の上方の領域に表示される様子が示されている。つまり、操作者が描いた点線Ｒの位置に画像は表示されない代わりに、実線Ｒ’が表示される。
【００１６】
（Ａ−２：電子ペンの構成）
次に、図２は、電子ペン１の機能構成の一例を示すブロック図である。
図２に示すように、電子ペン１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、センサ１４、カメラ１５、通信部１６および電源部１７を備えている。これらの各構成１１〜１６は、バス１９に接続されているとともに、図示しない電力線により電源部１７に接続されている。ＣＰＵ１１は、ＲＯＭ１２に記憶されているコンピュータプログラムを読み出して実行することにより、電子ペン１の各部を制御する。ＲＯＭ１２は、読み出し専用の不揮発性記憶装置であり、上述のコンピュータプログラムが記憶されている。ＲＡＭ１３はＣＰＵ１１がプログラムを実行する際のワークエリアとして利用される。センサ１４は、ペン先に連動した感圧装置であり、図示しない弾性体等により外部方向へ付勢力を与えられたペン先が対象物と接触して反力を受け、ペンの内部へ押される力を検知して、オン信号を出力する。つまり、このセンサ１４は、ペン先が電子ペーパー２の表示面に接触するとオン信号を出力することになる。カメラ１５は、ペン先が向けられた方向を撮像する撮像手段であり、電子ペーパー２の表示面の領域の一部（例えば直径５ｍｍ程度の円形領域）を撮像する。このカメラ１５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子により、ペン先に備えられたレンズから撮りこまれる光を電気信号に変換して、その光に応じた撮像画像データを生成して出力する。通信部１６は、赤外線やＢｌｕｅｔｏｏｔｈ（登録商標）などの通信規格に従った無線通信を行う無線通信回路を備えており、電子ペーパー２とデータ通信を行う。電源部１７は、例えば充電可能なバッテリを備え、上述の電力線を介して上記の各構成１１〜１６に電力を供給する。
【００１７】
（Ａ−３：電子ペーパーの構成）
次に、図３は、電子ペーパー２の機能構成の一例を示すブロック図である。
図３に示すように、電子ペーパー２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、表示部２５、通信部２６および電源部２８を備えている。これらの各構成２１〜２６は、バス２９に接続されているとともに、図示しない電力線により電源部２８に接続されている。ＣＰＵ２１は、ＲＯＭ２２に記憶されているコンピュータプログラムを読み出して実行することにより、電子ペーパー２の各部を制御する。ＲＯＭ２２は、読み出し専用の不揮発性記憶装置であり、上述のコンピュータプログラムが記憶されている。ＲＡＭ２３は、ＣＰＵ２１がプログラムを実行する際のワークエリアとして利用される。記憶部２４は、例えばフラッシュメモリなどの書き換え可能な不揮発性記憶装置であり、後述する画素電極ＰＥの位置が記述された電極位置テーブル２４２を記憶している。通信部２６は、電子ペン１の通信部１６と同様の通信規格に従った無線通信を行う無線通信回路を備えており、電子ペン１とデータ通信を行う。電源部２８は、例えば充電可能なバッテリを備え、上述の電力線を介して各構成２１〜２６に電力を供給する。表示部２５は、ＣＰＵ２１の制御の下で画像を表示する表示手段である。表示部２５は、多数の電気泳動素子や電極を備えた反射型の表示体２５２と、ＣＰＵ２１が送信する描画命令を駆動信号に変換し、この駆動信号により各電気泳動素子を駆動する駆動部２５１とを備えている。
【００１８】
（Ａ−４：電子ペーパーの表示体の構成）
ここで、図４は、表示体２５２の構造を模式的に示した図である。
図４に示すように、表示体２５２は、第１基板２５２１、第２基板２５２２、電気泳動素子Ｐ、バインダ２５２３により構成されている。図４においては、上方向が表示面の表面側であり、下方向が裏面側である。第１基板２５２１は、樹脂基板であり、その上方には複数の画素電極ＰＥが設けられている。この画素電極ＰＥは、全て略同一の大きさ（数十ミクロン程度）の正方形であり、規則的な格子状に並べられている。また、第１基板２５２１に対向する第２基板２５２２は、透明な樹脂基板であり、その下方には透明な共通電極ＣＥが設けられている。複数の画素電極ＰＥと共通電極ＣＥの間には、複数の電気泳動素子Ｐが、光透過性を有するバインダ２５２３により固定されている。この電気泳動素子Ｐは、約数十ミクロン程度の大きさで略球状ではあるが、それぞれの大きさおよび形状は完全に同一ではなく、互いに近接して並べられている。
【００１９】
図５は、電気泳動素子Ｐの構造および状態を模式的に示す断面図である。より詳細には、図５（ａ）は、黒色を表示するときの電気泳動素子Ｐの状態を示し、図５（ｂ）は、白色を表示するときの電気泳動素子Ｐの状態を示すものである。また、図５（ｃ）は、図中左側部分に白色を、右側部分に黒色をそれぞれ表示するときの電気泳動素子Ｐの状態を示すものである。
電気泳動素子Ｐは、図５（ａ）〜（ｃ）に示すように、マイクロカプセル化されている。カプセル壁ＣＷとしてのポリマー膜内には、プラス（＋）に帯電した黒色顔料粒子ＢＧおよびマイナス（−）に帯電した白色顔料粒子ＷＧを含む、液体の分散媒ＤＭが封入されている。黒色顔料粒子ＢＧおよび白色顔料粒子ＷＧの位置は、外部から与えられる電界により規定され、さらに分散媒ＤＭにより安定的に維持される。なお、実際の黒色顔料粒子ＢＧおよび白色顔料粒子ＷＧの粒径は、図に示すよりも小さく、数ナノメートル程度である。上述したように、この電気泳動素子Ｐは、大きさおよび形状が完全に同一ではなく、いわば不規則に並べられた状態でバインダ２５２３により固定されているから、必ずしも画素電極ＰＥと一対一の対応関係にはない。図５においては、簡略に説明するため、電気泳動素子Ｐの裏面側には、２つの画素電極ＰＥ１およびＰＥ２が配置されている場合を図示したが、画素電極の大きさによっては、１つの電極と複数電気泳動素子Ｐとが対応する場合も３つ以上の電極と複数電気泳動素子Ｐとが対応する場合もある。
【００２０】
電気泳動素子Ｐによって黒色を表示しようとするときには、図５（ａ）に示すように、画素電極ＰＥ１と共通電極ＣＥとの間および画素電極ＰＥ２と共通電極ＣＥとの間に図中矢印Ｅ１方向の向きを持つ電界を生じさせるような電圧が駆動部２５１により印加される。これにより、プラス（＋）に帯電している黒色顔料粒子ＢＧは、カプセル壁ＣＷ内において表面側に近付くように移動すると共に、マイナス（−）に帯電している白色顔料粒子ＷＧは、カプセル壁ＣＷ内において裏面側に近付くように移動する。このようにして、電気泳動素子Ｐの表面側に黒色顔料粒子ＢＧが集められるので、ユーザが表面側からこの電気泳動素子Ｐを観察したときには、黒色を認識する。他方で、電気泳動素子Ｐは、白色を表示しようとするときには、図５（ｂ）に示すように、画素電極ＰＥ１と共通電極ＣＥとの間および画素電極ＰＥ２と共通電極ＣＥとの間に図中矢印Ｅ２方向の向きを持つ電界を生じさせるような電圧が駆動部２５１により印加される。これにより、白色顔料粒子ＷＧは、表面側に近付くように移動すると共に、黒色顔料粒子ＢＧは、裏面側に近付くように移動する。このようにして、電気泳動素子Ｐの表面側に白色顔料粒子ＷＧが集められるので、ユーザが表面側からこの電気泳動素子Ｐを観察したときには、白色を認識する。
【００２１】
また、一つの電気泳動素子Ｐが同時に表示することができる色は一色ではなく、図５（ｃ）に示すように、一つの電気泳動素子Ｐが同時に白色と黒色の両方を表示する状態もある。この場合、電気泳動素子Ｐの図中右側においては、画素電極ＰＥ１と共通電極ＣＥとの間に図中矢印Ｅ１方向の向きを持つ電界を生じさせるような電圧が駆動部２５１により印加され、電気泳動素子Ｐの図中左側においては、画素電極ＰＥ２と共通電極ＣＥとの間に図中矢印Ｅ２方向の向きを持つ電界を生じさせるような電圧が駆動部２５１により印加される。これにより、電気泳動素子Ｐの図中右側においては、黒色顔料粒子ＢＧが表面側に近付くように移動すると共に、白色顔料粒子ＷＧが裏面側に近付くように移動する。また、電気泳動素子Ｐの図中左側においては、白色顔料粒子ＷＧが表面側に近付くように移動すると共に、黒色顔料粒子ＢＧが裏面側に近付くように移動する。
【００２２】
（Ａ−５：不良表示素子の説明）
ここで、図６は、駆動部２５１により正常に駆動することができない不良表示素子の状態の例を示す図である。
電気泳動素子Ｐのカプセル壁ＣＷ内の黒色顔料粒子ＢＧ又は白色顔料粒子ＷＧは、帯電粒子に付された帯電量が不足しているなどの様々な原因により、カプセル壁ＣＷの壁面に固着したり、或いは、粒子どうしでお互いに固着したりすることがある。図６（ａ）に示す例では、黒色顔料粒子ＢＧが電気泳動素子Ｐのカプセル壁ＣＷの表面側に固着している。この固着による力は、駆動部２５１が与える電界による力を上回っているため、矢印Ｅ２方向の電界を与えても、白色顔料粒子ＷＧはカプセル壁ＣＷの表面側に到達することができず、電気泳動素子Ｐは黒色を表示し続けることになる。
【００２３】
一方、図６（ｂ）に示す例では、黒色顔料粒子ＢＧは、カプセル壁ＣＷとは固着していないが、黒色顔料粒子ＢＧ同士が固着して大きな塊になっている。そのため、駆動部２５１が矢印Ｅ１方向の電界を与えても、黒色顔料粒子ＢＧのそれぞれは分散媒ＤＭの中を自由に動くことができず、塊となった黒色顔料粒子ＢＧは、その両端が電気泳動素子Ｐのカプセル壁ＣＷと衝突してしまう。そのため、黒色顔料粒子ＢＧはカプセル壁ＣＷの表面側に到達することができず、電気泳動素子Ｐは白色を表示し続けることになる。
【００２４】
このように、電気泳動素子Ｐの中には、着色された帯電粒子が内壁に固着したり、その帯電粒子同士が固着したりすることにより、正常に駆動しない不良表示素子がある。電子ペーパー２の製造工程においては、このような不良表示素子がどうしても含まれてしまい、一般にその不良表示素子の割合は、電気泳動素子全体の１〜５％程度である。ただし、この程度の割合で不良表示素子が含まれているかぎり、不良表示素子の色が、画像全体に与える影響は小さく、人が画像全体を認識することを妨げる程ではないことが分かっている。
【００２５】
この不良表示素子は、表示面の全面にわたってランダムな位置に発生する。図７（ａ）は、表示部２５の表示面全面に白色を表示したときに、黒色の不良表示素子が点在している様子を例示した図である。この図７（ａ）に示したように、ほとんどの領域で白色が表示されている中にあって、いくつかの領域においては黒色が表示されている。この黒色の領域が、常時黒色を表示し続ける不良表示素子（以下、黒色不良表示素子）に相当する。よって、表示面を撮像した撮像画像に含まれる色（白色及び黒色）の違いに基づいて、黒色不良表示素子を検出することが可能である。また、図７（ｂ）は、表示部２５の全面に黒色を表示したときに、白色を表示している白色不良表示素子が点在している様子を例示した図である。同様にして、操作者は、常時白色を表示し続ける不良表示素子（以下、白色不良表示素子という）を検出することが可能である。
なお、記憶部２４の電極位置テーブル２４２には、図７（ａ）に示すように表示体２５２の左上隅の頂点Ｏを原点とするｘｙ座標系によって、画素電極ＰＥの位置が記述されている。
【００２６】
（Ｂ：動作）
次に、画像処理システム９の動作を説明する。
（Ｂ−１：手書き入力の動作）
図８は、電子ペン１により電子ペーパー２に手書き入力をする動作の流れを説明するシーケンス図である。
図８において、まず、操作者が、電子ペン１のペン先を電子ペーパー２の表示体２５２の表示面にあて、その表示面上に沿って移動させると、電子ペン１のセンサ１４は、自身がペンの内部へ押される力を検知して、オン信号を出力する。このオン信号を受け取った電子ペン１のＣＰＵ１１は、カメラ１５に対し、撮像を開始する命令を送信する（ステップＳＢ０１）。カメラ１５は、この命令を受け取ると、ペン先が向いている方向にある表示面を撮像し（ステップＳＢ０２）、その撮像画像データを生成する。ＣＰＵ１１は、通信部１６を介して、この撮像画像データを電子ペーパー２に送信する（ステップＳＢ０３）。ここで、カメラ１５が撮像する領域は、所定の大きさを有しており、前述したように例えば直径５ｍｍ程度の円形である。電気泳動素子Ｐの径はおおよそ数十ミクロン程度であるから、このカメラ１５が１度に撮像した領域には、数千〜数万の電気泳動素子Ｐが含まれている。また、画素電極ＰＥの大きさを電気泳動素子Ｐの大きさとおおよそ同じ程度とすると、このカメラ１５が１度に撮像した領域には、電気泳動素子Ｐと同じく、数千〜数万の画素電極ＰＥが含まれている。
【００２７】
電子ペーパー２のＣＰＵ２１は、電子ペン１の通信部１６から送信された撮像画像データを通信部２６によって取得すると、これに基づいて、この撮像画像データが表す撮像画像を撮像した撮像位置が、直前の撮像位置からどの方向にどれだけ移動したかを示す移動ベクトルを算出する移動ベクトル算出処理を行う（ステップＳＢ０４）。この移動ベクトル算出処理については詳しくは後述するが、これにより、ある単位時間に電子ペン１のペン先が表示面上を移動した方向と距離を示す移動ベクトルが算出されることになる。
【００２８】
そして、ＣＰＵ２１は、算出した移動ベクトルに応じて描画位置情報を更新する（ステップＳＢ０５）。ここで、描画位置情報とは表示部２５の表示体２５２のいずれかの位置に対応した座標値であり、図７（ａ）の左上隅の頂点Ｏを原点としたｘｙ座標系で表される。この描画位置情報は、初期状態においては予め定められた位置（例えばｘｙ座標系の原点である頂点Ｏ近傍の決められた位置など）に設定され、ＲＡＭ２３に記憶されている。そして、この描画位置情報の更新とは、このＲＡＭ２３に既に記憶されている座標値に対し、算出した移動ベクトルと同一または比例するベクトルを逐次加算してＲＡＭ２３に記憶することである。
【００２９】
続いて、ＣＰＵ２１は、記憶部２４の電極位置テーブル２４２を参照して、更新した描画位置情報が示す位置にある画素電極ＰＥを特定するとともに、表示部２５の駆動部２５１に対してその画素電極ＰＥを指定した描画命令を送信する。この描画命令を受けた駆動部２５１は、ＣＰＵ２１が特定した画素電極ＰＥ及びその近傍にある所定数の画素電極ＰＥを駆動して、これらの画素電極ＰＥに近接する複数の電気泳動素子Ｐを駆動する（ステップＳＢ０６）。これにより、操作者が電子ペン１のペン先で描いた軌跡と同一または相似形の軌跡に沿って、所定色（例えば背景色が白色の場合には所定色を黒色とする）の点画像が表示される。
【００３０】
電子ペン１は、ＣＰＵ１１に内蔵されたタイマに従って、所定周期毎に上述の表示面を撮像し、撮像画像データを生成してこれを電子ペーパー２に送信することで、上述したステップＳＢ０２からステップＳＢ０６までの処理が繰り返し行われる。これらの処理が短期間の間に繰り返し行われることで、操作者が電子ペン１のペン先を移動させた方向および距離に応じた位置に表示された点画像が表示面上で線画像として連なる。よって、表示面においてはペン先の軌跡に応じた軌跡が線として表示されることになり、操作者は所望の文字や図形を描くことができる。
【００３１】
（Ｂ−２：移動ベクトル算出処理の動作）
次に、図９は、上述したステップＳＢ０４の移動ベクトル算出処理の動作の流れを説明するフローチャートである。
図８で説明したように、電子ペン１は表示面の撮像画像データを所定周期毎に電子ペーパー２に送信してくるので、電子ペーパー２のＣＰＵ２１は、通信部２６を介して、これを定期的に取得することになる（ステップＳＣ０１；ＹＥＳ）。そして、ＣＰＵ２１は、取得した撮像画像データが表す撮像画像を、同一色の連続領域にそれぞれ分離する（ステップＳＣ０２）。ＣＰＵ２１は、この領域分離の際に、例えば同一色の連続領域に共通のラベルを割り当てる周知のラベリング処理などを用いればよい。
【００３２】
ここで、図１０は、ある瞬間の撮像画像データが表す撮像画像Ｑ１を例示した図である。
図１０に例示した撮像画像Ｑ１に対して上記の領域分離処理が行われると、白色の領域Ｗ１と、黒色の領域Ｂ１−１，Ｂ１−２，Ｂ１−３，・・・Ｂ１−Ｎ（Ｎは整数）とに分離されることになる。
そして、図９において、電子ペーパー２のＣＰＵ２１は、上記領域分離処理によって分離された複数の領域から、予め決められた大きさの範囲内に収まる領域を不良表示素子に相当する領域（以下、不良表示素子領域という）として抽出し、その領域の重心の座標値を割り出してＲＡＭ２３に記憶する（ステップＳＣ０３）。
【００３３】
より詳細に説明すると、上述したように、電気泳動素子Ｐの大きさは、ばらつきがあるものの、おおよそ数十ミクロン程度であるから、ＣＰＵ２１は、領域分離処理によって分離された複数の領域のうち、例えば２０ミクロンから７０ミクロンの範囲に収まる大きさの領域を抽出することで、不良表示素子領域を抽出することができる。例えば図１０の場合、白色の領域Ｗ１は、撮像画像Ｑ１の全域のほとんどの面積を占めているから、ＣＰＵ２１はこの領域Ｗ１を、予め決められた、２０ミクロンから７０ミクロンの範囲に収まらないと判断する。一方、黒色の領域Ｂ１−１，Ｂ１−２，Ｂ１−３，・・・Ｂ１−Ｎは、白色の領域Ｗ１と比較すると圧倒的に小さい面積であるが、これらがそれぞれ２０ミクロンから７０ミクロンの範囲に収まる場合には、ＣＰＵ２１は、これらを全て不良表示素子領域として抽出する。そして、ＣＰＵ２１は、例えば撮像画像Ｑ１の中心Ｃ１（図中×印）を原点としたＸＹ座標系に従って、抽出した不良表示素子領域Ｂ１−１，Ｂ１−２，Ｂ１−３・・・Ｂ１−Ｎのそれぞれの重心の位置を表すＸＹ座標値を求めてＲＡＭ２３に記憶する。これにより、ＲＡＭ２３には、電子ペン１の１回の撮像によって得られた直径約５ｍｍ程度の画像領域に含まれる、不良表示素子の配置パターンが記憶されることになる。
【００３４】
次に、ＣＰＵ２１は、移動ベクトルを算出する。ここで、移動ベクトルとは、電子ペン１から取得した撮像画像の位置が、直前の撮像画像の位置からどの方向にどれだけ移動したかを示すものであり、ＸＹ座標によって（Ｘ，Ｙ）という様に表される。ＣＰＵ２１は、直前の不良表示素子の配置パターンがＲＡＭ２３に記憶されているか否かを判断し（ステップＳＣ０４）、記憶されていない場合には（ステップＳＣ０４；ＮＯ）、上述した移動ベクトルを０ベクトル、即ち（０，０）に設定する（ステップＳＣ０５）。
【００３５】
一方、直前の不良表示素子の配置パターンがＲＡＭ２３に記憶されている場合には（ステップＳＣ０４；ＹＥＳ）、ＣＰＵ２１は、ＲＡＭ２３に記憶された現在の不良表示素子の配置パターンと、直前の不良表示素子の配置パターンとを照合し（ステップＳＣ０６）、移動ベクトルを算出する（ステップＳＣ０５）。具体的には、ＣＰＵ２１は、ＲＡＭ２３に記憶された現在の不良表示素子の配置パターンに含まれる或る１つの不良表示素子の座標値を、直前の不良表示素子の配置パターンに含まれる１つの不良表示素子の座標値に一致すると仮定し、現在の不良表示素子の配置パターンのうち、所定の割合以上の数が、直前の不良表示素子の配置パターンに一致するか否かという判断を行う。そして、両者が一致しなければ、ＣＰＵ２１は、ＲＡＭ２３に記憶された現在の不良表示素子の配置パターンに含まれる上記或る１つの不良表示素子の座標値を、直前の不良表示素子の配置パターンに含まれる別の１つの不良表示素子の座標値に一致すると仮定して上記と同様の判断を行う。この判断を、上記の仮定の対象となる現在および直前の不良表示素子の座標値の組み合わせを順次変更しながら、ＲＡＭ２３に記憶された現在の不良表示素子の配置パターンと直前の不良表示素子の配置パターンとが所定の割合以上一致するまで、繰り返し行う。
【００３６】
図１１は現在と直前の配置パターン同士の一致を判断する処理を説明するための図である。この図に従って、配置パターン同士の一致を判断する処理の具体例を説明する。
図１１に示すように、ＲＡＭ２３には、現在の撮像画像Ｑ１と直前の撮像画像Ｑ０の不良表示素子の配置パターンが記憶されている。すなわち、撮像画像Ｑ１の直前に撮像された撮像画像Ｑ０においては、不良表示領域としてＢ０−１，Ｂ０−２，Ｂ０−３，・・・Ｂ０−Ｍ（Ｍは整数）が抽出され、撮像画像Ｑ０の中心Ｃ０（図中×印）を原点としたＸＹ座標系に従って、これら不良表示領域のそれぞれの重心の位置を示す座標値がＲＡＭ２３に記憶されている。一方、撮像画像Ｑ１においては、不良表示領域としてＢ１−１，Ｂ１−２，Ｂ１−３，・・・Ｂ１−Ｎ（Ｎは整数）が抽出され、撮像画像Ｑ１の中心Ｃ１（図中×印）を原点としたＸＹ座標系に従って、これら不良表示領域のそれぞれの重心の位置を示す座標値がＲＡＭ２３に記憶されている。
【００３７】
ＣＰＵ２１はまず、直前の不良表示領域Ｂ０−１と現在の不良表示領域Ｂ１−１が一致すると仮定し、撮像画像Ｑ１と撮像画像Ｑ０のそれぞれの不良表示領域が一致するか否かを判断する。図を参照すると分かるように、不良表示領域Ｂ０−１と不良表示領域Ｂ１−１とは異なる不良表示領域であるから、この判断は否定的となる。ＣＰＵ２１は、この組み合わせを順次変更しながら、現在の不良表示素子の配置パターンと直前の不良表示素子の配置パターンとが所定の割合以上一致するまで、繰り返し行う。そして、ＣＰＵ２１は、直前の不良表示領域Ｂ０−２と現在の不良表示領域Ｂ１−１とが一致すると仮定して、判断を行ったときに、両者が一致していると判断する。このとき、不良表示領域Ｂ０−２はＣ０を原点としたＸＹ座標系で表され、不良表示領域Ｂ１−１はＣ１を原点としたＸＹ座標で表されているから、ＣＰＵ２１は、不良表示領域Ｂ１−１のＸＹ座標値から不良表示領域Ｂ０−２のＸＹ座標値を減算することで、Ｃ１を、Ｃ０を原点としたＸＹ座標系で表すことができる。ＣＰＵ２１は、このＣ１をＸＹ座標系で表した座標値を、撮像画像Ｑ０から撮像画像Ｑ１へ撮像位置が移動した際の移動方向と移動距離を示す「移動ベクトル」Ｖ１として、算出し、ＲＡＭ２３に書き込む（出力する）。
【００３８】
（Ｂ−３：描画位置情報の更新の動作）
上述したように、ＲＡＭ２３には、描画位置情報が、図７（ａ）の左上隅の頂点Ｏを原点としたｘｙ座標系で表される座標値として記憶されている。ＣＰＵ２１は、ステップＳＢ０４の移動ベクトル算出処理で得られた「移動ベクトル」Ｖ１を、ＲＡＭ２３に記憶されている描画位置情報に加算し、これを新たな描画位置情報としてＲＡＭ２３に記憶する。ＣＰＵ２１は、この描画位置情報に対応する位置にある電気泳動素子Ｐを駆動部２５１により駆動させ、表示体２５２に点画像を表示させる。なお、「移動ベクトル」Ｖ１を描画位置情報に加算するに当たり、所定の係数をＶ１に乗算したうえで、これを描画位置情報に加算してもよい。このようにすると、操作者が電子ペン１を用いて、電子ペーパー２の表示面に描いた文字や図形等を拡大または縮小した文字や図形等が、電子ペーパー２のいずれかの場所に表示される。
【００３９】
以上説明した実施形態によれば、電子ペーパー２は、電子ペン１によって撮像した表示面の画像から、その画像に含まれる色の違いに基づいて、表示体２５２の表示面全面に点在する不良表示素子の位置を検出する。そして、電子ペーパー２は、これらの不良表示素子の位置を撮像の度に順次記憶しておき、直前に記憶した記憶内容と、電子ペン１によって撮像した表示面の一部の領域に含まれる不良表示素子の位置とを照合することで、電子ペン１の撮像画像の表示面上の移動ベクトルを算出して、これに応じて更新された描画位置に対応する表示素子を駆動する。これにより、操作者が電子ペン１を用いて、電子ペーパー２の表示面に文字や図形等を描くと、電子ペン１のペン先が描いた軌跡が電子ペーパー２のいずれかの場所に表示されることになるので、操作者はあたかも、ペンによって紙に手書き入力をするように、文字等を電子ペーパー２に記入することができる。そして、このようにして記入された文字等を示すデータは電子データとして扱うことができるため、これらの文字等の加工、解析および再利用などを容易に行うことができる。
【００４０】
（Ｃ：変形例）
上述の実施形態を以下のように変形してもよい。
（１）画像処理システム９は、電子ペン１と、電子ペーパー２という２つの構成を有していたが、これに限らず、これらの構成が実現する各機能を、１つの装置に集中化してもよいし、さらに複数の装置に分散化してもよい。
【００４１】
（２）上述の実施形態においては、各電気泳動素子Ｐには、白色と黒色の２色に分けられた複数の顔料粒子を含む分散媒ＤＭが封入されていたが、この顔料粒子の色は、１色のみでもよいし、白色や黒色以外であってもよい。例えば１色の場合、その顔料粒子を分散させる分散媒ＤＭを当該顔料粒子の色と異なる光透過性の無い色に着色しておけばよい。このようにすると、画素電極ＰＥと共通電極ＣＥとの間に電圧をかけることによって、顔料粒子が表面側に移動すれば、その色が表面に表示され、顔料粒子が裏面側に移動すれば、分散媒ＤＭの色が表面に表示されるので、駆動電圧に応じた発色がなされるように、電気泳動素子を駆動させることができる。
【００４２】
（３）上述の実施形態においては、手書き入力の際に、電子ペン１のＣＰＵ１１は通信部１６を介して撮像画像データを電子ペーパー２に送信していたが（図８のステップＳＢ０３）。このとき、電子ペン１は、撮像画像データではなく、不良表示素子に相当する領域の重心のＸＹ座標値（撮像画像の中心を原点としたＸＹ座標系における座標値）を計算して、これを電子ペーパー２に送信してもよい。この場合、図９に示すステップＳＣ０１ないしＳＣ０３までの処理を電子ペン１のＣＰＵ１１が行い、電子ペーパー２のＣＰＵ２１は、図９に示すステップＳＣ０４およびＳＣ０７の処理を行う。すなわち、電子ペン１および電子ペーパー２（或いは前述のとおり機能を分散化する場合には、これら以外の第３の装置を含む）の少なくともいずれか一方が「撮像画像データが表す撮像画像に含まれる色の違いに基づいて、駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成する不良表示素子検出手段」として機能すればよい。
【００４３】
（４）上述の実施形態の移動ベクトル算出処理において、電子ペーパー２のＣＰＵ２１は、仮定の対象となる現在および直前の不良表示素子の座標値の組み合わせを順次変更しながら、両者が一致するか否かを判断するようになっており、その判断の際の組み合わせの優先順位については特に規定していなかった。このとき、移動ベクトル算出処理は繰り返し行われるので、直前に行われた移動ベクトル算出処理で特定した撮像画像の位置を、その次の移動ベクトル算出処理において参考にしてもよい。具体的には、電子ペーパー２のＣＰＵ２１は、直前の撮像画像の中心Ｃ０に近いものから順に仮定の対象となる現在および直前の不良表示素子の座標値の組み合わせを変更していけばよい。電子ペン１は人間の動作速度と比較して非常に短い周期で撮像を繰り返しているため、或る時の撮像位置と、その直前の撮像位置とは近接していることがほとんどである。そして、直前の撮像画像Ｑ０の中心Ｃ０に近い不良表示素子ほど、現在の撮像画像Ｑ１に含まれている可能性が高いから、これを優先して判断を試みるのが合理的である。このようにすると、現在と直前の配置パターン同士の一致する確率の高い組み合わせが優先して判断されるため、移動ベクトルを算出するまでの時間が短縮され、処理速度が向上する。
【００４４】
（５）上述の実施形態においては、電子ペーパー２のＣＰＵ２１は、移動ベクトル算出処理によって電子ペン１の移動ベクトルが算出されると、算出した移動ベクトルに応じて描画位置情報を更新していた。そして、ＣＰＵ２１は、更新した描画位置情報が示す位置にある画素電極ＰＥを指定する描画命令を送信し、この画素電極ＰＥ及びその近傍にある所定数の画素電極ＰＥを、表示部２５の駆動部２５１によって駆動させていた。つまり、電子ペン１のペン先の位置に応じた処理の内容は描画処理であったが、この処理の内容はこれに限らず、移動ベクトル算出処理によって算出された移動ベクトルに応じた処理であればどのようなものであってもよい。例えば、ＣＰＵ２１は、操作者が描いた軌跡を図形データとして、記憶部２４や、ＨＤＤ（Hard Disk Drive）などの外部記憶装置に記憶させてもよい。
また、実施形態では、移動方向及び移動量からなる移動ベクトルを算出していたが、必ずしもそうである必要はなく、これら移動方向、又は、移動速度若しくは移動量を算出し、その算出結果に応じた処理を行うものであってもよい。
【００４５】
（６）上述の実施形態の移動ベクトル算出処理においては、ＣＰＵ２１は、まず領域分離処理を行い（図９のステップＳＣ０２）、その領域分離処理によって分離された複数の領域から、所定の大きさの範囲内に収まる領域を、不良表示素子領域として抽出していた。これは、表示面に画像が表示されていない場合に有効な方法であるが、例えば、表示面に点画像が表示されている場合であっても有効な方法である。後者の場合には、所定の大きさの範囲内に収まる領域を不良表示素子領域として抽出することで、それぞれの大きさのオーダーが異なる点画像と不良表示素子領域とを区別できるからである。
しかし、例えば上述したように、複数の処理名とチェックボックスとを併せて表示体２５２に表示しているような場合には、不良表示素子領域を精度良く抽出できないことがある。なぜなら、画像データに基づいた画像の輪郭部分においては、その画像を表示している表示素子と、不良表示素子とを区別しづらいからである。
【００４６】
ここで、図１２は、電子ペン１のカメラ１５が、画像データに基づいた画像の輪郭部分を撮像したときの撮像画像を例示した図である。
図１２において、境界線Ｌは、記憶部２４など記憶された画像データに基づいて表示された画像の輪郭を意味している。この境界線Ｌを境にして、その左側には黒色の領域が、その右側には白色の領域がそれぞれある程度以上の大きさで存在している。
次に、図１３は、この図１２で示した撮像画像のうち、破線で囲われた部分を拡大した図である。図１３に示すように、電気泳動素子Ｐ１およびＰ２は、黒色の領域に属しており、その素子の輪郭の内側全部が黒色に発色している。一方、電気泳動素子Ｐ３，Ｐ５は、左側が黒色の領域に属し、右側が白色の領域に属しているから、境界線Ｌを境にしてそれぞれ属する領域に応じた色に発色しているが、電気泳動素子Ｐ４だけは、この境界線Ｌ上にあるにもかかわらず、その素子の輪郭の内側全部が黒色に発色している。この電気泳動素子Ｐ４は不良表示素子であるから、画像の輪郭に相当する境界線Ｌとは異なる形状で表示されているのである。そこで、電子ペーパー２のＣＰＵ２１は、このような撮像画像データから、境界線Ｌと異なる形状部分を、周波数解析等の画像認識処理を用いて検出する。そして、電子ペーパー２のＣＰＵ２１は、検出した形状部分から電気泳動素子Ｐ４の輪郭を推測し、電気泳動素子Ｐ４の重心の位置を表す座標値を求めてＲＡＭ２３に記憶する。より具体的には、まず、ＣＰＵ２１は、図１４に示すような画像の輪郭、つまり黒色の領域と白色の領域との境界線Ｌとは異なる形状の部分ｌ１を検出する。この境界線Ｌは、要するに、画素電極ＰＥの形状の輪郭部分を連ねた線である。よって、電子ペーパー２の記憶部２４には、画素電極ＰＥの形状を表すデータが記憶されており、ＣＰＵ２１は、境界線Ｌにおいて、このデータが表す形状と一致しない孤の部分ｌ１を検出する。次に、ＣＰＵ２１は、電気泳動素子Ｐ４の輪郭がほぼ円形であることに鑑みて、部分ｌ１の孤を延長した孤である部分ｌ２を計算により求める。そして、ＣＰＵ２１は、孤の部分ｌ１と孤の部分ｌ２からなる円の中心のＸＹ座標値を、不良表示素子（電気泳動素子Ｐ４）の位置を表す座標値としてＲＡＭ２３に記憶する。
なお、現在の不良表示素子の配置パターンと、直前にＲＡＭ２３に記憶された不良表示素子の配置パターンとを照合する際に、不良表示素子の座標値の組み合わせを順次変更して決定しても、電子ペン１はその軸を中心として回転していることも考えられるため、照合は、その組み合わせ毎に、互いの撮像画像を３６０度回転させて、一致するか否かを確認しなければならない。一方、このように画素電極ＰＥの形状を予め記憶部２４に記憶しておくと、所定の画像解析を行うことで、撮像画像データから、画素電極ＰＥの形状に由来する画像の輪郭を特定することができる。そして、この特定した輪郭から撮像画像の向きを限定することができる。例えば、画素電極ＰＥの形状が正方形であれば、照合は、0度、９０度、１８０度、２７０度の４通りに限られるので、照合にかかる時間を短縮することができる。
【００４７】
また、この場合、画素電極ＰＥの形状は正方形に限定されない。
図１５は、この変形例における画素電極ＰＥの形状の一例を示す図である。図１５に示す例においては、画素電極ＰＥは概ね正方形であるが、一部の辺において、欠けた部分を有している。このような場合であっても、予め画素電極ＰＥの形状を電子ペーパー２の記憶部２４が記憶していることにより、上述と同様に、電気泳動素子Ｐとの形状の違いから不良表示素子を検出することができる。
なお、ＣＰＵ２１は、画像の輪郭部分については上記のような処理を行って不良表示素子を検出すればよいし、輪郭部分以外の領域（例えば１色で表示された画像の内側の領域）から、実施形態と同様の手順で不良表示素子を検出すればよい。
【００４８】
（７）上述の実施形態においては、電子ペン１が順次撮像した撮像画像に含まれる不良表示素子の現在の位置と直前の位置とを照合することで、電子ペン１のペン先が描く軌跡を特定していた。このような位置に基づく照合に加えて、各々の電気泳動素子の大きさや形状が微妙に異なることに鑑み、各不良表示素子の大きさ又は形状に基づく照合を行ってもよい。
具体的には、ＣＰＵ２１は、移動ベクトル算出処理の動作において、電子ペン１が撮像した撮像画像から、予め決められた大きさの範囲内に収まる不良表示素子領域の座標値のほか、各領域の大きさ又は形状の少なくともいずれか一方を求めて、これをＲＡＭ２３に記憶する。そして、ＣＰＵ２１は、直前にＲＡＭ２３に記憶された不良表示素子領域の座標値及び上記大きさ又は形状と、現在の撮像画像から抽出した不良表示素子領域の座標値及び大きさ又は形状とを照合して、所定の割合以上一致するものを特定する。
この態様によれば、一致する不良表示素子を精度良く照合することができる。
【００４９】
（８）上述の実施形態においては、電子ペン１のＣＰＵ１１は、センサ１４が出力したオン信号を受け取ると、カメラ１５に対し、撮像を開始する命令を送信していたが（図８のステップＳＢ０１）、カメラ１５に撮像を開始する命令を送信するタイミングや仕組みはこれに限られない。例えば、受光した像のコントラストを検出したり、光学センサを複数用いてペン先から電子ペーパー２の表示体２５２までの距離を算出したりすることで、撮像を開始する命令を送信するタイミングを決定してもよい。
また、センサ１４に連動して、カメラ１５が撮像を開始する際に、照明を点灯させてもよい。上述の電子ペーパー２は反射型の表示デバイスであるから、ペン先と表示体２５２との隙間がなくなると、撮像領域に光が当たりにくくなる虞があるからである。
【００５０】
（９）上述の実施形態においては、カメラ１５の撮像のタイミングは周期的であったが、周期的でなくてもよく、例えば操作者が指定したときだけ撮像するというものであってもよい。また、電子ペン１が撮像画像データを送信するタイミングは撮像の都度であったが、他のタイミングで送信してもよい。例えば、電子ペン１は、所定回数分の撮像画像データをＲＡＭ１３に逐次記憶し、撮像画像データが示す画像の変化に応じて送信してもよい。
【００５１】
（１０）上述した実施形態では、表示体２５２の表示面は、複数の電気泳動素子が並べられることによって構成されていたが、これ以外の表示素子によって表示面が構成される表示体を用いてもよい。要するに、表示体が多数の表示素子によって構成され、かつ、或る程度の数の表示素子が不良表示素子となり得るのであれば、その不良表示素子の分布状況に基づいて、表示面上の位置を特定することができる。電気泳動素子の場合は、不良表示素子の割合が１〜５％であり、これは位置の検出に充分な程度の割合と言える。
【００５２】
（１１）本発明を上述したＣＰＵ１１及びＣＰＵ２１が実行するプログラムとして実現してもよい。また、これらプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記録した状態で提供し得る。
【図面の簡単な説明】
【００５３】
【図１】画像処理システムの全体構成を示す図である。
【図２】電子ペンの機能構成の一例を示すブロック図である。
【図３】電子ペーパーの機能構成の一例を示すブロック図である。
【図４】表示体の構造を模式的に示した図である。
【図５】電気泳動素子の構造および状態を模式的に示す断面図である。
【図６】不良表示素子の状態の例を示す図である。
【図７】表示部の全面に白色を表示したときに、黒色を表示している不良表示素子の配置を例示した図及び表示部の全面に黒色を表示したときに、白色を表示している白色不良表示素子の配置を例示した図である。
【図８】電子ペンにより電子ペーパーに手書き入力をする動作の流れを説明するシーケンス図である。
【図９】移動ベクトル算出処理の動作の流れを説明するフローチャートである。
【図１０】撮像画像データが表す撮像画像を例示した図である。
【図１１】現在と直前の配置パターン同士の一致を判断する処理を説明するための図である。
【図１２】撮像画像データが表す撮像画像を例示した図である。
【図１３】図１２で示した撮像画像のうち、破線で囲われた部分を拡大した図である。
【図１４】画像の輪郭とは異なる形状の部分を検出する方法を説明するための図である。
【図１５】変形例における画素電極の形状の一例を示す図である。
【符号の説明】
【００５４】
１…電子ペン、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…センサ、１５…カメラ、１６…通信部、１７…電源部、１９…バス、２…電子ペーパー、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…記憶部、２４２…電極位置テーブル、２５…表示部、２５１…駆動部、２５２…表示体、２５２１…第１基板、２５２２…第２基板、２５２３…バインダ、２６…通信部、２８…電源部、２９…バス、９…画像処理システム、Ｂ０−１〜Ｍ，Ｂ０−１〜Ｎ…黒色不良表示素子領域、ＢＧ…黒色顔料粒子、ＣＥ…共通電極、ＣＷ…カプセル壁、ＤＭ…分散媒、Ｌ…境界線、Ｐ…電気泳動素子、ＰＥ…画素電極、Ｗ１…白色の領域、ＷＧ…白色顔料粒子。
【技術分野】
【０００１】
本発明は、複数の表示素子から不良表示素子の位置を検出するための技術に関する。
【背景技術】
【０００２】
電子データに基づいて何度でも表示内容を書き換えることができる表示装置が開発されている。特に薄型の表示装置は電子ペーパーなどと呼ばれているが、この種の薄型の表示装置に適した表示方式として、電気泳動方式がある。この電気泳動方式は、着色した帯電粒子を分散させた有機溶媒等の液体をマイクロカプセルに封入し、このマイクロカプセルに対する電界を変化させることにより、帯電粒子をマイクロカプセル内で移動させて表示を行うというものである。電気泳動方式に基づく表示に関する技術は、例えば特許文献１に開示されている。
【０００３】
また、ペン先の軌跡を認識してこれに応じたデータを出力する電子ペンが開発されている。例えば特許文献２には、紙に特殊なパターンを印刷しておき、電子ペンに備えられたカメラがこれを撮像してパターン解析することにより、ペン先がその紙のどの部分に置かれているかを認識するという技術が開示されている。このような電子ペンによれば、書いた文字や図形等を電子データとして直接扱うことができるため、これらの文字等の加工、解析および再利用に適している。
【特許文献１】特許第３７１９１７２号
【特許文献２】特表２００３−５１１７６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記のような電子ペーパーに対し、電子データとして直接扱うことができる文字等を書き込むことを可能にするためには、電子ペーパー側か電子ペン側のいずれかにペン先の位置を認識するための構成を設ける必要がある。例えば電子ペーパーによりペン先の位置を認識する場合には、例えば感圧素子などの、表示方式に影響を与えないセンサを電子ペーパーに多数設けなければならない。しかし、このような多数のセンサを設けようとすると、電子ペーパーの製造工程が複雑化して製造コストが上昇するほか、電子ペーパーの重量が増すので、電子ペーパー自体の携帯性が損なわれてしまうという問題がある。一方、電子ペンによりペン先の位置を認識させるためには、電子ペーパー側に上述したような特殊なパターンを目立たないように予め印刷しておく必要がある。よって、この場合も、電子ペーパーの製造工程が増えるという問題がある。
【０００５】
本発明は、このような背景に鑑みてなされたものであり、その目的は、電子ペーパーなどの表示手段側に位置検出のための多数のセンサや印刷パターンなどの構成を設けなくても、その表示面上において操作者が指定した位置を検出することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明に係る位置検出システムは、複数の表示素子が並べられた表示面を有し、当該複数の表示素子をそれぞれ駆動手段により駆動して画像を表示する表示手段と、前記表示面を撮像し、撮像画像を表す撮像画像データを生成する撮像手段と、前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段とを具備することを特徴とする。
本発明によれば、電子ペーパーなどの表示手段側に位置検出のための多数のセンサや印刷パターンなどの構成を設けなくても、その表示面上において操作者が指定した位置を検出することができる。
【０００７】
好ましくは、前記表示素子には、着色された複数の帯電粒子を分散させた液体が封入されており、前記表示手段は、前記表示素子に対する電界の方向を変化させて、当該表示素子に封入されている液体内の前記帯電粒子を移動させることにより、画像を表示するとよい。
この態様によれば、表示手段の表示面に、位置の検出に充分な程度の割合で不良表示素子をランダムに散在させることができる。
【０００８】
また、本発明に係る位置検出装置は、駆動手段により駆動させられる複数の表示素子が並べられた表示面を撮像して撮像画像を表す撮像画像データを生成する撮像手段から、当該撮像画像データを取得する取得手段と、前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段とを備えることを特徴とする。
本発明によれば、電子ペーパーなどの表示手段側に位置検出のための多数のセンサや印刷パターンなどの構成を設けなくても、その表示面上において操作者が指定した位置を検出することができる。
【０００９】
また、好ましくは、前記不良表示素子検出手段は、前記撮像画像データが表す撮像画像を色毎の画像領域に分離し、分離した複数の画像領域のうち、予め決められた大きさの範囲内に収まる画像領域の位置を前記不良表示素子の位置として検出するとよい。
この態様によれば、表示手段の表示面に画像が表示されていても、その表示に関わらず、駆動手段により駆動させられる表示素子と、駆動手段により駆動することができない不良表示素子とを識別することができる。
【００１０】
また、好ましくは、前記不良表示素子検出手段は、前記表示素子を駆動するための電極の形状を記憶しており、前記撮像画像データが表す撮像画像において、それぞれ異なる色の画像領域の境界線を特定し、特定した当該境界線と記憶しておいた前記電極の形状とが一致しない位置を、前記不良表示素子の位置として検出するとよい。
この態様によれば、上述した表示素子と不良表示素子との識別を、より精度良く行うことができる。
【００１１】
また、好ましくは、前記撮像手段は、それぞれ異なる撮像タイミングで前記表示面の一部を撮像し、各々の撮像画像を表す撮像画像データを出力するものであり、前記取得手段は、前記撮像手段によって出力される各々の前記撮像画像データを取得し、前記不良表示素子検出手段により各々の前記撮像画像から検出された複数の不良表示素子のうち、素子どうしの相対的な位置関係が一致する不良表示素子を、各々の前記撮像画像において共通する共通不良表示素子として特定する共通素子特定手段と、前記共通素子特定手段により特定された共通不良表示素子の前記各撮像画像における位置の変位と、前記各撮像画像の撮像タイミングとに基づいて、前記表示面に対する前記撮像手段の移動方向、又は、移動速度若しくは移動量を算出して出力する算出手段とを備えるとよい。
この態様によれば、電子ペーパーなどの表示面上において操作者が指定した位置が時間の経過に従って移動したときに、その移動方向、又は、移動速度若しくは移動量として検出することができる。
【００１２】
また、好ましくは、前記算出手段によって算出された移動方向、又は、移動速度若しくは移動量に応じた処理を行う処理手段を備えるとよい。
この態様によれば、表示手段の表示面上で操作者によって指定された位置の移動方向、又は、移動速度若しくは移動量に応じた処理を行うことができる。
【００１３】
また、好ましくは、前記共通素子特定手段は、素子どうしの相対的な位置関係に加えて、各々の前記不良表示素子の大きさ又は形状の少なくとも一方が一致する不良表示素子を、前記共通不良表示素子として特定するとよい。
この態様によれば、上述した共通不良表示素子の特定を、より精度良く行うことができる。
【００１４】
また、本発明に係るプログラムは、コンピュータを、駆動手段により駆動させられる複数の表示素子が並べられた表示面を撮像して撮像画像を表す撮像画像データを生成する撮像手段から、当該撮像画像データを取得する取得手段と、前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段として機能させるためのプログラムである。
本発明によれば、電子ペーパーなどの表示手段側に位置検出のための多数のセンサや印刷パターンなどの構成を設けなくても、その表示面上において操作者が指定した位置を検出することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施の形態を説明する。
（Ａ：構成）
（Ａ−１：画像処理システムの全体構成）
図１は、画像処理システム９の全体構成を示す図である。
画像処理システム９は、電子ペン１と、電子ペーパー２とを有する。電子ペン１は、操作者が文字や図形等を記入するべく電子ペーパー２の表示面上を移動させられる筆記具として機能する。この電子ペン１は、電子ペーパー２と通信可能に構成されているとともに、ペン先部分にカメラを備えており、このカメラによって撮像された画像を表す撮像画像データを電子ペーパー２に送信する。電子ペーパー２は、電気泳動方式で画像を表示する表示装置である。この電子ペーパー２は、電子ペン１から送信されてくる撮像画像データを用いて、表示面における電子ペン１のペン先の移動方向および移動距離を検出し、その検出した移動方向および移動距離をもとにペン先の軌跡を計算して、操作者が描いた文字や図形を表現する。図１では、操作者が、電子ペーパー２の表示面の下方の領域に電子ペン１で所望の図形（図中点線Ｒ）を描いたときに、その電子ペン１のペン先の軌跡（図中実線Ｒ’）が、電子ペーパー２の上方の領域に表示される様子が示されている。つまり、操作者が描いた点線Ｒの位置に画像は表示されない代わりに、実線Ｒ’が表示される。
【００１６】
（Ａ−２：電子ペンの構成）
次に、図２は、電子ペン１の機能構成の一例を示すブロック図である。
図２に示すように、電子ペン１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、センサ１４、カメラ１５、通信部１６および電源部１７を備えている。これらの各構成１１〜１６は、バス１９に接続されているとともに、図示しない電力線により電源部１７に接続されている。ＣＰＵ１１は、ＲＯＭ１２に記憶されているコンピュータプログラムを読み出して実行することにより、電子ペン１の各部を制御する。ＲＯＭ１２は、読み出し専用の不揮発性記憶装置であり、上述のコンピュータプログラムが記憶されている。ＲＡＭ１３はＣＰＵ１１がプログラムを実行する際のワークエリアとして利用される。センサ１４は、ペン先に連動した感圧装置であり、図示しない弾性体等により外部方向へ付勢力を与えられたペン先が対象物と接触して反力を受け、ペンの内部へ押される力を検知して、オン信号を出力する。つまり、このセンサ１４は、ペン先が電子ペーパー２の表示面に接触するとオン信号を出力することになる。カメラ１５は、ペン先が向けられた方向を撮像する撮像手段であり、電子ペーパー２の表示面の領域の一部（例えば直径５ｍｍ程度の円形領域）を撮像する。このカメラ１５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子により、ペン先に備えられたレンズから撮りこまれる光を電気信号に変換して、その光に応じた撮像画像データを生成して出力する。通信部１６は、赤外線やＢｌｕｅｔｏｏｔｈ（登録商標）などの通信規格に従った無線通信を行う無線通信回路を備えており、電子ペーパー２とデータ通信を行う。電源部１７は、例えば充電可能なバッテリを備え、上述の電力線を介して上記の各構成１１〜１６に電力を供給する。
【００１７】
（Ａ−３：電子ペーパーの構成）
次に、図３は、電子ペーパー２の機能構成の一例を示すブロック図である。
図３に示すように、電子ペーパー２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、表示部２５、通信部２６および電源部２８を備えている。これらの各構成２１〜２６は、バス２９に接続されているとともに、図示しない電力線により電源部２８に接続されている。ＣＰＵ２１は、ＲＯＭ２２に記憶されているコンピュータプログラムを読み出して実行することにより、電子ペーパー２の各部を制御する。ＲＯＭ２２は、読み出し専用の不揮発性記憶装置であり、上述のコンピュータプログラムが記憶されている。ＲＡＭ２３は、ＣＰＵ２１がプログラムを実行する際のワークエリアとして利用される。記憶部２４は、例えばフラッシュメモリなどの書き換え可能な不揮発性記憶装置であり、後述する画素電極ＰＥの位置が記述された電極位置テーブル２４２を記憶している。通信部２６は、電子ペン１の通信部１６と同様の通信規格に従った無線通信を行う無線通信回路を備えており、電子ペン１とデータ通信を行う。電源部２８は、例えば充電可能なバッテリを備え、上述の電力線を介して各構成２１〜２６に電力を供給する。表示部２５は、ＣＰＵ２１の制御の下で画像を表示する表示手段である。表示部２５は、多数の電気泳動素子や電極を備えた反射型の表示体２５２と、ＣＰＵ２１が送信する描画命令を駆動信号に変換し、この駆動信号により各電気泳動素子を駆動する駆動部２５１とを備えている。
【００１８】
（Ａ−４：電子ペーパーの表示体の構成）
ここで、図４は、表示体２５２の構造を模式的に示した図である。
図４に示すように、表示体２５２は、第１基板２５２１、第２基板２５２２、電気泳動素子Ｐ、バインダ２５２３により構成されている。図４においては、上方向が表示面の表面側であり、下方向が裏面側である。第１基板２５２１は、樹脂基板であり、その上方には複数の画素電極ＰＥが設けられている。この画素電極ＰＥは、全て略同一の大きさ（数十ミクロン程度）の正方形であり、規則的な格子状に並べられている。また、第１基板２５２１に対向する第２基板２５２２は、透明な樹脂基板であり、その下方には透明な共通電極ＣＥが設けられている。複数の画素電極ＰＥと共通電極ＣＥの間には、複数の電気泳動素子Ｐが、光透過性を有するバインダ２５２３により固定されている。この電気泳動素子Ｐは、約数十ミクロン程度の大きさで略球状ではあるが、それぞれの大きさおよび形状は完全に同一ではなく、互いに近接して並べられている。
【００１９】
図５は、電気泳動素子Ｐの構造および状態を模式的に示す断面図である。より詳細には、図５（ａ）は、黒色を表示するときの電気泳動素子Ｐの状態を示し、図５（ｂ）は、白色を表示するときの電気泳動素子Ｐの状態を示すものである。また、図５（ｃ）は、図中左側部分に白色を、右側部分に黒色をそれぞれ表示するときの電気泳動素子Ｐの状態を示すものである。
電気泳動素子Ｐは、図５（ａ）〜（ｃ）に示すように、マイクロカプセル化されている。カプセル壁ＣＷとしてのポリマー膜内には、プラス（＋）に帯電した黒色顔料粒子ＢＧおよびマイナス（−）に帯電した白色顔料粒子ＷＧを含む、液体の分散媒ＤＭが封入されている。黒色顔料粒子ＢＧおよび白色顔料粒子ＷＧの位置は、外部から与えられる電界により規定され、さらに分散媒ＤＭにより安定的に維持される。なお、実際の黒色顔料粒子ＢＧおよび白色顔料粒子ＷＧの粒径は、図に示すよりも小さく、数ナノメートル程度である。上述したように、この電気泳動素子Ｐは、大きさおよび形状が完全に同一ではなく、いわば不規則に並べられた状態でバインダ２５２３により固定されているから、必ずしも画素電極ＰＥと一対一の対応関係にはない。図５においては、簡略に説明するため、電気泳動素子Ｐの裏面側には、２つの画素電極ＰＥ１およびＰＥ２が配置されている場合を図示したが、画素電極の大きさによっては、１つの電極と複数電気泳動素子Ｐとが対応する場合も３つ以上の電極と複数電気泳動素子Ｐとが対応する場合もある。
【００２０】
電気泳動素子Ｐによって黒色を表示しようとするときには、図５（ａ）に示すように、画素電極ＰＥ１と共通電極ＣＥとの間および画素電極ＰＥ２と共通電極ＣＥとの間に図中矢印Ｅ１方向の向きを持つ電界を生じさせるような電圧が駆動部２５１により印加される。これにより、プラス（＋）に帯電している黒色顔料粒子ＢＧは、カプセル壁ＣＷ内において表面側に近付くように移動すると共に、マイナス（−）に帯電している白色顔料粒子ＷＧは、カプセル壁ＣＷ内において裏面側に近付くように移動する。このようにして、電気泳動素子Ｐの表面側に黒色顔料粒子ＢＧが集められるので、ユーザが表面側からこの電気泳動素子Ｐを観察したときには、黒色を認識する。他方で、電気泳動素子Ｐは、白色を表示しようとするときには、図５（ｂ）に示すように、画素電極ＰＥ１と共通電極ＣＥとの間および画素電極ＰＥ２と共通電極ＣＥとの間に図中矢印Ｅ２方向の向きを持つ電界を生じさせるような電圧が駆動部２５１により印加される。これにより、白色顔料粒子ＷＧは、表面側に近付くように移動すると共に、黒色顔料粒子ＢＧは、裏面側に近付くように移動する。このようにして、電気泳動素子Ｐの表面側に白色顔料粒子ＷＧが集められるので、ユーザが表面側からこの電気泳動素子Ｐを観察したときには、白色を認識する。
【００２１】
また、一つの電気泳動素子Ｐが同時に表示することができる色は一色ではなく、図５（ｃ）に示すように、一つの電気泳動素子Ｐが同時に白色と黒色の両方を表示する状態もある。この場合、電気泳動素子Ｐの図中右側においては、画素電極ＰＥ１と共通電極ＣＥとの間に図中矢印Ｅ１方向の向きを持つ電界を生じさせるような電圧が駆動部２５１により印加され、電気泳動素子Ｐの図中左側においては、画素電極ＰＥ２と共通電極ＣＥとの間に図中矢印Ｅ２方向の向きを持つ電界を生じさせるような電圧が駆動部２５１により印加される。これにより、電気泳動素子Ｐの図中右側においては、黒色顔料粒子ＢＧが表面側に近付くように移動すると共に、白色顔料粒子ＷＧが裏面側に近付くように移動する。また、電気泳動素子Ｐの図中左側においては、白色顔料粒子ＷＧが表面側に近付くように移動すると共に、黒色顔料粒子ＢＧが裏面側に近付くように移動する。
【００２２】
（Ａ−５：不良表示素子の説明）
ここで、図６は、駆動部２５１により正常に駆動することができない不良表示素子の状態の例を示す図である。
電気泳動素子Ｐのカプセル壁ＣＷ内の黒色顔料粒子ＢＧ又は白色顔料粒子ＷＧは、帯電粒子に付された帯電量が不足しているなどの様々な原因により、カプセル壁ＣＷの壁面に固着したり、或いは、粒子どうしでお互いに固着したりすることがある。図６（ａ）に示す例では、黒色顔料粒子ＢＧが電気泳動素子Ｐのカプセル壁ＣＷの表面側に固着している。この固着による力は、駆動部２５１が与える電界による力を上回っているため、矢印Ｅ２方向の電界を与えても、白色顔料粒子ＷＧはカプセル壁ＣＷの表面側に到達することができず、電気泳動素子Ｐは黒色を表示し続けることになる。
【００２３】
一方、図６（ｂ）に示す例では、黒色顔料粒子ＢＧは、カプセル壁ＣＷとは固着していないが、黒色顔料粒子ＢＧ同士が固着して大きな塊になっている。そのため、駆動部２５１が矢印Ｅ１方向の電界を与えても、黒色顔料粒子ＢＧのそれぞれは分散媒ＤＭの中を自由に動くことができず、塊となった黒色顔料粒子ＢＧは、その両端が電気泳動素子Ｐのカプセル壁ＣＷと衝突してしまう。そのため、黒色顔料粒子ＢＧはカプセル壁ＣＷの表面側に到達することができず、電気泳動素子Ｐは白色を表示し続けることになる。
【００２４】
このように、電気泳動素子Ｐの中には、着色された帯電粒子が内壁に固着したり、その帯電粒子同士が固着したりすることにより、正常に駆動しない不良表示素子がある。電子ペーパー２の製造工程においては、このような不良表示素子がどうしても含まれてしまい、一般にその不良表示素子の割合は、電気泳動素子全体の１〜５％程度である。ただし、この程度の割合で不良表示素子が含まれているかぎり、不良表示素子の色が、画像全体に与える影響は小さく、人が画像全体を認識することを妨げる程ではないことが分かっている。
【００２５】
この不良表示素子は、表示面の全面にわたってランダムな位置に発生する。図７（ａ）は、表示部２５の表示面全面に白色を表示したときに、黒色の不良表示素子が点在している様子を例示した図である。この図７（ａ）に示したように、ほとんどの領域で白色が表示されている中にあって、いくつかの領域においては黒色が表示されている。この黒色の領域が、常時黒色を表示し続ける不良表示素子（以下、黒色不良表示素子）に相当する。よって、表示面を撮像した撮像画像に含まれる色（白色及び黒色）の違いに基づいて、黒色不良表示素子を検出することが可能である。また、図７（ｂ）は、表示部２５の全面に黒色を表示したときに、白色を表示している白色不良表示素子が点在している様子を例示した図である。同様にして、操作者は、常時白色を表示し続ける不良表示素子（以下、白色不良表示素子という）を検出することが可能である。
なお、記憶部２４の電極位置テーブル２４２には、図７（ａ）に示すように表示体２５２の左上隅の頂点Ｏを原点とするｘｙ座標系によって、画素電極ＰＥの位置が記述されている。
【００２６】
（Ｂ：動作）
次に、画像処理システム９の動作を説明する。
（Ｂ−１：手書き入力の動作）
図８は、電子ペン１により電子ペーパー２に手書き入力をする動作の流れを説明するシーケンス図である。
図８において、まず、操作者が、電子ペン１のペン先を電子ペーパー２の表示体２５２の表示面にあて、その表示面上に沿って移動させると、電子ペン１のセンサ１４は、自身がペンの内部へ押される力を検知して、オン信号を出力する。このオン信号を受け取った電子ペン１のＣＰＵ１１は、カメラ１５に対し、撮像を開始する命令を送信する（ステップＳＢ０１）。カメラ１５は、この命令を受け取ると、ペン先が向いている方向にある表示面を撮像し（ステップＳＢ０２）、その撮像画像データを生成する。ＣＰＵ１１は、通信部１６を介して、この撮像画像データを電子ペーパー２に送信する（ステップＳＢ０３）。ここで、カメラ１５が撮像する領域は、所定の大きさを有しており、前述したように例えば直径５ｍｍ程度の円形である。電気泳動素子Ｐの径はおおよそ数十ミクロン程度であるから、このカメラ１５が１度に撮像した領域には、数千〜数万の電気泳動素子Ｐが含まれている。また、画素電極ＰＥの大きさを電気泳動素子Ｐの大きさとおおよそ同じ程度とすると、このカメラ１５が１度に撮像した領域には、電気泳動素子Ｐと同じく、数千〜数万の画素電極ＰＥが含まれている。
【００２７】
電子ペーパー２のＣＰＵ２１は、電子ペン１の通信部１６から送信された撮像画像データを通信部２６によって取得すると、これに基づいて、この撮像画像データが表す撮像画像を撮像した撮像位置が、直前の撮像位置からどの方向にどれだけ移動したかを示す移動ベクトルを算出する移動ベクトル算出処理を行う（ステップＳＢ０４）。この移動ベクトル算出処理については詳しくは後述するが、これにより、ある単位時間に電子ペン１のペン先が表示面上を移動した方向と距離を示す移動ベクトルが算出されることになる。
【００２８】
そして、ＣＰＵ２１は、算出した移動ベクトルに応じて描画位置情報を更新する（ステップＳＢ０５）。ここで、描画位置情報とは表示部２５の表示体２５２のいずれかの位置に対応した座標値であり、図７（ａ）の左上隅の頂点Ｏを原点としたｘｙ座標系で表される。この描画位置情報は、初期状態においては予め定められた位置（例えばｘｙ座標系の原点である頂点Ｏ近傍の決められた位置など）に設定され、ＲＡＭ２３に記憶されている。そして、この描画位置情報の更新とは、このＲＡＭ２３に既に記憶されている座標値に対し、算出した移動ベクトルと同一または比例するベクトルを逐次加算してＲＡＭ２３に記憶することである。
【００２９】
続いて、ＣＰＵ２１は、記憶部２４の電極位置テーブル２４２を参照して、更新した描画位置情報が示す位置にある画素電極ＰＥを特定するとともに、表示部２５の駆動部２５１に対してその画素電極ＰＥを指定した描画命令を送信する。この描画命令を受けた駆動部２５１は、ＣＰＵ２１が特定した画素電極ＰＥ及びその近傍にある所定数の画素電極ＰＥを駆動して、これらの画素電極ＰＥに近接する複数の電気泳動素子Ｐを駆動する（ステップＳＢ０６）。これにより、操作者が電子ペン１のペン先で描いた軌跡と同一または相似形の軌跡に沿って、所定色（例えば背景色が白色の場合には所定色を黒色とする）の点画像が表示される。
【００３０】
電子ペン１は、ＣＰＵ１１に内蔵されたタイマに従って、所定周期毎に上述の表示面を撮像し、撮像画像データを生成してこれを電子ペーパー２に送信することで、上述したステップＳＢ０２からステップＳＢ０６までの処理が繰り返し行われる。これらの処理が短期間の間に繰り返し行われることで、操作者が電子ペン１のペン先を移動させた方向および距離に応じた位置に表示された点画像が表示面上で線画像として連なる。よって、表示面においてはペン先の軌跡に応じた軌跡が線として表示されることになり、操作者は所望の文字や図形を描くことができる。
【００３１】
（Ｂ−２：移動ベクトル算出処理の動作）
次に、図９は、上述したステップＳＢ０４の移動ベクトル算出処理の動作の流れを説明するフローチャートである。
図８で説明したように、電子ペン１は表示面の撮像画像データを所定周期毎に電子ペーパー２に送信してくるので、電子ペーパー２のＣＰＵ２１は、通信部２６を介して、これを定期的に取得することになる（ステップＳＣ０１；ＹＥＳ）。そして、ＣＰＵ２１は、取得した撮像画像データが表す撮像画像を、同一色の連続領域にそれぞれ分離する（ステップＳＣ０２）。ＣＰＵ２１は、この領域分離の際に、例えば同一色の連続領域に共通のラベルを割り当てる周知のラベリング処理などを用いればよい。
【００３２】
ここで、図１０は、ある瞬間の撮像画像データが表す撮像画像Ｑ１を例示した図である。
図１０に例示した撮像画像Ｑ１に対して上記の領域分離処理が行われると、白色の領域Ｗ１と、黒色の領域Ｂ１−１，Ｂ１−２，Ｂ１−３，・・・Ｂ１−Ｎ（Ｎは整数）とに分離されることになる。
そして、図９において、電子ペーパー２のＣＰＵ２１は、上記領域分離処理によって分離された複数の領域から、予め決められた大きさの範囲内に収まる領域を不良表示素子に相当する領域（以下、不良表示素子領域という）として抽出し、その領域の重心の座標値を割り出してＲＡＭ２３に記憶する（ステップＳＣ０３）。
【００３３】
より詳細に説明すると、上述したように、電気泳動素子Ｐの大きさは、ばらつきがあるものの、おおよそ数十ミクロン程度であるから、ＣＰＵ２１は、領域分離処理によって分離された複数の領域のうち、例えば２０ミクロンから７０ミクロンの範囲に収まる大きさの領域を抽出することで、不良表示素子領域を抽出することができる。例えば図１０の場合、白色の領域Ｗ１は、撮像画像Ｑ１の全域のほとんどの面積を占めているから、ＣＰＵ２１はこの領域Ｗ１を、予め決められた、２０ミクロンから７０ミクロンの範囲に収まらないと判断する。一方、黒色の領域Ｂ１−１，Ｂ１−２，Ｂ１−３，・・・Ｂ１−Ｎは、白色の領域Ｗ１と比較すると圧倒的に小さい面積であるが、これらがそれぞれ２０ミクロンから７０ミクロンの範囲に収まる場合には、ＣＰＵ２１は、これらを全て不良表示素子領域として抽出する。そして、ＣＰＵ２１は、例えば撮像画像Ｑ１の中心Ｃ１（図中×印）を原点としたＸＹ座標系に従って、抽出した不良表示素子領域Ｂ１−１，Ｂ１−２，Ｂ１−３・・・Ｂ１−Ｎのそれぞれの重心の位置を表すＸＹ座標値を求めてＲＡＭ２３に記憶する。これにより、ＲＡＭ２３には、電子ペン１の１回の撮像によって得られた直径約５ｍｍ程度の画像領域に含まれる、不良表示素子の配置パターンが記憶されることになる。
【００３４】
次に、ＣＰＵ２１は、移動ベクトルを算出する。ここで、移動ベクトルとは、電子ペン１から取得した撮像画像の位置が、直前の撮像画像の位置からどの方向にどれだけ移動したかを示すものであり、ＸＹ座標によって（Ｘ，Ｙ）という様に表される。ＣＰＵ２１は、直前の不良表示素子の配置パターンがＲＡＭ２３に記憶されているか否かを判断し（ステップＳＣ０４）、記憶されていない場合には（ステップＳＣ０４；ＮＯ）、上述した移動ベクトルを０ベクトル、即ち（０，０）に設定する（ステップＳＣ０５）。
【００３５】
一方、直前の不良表示素子の配置パターンがＲＡＭ２３に記憶されている場合には（ステップＳＣ０４；ＹＥＳ）、ＣＰＵ２１は、ＲＡＭ２３に記憶された現在の不良表示素子の配置パターンと、直前の不良表示素子の配置パターンとを照合し（ステップＳＣ０６）、移動ベクトルを算出する（ステップＳＣ０５）。具体的には、ＣＰＵ２１は、ＲＡＭ２３に記憶された現在の不良表示素子の配置パターンに含まれる或る１つの不良表示素子の座標値を、直前の不良表示素子の配置パターンに含まれる１つの不良表示素子の座標値に一致すると仮定し、現在の不良表示素子の配置パターンのうち、所定の割合以上の数が、直前の不良表示素子の配置パターンに一致するか否かという判断を行う。そして、両者が一致しなければ、ＣＰＵ２１は、ＲＡＭ２３に記憶された現在の不良表示素子の配置パターンに含まれる上記或る１つの不良表示素子の座標値を、直前の不良表示素子の配置パターンに含まれる別の１つの不良表示素子の座標値に一致すると仮定して上記と同様の判断を行う。この判断を、上記の仮定の対象となる現在および直前の不良表示素子の座標値の組み合わせを順次変更しながら、ＲＡＭ２３に記憶された現在の不良表示素子の配置パターンと直前の不良表示素子の配置パターンとが所定の割合以上一致するまで、繰り返し行う。
【００３６】
図１１は現在と直前の配置パターン同士の一致を判断する処理を説明するための図である。この図に従って、配置パターン同士の一致を判断する処理の具体例を説明する。
図１１に示すように、ＲＡＭ２３には、現在の撮像画像Ｑ１と直前の撮像画像Ｑ０の不良表示素子の配置パターンが記憶されている。すなわち、撮像画像Ｑ１の直前に撮像された撮像画像Ｑ０においては、不良表示領域としてＢ０−１，Ｂ０−２，Ｂ０−３，・・・Ｂ０−Ｍ（Ｍは整数）が抽出され、撮像画像Ｑ０の中心Ｃ０（図中×印）を原点としたＸＹ座標系に従って、これら不良表示領域のそれぞれの重心の位置を示す座標値がＲＡＭ２３に記憶されている。一方、撮像画像Ｑ１においては、不良表示領域としてＢ１−１，Ｂ１−２，Ｂ１−３，・・・Ｂ１−Ｎ（Ｎは整数）が抽出され、撮像画像Ｑ１の中心Ｃ１（図中×印）を原点としたＸＹ座標系に従って、これら不良表示領域のそれぞれの重心の位置を示す座標値がＲＡＭ２３に記憶されている。
【００３７】
ＣＰＵ２１はまず、直前の不良表示領域Ｂ０−１と現在の不良表示領域Ｂ１−１が一致すると仮定し、撮像画像Ｑ１と撮像画像Ｑ０のそれぞれの不良表示領域が一致するか否かを判断する。図を参照すると分かるように、不良表示領域Ｂ０−１と不良表示領域Ｂ１−１とは異なる不良表示領域であるから、この判断は否定的となる。ＣＰＵ２１は、この組み合わせを順次変更しながら、現在の不良表示素子の配置パターンと直前の不良表示素子の配置パターンとが所定の割合以上一致するまで、繰り返し行う。そして、ＣＰＵ２１は、直前の不良表示領域Ｂ０−２と現在の不良表示領域Ｂ１−１とが一致すると仮定して、判断を行ったときに、両者が一致していると判断する。このとき、不良表示領域Ｂ０−２はＣ０を原点としたＸＹ座標系で表され、不良表示領域Ｂ１−１はＣ１を原点としたＸＹ座標で表されているから、ＣＰＵ２１は、不良表示領域Ｂ１−１のＸＹ座標値から不良表示領域Ｂ０−２のＸＹ座標値を減算することで、Ｃ１を、Ｃ０を原点としたＸＹ座標系で表すことができる。ＣＰＵ２１は、このＣ１をＸＹ座標系で表した座標値を、撮像画像Ｑ０から撮像画像Ｑ１へ撮像位置が移動した際の移動方向と移動距離を示す「移動ベクトル」Ｖ１として、算出し、ＲＡＭ２３に書き込む（出力する）。
【００３８】
（Ｂ−３：描画位置情報の更新の動作）
上述したように、ＲＡＭ２３には、描画位置情報が、図７（ａ）の左上隅の頂点Ｏを原点としたｘｙ座標系で表される座標値として記憶されている。ＣＰＵ２１は、ステップＳＢ０４の移動ベクトル算出処理で得られた「移動ベクトル」Ｖ１を、ＲＡＭ２３に記憶されている描画位置情報に加算し、これを新たな描画位置情報としてＲＡＭ２３に記憶する。ＣＰＵ２１は、この描画位置情報に対応する位置にある電気泳動素子Ｐを駆動部２５１により駆動させ、表示体２５２に点画像を表示させる。なお、「移動ベクトル」Ｖ１を描画位置情報に加算するに当たり、所定の係数をＶ１に乗算したうえで、これを描画位置情報に加算してもよい。このようにすると、操作者が電子ペン１を用いて、電子ペーパー２の表示面に描いた文字や図形等を拡大または縮小した文字や図形等が、電子ペーパー２のいずれかの場所に表示される。
【００３９】
以上説明した実施形態によれば、電子ペーパー２は、電子ペン１によって撮像した表示面の画像から、その画像に含まれる色の違いに基づいて、表示体２５２の表示面全面に点在する不良表示素子の位置を検出する。そして、電子ペーパー２は、これらの不良表示素子の位置を撮像の度に順次記憶しておき、直前に記憶した記憶内容と、電子ペン１によって撮像した表示面の一部の領域に含まれる不良表示素子の位置とを照合することで、電子ペン１の撮像画像の表示面上の移動ベクトルを算出して、これに応じて更新された描画位置に対応する表示素子を駆動する。これにより、操作者が電子ペン１を用いて、電子ペーパー２の表示面に文字や図形等を描くと、電子ペン１のペン先が描いた軌跡が電子ペーパー２のいずれかの場所に表示されることになるので、操作者はあたかも、ペンによって紙に手書き入力をするように、文字等を電子ペーパー２に記入することができる。そして、このようにして記入された文字等を示すデータは電子データとして扱うことができるため、これらの文字等の加工、解析および再利用などを容易に行うことができる。
【００４０】
（Ｃ：変形例）
上述の実施形態を以下のように変形してもよい。
（１）画像処理システム９は、電子ペン１と、電子ペーパー２という２つの構成を有していたが、これに限らず、これらの構成が実現する各機能を、１つの装置に集中化してもよいし、さらに複数の装置に分散化してもよい。
【００４１】
（２）上述の実施形態においては、各電気泳動素子Ｐには、白色と黒色の２色に分けられた複数の顔料粒子を含む分散媒ＤＭが封入されていたが、この顔料粒子の色は、１色のみでもよいし、白色や黒色以外であってもよい。例えば１色の場合、その顔料粒子を分散させる分散媒ＤＭを当該顔料粒子の色と異なる光透過性の無い色に着色しておけばよい。このようにすると、画素電極ＰＥと共通電極ＣＥとの間に電圧をかけることによって、顔料粒子が表面側に移動すれば、その色が表面に表示され、顔料粒子が裏面側に移動すれば、分散媒ＤＭの色が表面に表示されるので、駆動電圧に応じた発色がなされるように、電気泳動素子を駆動させることができる。
【００４２】
（３）上述の実施形態においては、手書き入力の際に、電子ペン１のＣＰＵ１１は通信部１６を介して撮像画像データを電子ペーパー２に送信していたが（図８のステップＳＢ０３）。このとき、電子ペン１は、撮像画像データではなく、不良表示素子に相当する領域の重心のＸＹ座標値（撮像画像の中心を原点としたＸＹ座標系における座標値）を計算して、これを電子ペーパー２に送信してもよい。この場合、図９に示すステップＳＣ０１ないしＳＣ０３までの処理を電子ペン１のＣＰＵ１１が行い、電子ペーパー２のＣＰＵ２１は、図９に示すステップＳＣ０４およびＳＣ０７の処理を行う。すなわち、電子ペン１および電子ペーパー２（或いは前述のとおり機能を分散化する場合には、これら以外の第３の装置を含む）の少なくともいずれか一方が「撮像画像データが表す撮像画像に含まれる色の違いに基づいて、駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成する不良表示素子検出手段」として機能すればよい。
【００４３】
（４）上述の実施形態の移動ベクトル算出処理において、電子ペーパー２のＣＰＵ２１は、仮定の対象となる現在および直前の不良表示素子の座標値の組み合わせを順次変更しながら、両者が一致するか否かを判断するようになっており、その判断の際の組み合わせの優先順位については特に規定していなかった。このとき、移動ベクトル算出処理は繰り返し行われるので、直前に行われた移動ベクトル算出処理で特定した撮像画像の位置を、その次の移動ベクトル算出処理において参考にしてもよい。具体的には、電子ペーパー２のＣＰＵ２１は、直前の撮像画像の中心Ｃ０に近いものから順に仮定の対象となる現在および直前の不良表示素子の座標値の組み合わせを変更していけばよい。電子ペン１は人間の動作速度と比較して非常に短い周期で撮像を繰り返しているため、或る時の撮像位置と、その直前の撮像位置とは近接していることがほとんどである。そして、直前の撮像画像Ｑ０の中心Ｃ０に近い不良表示素子ほど、現在の撮像画像Ｑ１に含まれている可能性が高いから、これを優先して判断を試みるのが合理的である。このようにすると、現在と直前の配置パターン同士の一致する確率の高い組み合わせが優先して判断されるため、移動ベクトルを算出するまでの時間が短縮され、処理速度が向上する。
【００４４】
（５）上述の実施形態においては、電子ペーパー２のＣＰＵ２１は、移動ベクトル算出処理によって電子ペン１の移動ベクトルが算出されると、算出した移動ベクトルに応じて描画位置情報を更新していた。そして、ＣＰＵ２１は、更新した描画位置情報が示す位置にある画素電極ＰＥを指定する描画命令を送信し、この画素電極ＰＥ及びその近傍にある所定数の画素電極ＰＥを、表示部２５の駆動部２５１によって駆動させていた。つまり、電子ペン１のペン先の位置に応じた処理の内容は描画処理であったが、この処理の内容はこれに限らず、移動ベクトル算出処理によって算出された移動ベクトルに応じた処理であればどのようなものであってもよい。例えば、ＣＰＵ２１は、操作者が描いた軌跡を図形データとして、記憶部２４や、ＨＤＤ（Hard Disk Drive）などの外部記憶装置に記憶させてもよい。
また、実施形態では、移動方向及び移動量からなる移動ベクトルを算出していたが、必ずしもそうである必要はなく、これら移動方向、又は、移動速度若しくは移動量を算出し、その算出結果に応じた処理を行うものであってもよい。
【００４５】
（６）上述の実施形態の移動ベクトル算出処理においては、ＣＰＵ２１は、まず領域分離処理を行い（図９のステップＳＣ０２）、その領域分離処理によって分離された複数の領域から、所定の大きさの範囲内に収まる領域を、不良表示素子領域として抽出していた。これは、表示面に画像が表示されていない場合に有効な方法であるが、例えば、表示面に点画像が表示されている場合であっても有効な方法である。後者の場合には、所定の大きさの範囲内に収まる領域を不良表示素子領域として抽出することで、それぞれの大きさのオーダーが異なる点画像と不良表示素子領域とを区別できるからである。
しかし、例えば上述したように、複数の処理名とチェックボックスとを併せて表示体２５２に表示しているような場合には、不良表示素子領域を精度良く抽出できないことがある。なぜなら、画像データに基づいた画像の輪郭部分においては、その画像を表示している表示素子と、不良表示素子とを区別しづらいからである。
【００４６】
ここで、図１２は、電子ペン１のカメラ１５が、画像データに基づいた画像の輪郭部分を撮像したときの撮像画像を例示した図である。
図１２において、境界線Ｌは、記憶部２４など記憶された画像データに基づいて表示された画像の輪郭を意味している。この境界線Ｌを境にして、その左側には黒色の領域が、その右側には白色の領域がそれぞれある程度以上の大きさで存在している。
次に、図１３は、この図１２で示した撮像画像のうち、破線で囲われた部分を拡大した図である。図１３に示すように、電気泳動素子Ｐ１およびＰ２は、黒色の領域に属しており、その素子の輪郭の内側全部が黒色に発色している。一方、電気泳動素子Ｐ３，Ｐ５は、左側が黒色の領域に属し、右側が白色の領域に属しているから、境界線Ｌを境にしてそれぞれ属する領域に応じた色に発色しているが、電気泳動素子Ｐ４だけは、この境界線Ｌ上にあるにもかかわらず、その素子の輪郭の内側全部が黒色に発色している。この電気泳動素子Ｐ４は不良表示素子であるから、画像の輪郭に相当する境界線Ｌとは異なる形状で表示されているのである。そこで、電子ペーパー２のＣＰＵ２１は、このような撮像画像データから、境界線Ｌと異なる形状部分を、周波数解析等の画像認識処理を用いて検出する。そして、電子ペーパー２のＣＰＵ２１は、検出した形状部分から電気泳動素子Ｐ４の輪郭を推測し、電気泳動素子Ｐ４の重心の位置を表す座標値を求めてＲＡＭ２３に記憶する。より具体的には、まず、ＣＰＵ２１は、図１４に示すような画像の輪郭、つまり黒色の領域と白色の領域との境界線Ｌとは異なる形状の部分ｌ１を検出する。この境界線Ｌは、要するに、画素電極ＰＥの形状の輪郭部分を連ねた線である。よって、電子ペーパー２の記憶部２４には、画素電極ＰＥの形状を表すデータが記憶されており、ＣＰＵ２１は、境界線Ｌにおいて、このデータが表す形状と一致しない孤の部分ｌ１を検出する。次に、ＣＰＵ２１は、電気泳動素子Ｐ４の輪郭がほぼ円形であることに鑑みて、部分ｌ１の孤を延長した孤である部分ｌ２を計算により求める。そして、ＣＰＵ２１は、孤の部分ｌ１と孤の部分ｌ２からなる円の中心のＸＹ座標値を、不良表示素子（電気泳動素子Ｐ４）の位置を表す座標値としてＲＡＭ２３に記憶する。
なお、現在の不良表示素子の配置パターンと、直前にＲＡＭ２３に記憶された不良表示素子の配置パターンとを照合する際に、不良表示素子の座標値の組み合わせを順次変更して決定しても、電子ペン１はその軸を中心として回転していることも考えられるため、照合は、その組み合わせ毎に、互いの撮像画像を３６０度回転させて、一致するか否かを確認しなければならない。一方、このように画素電極ＰＥの形状を予め記憶部２４に記憶しておくと、所定の画像解析を行うことで、撮像画像データから、画素電極ＰＥの形状に由来する画像の輪郭を特定することができる。そして、この特定した輪郭から撮像画像の向きを限定することができる。例えば、画素電極ＰＥの形状が正方形であれば、照合は、0度、９０度、１８０度、２７０度の４通りに限られるので、照合にかかる時間を短縮することができる。
【００４７】
また、この場合、画素電極ＰＥの形状は正方形に限定されない。
図１５は、この変形例における画素電極ＰＥの形状の一例を示す図である。図１５に示す例においては、画素電極ＰＥは概ね正方形であるが、一部の辺において、欠けた部分を有している。このような場合であっても、予め画素電極ＰＥの形状を電子ペーパー２の記憶部２４が記憶していることにより、上述と同様に、電気泳動素子Ｐとの形状の違いから不良表示素子を検出することができる。
なお、ＣＰＵ２１は、画像の輪郭部分については上記のような処理を行って不良表示素子を検出すればよいし、輪郭部分以外の領域（例えば１色で表示された画像の内側の領域）から、実施形態と同様の手順で不良表示素子を検出すればよい。
【００４８】
（７）上述の実施形態においては、電子ペン１が順次撮像した撮像画像に含まれる不良表示素子の現在の位置と直前の位置とを照合することで、電子ペン１のペン先が描く軌跡を特定していた。このような位置に基づく照合に加えて、各々の電気泳動素子の大きさや形状が微妙に異なることに鑑み、各不良表示素子の大きさ又は形状に基づく照合を行ってもよい。
具体的には、ＣＰＵ２１は、移動ベクトル算出処理の動作において、電子ペン１が撮像した撮像画像から、予め決められた大きさの範囲内に収まる不良表示素子領域の座標値のほか、各領域の大きさ又は形状の少なくともいずれか一方を求めて、これをＲＡＭ２３に記憶する。そして、ＣＰＵ２１は、直前にＲＡＭ２３に記憶された不良表示素子領域の座標値及び上記大きさ又は形状と、現在の撮像画像から抽出した不良表示素子領域の座標値及び大きさ又は形状とを照合して、所定の割合以上一致するものを特定する。
この態様によれば、一致する不良表示素子を精度良く照合することができる。
【００４９】
（８）上述の実施形態においては、電子ペン１のＣＰＵ１１は、センサ１４が出力したオン信号を受け取ると、カメラ１５に対し、撮像を開始する命令を送信していたが（図８のステップＳＢ０１）、カメラ１５に撮像を開始する命令を送信するタイミングや仕組みはこれに限られない。例えば、受光した像のコントラストを検出したり、光学センサを複数用いてペン先から電子ペーパー２の表示体２５２までの距離を算出したりすることで、撮像を開始する命令を送信するタイミングを決定してもよい。
また、センサ１４に連動して、カメラ１５が撮像を開始する際に、照明を点灯させてもよい。上述の電子ペーパー２は反射型の表示デバイスであるから、ペン先と表示体２５２との隙間がなくなると、撮像領域に光が当たりにくくなる虞があるからである。
【００５０】
（９）上述の実施形態においては、カメラ１５の撮像のタイミングは周期的であったが、周期的でなくてもよく、例えば操作者が指定したときだけ撮像するというものであってもよい。また、電子ペン１が撮像画像データを送信するタイミングは撮像の都度であったが、他のタイミングで送信してもよい。例えば、電子ペン１は、所定回数分の撮像画像データをＲＡＭ１３に逐次記憶し、撮像画像データが示す画像の変化に応じて送信してもよい。
【００５１】
（１０）上述した実施形態では、表示体２５２の表示面は、複数の電気泳動素子が並べられることによって構成されていたが、これ以外の表示素子によって表示面が構成される表示体を用いてもよい。要するに、表示体が多数の表示素子によって構成され、かつ、或る程度の数の表示素子が不良表示素子となり得るのであれば、その不良表示素子の分布状況に基づいて、表示面上の位置を特定することができる。電気泳動素子の場合は、不良表示素子の割合が１〜５％であり、これは位置の検出に充分な程度の割合と言える。
【００５２】
（１１）本発明を上述したＣＰＵ１１及びＣＰＵ２１が実行するプログラムとして実現してもよい。また、これらプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記録した状態で提供し得る。
【図面の簡単な説明】
【００５３】
【図１】画像処理システムの全体構成を示す図である。
【図２】電子ペンの機能構成の一例を示すブロック図である。
【図３】電子ペーパーの機能構成の一例を示すブロック図である。
【図４】表示体の構造を模式的に示した図である。
【図５】電気泳動素子の構造および状態を模式的に示す断面図である。
【図６】不良表示素子の状態の例を示す図である。
【図７】表示部の全面に白色を表示したときに、黒色を表示している不良表示素子の配置を例示した図及び表示部の全面に黒色を表示したときに、白色を表示している白色不良表示素子の配置を例示した図である。
【図８】電子ペンにより電子ペーパーに手書き入力をする動作の流れを説明するシーケンス図である。
【図９】移動ベクトル算出処理の動作の流れを説明するフローチャートである。
【図１０】撮像画像データが表す撮像画像を例示した図である。
【図１１】現在と直前の配置パターン同士の一致を判断する処理を説明するための図である。
【図１２】撮像画像データが表す撮像画像を例示した図である。
【図１３】図１２で示した撮像画像のうち、破線で囲われた部分を拡大した図である。
【図１４】画像の輪郭とは異なる形状の部分を検出する方法を説明するための図である。
【図１５】変形例における画素電極の形状の一例を示す図である。
【符号の説明】
【００５４】
１…電子ペン、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…センサ、１５…カメラ、１６…通信部、１７…電源部、１９…バス、２…電子ペーパー、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…記憶部、２４２…電極位置テーブル、２５…表示部、２５１…駆動部、２５２…表示体、２５２１…第１基板、２５２２…第２基板、２５２３…バインダ、２６…通信部、２８…電源部、２９…バス、９…画像処理システム、Ｂ０−１〜Ｍ，Ｂ０−１〜Ｎ…黒色不良表示素子領域、ＢＧ…黒色顔料粒子、ＣＥ…共通電極、ＣＷ…カプセル壁、ＤＭ…分散媒、Ｌ…境界線、Ｐ…電気泳動素子、ＰＥ…画素電極、Ｗ１…白色の領域、ＷＧ…白色顔料粒子。
【特許請求の範囲】
【請求項１】
複数の表示素子が並べられた表示面を有し、当該複数の表示素子をそれぞれ駆動手段により駆動して画像を表示する表示手段と、
前記表示面を撮像し、撮像画像を表す撮像画像データを生成する撮像手段と、
前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段と
を具備することを特徴とする位置検出システム。
【請求項２】
前記表示素子には、着色された複数の帯電粒子を分散させた液体が封入されており、
前記表示手段は、前記表示素子に対する電界の方向を変化させて、当該表示素子に封入されている液体内の前記帯電粒子を移動させることにより、画像を表示する
ことを特徴とする請求項１に記載の位置検出システム。
【請求項３】
駆動手段により駆動させられる複数の表示素子が並べられた表示面を撮像して撮像画像を表す撮像画像データを生成する撮像手段から、当該撮像画像データを取得する取得手段と、
前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段と
を備えることを特徴とする位置検出装置。
【請求項４】
前記不良表示素子検出手段は、前記撮像画像データが表す撮像画像を色毎の画像領域に分離し、分離した複数の画像領域のうち、予め決められた大きさの範囲内に収まる画像領域の位置を前記不良表示素子の位置として検出する
ことを特徴とする請求項３に記載の位置検出装置。
【請求項５】
前記不良表示素子検出手段は、
前記表示素子を駆動するための電極の形状を記憶しており、
前記撮像画像データが表す撮像画像において、それぞれ異なる色の画像領域の境界線を特定し、特定した当該境界線と記憶しておいた前記電極の形状とが一致しない位置を、前記不良表示素子の位置として検出する
ことを特徴とする請求項３に記載の位置検出装置。
【請求項６】
前記撮像手段は、それぞれ異なる撮像タイミングで前記表示面の一部を撮像し、各々の撮像画像を表す撮像画像データを出力するものであり、
前記取得手段は、前記撮像手段によって出力される各々の前記撮像画像データを取得し、
前記不良表示素子検出手段により各々の前記撮像画像から検出された複数の不良表示素子のうち、素子どうしの相対的な位置関係が一致する不良表示素子を、各々の前記撮像画像において共通する共通不良表示素子として特定する共通素子特定手段と、
前記共通素子特定手段により特定された共通不良表示素子の前記各撮像画像における位置の変位と、前記各撮像画像の撮像タイミングとに基づいて、前記表示面に対する前記撮像手段の移動方向、又は、移動速度若しくは移動量を算出して出力する算出手段とを備える
ことを特徴とする請求項３乃至５のいずれかに記載の位置検出装置。
【請求項７】
前記算出手段によって算出された移動方向、又は、移動速度若しくは移動量に応じた処理を行う処理手段を備える
ことを特徴とする請求項３乃至６のいずれかに記載の位置検出装置。
【請求項８】
前記共通素子特定手段は、素子どうしの相対的な位置関係に加えて、各々の前記不良表示素子の大きさ又は形状の少なくとも一方が一致する不良表示素子を、前記共通不良表示素子として特定する
ことを特徴とする請求項３乃至７のいずれかに記載の位置検出装置。
【請求項９】
コンピュータを、
駆動手段により駆動させられる複数の表示素子が並べられた表示面を撮像して撮像画像を表す撮像画像データを生成する撮像手段から、当該撮像画像データを取得する取得手段と、
前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段と
して機能させるためのプログラム。
【請求項１】
複数の表示素子が並べられた表示面を有し、当該複数の表示素子をそれぞれ駆動手段により駆動して画像を表示する表示手段と、
前記表示面を撮像し、撮像画像を表す撮像画像データを生成する撮像手段と、
前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段と
を具備することを特徴とする位置検出システム。
【請求項２】
前記表示素子には、着色された複数の帯電粒子を分散させた液体が封入されており、
前記表示手段は、前記表示素子に対する電界の方向を変化させて、当該表示素子に封入されている液体内の前記帯電粒子を移動させることにより、画像を表示する
ことを特徴とする請求項１に記載の位置検出システム。
【請求項３】
駆動手段により駆動させられる複数の表示素子が並べられた表示面を撮像して撮像画像を表す撮像画像データを生成する撮像手段から、当該撮像画像データを取得する取得手段と、
前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段と
を備えることを特徴とする位置検出装置。
【請求項４】
前記不良表示素子検出手段は、前記撮像画像データが表す撮像画像を色毎の画像領域に分離し、分離した複数の画像領域のうち、予め決められた大きさの範囲内に収まる画像領域の位置を前記不良表示素子の位置として検出する
ことを特徴とする請求項３に記載の位置検出装置。
【請求項５】
前記不良表示素子検出手段は、
前記表示素子を駆動するための電極の形状を記憶しており、
前記撮像画像データが表す撮像画像において、それぞれ異なる色の画像領域の境界線を特定し、特定した当該境界線と記憶しておいた前記電極の形状とが一致しない位置を、前記不良表示素子の位置として検出する
ことを特徴とする請求項３に記載の位置検出装置。
【請求項６】
前記撮像手段は、それぞれ異なる撮像タイミングで前記表示面の一部を撮像し、各々の撮像画像を表す撮像画像データを出力するものであり、
前記取得手段は、前記撮像手段によって出力される各々の前記撮像画像データを取得し、
前記不良表示素子検出手段により各々の前記撮像画像から検出された複数の不良表示素子のうち、素子どうしの相対的な位置関係が一致する不良表示素子を、各々の前記撮像画像において共通する共通不良表示素子として特定する共通素子特定手段と、
前記共通素子特定手段により特定された共通不良表示素子の前記各撮像画像における位置の変位と、前記各撮像画像の撮像タイミングとに基づいて、前記表示面に対する前記撮像手段の移動方向、又は、移動速度若しくは移動量を算出して出力する算出手段とを備える
ことを特徴とする請求項３乃至５のいずれかに記載の位置検出装置。
【請求項７】
前記算出手段によって算出された移動方向、又は、移動速度若しくは移動量に応じた処理を行う処理手段を備える
ことを特徴とする請求項３乃至６のいずれかに記載の位置検出装置。
【請求項８】
前記共通素子特定手段は、素子どうしの相対的な位置関係に加えて、各々の前記不良表示素子の大きさ又は形状の少なくとも一方が一致する不良表示素子を、前記共通不良表示素子として特定する
ことを特徴とする請求項３乃至７のいずれかに記載の位置検出装置。
【請求項９】
コンピュータを、
駆動手段により駆動させられる複数の表示素子が並べられた表示面を撮像して撮像画像を表す撮像画像データを生成する撮像手段から、当該撮像画像データを取得する取得手段と、
前記撮像画像データが表す撮像画像に含まれる色の違いに基づいて、前記駆動手段によって駆動することができない不良表示素子の位置を検出し、各々の当該位置を表す複数の位置情報を生成して出力する不良表示素子検出手段と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−１４０１５８（Ｐ２００９−１４０１５８Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１４７６４（Ｐ２００７−３１４７６４）
【出願日】平成１９年１２月５日（２００７．１２．５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１２月５日（２００７．１２．５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]