数値入力装置、数値入力方法、数値入力プログラム、およびコンピュータ読み取り可能な記録媒体
【課題】タッチパネルを使用して、正確にかつ容易に数値や座標入力を行い、入力した数値でメニュー選択を行う数値入力装置の提供。
【解決手段】センサ内蔵液晶パネルが検知した指の像または座標データに基づいて、センサ内蔵液晶パネル上における当該像の領域を検出するデータ取得部８２０と、データ取得部８２０が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する座標データカウント部８３０とを備える。
【解決手段】センサ内蔵液晶パネルが検知した指の像または座標データに基づいて、センサ内蔵液晶パネル上における当該像の領域を検出するデータ取得部８２０と、データ取得部８２０が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する座標データカウント部８３０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の表示および対象物の読み取りを同時に行うことができ、特に、簡易な操作により正確に、数値入力ができる数値入力装置、数値入力方法、数値入力プログラム、およびコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
近年、携帯電話および携帯型ゲーム機器をはじめとする携帯型情報端末において、画像を表示する表示部を備えている機器が増加している。これらの機器では、表示部が、画像を表示する機能に加えて、ユーザが指などでポインティング（タッチ）した位置を検出することが可能な、いわゆるタッチパネル機能を有していることが多い。
【０００３】
これらの機器では、ユーザが指などで、タッチパネルにタッチすることにより、ユーザが所望する画像を表示部に表示させることができる。
【０００４】
そして、表示部に表示されている複数の項目を選択する場合、所望の選択項目が表示されている箇所をユーザが指でタッチしたり、表示されている所望の選択項目を選択するための数値を入力する方法が一般的に使用されている。
【０００５】
また、特許文献１には、タッチパネルをタッチする指の本数に基づいて、ページめくりするページ数を変更することが可能な画像表示装置が開示されている。
【０００６】
特許文献１の画像表示装置では、タッチパネル上で、複数の指が接触している領域内の座標の最大値と、最小値との差の値を、指の本数と対応付けて設定しておく。そして、認識した指の本数に応じて、ページめくりするページ数が変更される。
【特許文献１】特開平８−７６９２６号公報（公開日：平成８年３月２２日）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の画像表示装置は、タッチパネルに接触する複数の指の本数を認識するのではなく、接触領域の大きさから、指の本数を推定するため、入力数値を正確に判定できない。つまり、指の大きさ、接触する複数の指の間隔など、ユーザによって、まちまちであるので、入力数値の正確さに欠けるという問題が生じる。
【０００８】
また、表示されている複数の選択項目のうち、所望する選択項目を選択する場合、表示部のうち、所望する選択項目が表示されている箇所を直接タッチする従来の方法では、ユーザは頻繁に指を移動させる必要があり、特に画面が大きくなった場合などに、操作性が悪いという問題がある。
【０００９】
さらに、所望する選択項目を選択するために、直接数値を入力する方法では、数値の入力が手間であり、この方法も操作性が悪いという問題がある。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、正確にかつ、容易に数値の入力ができる数値入力装置、数値入力方法、数値入力プログラム、およびコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の数値入力装置は、上記課題を解決するために、近傍の像を検知する面状部材と、上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出手段と、上記領域検出手段が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識手段とを備えることを特徴とする。
【００１２】
また、本発明の数値入力方法は、上記課題を解決するために、近傍の像を検知する面状部材を備えた数値入力装置の数値入力方法において、上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出ステップと、上記領域検出ステップで検出された上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識ステップとを含むことを特徴とする。
【００１３】
上記構成により、上記領域検出手段は、上記面状部材が検知した対象物の像を検出する。そして、上記入力数値認識手段は、上記領域検出手段が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する。
【００１４】
すなわち、入力数値認識手段は、対象物の個数に対応して入力数値を認識することができるので、例えば、タッチパッドなどに接触する対象物の大きさによって入力数値を認識する場合などと比較して、正確に入力数値を認識することができる。
【００１５】
また、上記入力数値認識手段が認識する入力数値を変更する場合、上記面状部材に近接する対象物の個数を変更すればよいだけなので、数値の入力及び入力数値の変更が容易である。
【００１６】
このように、上記構成によると、正確にかつ、容易に数値の入力ができる数値入力装置を提供することができる。
【００１７】
本発明の数値入力装置の上記面状部材は、さらに画像を表示するものであり、ユーザが選択可能な複数の選択項目を備える画像を、上記面状部材に表示させる表示データ制御手段を備え、上記表示データ制御手段は、上記複数の選択項目のうち、上記入力数値認識手段が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、上記面状部材に表示させることが好ましい。
【００１８】
上記構成によると、上記面状部材に表示されている複数の選択項目のうち、ユーザが所望する選択項目を選択するには、該所望の選択項目に対応付けられている個数分の対象物を、上記面状部材に近接させればよい。
【００１９】
これにより、上記入力数値認識手段は、ユーザが上記面状部材に近接させた上記対象部材の個数を入力数値として認識する。そして、上記表示データ制御手段は、上記入力数値認識手段が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、上記面状部材に表示させることができる。
【００２０】
つまり、上記数値入力装置は、ユーザが所望する選択項目を選択表示することができる。
【００２１】
このように、上記構成によると、正確で容易に数値入力ができるので、表示されている複数の選択項目のうち、所望する選択項目を正確に選択でき、かつ選択する選択項目の変更を容易に行うことができる。
【００２２】
本発明の数値入力装置の上記領域検出手段は、所定のタイミングで、上記領域を検出しており、上記入力数値認識手段が認識した順に上記入力数値を記憶する記憶手段を備え、上記表示データ制御手段は、上記領域検出手段が上記領域を検出しなかったときに、上記記憶手段記憶された最新の入力数値を取得し、該取得した入力数値に対応付けられている選択項目の機能を実行することが好ましい。
【００２３】
上記構成によると、上記選択項目の機能を実行するために、ユーザが、本発明の数値入力装置に数値を入力するには、上記選択項目に対応付けられている入力数値と同じ個数分の対象物を上記面状部材に近接させ、該近接させた対象物の像を上記面状部材が検出できなくなる距離まで、上記対象物を離せばよい。
【００２４】
これにより、上記記憶手段には、上記最新の入力数値が記憶される。そして、上記表示データ制御手段は、上記領域検出手段が上記領域を検出しなかったときに、上記記憶手段記憶された上記最新の入力数値を取得する。これにより、上記表示データ制御手段は、上記取得した入力数値に対応付けられている選択項目の機能を実行することができる。
【００２５】
上記構成によると、正確で容易に数値入力ができるので、入力数値に対応付けられている選択項目の機能を正確で容易に実行することができる。
【００２６】
本発明の数値入力装置は、上記領域検出手段が検出する領域内の代表座標を検出する座標検出手段と、上記領域が移動したときの代表座標の移動量および移動方向を算出し、当該移動量および移動方向を上記表示データ制御手段に出力する座標制御手段とを備え、上記表示データ制御手段は、上記座標制御手段から出力される代表座標の移動量および移動方向に基づいて、上記選択項目を移動させることが好ましい。
【００２７】
上記構成によると、ユーザは、上記選択項目を移動させる場合、上記面状部材に近接させている対象物を、上記面状部材と平行に移動させる。
【００２８】
これにより、上記座標制御手段は、上記座標検出手段が検出する上記代表座標の移動量および移動方向を算出する。そして、表示データ制御手段は、上記座標制御手段から上記代表座標の移動量および移動方向に基づいて、上記選択項目を移動させる。
【００２９】
このように上記構成によると、上記面状部材に表示されている選択項目を、上記対象物の移動に伴って、移動させることができる。
【００３０】
このため、選択項目の移動が容易な数値入力装置を提供することができる。
【００３１】
また、本発明に係る数値入力装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。
【発明の効果】
【００３２】
本発明の数値入力装置は、近傍の像を検知する面状部材と、上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出手段と、上記領域検出手段が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識手段とを備える。
【００３３】
また、本発明の数値入力方法は、近傍の像を検知する面状部材を備えた数値入力装置の数値入力方法において、上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出ステップと、上記領域検出ステップで検出された上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識ステップとを含む。
【００３４】
これにより、正確にかつ、容易に数値の入力ができるという効果を奏する。
【発明を実施するための最良の形態】
【００３５】
本実施の一形態について図１〜図１３に基づいて説明すると以下の通りである。
【００３６】
本実施の形態に係るデータ表示／センサ装置１００（数値入力装置）は、近傍の像を検知するセンサ内蔵液晶パネル３０１（面状部材）と、センサ内蔵液晶パネル３０１が検知した指（対象物）の像に基づいて、センサ内蔵液晶パネル３０１上における指の像の領域を検出するデータ取得部８２０（領域検出手段）と、データ取得部８２０が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する座標データカウント部８３０（入力数値認識手段）とを備える装置である。
【００３７】
まず、以下で、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００３８】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００３９】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００４０】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００４１】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４２】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００４３】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４４】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４５】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００４６】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００４７】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００４８】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００４９】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００５０】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００５１】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５２】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５３】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００５４】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５５】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００５６】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００５７】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００５８】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００５９】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００６０】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００６１】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６２】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６３】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００６４】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６５】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００６６】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００６７】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００６８】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００６９】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７０】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００７１】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７２】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００７３】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００７４】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００７５】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００７６】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００７７】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００７８】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００７９】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００８０】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００８１】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８２】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８３】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００８４】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００８５】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００８６】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００８７】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００８８】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００８９】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００９０】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００９１】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９２】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００９３】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００９４】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００９５】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【００９６】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９７】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９８】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９９】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１００】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１０１】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１０２】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１０３】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１０４】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１０５】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１０６】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１０７】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１０８】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１０９】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１１０】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１１１】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１１２】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１１３】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１１４】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１１５】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１１６】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１１７】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１１８】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１１９】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１２０】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１２１】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１２２】
（データ表示／センサ装置の動作説明）
次に、図９（ａ）〜（ｆ）を参照しながら、データ表示／センサ装置１００が、選択画面の表示及び確定動作を行う処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。
【０１２３】
また、ここでは、データ表示／センサ装置１００に設けられている表示／光センサ部３００は、第１表示／光センサ部３００Ａ、または第２表示／光センサ部３００Ｂの何れに表示させてもよい。このため、図９（ａ）〜（ｆ）、及び以下の説明では、データ表示／センサ装置１００として１つの表示／光センサ部３００のみを用いて説明する。さらに、データ表示／センサ装置１００として１つの表示／光センサ部３００からなっていてもよい。この場合、ヒンジ部スイッチ９０４は省略することができる。
【０１２４】
そして、ユーザは片手（５本指）でデータ表示／センサ装置１００を操作する場合について説明する。
【０１２５】
（選択画面の表示及び確定動作）
図９（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置１００に選択画面を表示している様子を表す説明図である。図９（ｂ）は、図９（ａ）に示すデータ表示／センサ装置１００に指を１本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｃ）は、図９（ｂ）に示すデータ表示／センサ装置１００に指を２本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｄ）は、図９（ｃ）に示すデータ表示／センサ装置１００から指を全て離した際の確定画面を表示している様子を表す説明図である。図９（e）は、図９（ａ）に示すデータ表示／センサ装置１００に指を５本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｆ）は、図９（ｅ）に示す選択画面を表示しているデータ表示／センサ装置１００に指を１本タッチした際の様子を表す説明図である。
【０１２６】
図９（ａ）に示すように、センサ内蔵液晶パネル３０１は、ユーザに選択させるための項目に分かれた選択項目を含む選択画面（画像）を表示する。本実施の形態では、この選択画面は、選択項目として４つの表示領域（第１領域ＳＤ１〜第４領域ＳＤ４）が縦に並んで配置されており、それぞれの領域に、ユーザに選択させるための項目情報を表示している。
【０１２７】
ここでは、第１領域ＳＤ１に項目情報として”confidential”、第２領域ＳＤ２に項目情報として”delimit”、第３領域に項目情報として”strike”、第４領域に項目情報として”struck”と表示している。なお、この第１領域〜第４領域の配置の仕方は、任意に設定すればよい。
【０１２８】
次に、図９（ｂ）に示すように、ユーザは、第１領域ＳＤ１〜第４領域ＳＤ４のうち、選択したい項目情報が表示されている表示領域を選択するために、１〜４本の指（対象物）をセンサ内蔵液晶パネル３０１にタッチする。
【０１２９】
ここで、指は、センサ内蔵液晶パネル３０１と完全に接触させる必要はなく、センサ内蔵液晶パネル３０１が指の像を明確に検出できる程度に、センサ内蔵液晶パネル３０１と接触させればよい。
【０１３０】
すると、データ表示／センサ装置１００は、ユーザがセンサ内蔵液晶パネル３０１上にタッチした指の本数（すなわち、データ取得部８２０が取得する座標データ（代表座標）の個数）を入力数値と認識する。そして、データ表示／センサ装置１００は、第１領域ＳＤ１〜第４領域ＳＤ４のうち、入力数値に対応付けられている表示領域の表示を、例えば、文字の色と、背景色とが反転するなど、選択されていることがユーザに分かるような表示（選択表示）に切り替えた選択画面をセンサ内蔵液晶パネル３０１に表示する。
【０１３１】
ここでは、ユーザは、第１領域ＳＤ１に表示されている”confidential”を選択するために、１本の指をセンサ内蔵液晶パネル３０１上にタッチする。すると、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上の１本の指のタッチを検出することにより、入力数値は「１」であると認識する。そして、データ表示／センサ装置１００は、入力数値「１」に対応付けられている第１領域ＳＤ１を選択表示した選択画面を、センサ内蔵液晶パネル３０１Ｂに表示させる。
【０１３２】
このように、データ表示／センサ装置１００は、ユーザがセンサ内蔵液晶パネル３０１にタッチした指の本数を入力数値として認識し、該認識した入力数値に対応付けられている表示領域を選択表示した選択画面を、センサ内蔵液晶パネル３０１に表示することができる。
【０１３３】
ここで、ユーザは、第１領域ＳＤ１を選択するために、１本の指をセンサ内蔵液晶パネル３０１にタッチすればよく、センサ内蔵液晶パネル３０１のどの位置に指をタッチしてもよい。すなわち、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１内であれば、どの位置にユーザが指をタッチしたとしても、該タッチした指の本数を入力数値として認識することが可能である。
【０１３４】
また、図９（ｃ）に示すように、ユーザは、１度選択した表示領域を確定せず、別の表示領域を選択したい場合、センサ内蔵液晶パネル３０１にタッチしている指を離さず、別の指をセンサ内蔵液晶パネル３０１上にタッチすることにより、別の表示領域を選択することが可能である。
【０１３５】
例えば、ユーザは、第２領域ＳＤ２に表示されている”delimit”を選択するために、図９（ｃ）でセンサ内蔵液晶パネル３０１にタッチした指を離さず、２本目の指をセンサ内蔵液晶パネル３０１にタッチする。
【０１３６】
すると、データ表示／センサ装置１００は、入力数値は「２」であると認識し、入力数値「２」に対応付けられている第２領域ＳＤ２を選択表示させた選択画面をセンサ内蔵液晶パネル３０１に表示させる。
【０１３７】
つまり、ユーザは、センサ内蔵液晶パネル３０１上にタッチしている指を全て離すまでは、任意に、センサ内蔵液晶パネル３０１にタッチする指の本数を増減することにより、センサ内蔵液晶パネル３０１に表示されている所望の表示領域を選択表示に変更することができる。
【０１３８】
そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチしている指が全て離れたと認識するまで、任意に増減される指の本数を入力数値と認識し、該認識した入力数値に対応付けられている表示領域を選択表示した選択画面をセンサ内蔵液晶パネル３０１に表示させる。
【０１３９】
そして、ユーザは、選択表示されている表示領域を確定したい場合、センサ内蔵液晶パネル３０１にタッチしている指を全て、センサ内蔵液晶パネル３０１から離す。これにより、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチしている指が全て離れたと認識し、確定動作（後述する）を行う。
【０１４０】
例えば、図９（ｄ）に示すように、ユーザは、図９（ｃ）で選択した、第２領域に表示されている”delimit”を確定したい場合、センサ内蔵液晶パネル３０１にタッチしている２本の指を離す。
【０１４１】
これにより、表示データ制御部８１０は、センサ内蔵液晶パネル３０１からユーザの指が離れたと認識し、確定動作を行う。ここでは、確定動作として、表示データ制御部８１０は、第２領域を、例えば一定時間点滅させる表示する確定画面をセンサ内蔵液晶パネル３０１に表示させる。
【０１４２】
これにより、ユーザは、第２領域の”delimit”が確定されたことを認識することができる。
【０１４３】
（選択画面スクロール）
次に、センサ内蔵液晶パネル３０１に表示されている選択画面をスクロールさせて、第１領域ＳＤ１〜第４領域ＳＤ４に表示されている項目情報を１画面分、変更する場合について説明する。
【０１４４】
ユーザは、図９（ｅ）で示すように、第１領域ＳＤ１〜第４領域ＳＤ４のそれぞれの項目情報を変更したい場合、センサ内蔵液晶パネル３０１に５本の指をタッチし、該タッチした５本の指をセンサ内蔵液晶パネル３０１から全て離す。
【０１４５】
これにより、データ表示／センサ装置１００は、入力数値「５」が入力および確定されたことを認識し、記憶部９０１を参照し、センサ内蔵液晶パネル３０１に、第１領域ＳＤ１〜第４領域ＳＤ４それぞれの項目情報を更新した選択画面を表示させる。
【０１４６】
続いて、図９（ａ）〜（ｄ）で説明したように、ユーザは、更新された選択画面が表示されているセンサ内蔵液晶パネル３０１をタッチする。これにより、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチされた指の本数を入力数値と認識し、該認識した入力数値に対応付けられた表示領域を選択表示した選択画面をセンサ内蔵液晶パネル３０１に表示させる。また、ユーザは、センサ内蔵液晶パネル３０１にタッチしている全ての指をセンサ内蔵液晶パネル３０１から離す。これにより、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチしている指が全て離れたと認識し、確定動作を行う。
【０１４７】
例えば、図９（ｆ）に示すように、ユーザは、センサ内蔵液晶パネル３０１に１本の指を接触させることにより、データ表示／センサ装置１００は、入力数値「１」を認識し、更新された選択画面の項目情報”annotate”が表示されている第１領域ＳＤ１を選択表示した表示画面をセンサ内蔵液晶パネル３０１に表示させることができる。
【０１４８】
そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチしている１本の指が離れたと認識することにより、選択表示している第１領域ＳＤ１が一定時間点滅する確定画面をセンサ内蔵液晶パネル３０１に表示させる。
【０１４９】
なお、ここでは、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１への５本指の接触、確定を検出した場合、項目情報が１画面分スクロールする場合について説明したが、項目情報がスクロールする量は任意に設定すればよい。
【０１５０】
例えば、表示データ制御部８１０は、センサ内蔵液晶パネル３０１への５本指の接触および確定を検出するたびに、すなわち、入力数値「５」の入力及び確定を認識するたびに、例えば第１領域ＳＤ１に”delimit”、第２領域ＳＤ２に”strike”、第３領域ＳＤ３に”struck”、第４領域ＳＤ４に”annotate”と表示する選択画面をセンサ内蔵液晶パネル３０１に表示させるなど、項目情報と、表示領域とを１つづつずらしていってもよい。
【０１５１】
（データ表示／センサ装置の要部説明）
次に、図１を参照しながら、データ表示／センサ装置１００の詳細な説明を行う。
【０１５２】
図１は、データ表示／センサ装置１００の要部構成を表すブロック図である。
【０１５３】
図１に示すように、主制御部８００は、表示データ制御部（表示データ制御手段）８１０と、データ取得部（領域検出手段、座標検出手段）８２０と、座標データカウント部（入力数値認識手段）８３０とを備える。
【０１５４】
表示データ制御部８１０は、ユーザの操作や、座標データカウント部８３０や、後述する座標データ制御部（座標データ制御手段）８４０（図１には不図示）から入力される情報に対応付けられている情報を記憶部９０１から読み込み、該読み込んだ情報を含めた選択画面や、確定画面をセンサ内蔵液晶パネル３０１に表示させるものである。
【０１５５】
データ取得部８２０は、所定のタイミングで、センサ内蔵液晶パネル３０１に近接する指の像の領域や、座標データ（代表座標）を検出している。
【０１５６】
座標データカウント部８３０は、データ取得部８２０が検出した指の像の領域や座標データの個数をカウントし、該カウントした指の像の領域や座標データの個数をユーザに入力された入力数値と認識するものである。
【０１５７】
また、記憶部９３０は、座標データカウント部８３０が認識した順に上記入力数値を記憶する。
【０１５８】
表示データ制御部８１０は、ユーザが選択可能な複数の選択項目を備える画像を、センサ内蔵液晶パネル３０１（図１には不図示）に表示させる。
【０１５９】
また、表示データ制御部８１０は、上記複数の選択項目のうち、座標データカウント部８３０が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、センサ内蔵液晶パネル３０１に表示させる。
【０１６０】
このため、ユーザが、センサ内蔵液晶パネル３０１に表示されている複数の選択項目のうち、所望の選択項目を選択するには、該所望の選択項目に対応付けられている本数分の指を、センサ内蔵液晶パネル３０１に近接させればよい。
【０１６１】
これにより、座標データカウント部８３０は、ユーザがセンサ内蔵液晶パネル３０１に近接させた指の本数を入力数値として認識する。そして、表示データ制御部８１０は、座標データカウント部８３０が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、センサ内蔵液晶パネル３０１に表示させることができる。
【０１６２】
このように、上記構成によると、正確で容易に数値入力ができるので、表示されている複数の選択項目のうち、所望する選択項目を正確に選択でき、かつ選択する選択項目の変更を容易に行うことができる。
【０１６３】
そして、表示データ制御部８１０は、データ取得部８２０がセンサ内蔵液晶パネル３０１上における像の領域または座標データを検出（取得）しなかったときに、記憶部９３０に記憶された最新の入力数値を取得し、該取得した入力数値に対応付けられている選択項目の機能を実行する。
【０１６４】
このように、選択項目の機能を実行するために、ユーザが数値を入力するには、上記選択項目に対応付けられている入力数値と同じ本数分の指をセンサ内蔵液晶パネル３０１に近接させ、該近接させた指の像をセンサ内蔵液晶パネル３０１が検出できなくなる距離まで、指を離せばよい。
【０１６５】
これにより、記憶部９３０には、上記最新の入力数値が記憶される。そして、表示データ制御部８１０は、データ取得部８２０が上記領域を検出しなかったときに、記憶部９３０に記憶された上記最新の入力数値を取得する。これにより、表示データ制御部８１０は、上記取得した入力数値に対応付けられている選択項目の機能を実行することができる。
【０１６６】
ここで、入力数値に対応付けられている選択項目の機能の実行（確定動作）とは、入力数値に対応付けられている選択項目（表示領域）を確定表示することである。確定表示とは、ユーザが確定されたことを認識できるような表示であればよく、例えば、確定した表示領域を一定時間点滅させるなどである。
【０１６７】
また、確定動作として、表示データ制御部８１０は、上述したように、センサ内蔵液晶パネル３０１に確定表示させるとともに、記憶部９０１から、所定のアプリケーションの機能を読み込み、その結果を表す表示画面をセンサ内蔵液晶パネル３０１に表示させるために、表示データを生成し、該生成した表示データをデータ処理部７００に出力してもよい。
【０１６８】
例えば、センサ内蔵液晶パネル３０１に表示されている選択画面が、クイズなどの答えを選択するための選択画面である場合、ユーザが確定した表示領域の項目情報の内容に対応付けて、正誤判定を示す表示画面をセンサ内蔵液晶パネル３０１に表示させるなどである。
【０１６９】
座標データカウント部８３０は、データ取得部８２０から全体画像データおよび座標データ（または指の像の領域）を取得すると、該取得した座標データ（または指の像の領域）の個数をカウントし、カウントした座標データ（または指の像の領域）の個数を入力数値と認識する。そして、座標データカウント部８３０は、認識した入力数値を表示データ制御部８１０に通知すると共に、記憶部９０１に一次的に記憶する。
【０１７０】
また、座標データカウント部８３０は、データ取得部８２０から出力される座標データ（または指の像の領域）の有無により、ユーザがセンサ内蔵液晶パネル３０１にタッチしていた指を全て離したか否かを判定するものである。
【０１７１】
すなわち、座標データカウント部８３０は、データ取得部８２０から全体画像データのみを取得することにより、ユーザがセンサ内蔵液晶パネル３０１にタッチしていた指を全て離したと認識する。そして、座標データカウント部８３０は、ユーザの指がセンサ内蔵液晶パネル３０１から全て離れたと認識すると、入力数値を確定するために、確定情報を表示データ制御部８１０及び記憶部９０１に出力する。
【０１７２】
ここで、確定情報は、たとえば、座標データをカウントすることができなかったことを表すエラー情報であってもよいし、入力数値「０（ゼロ）」としてもよい。
【０１７３】
また、記憶部９０１は、座標データカウント部８３０から出力される入力数値を、座標データカウント部８３０から出力されてきた順番と対応付けて記憶する。また、入力数値と各表示領域とを対応付けて記憶しており、さらに、各表示領域と、各表示領域に表示させるための項目情報とを対応付けて記憶している。
【０１７４】
（フローチャート説明）
次に、図９（ａ）〜（ｆ）、図１０を参照しながら、データ表示／センサ装置１００の処理の流れと、主制御部８００からデータ処理部７００に送信されるコマンドの詳細とについて説明する。
【０１７５】
図１０は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。
【０１７６】
まず、データ表示／センサ装置１００の電源がオフの状態にあるとき、ユーザが電源スイッチ９０５を押下することにより、データ表示／センサ装置１００は電源をオンにする（ステップＳ１１）。
【０１７７】
そして、表示データ制御部８１０は、ユーザの操作（例えばユーザスイッチ９０５を押下するなど）を検出することにより、記憶部９０１を参照し、ユーザが選択可能な複数の選択項目（表示領域）を含む選択画面をセンサ内蔵液晶パネル３０１に表示するための表示データを生成し、該生成した表示データをデータ処理部７００に出力する。
【０１７８】
ここでは、表示データ制御部８１０は、記憶部９０１から、表示領域としての第１領域ＳＤ１〜第４領域ＳＤ４のセンサ内蔵液晶パネル３０１での配置位置や、各表示領域に対応付けられた各表示領域に表示させる情報（項目情報）を読み込む、第１領域ＳＤ１の項目情報”confidential”、第２領域ＳＤ２の項目情報”delimit”、第３領域ＳＤ３の項目情報”strike”、第４領域ＳＤ４の項目情報”struck”を読み込む。そして、表示データ制御部８１０は、これらを含む選択画面をセンサ内蔵液晶パネル３０１に表示させるため表示データを生成し、該生成した表示データをデータ処理部７００に出力する。
【０１７９】
併せて、表示データ制御部８１０は、選択画面を第１表示／光センサ部３００Ａに表示させる場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。また、表示データ制御部８１０は、選択画面を第２表示／光センサ部３００Ｂに表示させる場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。
【０１８０】
これにより、図９（ａ）に示すように、表示データ制御部８１０は、センサ内蔵液晶パネル３０１に選択画面を表示させる（ステップＳ１２）。
【０１８１】
なお、表示データ制御部８１０は、電源スイッチ９０５の押下を検出することにより、選択画面をセンサ内蔵液晶パネル３０１に表示させてもよい。
【０１８２】
また、ここで、上画面（図９（a）には不図示）にユーザに対して選択画面に表示されている項目情報を選択するように促すためのメッセージを、センサ内蔵液晶パネル３０１のうち選択画面が表示されていない側のセンサ内蔵液晶パネル３０１に表示してもよい。
【０１８３】
この場合、表示データ制御部８１０は、項目情報を選択するように促すためのメッセージを、センサ内蔵液晶パネル３０１に表示させるための表示データを生成し、該生成した表示データをデータ処理部７００に出力する。
【０１８４】
併せて、表示データ制御部８１０は、選択画面が第１表示／光センサ部３００Ａに表示されている場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。また、表示データ制御部８１０は、選択画面が第２表示／光センサ部３００Ｂに表示されている場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。
【０１８５】
そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１への指のタッチを検出するまで待機する（ステップＳ１３、ステップＳ１３のＮＯ）。
【０１８６】
上記検出を行うために、表示データ制御部８１０は、選択画面をセンサ内蔵液晶パネル３０１に表示させるための表示データを、データ処理部７００に出力したとき、併せて、「データ取得タイミング」フィールドに、”イベント”を指定し、「データ種別」フィールドに”座標”および”全体画像”の両方を指定（”101”を指定）したコマンドをデータ処理部７００に出力する。
【０１８７】
これにより、センサ内蔵液晶パネル３０１にタッチされる指の本数に変更があった場合に、データ取得部８２０は、データ処理部７００から座標データおよび全体画像データを取得することができる。
【０１８８】
具体的には、図９（ｂ）に示すように、ユーザが指をセンサ内蔵液晶パネル３０１にタッチしたとき、光センサ回路３２が、タッチした指の影像および反射像の少なくとも何れかを検知するので、その結果、データ処理部７００が、センサ制御部６０２から取得する画像データに変化が生じる。
【０１８９】
そして、データ取得部８２０は、上記画像データに変化が生じた際にデータ処理部７００から出力されてくる、座標データおよび全体画像データを取得することにより、指がセンサ内蔵液晶パネル３０１にタッチしたことを検出する（ステップＳ１３のＹＥＳ）。
【０１９０】
そして、データ取得部８２０は、センサ内蔵液晶パネル３０１へ指のタッチを検出すると、データ処理部７００から取得した座標データ及び全体画像データを座標データカウント部８３０に出力する。
【０１９１】
座標データカウント部８３０は、データ取得部８２０から出力される座標データの個数をカウントし（ステップＳ１４）、カウントした座標データの個数を入力数値と認識する（ステップＳ１５）。そして、座標データカウント部８３０は、認識した入力数値を表示データ制御部８１０に通知すると共に、記憶部９０１に一次的に記憶する。
【０１９２】
例えば、図９（ｂ）では、１本の指がセンサ内蔵液晶パネル３０１とタッチしているので、座標データカウント部８３０が、データ取得部８２０から取得する座標データの個数は１である。このため、図９（ｂ）の場合、座標データカウント部８３０は、入力数値「１」と認識する。
【０１９３】
また、図９（ｃ）では、２本の指がセンサ内蔵液晶パネル３０１とタッチしているので、座標データカウント部８３０が、データ取得部８２０から取得する座標データの個数は２である。このため、図９（ｃ）の場合、座標データカウント部８３０は、入力数値「２」と認識する。
【０１９４】
さらに、座標データカウント部８３０は、データ取得部８２０から出力される座標データの有無により、ユーザがセンサ内蔵液晶パネル３０１にタッチしていた指を全て離したか否かを判定する（ステップＳ１６）。ステップＳ１６のＹＥＳの処理については後述する。
【０１９５】
そして、座標データカウント部８３０は、ユーザがセンサ内蔵液晶パネル３０１にタッチしていた指を全て離していないと判定した場合（ステップＳ１６でＮＯ）、表示データ制御部８１０は、座標データカウント部８３０から出力される入力数値を取得する。
【０１９６】
そして、表示データ制御部８１０は、記憶部９０１を参照し、入力数値に対応付けられている表示領域を特定し（ステップＳ１７）、特定した表示領域を選択表示した選択画面を、センサ内蔵液晶パネル３０１に表示させるための表示データを生成する。
【０１９７】
そして、表示データ制御部８１０は、上記生成した表示データをデータ処理部７００に出力する。
【０１９８】
併せて、表示データ制御部８１０は、選択画面を第１表示／光センサ部３００Ａに表示させる場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。または、表示データ制御部８１０は、選択画面を第２表示／光センサ部３００Ｂに表示させる場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。
【０１９９】
これにより、センサ内蔵液晶パネル３０１は、入力数値に対応付けられている表示領域を選択表示した選択画面を表示する（ステップＳ１８）。
【０２００】
例えば、センサ内蔵液晶パネル３０１は、図９（ｂ）に示すように、入力数値「１」に対応付けられている第１領域ＳＤ１を選択状態にした選択画面を表示したり、図９（ｃ）に示すように、入力数値「２」対応付けられている第２領域ＳＤ２を選択状態にした選択画面を表示したりする。
【０２０１】
そして、ステップＳ１６で、座標データカウント部８３０が、ユーザがセンサ内蔵液晶パネル３０１にタッチしている指を全て離した（ステップＳ１６のＹＥＳ）と認識するまで、つまり、座標データカウント部８３０が、データ取得部８２０から、全体画像データのみを取得するまで、上述したステップＳ１４〜ステップＳ１８の処理を繰り返す。
【０２０２】
次に、ステップＳ１６のＹＥＳの処理について説明する。
【０２０３】
図９（ｄ）に示すように、ユーザがセンサ内蔵液晶パネル３０１にタッチしている指を全て離した場合、データ取得部８２０は、データ処理部７００から全体画像データのみを取得し、座標データは取得（検出）しない。そして、データ取得部８２０は、データ処理部７００から取得した全体座標データのみを座標データカウント部８３０に出力する。座標データカウント部８３０は、データ取得部８２０から全体画像データのみを取得する。
【０２０４】
これにより、座標データカウント部８３０は、センサ内蔵液晶パネル３０１にタッチしている指の本数に変化があったことを認識する。しかし、座標データカウント部８３０は、データ取得部８２０から座標データを取得しないので、座標データの個数をカウントしない。
【０２０５】
つまり、座標データカウント部８３０は、データ取得部８２０から全体画像データのみを取得することにより、ユーザがセンサ内蔵液晶パネル３０１にタッチしていた指を全て離したと認識する（ステップＳ１５のＹＥＳ）ことができる。
【０２０６】
座標データカウント部８３０は、ユーザの指がセンサ内蔵液晶パネル３０１から全て離れたと認識すると、入力数値を確定するために、確定情報を表示データ制御部８１０及び記憶部９０１に出力する。
【０２０７】
表示データ制御部８１０は、座標データカウント部８３０から確定情報を取得すると、記憶部９０１から、記憶された確定情報の一つ前に記憶された入力数値を取得する。そして、表示データ制御部８１０は、取得した入力数値を確定する入力数値（確定入力数値）として認識する。そして、表示データ制御部８１０は、入力数値を確定する（ステップＳ１９）。
【０２０８】
次に、表示データ制御部８１０は、ステップＳ１９で確定した入力数値が「５」であるか否かを判定する（ステップＳ２０）。
【０２０９】
そして、表示データ制御部８１０は、確定した入力数値が「５」ではない（すなわち「１」〜「４」である）と判定した場合（ステップＳ２０のＮＯ）、表示データ制御部８１０は、記憶部９０１を参照し、確定した入力数値に対応付けられている確定動作を読み込み、該読み込んだ確定動作に基づいて、センサ内蔵液晶パネル３０１に確定した表示画面である確定画面を表示させるための表示データを生成する。そして、生成した表示データをデータ処理部７００に出力する。
【０２１０】
併せて、表示データ制御部８１０は、確定した表示画面を第１表示／光センサ部３００Ａに表示させる場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。または、表示データ制御部８１０は、確定した表示画面を第２表示／光センサ部３００Ｂに表示させる場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。
【０２１１】
これにより、センサ内蔵液晶パネル３０１は、確定した入力数値に対応付けられている表示画面である確定画面を表示する（ステップＳ２１）。
【０２１２】
（スクロール）
また、図９（ｅ）に示すように、センサ内蔵液晶パネル３０１にタッチしている指の本数が５本である場合、つまり、表示データ制御部８１０は、確定した入力数値が「５」であると判定した場合（ステップＳ２０のＹＥＳ）、表示データ制御部８１０は、表示領域（第１領域ＳＤ１〜第４領域ＳＤ４）に表示されている項目情報を更新した選択画面を、センサ内蔵液晶パネル３０１に表示させる。
【０２１３】
すなわち、表示データ制御部８１０は、確定した入力数値が「５」であると判定した場合、記憶部９１０を参照し、各表示領域に対応付けられている項目情報を更新する（ステップS２２）。
【０２１４】
ここでは、表示データ制御部８１０は、記憶部９１０を参照し、第１領域ＳＤ１に”annotate”、第２領域に”advise”、第３領域ＳＤ３に”deceive”、第４領域ＳＤ４に”identify”と表示する選択画面をセンサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、該生成した表示データを、表示データ制御部８１０は、データ処理部７００に出力する。
【０２１５】
併せて、表示データ制御部８１０は、選択画面を第１表示／光センサ部３００Ａに表示させる場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。または、表示データ制御部８１０は、選択画面を第２表示／光センサ部３００Ｂに表示させる場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。
【０２１６】
これにより、センサ内蔵液晶パネル３０１は、第１領域ＳＤ１〜第４領域ＳＤ４それぞれの項目情報を更新した選択画面を表示する（ステップＳ２３）。
【０２１７】
その後、ステップＳ１４の処理に戻る。
【０２１８】
これにより、ユーザは、更新された選択画面から、所望の項目情報が表示された表示領域の選択、確定を行うことができる。
【０２１９】
例えば、図９（ｆ）に示すように、ユーザは、センサ内蔵液晶パネル３０１に１本の指を接触させることにより、表示データ制御部８１０は、入力数値「１」を認識し、更新された選択画面の第１領域ＳＤ１に表示されている項目情報”annotate”を選択することができる。
【０２２０】
（変形例）
次に、図１１〜図１２を用い、変形例について説明する。
【０２２１】
データ表示／センサ装置１００は、ユーザが、センサ内蔵液晶パネル３０１にタッチさせている指の移動に合せて、選択表示されている表示領域の情報を移動させる構成としてもよい。
【０２２２】
図１１に示すように、センサ内蔵液晶パネル３０１は、例えば画面の右下に第１領域ＳＤ１〜第４領域ＳＤ４を表示し、さらに、第１領域ＳＤ１〜第４領域ＳＤ４とは異なる領域に、特定のアプリケーションを動作させるための領域であるアプリケーション領域Ｐを表示している。
【０２２３】
そして、ユーザは、センサ内蔵液晶パネル３０１にタッチしている指を矢印ＳＭ１の方向に移動する。すると、データ表示／センサ装置１００は、選択表示している表示領域（ここでは第１領域ＳＤ１）を、矢印ＳＭ１の方向に合せて矢印ＳＭ２の方向に移動する。
【０２２４】
次に、第１領域ＳＤ１がアプリケーション領域Ｐまで移動すると、ユーザは、センサ内蔵液晶パネル３０１にタッチしている指を全て、センサ内蔵液晶パネル３０１から離す。これにより、データ表示／センサ装置１００は、確定画面を表示し、アプリケーション領域Ｐに対応付けられているアプリケーションを動作する。
【０２２５】
例えば、削除機能を有するアプリケーションをアプリケーション領域Ｐに対応付けておくと、アプリケーション領域Ｐに移動した第１領域ＳＤ１は、削除される。
【０２２６】
このように、データ表示／センサ装置１００は、ユーザの指の移動に合せて、選択表示している表示領域を移動し、ユーザがセンサ内蔵液晶パネル３０１から指を離した場合、確定表示をし、特定のアプリケーションを動作させることができる。
【０２２７】
（変形例の具体的説明）
次に、図１２を用い、データ表示／センサ装置１００の変形例の具体的な構成を説明する。
【０２２８】
変形例では、主制御部８００に座標データ制御部８４０を設けている。
【０２２９】
座標データ制御部８４０は、データ取得部８２０が検出する複数の座標データから、座標データの移動量および移動方向を算出し、該算出した座標データの移動量および移動方向を表示データ制御部８１０に出力するものである。
【０２３０】
そして、表示データ制御部８１０は、座標データ制御部８４０から出力される座標データの移動量、移動方向に基づいて、選択項目を移動させる。
【０２３１】
つまり、表示データ制御部８１０は、座標データ制御８４０から出力される座標データの移動方向および移動量から、センサ内蔵液晶パネル３０１に表示させる選択項目の、センサ内蔵液晶パネル３０１内の配置位置を移動する。そして、表示データ制御部８１０は、該配置位置を移動した選択項目を備える選択画面をセンサ内蔵液晶パネル３０１に表示させる。
【０２３２】
これにより、センサ内蔵液晶パネル３０１に表示されている選択項目を、上記指の移動に伴って、移動させることができる。
【０２３３】
（変形例の処理の流れ）
次に、図１３を用い、データ表示／センサ装置１００の変形例の処理の流れについて説明する。
【０２３４】
図１３は、データ表示／センサ装置１００の変形例の処理の流れを表すフローチャートである。なお、ここでは、図１０で説明した処理と同じところの説明は省略する。
【０２３５】
まず、ステップＳ１３のＹＥＳの処理の際、データ取得部８２０は、データ処理部７００から取得した座標データ及び全体画像データを座標データカウント部８３０に出力すると共に、座標データを座標データ制御部８４０へ出力する。
【０２３６】
そして、ステップＳ１４の処理後、座標データ制御部８４０は、座標データカウント部８３０が記憶部９０１に一次記憶した入力数値を取得する。
【０２３７】
そして、座標データ制御部８４０は、記憶部９０１から入力数値を取得することにより、座標データの個数が変更されているか否かを判定する（ステップＳ３０）。
【０２３８】
次に、座標データ制御部８４０は、入力数値が変更されていると判定した場合（ステップＳ３０のＹＥＳ）、続いて、ステップＳ１６以降の処理が行われる。
【０２３９】
また、座標データ制御部８４０は、入力数値が変更されていないと判定した場合（ステップＳ３０のＮＯ）、データ取得部８２０から取得する座標データの移動量を算出し、予め決めている閾値以上であるか否かを判定する（ステップＳＳ３１）。
【０２４０】
そして、座標データ制御部８４０が算出した座標データの移動量が、予め決めている閾値未満である場合（ステップＳ３１のＮＯ）、ステップＳ１６以降の処理が行われる。
【０２４１】
また、座標データ制御部８４０は、座標データ制御部８４０が算出した座標データの移動量が、予め決められている閾値以上であると判断した場合（ステップＳ３１のＹＥＳ）、座標データの移動方向と、座標データの移動量とを表示データ制御部８１０へ出力する。その後、ステップＳ１５以降の処理が行われる。なお、上記閾値の値は、任意で設定可能である。
【０２４２】
そして、表示データ制御部８１０は、ステップＳ１８の処理の際、座標データ制御部８４０から取得した座標データの移動方向と、座標データの移動量とを基に、入力数値に対応付けられている表示領域の座標（センサ内蔵液晶パネル３０１での配置位置）を変更した選択画面を、センサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、表示データ制御部８１０は、上記生成した表示データをデータ処理部７００に出力する。
【０２４３】
併せて、表示データ制御部８１０は、選択画面を第１表示／光センサ部３００Ａに表示させる場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。または、表示データ制御部８１０は、選択画面を第２表示／光センサ部３００Ｂに表示させる場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。
【０２４４】
これにより、センサ内蔵液晶パネル３０１は、入力数値に対応付けられている表示領域を選択表示した選択画面を表示する（ステップＳ３２）。
【０２４５】
（付記事項）
なお、上述した説明では、入力数値が「５」である場合、表示データ制御部８１０は項目情報を更新する（選択画面をスクロールさせる）ことについて説明したが、選択項目を５つ設けた選択画面を、センサ内蔵液晶パネル３０１に表示させてもよい。
【０２４６】
すなわち、表示領域として第５領域ＳＤ５を設け、第５領域ＳＤ５に表示させるために、第５領域ＳＤ５に対応つけられた項目情報を記憶部９０１に記憶しておく。そして、表示データ制御部８１０は入力数値「５」を座標データカウント部８３０から取得すると、入力数値「５」に対応つけられた項目情報を読み込み、第５領域ＳＤ５が選択表示された表示画面をセンサ内蔵液晶パネル３０１に表示させる。
【０２４７】
これにより、データ表示／センサ装置１００は、選択項目が５つの選択画面をセンサ内蔵液晶パネル３０１に表示することができる。
【０２４８】
さらに、上述のように、選択項目が５つの選択画面をセンサ内蔵液晶パネル３０１に表示した場合、ユーザが入力数値を確定するためにセンサ内蔵液晶パネル３０１にタッチしている指を全て離したあと、センサ内蔵液晶パネル３０１に確定画面を表示し、続けて、表示データ制御部８１０は、項目情報を更新（選択画面をスクロール）した選択画面をセンサ内蔵液晶パネル３０１に表示させてもよい。
【０２４９】
また、本実施の形態では、片手で数値を入力することについて説明したが、両手でデータ表示／センサ装置１００に数値を入力してもよい。つまり、入力数値は「１」〜「５」に限定されず、「６」〜「１０」であってもよいし、さらに「１０」以上であってもよい。
【０２５０】
（プログラム、コンピュータ読み取り可能な記録媒体）
また、データ表示／センサ装置１００の各ブロック、特に表示データ制御部８１０、データ取得部８２０、座標データカウント部８３０は、ハードウェアロジックによって構成してもよいし、次のようにコンピュータを用いてソフトウェアによって実現してもよい。
【０２５１】
すなわち、表示データ制御部８１０、データ取得部８２０、座標データカウント部８３０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである表示データ制御部８１０、データ取得部８２０、座標データカウント部８３０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記表示データ制御部８１０、データ取得部８２０、座標データカウント部８３０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２５２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２５３】
また、表示データ制御部８１０、データ取得部８２０、および座標データカウント部８３０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２５４】
本発明は、数値入力を行う装置に適用でき、特に、ユーザに選択肢を選択させるデータ表示／センサ装置に好適に適用できる。
【図面の簡単な説明】
【０２５５】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】図９（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置に選択画面を表示している様子を表す説明図である。図９（ｂ）は、図９（ａ）に示すデータ表示／センサ装置に指を１本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｃ）は、図９（ｂ）に示すデータ表示／センサ装置に指を２本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｄ）は、図９（ｃ）に示すデータ表示／センサ装置から指を全て離した際の確定画面を表示している様子を表す説明図である。図９（e）は、図９（ａ）に示すデータ表示／センサ装置に指を５本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｆ）は、図９（ｅ）に示す選択画面を表示しているデータ表示／センサ装置に指を１本タッチした際の様子を表す説明図である。
【図１０】図１０は、本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。
【図１１】本発明の一実施形態に係るデータ表示／センサ装置の変形例の動作を説明する説明図である。
【図１２】本発明の一実施形態に係るデータ表示／センサ装置の変形例の要部構成を表すブロック図である。
【図１３】本発明の一実施形態に係るデータ表示／センサ装置の変形例の処理の流れの一部を表すフローチャートである。
【符号の説明】
【０２５６】
１００ データ表示／センサ装置（数値入力装置）
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
７００ データ処理部
８００ 主制御部
８１０ 表示データ制御部（表示データ制御手段）
８２０ データ取得部（領域検出手段、座標検出手段）
８３０ 座標データカウント部（入力数値認識手段）
８４０ 座標データ制御部（座標制御手段）
９０１ 記憶部（記憶手段）
【技術分野】
【０００１】
本発明は、画像の表示および対象物の読み取りを同時に行うことができ、特に、簡易な操作により正確に、数値入力ができる数値入力装置、数値入力方法、数値入力プログラム、およびコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
近年、携帯電話および携帯型ゲーム機器をはじめとする携帯型情報端末において、画像を表示する表示部を備えている機器が増加している。これらの機器では、表示部が、画像を表示する機能に加えて、ユーザが指などでポインティング（タッチ）した位置を検出することが可能な、いわゆるタッチパネル機能を有していることが多い。
【０００３】
これらの機器では、ユーザが指などで、タッチパネルにタッチすることにより、ユーザが所望する画像を表示部に表示させることができる。
【０００４】
そして、表示部に表示されている複数の項目を選択する場合、所望の選択項目が表示されている箇所をユーザが指でタッチしたり、表示されている所望の選択項目を選択するための数値を入力する方法が一般的に使用されている。
【０００５】
また、特許文献１には、タッチパネルをタッチする指の本数に基づいて、ページめくりするページ数を変更することが可能な画像表示装置が開示されている。
【０００６】
特許文献１の画像表示装置では、タッチパネル上で、複数の指が接触している領域内の座標の最大値と、最小値との差の値を、指の本数と対応付けて設定しておく。そして、認識した指の本数に応じて、ページめくりするページ数が変更される。
【特許文献１】特開平８−７６９２６号公報（公開日：平成８年３月２２日）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の画像表示装置は、タッチパネルに接触する複数の指の本数を認識するのではなく、接触領域の大きさから、指の本数を推定するため、入力数値を正確に判定できない。つまり、指の大きさ、接触する複数の指の間隔など、ユーザによって、まちまちであるので、入力数値の正確さに欠けるという問題が生じる。
【０００８】
また、表示されている複数の選択項目のうち、所望する選択項目を選択する場合、表示部のうち、所望する選択項目が表示されている箇所を直接タッチする従来の方法では、ユーザは頻繁に指を移動させる必要があり、特に画面が大きくなった場合などに、操作性が悪いという問題がある。
【０００９】
さらに、所望する選択項目を選択するために、直接数値を入力する方法では、数値の入力が手間であり、この方法も操作性が悪いという問題がある。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、正確にかつ、容易に数値の入力ができる数値入力装置、数値入力方法、数値入力プログラム、およびコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の数値入力装置は、上記課題を解決するために、近傍の像を検知する面状部材と、上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出手段と、上記領域検出手段が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識手段とを備えることを特徴とする。
【００１２】
また、本発明の数値入力方法は、上記課題を解決するために、近傍の像を検知する面状部材を備えた数値入力装置の数値入力方法において、上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出ステップと、上記領域検出ステップで検出された上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識ステップとを含むことを特徴とする。
【００１３】
上記構成により、上記領域検出手段は、上記面状部材が検知した対象物の像を検出する。そして、上記入力数値認識手段は、上記領域検出手段が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する。
【００１４】
すなわち、入力数値認識手段は、対象物の個数に対応して入力数値を認識することができるので、例えば、タッチパッドなどに接触する対象物の大きさによって入力数値を認識する場合などと比較して、正確に入力数値を認識することができる。
【００１５】
また、上記入力数値認識手段が認識する入力数値を変更する場合、上記面状部材に近接する対象物の個数を変更すればよいだけなので、数値の入力及び入力数値の変更が容易である。
【００１６】
このように、上記構成によると、正確にかつ、容易に数値の入力ができる数値入力装置を提供することができる。
【００１７】
本発明の数値入力装置の上記面状部材は、さらに画像を表示するものであり、ユーザが選択可能な複数の選択項目を備える画像を、上記面状部材に表示させる表示データ制御手段を備え、上記表示データ制御手段は、上記複数の選択項目のうち、上記入力数値認識手段が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、上記面状部材に表示させることが好ましい。
【００１８】
上記構成によると、上記面状部材に表示されている複数の選択項目のうち、ユーザが所望する選択項目を選択するには、該所望の選択項目に対応付けられている個数分の対象物を、上記面状部材に近接させればよい。
【００１９】
これにより、上記入力数値認識手段は、ユーザが上記面状部材に近接させた上記対象部材の個数を入力数値として認識する。そして、上記表示データ制御手段は、上記入力数値認識手段が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、上記面状部材に表示させることができる。
【００２０】
つまり、上記数値入力装置は、ユーザが所望する選択項目を選択表示することができる。
【００２１】
このように、上記構成によると、正確で容易に数値入力ができるので、表示されている複数の選択項目のうち、所望する選択項目を正確に選択でき、かつ選択する選択項目の変更を容易に行うことができる。
【００２２】
本発明の数値入力装置の上記領域検出手段は、所定のタイミングで、上記領域を検出しており、上記入力数値認識手段が認識した順に上記入力数値を記憶する記憶手段を備え、上記表示データ制御手段は、上記領域検出手段が上記領域を検出しなかったときに、上記記憶手段記憶された最新の入力数値を取得し、該取得した入力数値に対応付けられている選択項目の機能を実行することが好ましい。
【００２３】
上記構成によると、上記選択項目の機能を実行するために、ユーザが、本発明の数値入力装置に数値を入力するには、上記選択項目に対応付けられている入力数値と同じ個数分の対象物を上記面状部材に近接させ、該近接させた対象物の像を上記面状部材が検出できなくなる距離まで、上記対象物を離せばよい。
【００２４】
これにより、上記記憶手段には、上記最新の入力数値が記憶される。そして、上記表示データ制御手段は、上記領域検出手段が上記領域を検出しなかったときに、上記記憶手段記憶された上記最新の入力数値を取得する。これにより、上記表示データ制御手段は、上記取得した入力数値に対応付けられている選択項目の機能を実行することができる。
【００２５】
上記構成によると、正確で容易に数値入力ができるので、入力数値に対応付けられている選択項目の機能を正確で容易に実行することができる。
【００２６】
本発明の数値入力装置は、上記領域検出手段が検出する領域内の代表座標を検出する座標検出手段と、上記領域が移動したときの代表座標の移動量および移動方向を算出し、当該移動量および移動方向を上記表示データ制御手段に出力する座標制御手段とを備え、上記表示データ制御手段は、上記座標制御手段から出力される代表座標の移動量および移動方向に基づいて、上記選択項目を移動させることが好ましい。
【００２７】
上記構成によると、ユーザは、上記選択項目を移動させる場合、上記面状部材に近接させている対象物を、上記面状部材と平行に移動させる。
【００２８】
これにより、上記座標制御手段は、上記座標検出手段が検出する上記代表座標の移動量および移動方向を算出する。そして、表示データ制御手段は、上記座標制御手段から上記代表座標の移動量および移動方向に基づいて、上記選択項目を移動させる。
【００２９】
このように上記構成によると、上記面状部材に表示されている選択項目を、上記対象物の移動に伴って、移動させることができる。
【００３０】
このため、選択項目の移動が容易な数値入力装置を提供することができる。
【００３１】
また、本発明に係る数値入力装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。
【発明の効果】
【００３２】
本発明の数値入力装置は、近傍の像を検知する面状部材と、上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出手段と、上記領域検出手段が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識手段とを備える。
【００３３】
また、本発明の数値入力方法は、近傍の像を検知する面状部材を備えた数値入力装置の数値入力方法において、上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出ステップと、上記領域検出ステップで検出された上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識ステップとを含む。
【００３４】
これにより、正確にかつ、容易に数値の入力ができるという効果を奏する。
【発明を実施するための最良の形態】
【００３５】
本実施の一形態について図１〜図１３に基づいて説明すると以下の通りである。
【００３６】
本実施の形態に係るデータ表示／センサ装置１００（数値入力装置）は、近傍の像を検知するセンサ内蔵液晶パネル３０１（面状部材）と、センサ内蔵液晶パネル３０１が検知した指（対象物）の像に基づいて、センサ内蔵液晶パネル３０１上における指の像の領域を検出するデータ取得部８２０（領域検出手段）と、データ取得部８２０が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する座標データカウント部８３０（入力数値認識手段）とを備える装置である。
【００３７】
まず、以下で、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００３８】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００３９】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００４０】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００４１】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４２】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００４３】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４４】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４５】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００４６】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００４７】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００４８】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００４９】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００５０】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００５１】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５２】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５３】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００５４】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５５】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００５６】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００５７】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００５８】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００５９】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００６０】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００６１】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６２】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６３】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００６４】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６５】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００６６】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００６７】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００６８】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００６９】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７０】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００７１】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７２】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００７３】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００７４】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００７５】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００７６】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００７７】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００７８】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００７９】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００８０】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００８１】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８２】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８３】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００８４】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００８５】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００８６】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００８７】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００８８】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００８９】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００９０】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００９１】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９２】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００９３】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００９４】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００９５】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【００９６】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９７】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９８】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９９】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１００】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１０１】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１０２】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１０３】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１０４】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１０５】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１０６】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１０７】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１０８】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１０９】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１１０】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１１１】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１１２】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１１３】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１１４】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１１５】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１１６】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１１７】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１１８】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１１９】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１２０】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１２１】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１２２】
（データ表示／センサ装置の動作説明）
次に、図９（ａ）〜（ｆ）を参照しながら、データ表示／センサ装置１００が、選択画面の表示及び確定動作を行う処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。
【０１２３】
また、ここでは、データ表示／センサ装置１００に設けられている表示／光センサ部３００は、第１表示／光センサ部３００Ａ、または第２表示／光センサ部３００Ｂの何れに表示させてもよい。このため、図９（ａ）〜（ｆ）、及び以下の説明では、データ表示／センサ装置１００として１つの表示／光センサ部３００のみを用いて説明する。さらに、データ表示／センサ装置１００として１つの表示／光センサ部３００からなっていてもよい。この場合、ヒンジ部スイッチ９０４は省略することができる。
【０１２４】
そして、ユーザは片手（５本指）でデータ表示／センサ装置１００を操作する場合について説明する。
【０１２５】
（選択画面の表示及び確定動作）
図９（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置１００に選択画面を表示している様子を表す説明図である。図９（ｂ）は、図９（ａ）に示すデータ表示／センサ装置１００に指を１本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｃ）は、図９（ｂ）に示すデータ表示／センサ装置１００に指を２本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｄ）は、図９（ｃ）に示すデータ表示／センサ装置１００から指を全て離した際の確定画面を表示している様子を表す説明図である。図９（e）は、図９（ａ）に示すデータ表示／センサ装置１００に指を５本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｆ）は、図９（ｅ）に示す選択画面を表示しているデータ表示／センサ装置１００に指を１本タッチした際の様子を表す説明図である。
【０１２６】
図９（ａ）に示すように、センサ内蔵液晶パネル３０１は、ユーザに選択させるための項目に分かれた選択項目を含む選択画面（画像）を表示する。本実施の形態では、この選択画面は、選択項目として４つの表示領域（第１領域ＳＤ１〜第４領域ＳＤ４）が縦に並んで配置されており、それぞれの領域に、ユーザに選択させるための項目情報を表示している。
【０１２７】
ここでは、第１領域ＳＤ１に項目情報として”confidential”、第２領域ＳＤ２に項目情報として”delimit”、第３領域に項目情報として”strike”、第４領域に項目情報として”struck”と表示している。なお、この第１領域〜第４領域の配置の仕方は、任意に設定すればよい。
【０１２８】
次に、図９（ｂ）に示すように、ユーザは、第１領域ＳＤ１〜第４領域ＳＤ４のうち、選択したい項目情報が表示されている表示領域を選択するために、１〜４本の指（対象物）をセンサ内蔵液晶パネル３０１にタッチする。
【０１２９】
ここで、指は、センサ内蔵液晶パネル３０１と完全に接触させる必要はなく、センサ内蔵液晶パネル３０１が指の像を明確に検出できる程度に、センサ内蔵液晶パネル３０１と接触させればよい。
【０１３０】
すると、データ表示／センサ装置１００は、ユーザがセンサ内蔵液晶パネル３０１上にタッチした指の本数（すなわち、データ取得部８２０が取得する座標データ（代表座標）の個数）を入力数値と認識する。そして、データ表示／センサ装置１００は、第１領域ＳＤ１〜第４領域ＳＤ４のうち、入力数値に対応付けられている表示領域の表示を、例えば、文字の色と、背景色とが反転するなど、選択されていることがユーザに分かるような表示（選択表示）に切り替えた選択画面をセンサ内蔵液晶パネル３０１に表示する。
【０１３１】
ここでは、ユーザは、第１領域ＳＤ１に表示されている”confidential”を選択するために、１本の指をセンサ内蔵液晶パネル３０１上にタッチする。すると、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上の１本の指のタッチを検出することにより、入力数値は「１」であると認識する。そして、データ表示／センサ装置１００は、入力数値「１」に対応付けられている第１領域ＳＤ１を選択表示した選択画面を、センサ内蔵液晶パネル３０１Ｂに表示させる。
【０１３２】
このように、データ表示／センサ装置１００は、ユーザがセンサ内蔵液晶パネル３０１にタッチした指の本数を入力数値として認識し、該認識した入力数値に対応付けられている表示領域を選択表示した選択画面を、センサ内蔵液晶パネル３０１に表示することができる。
【０１３３】
ここで、ユーザは、第１領域ＳＤ１を選択するために、１本の指をセンサ内蔵液晶パネル３０１にタッチすればよく、センサ内蔵液晶パネル３０１のどの位置に指をタッチしてもよい。すなわち、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１内であれば、どの位置にユーザが指をタッチしたとしても、該タッチした指の本数を入力数値として認識することが可能である。
【０１３４】
また、図９（ｃ）に示すように、ユーザは、１度選択した表示領域を確定せず、別の表示領域を選択したい場合、センサ内蔵液晶パネル３０１にタッチしている指を離さず、別の指をセンサ内蔵液晶パネル３０１上にタッチすることにより、別の表示領域を選択することが可能である。
【０１３５】
例えば、ユーザは、第２領域ＳＤ２に表示されている”delimit”を選択するために、図９（ｃ）でセンサ内蔵液晶パネル３０１にタッチした指を離さず、２本目の指をセンサ内蔵液晶パネル３０１にタッチする。
【０１３６】
すると、データ表示／センサ装置１００は、入力数値は「２」であると認識し、入力数値「２」に対応付けられている第２領域ＳＤ２を選択表示させた選択画面をセンサ内蔵液晶パネル３０１に表示させる。
【０１３７】
つまり、ユーザは、センサ内蔵液晶パネル３０１上にタッチしている指を全て離すまでは、任意に、センサ内蔵液晶パネル３０１にタッチする指の本数を増減することにより、センサ内蔵液晶パネル３０１に表示されている所望の表示領域を選択表示に変更することができる。
【０１３８】
そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチしている指が全て離れたと認識するまで、任意に増減される指の本数を入力数値と認識し、該認識した入力数値に対応付けられている表示領域を選択表示した選択画面をセンサ内蔵液晶パネル３０１に表示させる。
【０１３９】
そして、ユーザは、選択表示されている表示領域を確定したい場合、センサ内蔵液晶パネル３０１にタッチしている指を全て、センサ内蔵液晶パネル３０１から離す。これにより、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチしている指が全て離れたと認識し、確定動作（後述する）を行う。
【０１４０】
例えば、図９（ｄ）に示すように、ユーザは、図９（ｃ）で選択した、第２領域に表示されている”delimit”を確定したい場合、センサ内蔵液晶パネル３０１にタッチしている２本の指を離す。
【０１４１】
これにより、表示データ制御部８１０は、センサ内蔵液晶パネル３０１からユーザの指が離れたと認識し、確定動作を行う。ここでは、確定動作として、表示データ制御部８１０は、第２領域を、例えば一定時間点滅させる表示する確定画面をセンサ内蔵液晶パネル３０１に表示させる。
【０１４２】
これにより、ユーザは、第２領域の”delimit”が確定されたことを認識することができる。
【０１４３】
（選択画面スクロール）
次に、センサ内蔵液晶パネル３０１に表示されている選択画面をスクロールさせて、第１領域ＳＤ１〜第４領域ＳＤ４に表示されている項目情報を１画面分、変更する場合について説明する。
【０１４４】
ユーザは、図９（ｅ）で示すように、第１領域ＳＤ１〜第４領域ＳＤ４のそれぞれの項目情報を変更したい場合、センサ内蔵液晶パネル３０１に５本の指をタッチし、該タッチした５本の指をセンサ内蔵液晶パネル３０１から全て離す。
【０１４５】
これにより、データ表示／センサ装置１００は、入力数値「５」が入力および確定されたことを認識し、記憶部９０１を参照し、センサ内蔵液晶パネル３０１に、第１領域ＳＤ１〜第４領域ＳＤ４それぞれの項目情報を更新した選択画面を表示させる。
【０１４６】
続いて、図９（ａ）〜（ｄ）で説明したように、ユーザは、更新された選択画面が表示されているセンサ内蔵液晶パネル３０１をタッチする。これにより、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチされた指の本数を入力数値と認識し、該認識した入力数値に対応付けられた表示領域を選択表示した選択画面をセンサ内蔵液晶パネル３０１に表示させる。また、ユーザは、センサ内蔵液晶パネル３０１にタッチしている全ての指をセンサ内蔵液晶パネル３０１から離す。これにより、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチしている指が全て離れたと認識し、確定動作を行う。
【０１４７】
例えば、図９（ｆ）に示すように、ユーザは、センサ内蔵液晶パネル３０１に１本の指を接触させることにより、データ表示／センサ装置１００は、入力数値「１」を認識し、更新された選択画面の項目情報”annotate”が表示されている第１領域ＳＤ１を選択表示した表示画面をセンサ内蔵液晶パネル３０１に表示させることができる。
【０１４８】
そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチしている１本の指が離れたと認識することにより、選択表示している第１領域ＳＤ１が一定時間点滅する確定画面をセンサ内蔵液晶パネル３０１に表示させる。
【０１４９】
なお、ここでは、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１への５本指の接触、確定を検出した場合、項目情報が１画面分スクロールする場合について説明したが、項目情報がスクロールする量は任意に設定すればよい。
【０１５０】
例えば、表示データ制御部８１０は、センサ内蔵液晶パネル３０１への５本指の接触および確定を検出するたびに、すなわち、入力数値「５」の入力及び確定を認識するたびに、例えば第１領域ＳＤ１に”delimit”、第２領域ＳＤ２に”strike”、第３領域ＳＤ３に”struck”、第４領域ＳＤ４に”annotate”と表示する選択画面をセンサ内蔵液晶パネル３０１に表示させるなど、項目情報と、表示領域とを１つづつずらしていってもよい。
【０１５１】
（データ表示／センサ装置の要部説明）
次に、図１を参照しながら、データ表示／センサ装置１００の詳細な説明を行う。
【０１５２】
図１は、データ表示／センサ装置１００の要部構成を表すブロック図である。
【０１５３】
図１に示すように、主制御部８００は、表示データ制御部（表示データ制御手段）８１０と、データ取得部（領域検出手段、座標検出手段）８２０と、座標データカウント部（入力数値認識手段）８３０とを備える。
【０１５４】
表示データ制御部８１０は、ユーザの操作や、座標データカウント部８３０や、後述する座標データ制御部（座標データ制御手段）８４０（図１には不図示）から入力される情報に対応付けられている情報を記憶部９０１から読み込み、該読み込んだ情報を含めた選択画面や、確定画面をセンサ内蔵液晶パネル３０１に表示させるものである。
【０１５５】
データ取得部８２０は、所定のタイミングで、センサ内蔵液晶パネル３０１に近接する指の像の領域や、座標データ（代表座標）を検出している。
【０１５６】
座標データカウント部８３０は、データ取得部８２０が検出した指の像の領域や座標データの個数をカウントし、該カウントした指の像の領域や座標データの個数をユーザに入力された入力数値と認識するものである。
【０１５７】
また、記憶部９３０は、座標データカウント部８３０が認識した順に上記入力数値を記憶する。
【０１５８】
表示データ制御部８１０は、ユーザが選択可能な複数の選択項目を備える画像を、センサ内蔵液晶パネル３０１（図１には不図示）に表示させる。
【０１５９】
また、表示データ制御部８１０は、上記複数の選択項目のうち、座標データカウント部８３０が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、センサ内蔵液晶パネル３０１に表示させる。
【０１６０】
このため、ユーザが、センサ内蔵液晶パネル３０１に表示されている複数の選択項目のうち、所望の選択項目を選択するには、該所望の選択項目に対応付けられている本数分の指を、センサ内蔵液晶パネル３０１に近接させればよい。
【０１６１】
これにより、座標データカウント部８３０は、ユーザがセンサ内蔵液晶パネル３０１に近接させた指の本数を入力数値として認識する。そして、表示データ制御部８１０は、座標データカウント部８３０が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、センサ内蔵液晶パネル３０１に表示させることができる。
【０１６２】
このように、上記構成によると、正確で容易に数値入力ができるので、表示されている複数の選択項目のうち、所望する選択項目を正確に選択でき、かつ選択する選択項目の変更を容易に行うことができる。
【０１６３】
そして、表示データ制御部８１０は、データ取得部８２０がセンサ内蔵液晶パネル３０１上における像の領域または座標データを検出（取得）しなかったときに、記憶部９３０に記憶された最新の入力数値を取得し、該取得した入力数値に対応付けられている選択項目の機能を実行する。
【０１６４】
このように、選択項目の機能を実行するために、ユーザが数値を入力するには、上記選択項目に対応付けられている入力数値と同じ本数分の指をセンサ内蔵液晶パネル３０１に近接させ、該近接させた指の像をセンサ内蔵液晶パネル３０１が検出できなくなる距離まで、指を離せばよい。
【０１６５】
これにより、記憶部９３０には、上記最新の入力数値が記憶される。そして、表示データ制御部８１０は、データ取得部８２０が上記領域を検出しなかったときに、記憶部９３０に記憶された上記最新の入力数値を取得する。これにより、表示データ制御部８１０は、上記取得した入力数値に対応付けられている選択項目の機能を実行することができる。
【０１６６】
ここで、入力数値に対応付けられている選択項目の機能の実行（確定動作）とは、入力数値に対応付けられている選択項目（表示領域）を確定表示することである。確定表示とは、ユーザが確定されたことを認識できるような表示であればよく、例えば、確定した表示領域を一定時間点滅させるなどである。
【０１６７】
また、確定動作として、表示データ制御部８１０は、上述したように、センサ内蔵液晶パネル３０１に確定表示させるとともに、記憶部９０１から、所定のアプリケーションの機能を読み込み、その結果を表す表示画面をセンサ内蔵液晶パネル３０１に表示させるために、表示データを生成し、該生成した表示データをデータ処理部７００に出力してもよい。
【０１６８】
例えば、センサ内蔵液晶パネル３０１に表示されている選択画面が、クイズなどの答えを選択するための選択画面である場合、ユーザが確定した表示領域の項目情報の内容に対応付けて、正誤判定を示す表示画面をセンサ内蔵液晶パネル３０１に表示させるなどである。
【０１６９】
座標データカウント部８３０は、データ取得部８２０から全体画像データおよび座標データ（または指の像の領域）を取得すると、該取得した座標データ（または指の像の領域）の個数をカウントし、カウントした座標データ（または指の像の領域）の個数を入力数値と認識する。そして、座標データカウント部８３０は、認識した入力数値を表示データ制御部８１０に通知すると共に、記憶部９０１に一次的に記憶する。
【０１７０】
また、座標データカウント部８３０は、データ取得部８２０から出力される座標データ（または指の像の領域）の有無により、ユーザがセンサ内蔵液晶パネル３０１にタッチしていた指を全て離したか否かを判定するものである。
【０１７１】
すなわち、座標データカウント部８３０は、データ取得部８２０から全体画像データのみを取得することにより、ユーザがセンサ内蔵液晶パネル３０１にタッチしていた指を全て離したと認識する。そして、座標データカウント部８３０は、ユーザの指がセンサ内蔵液晶パネル３０１から全て離れたと認識すると、入力数値を確定するために、確定情報を表示データ制御部８１０及び記憶部９０１に出力する。
【０１７２】
ここで、確定情報は、たとえば、座標データをカウントすることができなかったことを表すエラー情報であってもよいし、入力数値「０（ゼロ）」としてもよい。
【０１７３】
また、記憶部９０１は、座標データカウント部８３０から出力される入力数値を、座標データカウント部８３０から出力されてきた順番と対応付けて記憶する。また、入力数値と各表示領域とを対応付けて記憶しており、さらに、各表示領域と、各表示領域に表示させるための項目情報とを対応付けて記憶している。
【０１７４】
（フローチャート説明）
次に、図９（ａ）〜（ｆ）、図１０を参照しながら、データ表示／センサ装置１００の処理の流れと、主制御部８００からデータ処理部７００に送信されるコマンドの詳細とについて説明する。
【０１７５】
図１０は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。
【０１７６】
まず、データ表示／センサ装置１００の電源がオフの状態にあるとき、ユーザが電源スイッチ９０５を押下することにより、データ表示／センサ装置１００は電源をオンにする（ステップＳ１１）。
【０１７７】
そして、表示データ制御部８１０は、ユーザの操作（例えばユーザスイッチ９０５を押下するなど）を検出することにより、記憶部９０１を参照し、ユーザが選択可能な複数の選択項目（表示領域）を含む選択画面をセンサ内蔵液晶パネル３０１に表示するための表示データを生成し、該生成した表示データをデータ処理部７００に出力する。
【０１７８】
ここでは、表示データ制御部８１０は、記憶部９０１から、表示領域としての第１領域ＳＤ１〜第４領域ＳＤ４のセンサ内蔵液晶パネル３０１での配置位置や、各表示領域に対応付けられた各表示領域に表示させる情報（項目情報）を読み込む、第１領域ＳＤ１の項目情報”confidential”、第２領域ＳＤ２の項目情報”delimit”、第３領域ＳＤ３の項目情報”strike”、第４領域ＳＤ４の項目情報”struck”を読み込む。そして、表示データ制御部８１０は、これらを含む選択画面をセンサ内蔵液晶パネル３０１に表示させるため表示データを生成し、該生成した表示データをデータ処理部７００に出力する。
【０１７９】
併せて、表示データ制御部８１０は、選択画面を第１表示／光センサ部３００Ａに表示させる場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。また、表示データ制御部８１０は、選択画面を第２表示／光センサ部３００Ｂに表示させる場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。
【０１８０】
これにより、図９（ａ）に示すように、表示データ制御部８１０は、センサ内蔵液晶パネル３０１に選択画面を表示させる（ステップＳ１２）。
【０１８１】
なお、表示データ制御部８１０は、電源スイッチ９０５の押下を検出することにより、選択画面をセンサ内蔵液晶パネル３０１に表示させてもよい。
【０１８２】
また、ここで、上画面（図９（a）には不図示）にユーザに対して選択画面に表示されている項目情報を選択するように促すためのメッセージを、センサ内蔵液晶パネル３０１のうち選択画面が表示されていない側のセンサ内蔵液晶パネル３０１に表示してもよい。
【０１８３】
この場合、表示データ制御部８１０は、項目情報を選択するように促すためのメッセージを、センサ内蔵液晶パネル３０１に表示させるための表示データを生成し、該生成した表示データをデータ処理部７００に出力する。
【０１８４】
併せて、表示データ制御部８１０は、選択画面が第１表示／光センサ部３００Ａに表示されている場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。また、表示データ制御部８１０は、選択画面が第２表示／光センサ部３００Ｂに表示されている場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。
【０１８５】
そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１への指のタッチを検出するまで待機する（ステップＳ１３、ステップＳ１３のＮＯ）。
【０１８６】
上記検出を行うために、表示データ制御部８１０は、選択画面をセンサ内蔵液晶パネル３０１に表示させるための表示データを、データ処理部７００に出力したとき、併せて、「データ取得タイミング」フィールドに、”イベント”を指定し、「データ種別」フィールドに”座標”および”全体画像”の両方を指定（”101”を指定）したコマンドをデータ処理部７００に出力する。
【０１８７】
これにより、センサ内蔵液晶パネル３０１にタッチされる指の本数に変更があった場合に、データ取得部８２０は、データ処理部７００から座標データおよび全体画像データを取得することができる。
【０１８８】
具体的には、図９（ｂ）に示すように、ユーザが指をセンサ内蔵液晶パネル３０１にタッチしたとき、光センサ回路３２が、タッチした指の影像および反射像の少なくとも何れかを検知するので、その結果、データ処理部７００が、センサ制御部６０２から取得する画像データに変化が生じる。
【０１８９】
そして、データ取得部８２０は、上記画像データに変化が生じた際にデータ処理部７００から出力されてくる、座標データおよび全体画像データを取得することにより、指がセンサ内蔵液晶パネル３０１にタッチしたことを検出する（ステップＳ１３のＹＥＳ）。
【０１９０】
そして、データ取得部８２０は、センサ内蔵液晶パネル３０１へ指のタッチを検出すると、データ処理部７００から取得した座標データ及び全体画像データを座標データカウント部８３０に出力する。
【０１９１】
座標データカウント部８３０は、データ取得部８２０から出力される座標データの個数をカウントし（ステップＳ１４）、カウントした座標データの個数を入力数値と認識する（ステップＳ１５）。そして、座標データカウント部８３０は、認識した入力数値を表示データ制御部８１０に通知すると共に、記憶部９０１に一次的に記憶する。
【０１９２】
例えば、図９（ｂ）では、１本の指がセンサ内蔵液晶パネル３０１とタッチしているので、座標データカウント部８３０が、データ取得部８２０から取得する座標データの個数は１である。このため、図９（ｂ）の場合、座標データカウント部８３０は、入力数値「１」と認識する。
【０１９３】
また、図９（ｃ）では、２本の指がセンサ内蔵液晶パネル３０１とタッチしているので、座標データカウント部８３０が、データ取得部８２０から取得する座標データの個数は２である。このため、図９（ｃ）の場合、座標データカウント部８３０は、入力数値「２」と認識する。
【０１９４】
さらに、座標データカウント部８３０は、データ取得部８２０から出力される座標データの有無により、ユーザがセンサ内蔵液晶パネル３０１にタッチしていた指を全て離したか否かを判定する（ステップＳ１６）。ステップＳ１６のＹＥＳの処理については後述する。
【０１９５】
そして、座標データカウント部８３０は、ユーザがセンサ内蔵液晶パネル３０１にタッチしていた指を全て離していないと判定した場合（ステップＳ１６でＮＯ）、表示データ制御部８１０は、座標データカウント部８３０から出力される入力数値を取得する。
【０１９６】
そして、表示データ制御部８１０は、記憶部９０１を参照し、入力数値に対応付けられている表示領域を特定し（ステップＳ１７）、特定した表示領域を選択表示した選択画面を、センサ内蔵液晶パネル３０１に表示させるための表示データを生成する。
【０１９７】
そして、表示データ制御部８１０は、上記生成した表示データをデータ処理部７００に出力する。
【０１９８】
併せて、表示データ制御部８１０は、選択画面を第１表示／光センサ部３００Ａに表示させる場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。または、表示データ制御部８１０は、選択画面を第２表示／光センサ部３００Ｂに表示させる場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。
【０１９９】
これにより、センサ内蔵液晶パネル３０１は、入力数値に対応付けられている表示領域を選択表示した選択画面を表示する（ステップＳ１８）。
【０２００】
例えば、センサ内蔵液晶パネル３０１は、図９（ｂ）に示すように、入力数値「１」に対応付けられている第１領域ＳＤ１を選択状態にした選択画面を表示したり、図９（ｃ）に示すように、入力数値「２」対応付けられている第２領域ＳＤ２を選択状態にした選択画面を表示したりする。
【０２０１】
そして、ステップＳ１６で、座標データカウント部８３０が、ユーザがセンサ内蔵液晶パネル３０１にタッチしている指を全て離した（ステップＳ１６のＹＥＳ）と認識するまで、つまり、座標データカウント部８３０が、データ取得部８２０から、全体画像データのみを取得するまで、上述したステップＳ１４〜ステップＳ１８の処理を繰り返す。
【０２０２】
次に、ステップＳ１６のＹＥＳの処理について説明する。
【０２０３】
図９（ｄ）に示すように、ユーザがセンサ内蔵液晶パネル３０１にタッチしている指を全て離した場合、データ取得部８２０は、データ処理部７００から全体画像データのみを取得し、座標データは取得（検出）しない。そして、データ取得部８２０は、データ処理部７００から取得した全体座標データのみを座標データカウント部８３０に出力する。座標データカウント部８３０は、データ取得部８２０から全体画像データのみを取得する。
【０２０４】
これにより、座標データカウント部８３０は、センサ内蔵液晶パネル３０１にタッチしている指の本数に変化があったことを認識する。しかし、座標データカウント部８３０は、データ取得部８２０から座標データを取得しないので、座標データの個数をカウントしない。
【０２０５】
つまり、座標データカウント部８３０は、データ取得部８２０から全体画像データのみを取得することにより、ユーザがセンサ内蔵液晶パネル３０１にタッチしていた指を全て離したと認識する（ステップＳ１５のＹＥＳ）ことができる。
【０２０６】
座標データカウント部８３０は、ユーザの指がセンサ内蔵液晶パネル３０１から全て離れたと認識すると、入力数値を確定するために、確定情報を表示データ制御部８１０及び記憶部９０１に出力する。
【０２０７】
表示データ制御部８１０は、座標データカウント部８３０から確定情報を取得すると、記憶部９０１から、記憶された確定情報の一つ前に記憶された入力数値を取得する。そして、表示データ制御部８１０は、取得した入力数値を確定する入力数値（確定入力数値）として認識する。そして、表示データ制御部８１０は、入力数値を確定する（ステップＳ１９）。
【０２０８】
次に、表示データ制御部８１０は、ステップＳ１９で確定した入力数値が「５」であるか否かを判定する（ステップＳ２０）。
【０２０９】
そして、表示データ制御部８１０は、確定した入力数値が「５」ではない（すなわち「１」〜「４」である）と判定した場合（ステップＳ２０のＮＯ）、表示データ制御部８１０は、記憶部９０１を参照し、確定した入力数値に対応付けられている確定動作を読み込み、該読み込んだ確定動作に基づいて、センサ内蔵液晶パネル３０１に確定した表示画面である確定画面を表示させるための表示データを生成する。そして、生成した表示データをデータ処理部７００に出力する。
【０２１０】
併せて、表示データ制御部８１０は、確定した表示画面を第１表示／光センサ部３００Ａに表示させる場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。または、表示データ制御部８１０は、確定した表示画面を第２表示／光センサ部３００Ｂに表示させる場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。
【０２１１】
これにより、センサ内蔵液晶パネル３０１は、確定した入力数値に対応付けられている表示画面である確定画面を表示する（ステップＳ２１）。
【０２１２】
（スクロール）
また、図９（ｅ）に示すように、センサ内蔵液晶パネル３０１にタッチしている指の本数が５本である場合、つまり、表示データ制御部８１０は、確定した入力数値が「５」であると判定した場合（ステップＳ２０のＹＥＳ）、表示データ制御部８１０は、表示領域（第１領域ＳＤ１〜第４領域ＳＤ４）に表示されている項目情報を更新した選択画面を、センサ内蔵液晶パネル３０１に表示させる。
【０２１３】
すなわち、表示データ制御部８１０は、確定した入力数値が「５」であると判定した場合、記憶部９１０を参照し、各表示領域に対応付けられている項目情報を更新する（ステップS２２）。
【０２１４】
ここでは、表示データ制御部８１０は、記憶部９１０を参照し、第１領域ＳＤ１に”annotate”、第２領域に”advise”、第３領域ＳＤ３に”deceive”、第４領域ＳＤ４に”identify”と表示する選択画面をセンサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、該生成した表示データを、表示データ制御部８１０は、データ処理部７００に出力する。
【０２１５】
併せて、表示データ制御部８１０は、選択画面を第１表示／光センサ部３００Ａに表示させる場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。または、表示データ制御部８１０は、選択画面を第２表示／光センサ部３００Ｂに表示させる場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。
【０２１６】
これにより、センサ内蔵液晶パネル３０１は、第１領域ＳＤ１〜第４領域ＳＤ４それぞれの項目情報を更新した選択画面を表示する（ステップＳ２３）。
【０２１７】
その後、ステップＳ１４の処理に戻る。
【０２１８】
これにより、ユーザは、更新された選択画面から、所望の項目情報が表示された表示領域の選択、確定を行うことができる。
【０２１９】
例えば、図９（ｆ）に示すように、ユーザは、センサ内蔵液晶パネル３０１に１本の指を接触させることにより、表示データ制御部８１０は、入力数値「１」を認識し、更新された選択画面の第１領域ＳＤ１に表示されている項目情報”annotate”を選択することができる。
【０２２０】
（変形例）
次に、図１１〜図１２を用い、変形例について説明する。
【０２２１】
データ表示／センサ装置１００は、ユーザが、センサ内蔵液晶パネル３０１にタッチさせている指の移動に合せて、選択表示されている表示領域の情報を移動させる構成としてもよい。
【０２２２】
図１１に示すように、センサ内蔵液晶パネル３０１は、例えば画面の右下に第１領域ＳＤ１〜第４領域ＳＤ４を表示し、さらに、第１領域ＳＤ１〜第４領域ＳＤ４とは異なる領域に、特定のアプリケーションを動作させるための領域であるアプリケーション領域Ｐを表示している。
【０２２３】
そして、ユーザは、センサ内蔵液晶パネル３０１にタッチしている指を矢印ＳＭ１の方向に移動する。すると、データ表示／センサ装置１００は、選択表示している表示領域（ここでは第１領域ＳＤ１）を、矢印ＳＭ１の方向に合せて矢印ＳＭ２の方向に移動する。
【０２２４】
次に、第１領域ＳＤ１がアプリケーション領域Ｐまで移動すると、ユーザは、センサ内蔵液晶パネル３０１にタッチしている指を全て、センサ内蔵液晶パネル３０１から離す。これにより、データ表示／センサ装置１００は、確定画面を表示し、アプリケーション領域Ｐに対応付けられているアプリケーションを動作する。
【０２２５】
例えば、削除機能を有するアプリケーションをアプリケーション領域Ｐに対応付けておくと、アプリケーション領域Ｐに移動した第１領域ＳＤ１は、削除される。
【０２２６】
このように、データ表示／センサ装置１００は、ユーザの指の移動に合せて、選択表示している表示領域を移動し、ユーザがセンサ内蔵液晶パネル３０１から指を離した場合、確定表示をし、特定のアプリケーションを動作させることができる。
【０２２７】
（変形例の具体的説明）
次に、図１２を用い、データ表示／センサ装置１００の変形例の具体的な構成を説明する。
【０２２８】
変形例では、主制御部８００に座標データ制御部８４０を設けている。
【０２２９】
座標データ制御部８４０は、データ取得部８２０が検出する複数の座標データから、座標データの移動量および移動方向を算出し、該算出した座標データの移動量および移動方向を表示データ制御部８１０に出力するものである。
【０２３０】
そして、表示データ制御部８１０は、座標データ制御部８４０から出力される座標データの移動量、移動方向に基づいて、選択項目を移動させる。
【０２３１】
つまり、表示データ制御部８１０は、座標データ制御８４０から出力される座標データの移動方向および移動量から、センサ内蔵液晶パネル３０１に表示させる選択項目の、センサ内蔵液晶パネル３０１内の配置位置を移動する。そして、表示データ制御部８１０は、該配置位置を移動した選択項目を備える選択画面をセンサ内蔵液晶パネル３０１に表示させる。
【０２３２】
これにより、センサ内蔵液晶パネル３０１に表示されている選択項目を、上記指の移動に伴って、移動させることができる。
【０２３３】
（変形例の処理の流れ）
次に、図１３を用い、データ表示／センサ装置１００の変形例の処理の流れについて説明する。
【０２３４】
図１３は、データ表示／センサ装置１００の変形例の処理の流れを表すフローチャートである。なお、ここでは、図１０で説明した処理と同じところの説明は省略する。
【０２３５】
まず、ステップＳ１３のＹＥＳの処理の際、データ取得部８２０は、データ処理部７００から取得した座標データ及び全体画像データを座標データカウント部８３０に出力すると共に、座標データを座標データ制御部８４０へ出力する。
【０２３６】
そして、ステップＳ１４の処理後、座標データ制御部８４０は、座標データカウント部８３０が記憶部９０１に一次記憶した入力数値を取得する。
【０２３７】
そして、座標データ制御部８４０は、記憶部９０１から入力数値を取得することにより、座標データの個数が変更されているか否かを判定する（ステップＳ３０）。
【０２３８】
次に、座標データ制御部８４０は、入力数値が変更されていると判定した場合（ステップＳ３０のＹＥＳ）、続いて、ステップＳ１６以降の処理が行われる。
【０２３９】
また、座標データ制御部８４０は、入力数値が変更されていないと判定した場合（ステップＳ３０のＮＯ）、データ取得部８２０から取得する座標データの移動量を算出し、予め決めている閾値以上であるか否かを判定する（ステップＳＳ３１）。
【０２４０】
そして、座標データ制御部８４０が算出した座標データの移動量が、予め決めている閾値未満である場合（ステップＳ３１のＮＯ）、ステップＳ１６以降の処理が行われる。
【０２４１】
また、座標データ制御部８４０は、座標データ制御部８４０が算出した座標データの移動量が、予め決められている閾値以上であると判断した場合（ステップＳ３１のＹＥＳ）、座標データの移動方向と、座標データの移動量とを表示データ制御部８１０へ出力する。その後、ステップＳ１５以降の処理が行われる。なお、上記閾値の値は、任意で設定可能である。
【０２４２】
そして、表示データ制御部８１０は、ステップＳ１８の処理の際、座標データ制御部８４０から取得した座標データの移動方向と、座標データの移動量とを基に、入力数値に対応付けられている表示領域の座標（センサ内蔵液晶パネル３０１での配置位置）を変更した選択画面を、センサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、表示データ制御部８１０は、上記生成した表示データをデータ処理部７００に出力する。
【０２４３】
併せて、表示データ制御部８１０は、選択画面を第１表示／光センサ部３００Ａに表示させる場合は、「表示パネル」フィールドの値として上画面（”001”）を指定したコマンドを、データ処理部７００に出力する。または、表示データ制御部８１０は、選択画面を第２表示／光センサ部３００Ｂに表示させる場合は、「表示パネル」フィールドの値として下画面（”010”）を指定したコマンドを、データ処理部７００に出力する。
【０２４４】
これにより、センサ内蔵液晶パネル３０１は、入力数値に対応付けられている表示領域を選択表示した選択画面を表示する（ステップＳ３２）。
【０２４５】
（付記事項）
なお、上述した説明では、入力数値が「５」である場合、表示データ制御部８１０は項目情報を更新する（選択画面をスクロールさせる）ことについて説明したが、選択項目を５つ設けた選択画面を、センサ内蔵液晶パネル３０１に表示させてもよい。
【０２４６】
すなわち、表示領域として第５領域ＳＤ５を設け、第５領域ＳＤ５に表示させるために、第５領域ＳＤ５に対応つけられた項目情報を記憶部９０１に記憶しておく。そして、表示データ制御部８１０は入力数値「５」を座標データカウント部８３０から取得すると、入力数値「５」に対応つけられた項目情報を読み込み、第５領域ＳＤ５が選択表示された表示画面をセンサ内蔵液晶パネル３０１に表示させる。
【０２４７】
これにより、データ表示／センサ装置１００は、選択項目が５つの選択画面をセンサ内蔵液晶パネル３０１に表示することができる。
【０２４８】
さらに、上述のように、選択項目が５つの選択画面をセンサ内蔵液晶パネル３０１に表示した場合、ユーザが入力数値を確定するためにセンサ内蔵液晶パネル３０１にタッチしている指を全て離したあと、センサ内蔵液晶パネル３０１に確定画面を表示し、続けて、表示データ制御部８１０は、項目情報を更新（選択画面をスクロール）した選択画面をセンサ内蔵液晶パネル３０１に表示させてもよい。
【０２４９】
また、本実施の形態では、片手で数値を入力することについて説明したが、両手でデータ表示／センサ装置１００に数値を入力してもよい。つまり、入力数値は「１」〜「５」に限定されず、「６」〜「１０」であってもよいし、さらに「１０」以上であってもよい。
【０２５０】
（プログラム、コンピュータ読み取り可能な記録媒体）
また、データ表示／センサ装置１００の各ブロック、特に表示データ制御部８１０、データ取得部８２０、座標データカウント部８３０は、ハードウェアロジックによって構成してもよいし、次のようにコンピュータを用いてソフトウェアによって実現してもよい。
【０２５１】
すなわち、表示データ制御部８１０、データ取得部８２０、座標データカウント部８３０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである表示データ制御部８１０、データ取得部８２０、座標データカウント部８３０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記表示データ制御部８１０、データ取得部８２０、座標データカウント部８３０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２５２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２５３】
また、表示データ制御部８１０、データ取得部８２０、および座標データカウント部８３０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２５４】
本発明は、数値入力を行う装置に適用でき、特に、ユーザに選択肢を選択させるデータ表示／センサ装置に好適に適用できる。
【図面の簡単な説明】
【０２５５】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】図９（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置に選択画面を表示している様子を表す説明図である。図９（ｂ）は、図９（ａ）に示すデータ表示／センサ装置に指を１本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｃ）は、図９（ｂ）に示すデータ表示／センサ装置に指を２本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｄ）は、図９（ｃ）に示すデータ表示／センサ装置から指を全て離した際の確定画面を表示している様子を表す説明図である。図９（e）は、図９（ａ）に示すデータ表示／センサ装置に指を５本タッチした際の選択画面を表示している様子を表す説明図である。図９（ｆ）は、図９（ｅ）に示す選択画面を表示しているデータ表示／センサ装置に指を１本タッチした際の様子を表す説明図である。
【図１０】図１０は、本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。
【図１１】本発明の一実施形態に係るデータ表示／センサ装置の変形例の動作を説明する説明図である。
【図１２】本発明の一実施形態に係るデータ表示／センサ装置の変形例の要部構成を表すブロック図である。
【図１３】本発明の一実施形態に係るデータ表示／センサ装置の変形例の処理の流れの一部を表すフローチャートである。
【符号の説明】
【０２５６】
１００ データ表示／センサ装置（数値入力装置）
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
７００ データ処理部
８００ 主制御部
８１０ 表示データ制御部（表示データ制御手段）
８２０ データ取得部（領域検出手段、座標検出手段）
８３０ 座標データカウント部（入力数値認識手段）
８４０ 座標データ制御部（座標制御手段）
９０１ 記憶部（記憶手段）
【特許請求の範囲】
【請求項１】
近傍の像を検知する面状部材と、
上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出手段と、
上記領域検出手段が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識手段とを備えることを特徴とする数値入力装置。
【請求項２】
上記面状部材は、さらに画像を表示するものであり、
ユーザが選択可能な複数の選択項目を備える画像を、上記面状部材に表示させる表示データ制御手段を備え、
上記表示データ制御手段は、上記複数の選択項目のうち、上記入力数値認識手段が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、上記面状部材に表示させることを特徴とする請求項１に記載の数値入力装置。
【請求項３】
上記領域検出手段は、所定のタイミングで、上記領域を検出しており、
上記入力数値認識手段が認識した順に上記入力数値を記憶する記憶手段を備え、
上記表示データ制御手段は、上記領域検出手段が上記領域を検出しなかったときに、上記記憶手段に記憶された最新の入力数値を取得し、該取得した入力数値に対応付けられている選択項目の機能を実行することを特徴とする請求項２に記載の数値入力装置。
【請求項４】
上記領域検出手段が検出する領域内の代表座標を検出する座標検出手段と、
上記領域が移動したときの代表座標の移動量および移動方向を算出し、当該移動量および移動方向を上記表示データ制御手段に出力する座標制御手段とを備え、
上記表示データ制御手段は、上記座標制御手段から出力される代表座標の移動量および移動方向に基づいて、上記選択項目を移動させることを特徴とする請求項２に記載の数値入力装置。
【請求項５】
近傍の像を検知する面状部材を備えた数値入力装置の数値入力方法において、
上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出ステップと、
上記領域検出ステップで検出された上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識ステップとを含むことを特徴とする数値入力方法。
【請求項６】
請求項１から４のいずれか一項に記載の数値入力装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とする数値入力プログラム。
【請求項７】
請求項６に記載の数値入力プログラムを記録している、コンピュータ読み取り可能な記録媒体。
【請求項１】
近傍の像を検知する面状部材と、
上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出手段と、
上記領域検出手段が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識手段とを備えることを特徴とする数値入力装置。
【請求項２】
上記面状部材は、さらに画像を表示するものであり、
ユーザが選択可能な複数の選択項目を備える画像を、上記面状部材に表示させる表示データ制御手段を備え、
上記表示データ制御手段は、上記複数の選択項目のうち、上記入力数値認識手段が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、上記面状部材に表示させることを特徴とする請求項１に記載の数値入力装置。
【請求項３】
上記領域検出手段は、所定のタイミングで、上記領域を検出しており、
上記入力数値認識手段が認識した順に上記入力数値を記憶する記憶手段を備え、
上記表示データ制御手段は、上記領域検出手段が上記領域を検出しなかったときに、上記記憶手段に記憶された最新の入力数値を取得し、該取得した入力数値に対応付けられている選択項目の機能を実行することを特徴とする請求項２に記載の数値入力装置。
【請求項４】
上記領域検出手段が検出する領域内の代表座標を検出する座標検出手段と、
上記領域が移動したときの代表座標の移動量および移動方向を算出し、当該移動量および移動方向を上記表示データ制御手段に出力する座標制御手段とを備え、
上記表示データ制御手段は、上記座標制御手段から出力される代表座標の移動量および移動方向に基づいて、上記選択項目を移動させることを特徴とする請求項２に記載の数値入力装置。
【請求項５】
近傍の像を検知する面状部材を備えた数値入力装置の数値入力方法において、
上記面状部材が検知した対象物の像に基づいて、上記面状部材上における当該像の領域を検出する領域検出ステップと、
上記領域検出ステップで検出された上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する入力数値認識ステップとを含むことを特徴とする数値入力方法。
【請求項６】
請求項１から４のいずれか一項に記載の数値入力装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とする数値入力プログラム。
【請求項７】
請求項６に記載の数値入力プログラムを記録している、コンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−１１８０１５（Ｐ２０１０−１１８０１５Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２９２７０９（Ｐ２００８−２９２７０９）
【出願日】平成２０年１１月１４日（２００８．１１．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１４日（２００８．１１．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]