入力装置、入力方法、及び入力プログラム
【課題】操作性、及び利便性を向上する。
【解決手段】データ表示／センサ装置１００は、像の検知によりユーザの操作を取得可能で、かつ、文字入力を行うための第２入力画面Ｌ２と、文書を編集するための第１入力画面Ｌ１とを重畳表示するセンサ内蔵液晶パネル３０１と、上記像の面積に応じて、第１入力画面Ｌ１又は第２入力画面Ｌ２を選択する入力画面選択部８３０と、第１入力画面Ｌ１が選択されたときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第１入力画面Ｌ１に適用して、第１入力画面Ｌ１の文書内の位置を指定する位置指定部８４１と、第２入力画面Ｌ２が選択されたときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第２入力画面Ｌ２に適用して、入力する文字を決定する文字決定部８５１と、文字決定部８５１が決定した文字を、位置指定部８４１が指定した第１入力画面Ｌ１の文書内の位置に入力する編集部８４２とを備える。
【解決手段】データ表示／センサ装置１００は、像の検知によりユーザの操作を取得可能で、かつ、文字入力を行うための第２入力画面Ｌ２と、文書を編集するための第１入力画面Ｌ１とを重畳表示するセンサ内蔵液晶パネル３０１と、上記像の面積に応じて、第１入力画面Ｌ１又は第２入力画面Ｌ２を選択する入力画面選択部８３０と、第１入力画面Ｌ１が選択されたときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第１入力画面Ｌ１に適用して、第１入力画面Ｌ１の文書内の位置を指定する位置指定部８４１と、第２入力画面Ｌ２が選択されたときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第２入力画面Ｌ２に適用して、入力する文字を決定する文字決定部８５１と、文字決定部８５１が決定した文字を、位置指定部８４１が指定した第１入力画面Ｌ１の文書内の位置に入力する編集部８４２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の表示および対象物の読み取りを同時に行うことができ、特に、異なる複数の入力画面を表示する入力装置に関するものである。
【背景技術】
【０００２】
ユーザからの指やタッチペンなどの接触を検知し、当該検知した指などの接触をユーザの入力操作として取得する入力装置が知られている。
【０００３】
特許文献１には、タッチパネルへのタッチ面積の大小を検出することにより、タッチペンによるオーバーレイ入力か、オペレータの指によるコマンド入力かの区別を行う画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−６８３９２号公報（平成４年３月４日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の構成では、オーバーレイ入力を行うための領域と、コマンド入力を行うための領域との何れか一方を表示しているので、何れか一方の入力操作しか取得することができず、操作性が悪い。
【０００６】
また、１画面内に、オーバーレイ入力を行うための領域と、コマンド入力を行うための領域とを設ける場合、それぞれ、１画面内の別の領域に設ける必要がある。このため、それぞれ設けられた領域の表示面積が小さくなり、操作性が悪くなる。
【０００７】
さらに、オーバーレイ入力を行う領域から取得される入力操作と、コマンド入力を行う領域から取得される入力操作とを有機的に関連付けて用いることについて開示されていないので、複数種類の入力操作を取得可能なアプリケーションを操作する場合、利便性が低いという課題が生じる。
【０００８】
本発明の目的は、上記課題に鑑みてなされたものであり、その目的は、操作性、及び利便性を向上した入力装置、入力方法、及び入力プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る入力装置は、上記課題を解決するために、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材と、上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択手段と、上記入力画面選択手段が上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定手段と、上記入力画面選択手段が上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定手段と、上記文字決定手段が決定した文字を、上記位置指定手段が指定した上記第１入力画面の文書内の位置に入力する編集手段とを備えることを特徴とする。
【００１０】
本発明に係る入力方法は、上記課題を解決するために、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材を備える入力装置の入力方法であって、上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択ステップと、上記入力画面選択ステップで上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定ステップと、上記入力画面選択ステップで上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定ステップと、上記文字決定ステップで決定した文字を、上記位置指定ステップで指定した上記第１入力画面の文書内の位置に入力する編集ステップとを備える。
【００１１】
ここで、文字とは、数字、記号、特殊記号等も含み、さらに特殊記号には、スペースや、改行なども含むものとする。
【００１２】
上記構成によると、近傍の像を検知することによりユーザの操作を取得することが可能である上記面状部材は、文書を編集するための第１入力画面と、文字入力を行うための第２入力画面とを重畳表示する。これにより、上記面状部材は、第１入力画面及び第２入力画面それぞれから、ユーザの操作を取得することが可能である。
【００１３】
さらに、上記面状部材は、上記第１入力画面と、上記第２入力画面とを重畳表示しているので、１画面内に、文字入力を行うための領域と、文書を編集するための領域とを分けて配置する必要がない。このため、ユーザの操作を取得するための領域の個数が多くなったとしても、当該領域の面積が小さくなることを抑制することができる。これにより、ユーザの操作性が悪くなくことを抑制することができる。
【００１４】
また、上記入力画面選択手段は、上記面状部材が検知した像の面積に応じて、上記入力操作を取得するための上記第１入力画面、又は第２入力画面を選択する。このため、ユーザに対して、面状部材が検知する像の面積を変更させるだけで、ユーザの操作を取得する第１入力画面と、第２入力画面とを選択することができるので、ユーザに対して、容易に操作を選択させることができ、利便性の高い入力装置を構成できる。
【００１５】
さらに、上記位置指定手段は、上記入力画面選択手段が上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する。そして、上記文字決定手段は、上記入力画面選択手段が上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する。さらに、上記編集手段は、上記文字決定手段が決定した文字を、上記位置指定手段が指定した上記第１入力画面の文書内の位置に入力する。
【００１６】
このため、上記面状部材は、上記位置指定手段が指定する上記第１入力画面内の文書内の位置に、上記第２入力画面から取得するユーザの操作から得られる文字を表示することができる。
【００１７】
このように、像の面積を変更することにより、第１入力画面から取得するユーザの操作と、第２入力画面から取得するユーザの操作とを関連付けて、取得することができるので、利便性の高い入力装置を提供できる。
【００１８】
すなわち、上記構成によると、操作性、及び利便性を向上した入力装置を提供できる。
【００１９】
さらに、本発明の入力装置は、上記位置指定手段が指定した上記第１入力画面内の位置を含む第１領域が、上記面状部材が上記第２入力画面からユーザの操作を取得するために上記第２入力画面に配置された第２領域と重なるかを判定する判定手段と、上記判定手段によって、上記第１領域が上記第２領域と重なると判定された場合、上記第１領域と異なる位置に、上記第２領域を移動させる移動手段とを備えることが好ましい。
【００２０】
上記構成により、上記判定手段より、上記位置指定手段が指定した上記第１入力画面内の位置を含む第１領域が、上記第２入力画面に配置された上記第２入力領域と重なると判定された場合、上記移動手段により、上記第２領域は、上記第１領域と異なる位置に移動して、上記面状部材に表示される。
【００２１】
このため、上記第１領域と、上記第２領域とに文字の情報が表示されていたとしても、それぞれの領域内の表示をユーザに視認させやすくすることができる。
【００２２】
さらに、本発明の入力装置は、上記面状部材が検知した像の面積の値を算出し、当該算出した面積の値が、予め決められた閾値より大きいかを判定する面積判定手段を備え、上記入力画面選択手段は、上記面積判定手段が判定した結果に基づいて、ユーザの操作を取得するための上記第１入力画面又は上記第２入力画面を選択する。
【００２３】
これにより、ユーザに対して、第１入力画面及び第２入力画面を容易に選択させることができる。
【００２４】
上記構成により、ユーザに対して、面状部材に検知させる像の面積を変更させるだけで、上記入力画面選択手段は、ユーザの操作を取得するための上記第１入力画面、又は上記第２入力画面とを選択することができる。また、上記閾値を変更することにより、上記面積判定手段が判定する判定結果を変更することができるので、利便性の高い入力装置を提供できる。
【００２５】
また、本発明に係る入力装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムも本発明の範疇に含まれる。
【発明の効果】
【００２６】
本発明の入力装置は、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材と、上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択手段と、上記入力画面選択手段が上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定手段と、上記入力画面選択手段が上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定手段と、上記文字決定手段が決定した文字を、上記位置指定手段が指定した上記第１入力画面の文書内の位置に入力する編集手段とを備える。
【００２７】
また、本発明の入力方法は、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材を備える入力装置の入力方法であって、上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択ステップと、上記入力画面選択ステップで上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定ステップと、上記入力画面選択ステップで上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定ステップと、上記文字決定ステップで決定した文字を、上記位置指定ステップで指定した上記第１入力画面の文書内の位置に入力する編集ステップとを備える。
【００２８】
これにより、操作性、及び利便性を向上した入力装置、入力方法を提供できるという効果を奏する。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】図９（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルが、第１入力画面と、第２入力画面とを重畳表示し、異なる面積の対象物がタッチしている様子を表す説明図であり、図９（ｂ）は図９（ａ）に示す第１入力画面の第１領域内に、第２入力画面から取得した入力操作に対応付けられた表示を行った様子を表す説明図であり、図９（ｃ）は図９（ｂ）に示す第１入力画面からの入力操作により、第１領域を移動し、当該移動により第２入力領域を移動した様子を表す説明図である。
【図１０】本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。
【図１１】本発明の一実施形態に係るデータ表示／センサ装置の主制御部の第２入力画面制御部に、第２領域管理部を設けた場合の上記データ表示／センサ装置の処理の流れを表すフローチャートである。
【図１２】図１２（ａ）は、本発明の第２の実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルに、第１入力画面を表示している様子を表す説明図であり、図１２（ｂ）は図１２（ａ）に示すセンサ内蔵液晶パネルが第２入力画面を重畳表示している様子を表す説明図であり、図１２（ｃ）は図１２（ｂ）に示すセンサ内蔵液晶パネルの第１入力画面をスクロールさせた様子を表す説明図である。
【発明を実施するための形態】
【００３０】
〔実施の形態１〕
本実施の形態に係るデータ表示／センサ装置１００（入力装置）は、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面Ｌ２と、文書を編集するための第１入力画面Ｌ１とを重畳表示するセンサ内蔵液晶パネル３０１（面状部材）と、センサ内蔵液晶パネル３０１が検知した像の面積に応じて、第１入力画面Ｌ１又は第２入力画面Ｌ２を選択する入力画面選択部８３０（入力画面選択手段）と、入力画面選択部８３０が第１入力画面Ｌ１を選択したときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第１入力画面Ｌ１に適用して、第１入力画面Ｌ１の文書内の位置を指定する位置指定部８４１（位置指定手段）と、入力画面選択部８３０が第２入力画面Ｌ２を選択したときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第２入力画面Ｌ２に適用して、入力する文字を決定する文字決定部８５１（文字決定手段）と、文字決定部８５１が決定した文字を、位置指定部８４１が指定した第１入力画面Ｌ１の文書内の位置に入力する編集部８４２（編集手段）とを備える。
【００３１】
まず、以下で、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。なお、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は１つでもよいし、複数でもよい。
【００３２】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００３３】
なお、本実施の形態では、センサ内蔵液晶パネル３０１は、対象物がタッチ（接触）した場合に、タッチした位置の検出や、画像の読み取りを行うものとして説明するが、実際には、センサ内蔵液晶パネル３０１は、対象物が完全に接触しなくても、当該対象物が有る程度、接近すれば当該対象物の位置や画像を読み取ることが可能である。
【００３４】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００３５】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００３６】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００３７】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００３８】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００３９】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４０】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００４１】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００４２】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００４３】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００４４】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００４５】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００４６】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００４７】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００４８】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００４９】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５０】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００５１】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００５２】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００５３】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００５４】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００５５】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００５６】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００５７】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００５８】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００５９】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６０】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００６１】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００６２】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００６３】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００６４】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００６５】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００６６】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００６７】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００６８】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００６９】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００７０】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００７１】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００７２】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００７３】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００７４】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００７５】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００７６】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００７７】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００７８】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００７９】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００８０】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００８１】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００８２】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００８３】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００８４】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００８５】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００８６】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００８７】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００８８】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００８９】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００９０】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【００９１】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９２】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９３】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９４】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【００９５】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【００９６】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【００９７】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【００９８】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【００９９】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１００】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１０１】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１０２】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１０３】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１０４】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１０５】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１０６】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１０７】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１０８】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１０９】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１１０】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１１１】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１１２】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１１３】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１１４】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１１５】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１１６】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１１７】
（データ表示／センサ装置１００の動作説明）
以下、図１、図９（ａ）〜（ｃ）、図１０、図１１を参照して、本発明の第１の実施形態に係るデータ表示／センサ装置１００（入力装置）を詳細に説明する。
【０１１８】
まず、図９（ａ）〜（ｃ）を用い、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１に表示する表示画面、及びデータ表示／センサ装置１００の動作の典型例について説明する。
【０１１９】
図９（ａ）は、センサ内蔵液晶パネル３０１に、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示したデータ表示／センサ装置１００が、ユーザからの入力操作を取得する様子を表す説明図であり、図９（ｂ）は図９（ａ）に示すデータ表示／センサ装置１００が、第２入力画面Ｌ２から入力操作を取得した様子を表す説明図であり、図９（ｃ）は、図９（ｂ）に示すデータ表示／センサ装置１００が、次に第１入力画面から入力操作を取得した様子を表す説明図である。
【０１２０】
まず、図９（ａ）を用い、センサ内蔵液晶パネル３０１が重畳表示する第１入力画面Ｌ１、及び第２入力画面Ｌ２について説明する。
【０１２１】
図９（ａ）に示すように、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１は、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面Ｌ２と、文書を編集するための第１入力画面Ｌ１とを重畳表示している。
【０１２２】
第１入力画面Ｌ１は、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知することにより、センサ内蔵液晶パネル３０１に、ユーザの操作を取得させるための入力画面であり、第２入力画面Ｌ２を適用してセンサ内蔵液晶パネル３０１が取得するユーザの操作を、文書内に表示する。
【０１２３】
すなわち、第１入力画面Ｌ１は、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知することにより、ユーザからの入力操作を取得するための入力画面であり、さらに、第２入力画面Ｌ２から取得される文字の表示を行うものである。第１入力画面Ｌ１は、第２入力画面Ｌ２から取得されるユーザの入力操作を取得するための第１領域が複数配置された構成である。第１入力画面Ｌ１は、複数の第１領域のうち、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知した位置を含む第１領域（指定第１領域）を指定表示する。
【０１２４】
ここで、指定表示とは、複数の第１領域のうち、指定第１領域が選択されたことをユーザに対して視認させるための表示である。
【０１２５】
そして、第１入力画面Ｌ１は、第２入力画面Ｌ２から取得されるユーザの入力操作に応じた表示を、上記指定第１領域内に行う。
【０１２６】
本実施の形態では、センサ内蔵液晶パネル３０１は、第１入力画面Ｌ１として、例えば、米国マイクロソフト社が提供するエクセル（米国マイクロソフト社の商標）などの表計算ソフトウェアの表示画面を第１入力画面Ｌ１ａとして表示している。第１入力画面Ｌ１ａには、文字や記号等の入力及び当該入力された文字を表示するためのセル（第１領域）がマトリクス状に複数配置されている。
【０１２７】
そして、第１入力画面Ｌ１ａは、複数のセルのうち、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知した位置を含むセル（指定第１領域）にカーソル３５３を表示（指定表示）している。
【０１２８】
第２入力画面Ｌ２は、センサ内蔵液晶パネル３０１が指３５２のタッチを検知することにより、センサ内蔵液晶パネル３０１に、ユーザの操作を取得させるための入力画面である。第２入力画面Ｌ２は、センサ内蔵液晶パネル３０１がユーザの操作を取得するための複数の第２領域からなる第２領域群Ｌ２ａを備える。
【０１２９】
第２領域群Ｌ２ａの各第２領域は、いわゆるＱＷＥＲＴＹ配列で配列されており、一般的にＰＣ（パーソナルコンピュータ）に用いられているキーボードの各キーに対応するものである。すなわち、一般的なキーボードの各キーに対応付けられている文字コードが、第２領域群Ｌ２ａの各入力領域にも対応付けられている。そして、一般的なキーボードと同様に、第２領域群Ｌ２ａの各第２領域に対応付けられた文字コードにも、文字、数字、記号、特殊記号等（以下、単に文字と称する）が対応付けられており、各第２領域内には、当該第２領域に対応付けられた文字が表示されている。なお、特殊記号には、スペースや改行なども含む。
【０１３０】
ここで、第２領域群Ｌ２ａの各第２領域と、当該第２領域に対応付けられた文字コードと、当該文字コードに対応付けられた文字とは、例えば、テーブルとして記憶部９０１に格納されている。
【０１３１】
また、第２領域群Ｌ２ａの各第２領域は、半透明でセンサ内蔵液晶パネル３０１に表示されている。このため、センサ内蔵液晶パネル３０１は、第１入力画面Ｌ１ａの各セル内に表示する文字と、第２入力画面Ｌ２の第２領域群Ｌ２ａの各第２領域内の文字とを重畳表示しても、それぞれの表示をユーザに、容易に認識させることができる。
【０１３２】
なお、第２領域群Ｌ２ａは、半透明で表示することが好ましいが、半透明に限定されるものではない。
【０１３３】
次に、図９（ａ）〜（ｃ）を用い、データ表示／センサ装置１００の動作説明を行う。
【０１３４】
まず、図９（ａ）に示すように、データ表示／センサ装置１００は、第１入力画面Ｌ１ａをセンサ内蔵液晶パネル３０１に表示している。そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知すると、入力モードとして、センサ内蔵液晶パネル３０１に第２入力画面Ｌ２を表示する。つまり、センサ内蔵液晶パネル３０１は、第１入力画面Ｌ１ａと、第２入力画面Ｌ２とを重畳表示する。
【０１３５】
そして、データ表示／センサ装置１００は、スタイラスペン３５１のタッチを検知した位置を含むセル（指定第１領域）に、カーソル３５３を移動して表示することにより指定第１領域を指定表示する。このカーソル３５３が含まれているセルが指定第１領域である。言い換えると、データ表示／センサ装置１００は、第１入力領域Ｌ１ａからのユーザの入力操作として、カーソル３５３を移動させる位置を取得する。
【０１３６】
次に、ユーザは、センサ内蔵液晶パネル３０１上であって、第２入力画面Ｌ２の第２領域群Ｌ２の第２領域内に指３５２をタッチする。すると、センサ内蔵液晶パネル３０１が指３５２のタッチを検知し、図９（ｂ）に示すように、データ表示／センサ装置１００は、当該タッチを検知した位置を含む第２領域群Ｌ２ａの第２領域に対応付けられた文字を、指定第１領域内に表示する。
【０１３７】
言い換えると、データ表示／センサ装置１００は、第１入力領域Ｌ１ａからの入力操作としてスタイラスペン３５１のタッチを検知したセンサ内蔵液晶パネル３０１上の位置に移動させたカーソル３５３内に、第２入力画面Ｌ２からの入力操作として指３５２のタッチを検知した第２領域群Ｌ２ａの第２領域に対応付けられた文字を表示する。
【０１３８】
ここでは、ユーザは、「１」と対応付けられた第２領域に指をタッチする。すると、センサ内蔵液晶パネル３０１は、「１」と対応付けられた第２領域への指３５２のタッチを検知し、カーソル３５３を表示するセル内に「１」と表示する。
【０１３９】
続けてユーザは、「２」と対応付けられた第２領域に指をタッチする。すると、センサ内蔵液晶パネル３０１は、「２」と対応付けられた第２領域への指３５２のタッチを検知し、カーソル３５３を表示するセル内の「１」の表示の隣に「２」と表示する。
【０１４０】
さらに、ユーザは、「３」と対応付けられた第２領域に指をタッチする。すると、センサ内蔵液晶パネル３０１は、「３」と対応付けられた第２領域への指３５２のタッチを検知し、カーソル３５３を表示するセル内の「２」の表示の隣に「３」と表示する。これにより、カーソル３５３を表示するセル内には「１２３」と表示される。
【０１４１】
次に、ユーザは、他のセルに文字を入力する場合、文字を入力したいセル内のセンサ内蔵液晶パネル３０１にスタイラスペン３５１をタッチする。すると、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知し、データ表示／センサ装置１００は、上記検知した位置を含むセルにカーソル３５３を移動する。
【０１４２】
ここで、図９（ｃ）に示すように、データ表示／センサ装置１００は、カーソル３５３を含むセルである指定第１領域と、第２領域群Ｌ２ａの第２領域とのセンサ内蔵液晶パネル３０１上の表示位置が重なる（重畳する）場合、指定第１領域と重なる第２領域群Ｌ２ａの第２領域の位置を、指定第１領域と異なる位置に移動して、表示してもよい。
【０１４３】
すなわち、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知した位置が第２領域群Ｌ２ａの第２領域内である場合、データ表示／センサ装置１００は、スタイラスペン３５１のタッチを検知した位置を含む第１領域にカーソル３５３を表示すると共に、カーソル３５３を表示する第１領域と重ならないように、第２領域群Ｌ２ａの第２領域を表示する。
【０１４４】
これにより、データ表示／センサ装置１００は、ユーザから入力された文字を、ユーザに対して認識させやすく表示することができる。
【０１４５】
さらに、データ表示／センサ装置１００は、例えば、”Enter”など、特定の機能を有する文字コードと対応付けられた第２領域からの入力操作を取得すると、入力モードを終了し、センサ内蔵液晶パネル３０１に表示されている第２領域群Ｌ２の表示を終了してもよい。
【０１４６】
これにより、データ表示／センサ装置１００は、ユーザが必要なときだけ、第２領域群Ｌ２ａをセンサ内蔵液晶パネル３０１に表示することができる。
【０１４７】
（データ表示／センサ装置の要部構成の説明）
次に、図１を参照しながら、データ表示／センサ装置１００の詳細な説明を行う。
【０１４８】
図１は、データ表示／センサ装置１００の要部構成を表すブロック図である。
【０１４９】
図１に示すように、主制御部８００は、表示データ生成部８１０と、データ取得部８２０と、入力画面選択部８３０（入力画面選択手段）と、第１入力画面制御部８４０（表示指示手段、第１入力画面制御手段）と、第２入力画面制御部８５０（移動手段、第２入力画面制御手段）とを備える。
【０１５０】
入力画面選択部８３０は、面積判定部８３１（面積判定手段）を備える。また、第１入力画面制御部８４０は、位置指定部８４１（位置指定手段）と、編集部８４２（編集手段）とを備える。そして、第２入力画面制御部８５０は、文字決定部８５１と、第２領域管理部８５２（判定手段）を備える。なお、第２領域管理部８５２は、省略してもよい。
【０１５１】
表示データ生成部８１０は、第１入力画面制御部８４０又は第２入力画面制御部８５０からの出力に応じて、センサ内蔵液晶パネル３０１に表示画面（入力画面）を表示させるための表示データを生成するものである。そして、当該生成した表示データをデータ処理部７００に出力する。これにより、センサ内蔵液晶パネル３０１に、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示させる。
【０１５２】
また、表示データ生成部８１０は、コマンドを設定し、当該設定したコマンドをデータ処理部７００に出力するものである。
【０１５３】
データ取得部８２０は、データ処理部７００から出力される全体画像データ及び座標データを取得する。そして、データ取得部８２０は、データ処理部７００から取得した全体画像データ及び座標データを入力画面選択部８３０に出力する。
【０１５４】
入力画面選択部８３０は、データ取得部８２０から全体画像データ及び座標データを取得する。そして、入力画面選択部８３０は、データ取得部８２０から取得した全体画像データに含まれる像の面積に応じて、データ取得部８２０から取得した座標データの出力先を変更するものである。
【０１５５】
面積判定部８３１は、センサ内蔵液晶パネル３０１が検知した像の面積の値を算出し、当該算出した面積の値が、予め決められた閾値より大きいかを判定する。ここで、予め決められた閾値は、記憶部９０１に格納されている。
【０１５６】
そして、入力画面選択部８３０は、面積判定部８３１が判定した結果に基づいて、入力操作を取得するための第１入力画面Ｌ１又は第２入力画面Ｌ２を選択する。すなわち、入力画面選択部８３０は、面積判定部８３１の判定結果に応じて、センサ内蔵液晶パネル３０１が取得したユーザの操作を適用するための第１入力画面Ｌ１と第２入力画面Ｌ２とを選択する。
【０１５７】
これにより、入力画面選択部８３０は、センサ内蔵液晶パネル３０１が重畳表示する複数の入力画面のうち、ユーザからの入力操作を取得するための入力画面を選択するものである。
【０１５８】
第１入力画面制御部８４０は、センサ内蔵液晶パネル３０１が重畳表示する第１入力画面Ｌ１及び第２入力画面Ｌ２のうち、センサ内蔵液晶パネル３０１が第１入力画面Ｌ１を適用して取得するユーザの操作に基づいて、第１入力画面Ｌ１の表示を制御するものである。そして、第１入力画面制御部８４０は、位置指定部８４１、編集部８４２を含む。
【０１５９】
位置指定部８４１は、入力画面選択部８３０が第１入力画面Ｌ１を選択したときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第１入力画面Ｌ１に適用して、第１入力画面Ｌ１の文書内の位置を指定する。
【０１６０】
すなわち、位置指定部８４１は、入力画面選択部８３０が第１入力画面Ｌ１を選択したときの、センサ内蔵液晶パネル３０１が取得した入力操作に応じて、第１入力画面Ｌ１内の位置を指定する。
【０１６１】
つまり、位置指定部８４１は、第１入力画面制御部８４０が入力画面選択部８３０から座標データを取得すると、記憶部９０１を参照し、第１入力画面Ｌ１に配置されている複数の第１領域の位置と、入力画面選択部８３０から取得した座標データが示す位置とを比較し、当該座標データが含まれる第１領域を指定する。
【０１６２】
そして、第１入力画面制御部８４０は、位置指定部８４１が位置を指定した第１領域（指定第１領域）をユーザに視認させるために、センサ内蔵液晶パネル３０１に指定表示させるための指示を表示データ生成部８１０に行う。
【０１６３】
また、第１入力画面制御部８４０は、第２入力画面制御部８５０から、文字コードなどである文字表示情報を取得すると、当該文字コードに対応する文字を指定第１領域に表示させるための指示を表示データ生成部８１０に行う。
【０１６４】
編集部８４２は、文字決定部８５１が決定した文字を、位置指定部８４１が指定した第１入力画面Ｌ１の文書内の位置に入力する。すなわち、編集部８４２は、文字決定部８５１が決定した文字を、指定第１領域に入力することにより、第１入力画面Ｌ１を編集する。
【０１６５】
なお、編集部８４２は、位置指定部８４１が第１領域の位置を指定する前に、第２入力画面制御部８５０から、文字を決定した旨の情報である文字決定情報を取得した場合、例えば、初期設定などで予め指定されている第１領域に、文字決定部８５１が決定した文字を入力することにより第１入力画面Ｌ１を編集する。そして、編集した第１入力画面Ｌ１を表示させるための指示を表示データ生成部８１０に行う。
【０１６６】
第２入力画面制御部８５０は、センサ内蔵液晶パネル３０１が重畳表示する第１入力画面Ｌ１及び第２入力画面Ｌ２のうち、第２入力画面Ｌ２からの入力操作に基づいて、第２入力画面Ｌ２の表示を制御するものである。
【０１６７】
第２入力画面制御部８５０は、入力画面選択部８３０から座標データを取得すると、記憶部９０１を参照し、第２入力画面Ｌ２に配置されている複数の第２領域の位置と、入力画面選択部８３０から取得した座標データが示す位置とを比較し、当該座標データが含まれる第２領域を特定する。
【０１６８】
文字決定部８５１は、入力画面選択部８３０が第２入力画面Ｌ２を選択したときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第２入力画面Ｌ２に適用して、入力する文字を決定する。
【０１６９】
すなわち、文字決定部８５１は、記憶部９０１を参照し、上記特定した第２領域に対応付けられている文字を決定する。そして、文字決定部８５１は文字を決定した旨の情報である文字決定情報を第１入力画面制御部８４０に出力する。
【０１７０】
また、第２入力画面制御部８５０は、第２領域と、指定第１領域とのセンサ内蔵液晶パネル３０１上の表示位置が重なる場合、センサ内蔵液晶パネル３０１上の第２領域の表示位置を、第１領域と重ならない位置に移動させる第２領域管理部８５２を含む。
【０１７１】
第１入力画面制御部８４０から、指定第１領域のセンサ内蔵液晶パネル３０１上の位置を表す、指定第１領域位置情報を第２入力画面制御部８５０が取得すると、第２領域管理部８５２は、第２領域と、指定第１領域とのセンサ内蔵液晶パネル３０１上の表示位置が重なるか否かを判定する。
【０１７２】
そして、第２領域管理部８５２が、第２領域と、指定第１領域とのセンサ内蔵液晶パネル３０１上の表示位置が重なると判定すると、第２入力画面制御部８５０は、第２領域を、指定第１領域と異なる位置、つまり、重ならない位置に移動させる指示情報を表示データ生成部８１０に出力する。これにより、センサ内蔵液晶パネル３０１は、第２領域が、指定第１領域と異なる位置に移動された第２入力画面Ｌ２と、第１入力画面Ｌ１とを重畳表示することができる。
【０１７３】
（フローチャート）
次に、図１０を用い、データ表示／センサ装置１００の処理の流れについて説明する。
【０１７４】
図１０は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。
【０１７５】
まず、データ表示／センサ装置１００は、ユーザの操作を取得することにより、センサ内蔵液晶パネル３０１に第１入力画面Ｌ１を表示する。
【０１７６】
さらに、併せて、表示データ生成部８１０は、「データ取得タイミング」フィールドに、”イベント”を指定し、「データ種別」フィールドに”座標”および”全体画像”の両方を指定（”101”を指定）したコマンドをデータ処理部７００に出力する。
【０１７７】
これにより、表示データ生成部８１０は、センサ内蔵液晶パネル３０１が取得する画像データに変化が生じた場合のみ、データ処理部７００から全体画像データ及び座標データを取得する。
【０１７８】
そして、ユーザが指３５２又はスタイラスペン３５１をセンサ内蔵液晶パネル３０１にタッチする。すると、センサ内蔵液晶パネル３０１は、タッチした指３５２又はスタイラスペン３５１の像を検知する（ステップＳ１１）。
【０１７９】
次に、主制御部８００のデータ取得部８２０は、データ処理部７００からセンサ内蔵液晶パネル３０１が検知した像を含む全体画像データと、像の代表座標（例えば中心座標）を示すデータを座標データとして取得する。そして、データ取得部８２０は、データ処理部７００から取得した全体画像データ、及び座標データを入力画面選択部８３０に出力する。
【０１８０】
入力画面選択部８３０は、データ取得部８２０から全体画像データを取得すると、面積判定部８３１は、全体画像データに含まれる像の面積を算出する。そして、面積判定部８３１は、記憶部９０１を参照し、上記算出した像の面積が予め決められた閾値より大きいか否かを判定する（ステップＳ１２）。
【０１８１】
そして、入力画面選択部８３０は、算出した像の面積が閾値以下であると面積判定部８３１が判定した場合（ステップＳ１２のＮＯ）、センサ内蔵液晶パネル３０１にタッチしたのはスタイラスペン３５１であると判定し、データ取得部８２０から取得した座標データを、第１入力画面制御部８４０に出力する。
【０１８２】
第１入力画面制御部８４０は、入力画面選択部８３０から座標データを取得すると、第１入力画面制御部８４０の位置指定部８４１は、記憶部９０１を参照し、複数の第１領域のうち、入力画面選択部８３０から取得した座標データが示す位置を含む第１領域（指定第１領域）を指定する（ステップＳ１３）。
【０１８３】
そして、第１入力画面制御部８４０は、位置指定部８４１が指定した第１領域を指定第１領域として指定表示することを指示するための指定表示指示情報を、表示データ生成部８１０に出力する。表示データ生成部８１０は、第１入力画面制御部８４０から指定表示指示情報を取得すると、指定第１領域を指定表示した第１入力画面Ｌ１と、第２入力画面とをセンサ内蔵液晶パネル３０１に重畳表示させるための表示データを生成し、当該生成した表示データをデータ処理部７００に出力する。
【０１８４】
これにより、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に、指定第１領域を指定表示した第１入力画面Ｌ１と、第２入力画面とを重畳表示させる。そして、ステップＳ１１の処理へ戻る。
【０１８５】
また、ユーザが、指３５２をセンサ内蔵液晶パネル３０１にタッチした場合、すなわち、算出した像の面積が閾値より大きいと面積判定部８３１が判定した場合（ステップＳ１２のＹＥＳ）、入力画面選択部８３０は、センサ内蔵液晶パネル３０１にタッチしたのは指３５２であると判定し、データ取得部８２０から取得した座標データを、第２入力画面制御部８５０に出力する。
【０１８６】
そして、第２入力画面制御部８５０は、入力画面選択部８３０から座標データを取得すると、記憶部９０１を参照し、第２領域群Ｌ２ａのうち、座標データが示す位置を含む第２領域を特定する。つまり、第２入力画面制御部８５０は、ユーザからの入力操作を取得した第２領域を特定する。
【０１８７】
次に、第２入力画面制御部８５０の文字決定部８５１は、記憶部９０１を参照し、特定した第２領域に対応付けられた文字を決定する（ステップＳ１４）。そして、文字決定部８５１は、文字を決定したことを示す文字決定情報を第１入力画面制御部８４０に出力する。
【０１８８】
そして、第１入力画面制御部８４０の編集部８４２は、第２入力画面制御部８５０から文字表示情報を取得すると、当該文字決定情報で決定された文字を、指定第１領域に入力することにより、第１入力画面Ｌ１を編集する。
【０１８９】
次に、第１入力画面制御部８４０は、編集部８４２が第１入力画面Ｌ１編集した結果を表す編集情報を表示データ生成部８１０に出力する。
【０１９０】
そして、表示データ生成部８１０は、第１入力画面制御部８４０から編集情報を取得すると、ユーザからの入力操作を取得した第２領域に対応付けられている文字を、指定第１領域に表示した第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳してセンサ内蔵液晶パネル３０１に表示するための表示データを生成する。
【０１９１】
そして、表示データ生成部８１０は、上記生成した表示データを、データ処理部７００に出力することにより、センサ内蔵液晶パネル３０１に、ユーザからの入力操作を取得した第２領域に対応付けられている文字を、指定第１領域に表示した第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示させる（ステップＳ１５）。
【０１９２】
（第２領域管理部８５２による追加ステップ）
また、第２入力画面制御部８５０に、第２領域管理部８５２を設けた場合のステップについて、図１１を用いて説明する。
【０１９３】
図１１は、データ表示／センサ装置１００の第２入力画面制御部８５０に、第２領域管理部を設けた場合の処理の流れを表すフローチャートである。
【０１９４】
図１１に示すように、ステップＳ１３の後、第１入力画面制御部８４０は、指定第１領域のセンサ内蔵液晶パネル３０１上の位置を表す、指定第１領域位置情報を第２入力画面制御部８５０に出力する。
【０１９５】
第２入力画面制御部８５０は、第１入力画面制御部８４０から指定第１領域位置情報を取得すると、第２入力画面制御部８５０の第２領域管理部８５２は、センサ内蔵液晶パネル３０１に表示している第２領域群Ｌ２ａの第２領域の表示位置と、指定第１領域の表示位置とが重なっているか否かを判定する（ステップＳ１６）。
【０１９６】
そして、第２領域管理部８５２は、指定第１領域と、第２領域群Ｌ２ａの第２領域の表示位置とが重なっていないと判定した場合（ステップＳ１６のＮＯ）、ステップＳ１１の処理を行う。
【０１９７】
また、第２領域管理部８５２は、指定第１領域と、第２領域群Ｌ２ａの第２領域の表示位置とが重なっていると判定した場合（ステップＳ１６のＹＥＳ）、第２入力画面制御部８５０は、第２領域群Ｌ２ａの第２領域を、指定第１領域とは異なる位置に移動した第２入力画面Ｌ２を表示させるための情報である第２入力画面表示情報を、表示データ生成部８１０に出力する。
【０１９８】
そして、表示データ生成部８１０は、第２入力画面制御部８５０から、第２入力画面表示情報を取得すると、当該取得した第２入力画面表示情報に基づいて、表示データを生成する。
【０１９９】
また、表示データ生成部８１０は、生成した表示データをデータ処理部７００に出力することにより、指定第１領域が選択表示された第１入力画面Ｌ１と、指定第１領域とは異なる位置に第２領域を表示した第２入力画面Ｌ２と、を重畳して表示した表示画面を、センサ内蔵液晶パネル３０１に表示させる（ステップＳ１７）。
【０２００】
〔実施の形態２〕
次に、本発明の他の実施形態について、図１２を用い説明する。実施の形態１と、実施の形態２とでは、第１入力画面Ｌ１の表示が異なる点で相違する。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０２０１】
第１入力画面Ｌ１は、表計算ソフトウェアの表示画面に限定されず、文字を入力するための複数の第１領域を備えていればよく、例えば、テキスト入力が可能な第１領域を備えるＷｅｂ（ウェブ）ページの表示画面や、メール用のアプリケーションソフトの表示画面であってもよい。
【０２０２】
図１２（ａ）〜（ｃ）を用い、第１入力画面Ｌ１を、テキスト入力が可能な第１領域を備えるＷｅｂページを第１入力画面Ｌ１ｂとして表示する場合のデータ表示／センサ装置１００の動作の典型例について説明する。
【０２０３】
図１２（ａ）は、第１入力画面Ｌ１として、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１にＷｅｂページを表示している様子を表す説明図であり、図１２（ｂ）は図１２（ａ）に示すセンサ内蔵液晶パネル３０１に、第２入力画面Ｌ２を重畳表示している様子を表す説明図であり、図１２（ｃ）は、図１２（ｂ）に示す第１入力画面Ｌ１をスクロールさせた様子を表す説明図である。
【０２０４】
図１２（ａ）に示すように、データ表示／センサ装置１００は、テキスト入力が可能な第１領域を備えるＷｅｂページである第１入力画面Ｌ１ｂをセンサ内蔵液晶パネル３０１に表示している。
【０２０５】
データ表示／センサ装置１００は、インターネットへの接続が可能なように構成されており、第１入力画面Ｌ１ｂは、インターネットを介して取得する可能な表示画面である。
【０２０６】
図１２（ａ）に示すように、第１入力画面Ｌ１ｂは、文字を入力することができる複数の第１領域３６０ａ、第１領域３６０ｂを備える。
【０２０７】
そして、図１２（ｂ）に示すように、ユーザが、指３５２をセンサ内蔵液晶パネル３０１にタッチすると、センサ内蔵液晶パネル３０１は、指３５２のタッチを検知する。そして、センサ内蔵液晶パネル３０１が指３５２のタッチを検知すると、データ表示／センサ装置１００は、入力モードに切り替わり、センサ内蔵液晶パネル３０１に、第２領域群Ｌ２ａを備える第２入力画面Ｌ２を表示する。すなわち、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に、第１入力画面Ｌ１と第２入力画面Ｌ２とを重畳表示する。
【０２０８】
そして、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知する前に、第２領域群Ｌ２ａの第２領域内への指３５２のタッチを検知すると、当該タッチを検知した第２領域に対応付けられた文字を、予め決められた位置の指定第１領域（例えば、第１領域３６０ａ）内に表示する。
【０２０９】
また、図１２（ｃ）に示すように、ユーザは、センサ内蔵液晶パネル３０１に表示されている第１入力画面Ｌ１ｂをスクロールする場合、センサ内蔵液晶パネル３０１に表示されている第１領域３６０ａ、３６０ｂ以外の領域にスタイラスペン３５１をタッチし、当該タッチしたスタイラスペン３５１を、センサ内蔵液晶パネル３０１の表面に沿ってスライドする。
【０２１０】
すると、センサ内蔵液晶パネル３０１は、第１領域３６０ａ、３６０ｂ以外の領域へのスタイラスペン３５１のタッチを検知し、さらに、スタイラスペン３５１の移動を検知すると、スタイラスペンの移動にあわせて、第１入力画面Ｌ１ａｂをスクロールして表示する。
【０２１１】
そして、センサ内蔵液晶パネル３０１は、第１領域３６０ｃ内へのスタイラスペン３５１のタッチを検知すると、当該スタイラスペン３５１のタッチを検知した第１領域３６０ｃを指定第１領域として選択し、第１領域３６０ｃ内にカーソルを表示することにより選択表示する。
【０２１２】
次に、センサ内蔵液晶パネル３０１は、第２入力画面Ｌ２に表示する第２領域群Ｌ２ａの第２領域内への指３５２のタッチを検知すると、当該検知した第２領域群Ｌ２ａの第２領域に対応付けられた文字を、第１領域３６０ｃ内に表示する。
【０２１３】
〔プログラム〕
また、データ表示／センサ装置１００の各ブロック、特に入力画面選択部８３０、第１入力画面制御部８４０、第２入力画面制御部８５０は、ハードウェアロジックによって構成してもよいし、次のようにコンピュータを用いてソフトウェアによって実現してもよい。
【０２１４】
すなわち、入力画面選択部８３０、第１入力画面制御部８４０、第２入力画面制御部８５０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである入力画面選択部８３０、第１入力画面制御部８４０、第２入力画面制御部８５０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記入力画面選択部８３０、第１入力画面制御部８４０、第２入力画面制御部８５０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２１５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２１６】
また、入力画面選択部８３０、第１入力画面制御部８４０、第２入力画面制御部８５０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２１７】
なお、実施の形態１及び実施の形態２では、第１入力画面Ｌ１を操作するための対象物として、スタイラスペン３５１を用いた説明を行ったが、スタイラスペン３５１に限定されるものではない。すなわち、センサ内蔵液晶パネル３０１が検知した像の面積が、予め決められた閾値以下であるか否かを入力画面選択部８３０が判定できればよく、スタイラスペン３５１に替えて、例えば、指先や爪先などでもよい。
【０２１８】
さらに、入力画面選択部８３０は、センサ内蔵液晶パネル３０１が検知した像の面積が、予め決められた閾値以下である場合、データ取得部８２０から取得した座標データを第１入力画面制御部８４０に出力し、センサ内蔵液晶パネル３０１が検知した像の面積が、予め決められた閾値より大きい場合、データ取得部８２０から取得した座標データを、第１入力画面制御部８４０に出力したが、その逆でもよい。
【０２１９】
すなわち、入力画面選択部８３０は、センサ内蔵液晶パネル３０１が検知した像の面積が、予め決められた閾値より大きい場合、データ取得部８２０から取得した座標データを第１入力画面制御部８４０に出力し、センサ内蔵液晶パネル３０１が検知した像の面積が、予め決められた閾値以下である場合、データ取得部８２０から取得した座標データを、第１入力画面制御部８４０に出力してもよい。
【０２２０】
また、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２２１】
本発明は、文字の入力を行う装置に適用でき、特に、複数の入力画面を表示するデータ表示／センサ装置に好適に適用できる。
【符号の説明】
【０２２２】
１００ データ表示／センサ装置
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）と
８００ 主制御部
８１０ 表示データ生成部
８２０ データ取得部
８３０ 入力画面選択部（入力画面選択手段）
８３１ 面積判定部（面積判定手段）
８４０ 第１入力画面制御部（表示指示手段、第１入力画面制御手段）
８４１ 位置指定部（位置指定手段）
８４２ 編集部（編集手段）
８５０ 第２入力画面制御部（移動手段、第２入力画面制御手段）
８５１ 文字決定部（文字決定手段）
８５２ 第２領域管理部（判定手段）
Ｌ１ 第１入力画面
Ｌ１ａ 第１入力画面
Ｌ１ａ 第１入力領域
Ｌ１ａｂ 第１入力画面
Ｌ１ｂ 第１入力画面
Ｌ２ 第２入力画面
Ｌ２ 第２領域群
Ｌ２ａ 第２領域群
【技術分野】
【０００１】
本発明は、画像の表示および対象物の読み取りを同時に行うことができ、特に、異なる複数の入力画面を表示する入力装置に関するものである。
【背景技術】
【０００２】
ユーザからの指やタッチペンなどの接触を検知し、当該検知した指などの接触をユーザの入力操作として取得する入力装置が知られている。
【０００３】
特許文献１には、タッチパネルへのタッチ面積の大小を検出することにより、タッチペンによるオーバーレイ入力か、オペレータの指によるコマンド入力かの区別を行う画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−６８３９２号公報（平成４年３月４日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の構成では、オーバーレイ入力を行うための領域と、コマンド入力を行うための領域との何れか一方を表示しているので、何れか一方の入力操作しか取得することができず、操作性が悪い。
【０００６】
また、１画面内に、オーバーレイ入力を行うための領域と、コマンド入力を行うための領域とを設ける場合、それぞれ、１画面内の別の領域に設ける必要がある。このため、それぞれ設けられた領域の表示面積が小さくなり、操作性が悪くなる。
【０００７】
さらに、オーバーレイ入力を行う領域から取得される入力操作と、コマンド入力を行う領域から取得される入力操作とを有機的に関連付けて用いることについて開示されていないので、複数種類の入力操作を取得可能なアプリケーションを操作する場合、利便性が低いという課題が生じる。
【０００８】
本発明の目的は、上記課題に鑑みてなされたものであり、その目的は、操作性、及び利便性を向上した入力装置、入力方法、及び入力プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る入力装置は、上記課題を解決するために、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材と、上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択手段と、上記入力画面選択手段が上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定手段と、上記入力画面選択手段が上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定手段と、上記文字決定手段が決定した文字を、上記位置指定手段が指定した上記第１入力画面の文書内の位置に入力する編集手段とを備えることを特徴とする。
【００１０】
本発明に係る入力方法は、上記課題を解決するために、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材を備える入力装置の入力方法であって、上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択ステップと、上記入力画面選択ステップで上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定ステップと、上記入力画面選択ステップで上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定ステップと、上記文字決定ステップで決定した文字を、上記位置指定ステップで指定した上記第１入力画面の文書内の位置に入力する編集ステップとを備える。
【００１１】
ここで、文字とは、数字、記号、特殊記号等も含み、さらに特殊記号には、スペースや、改行なども含むものとする。
【００１２】
上記構成によると、近傍の像を検知することによりユーザの操作を取得することが可能である上記面状部材は、文書を編集するための第１入力画面と、文字入力を行うための第２入力画面とを重畳表示する。これにより、上記面状部材は、第１入力画面及び第２入力画面それぞれから、ユーザの操作を取得することが可能である。
【００１３】
さらに、上記面状部材は、上記第１入力画面と、上記第２入力画面とを重畳表示しているので、１画面内に、文字入力を行うための領域と、文書を編集するための領域とを分けて配置する必要がない。このため、ユーザの操作を取得するための領域の個数が多くなったとしても、当該領域の面積が小さくなることを抑制することができる。これにより、ユーザの操作性が悪くなくことを抑制することができる。
【００１４】
また、上記入力画面選択手段は、上記面状部材が検知した像の面積に応じて、上記入力操作を取得するための上記第１入力画面、又は第２入力画面を選択する。このため、ユーザに対して、面状部材が検知する像の面積を変更させるだけで、ユーザの操作を取得する第１入力画面と、第２入力画面とを選択することができるので、ユーザに対して、容易に操作を選択させることができ、利便性の高い入力装置を構成できる。
【００１５】
さらに、上記位置指定手段は、上記入力画面選択手段が上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する。そして、上記文字決定手段は、上記入力画面選択手段が上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する。さらに、上記編集手段は、上記文字決定手段が決定した文字を、上記位置指定手段が指定した上記第１入力画面の文書内の位置に入力する。
【００１６】
このため、上記面状部材は、上記位置指定手段が指定する上記第１入力画面内の文書内の位置に、上記第２入力画面から取得するユーザの操作から得られる文字を表示することができる。
【００１７】
このように、像の面積を変更することにより、第１入力画面から取得するユーザの操作と、第２入力画面から取得するユーザの操作とを関連付けて、取得することができるので、利便性の高い入力装置を提供できる。
【００１８】
すなわち、上記構成によると、操作性、及び利便性を向上した入力装置を提供できる。
【００１９】
さらに、本発明の入力装置は、上記位置指定手段が指定した上記第１入力画面内の位置を含む第１領域が、上記面状部材が上記第２入力画面からユーザの操作を取得するために上記第２入力画面に配置された第２領域と重なるかを判定する判定手段と、上記判定手段によって、上記第１領域が上記第２領域と重なると判定された場合、上記第１領域と異なる位置に、上記第２領域を移動させる移動手段とを備えることが好ましい。
【００２０】
上記構成により、上記判定手段より、上記位置指定手段が指定した上記第１入力画面内の位置を含む第１領域が、上記第２入力画面に配置された上記第２入力領域と重なると判定された場合、上記移動手段により、上記第２領域は、上記第１領域と異なる位置に移動して、上記面状部材に表示される。
【００２１】
このため、上記第１領域と、上記第２領域とに文字の情報が表示されていたとしても、それぞれの領域内の表示をユーザに視認させやすくすることができる。
【００２２】
さらに、本発明の入力装置は、上記面状部材が検知した像の面積の値を算出し、当該算出した面積の値が、予め決められた閾値より大きいかを判定する面積判定手段を備え、上記入力画面選択手段は、上記面積判定手段が判定した結果に基づいて、ユーザの操作を取得するための上記第１入力画面又は上記第２入力画面を選択する。
【００２３】
これにより、ユーザに対して、第１入力画面及び第２入力画面を容易に選択させることができる。
【００２４】
上記構成により、ユーザに対して、面状部材に検知させる像の面積を変更させるだけで、上記入力画面選択手段は、ユーザの操作を取得するための上記第１入力画面、又は上記第２入力画面とを選択することができる。また、上記閾値を変更することにより、上記面積判定手段が判定する判定結果を変更することができるので、利便性の高い入力装置を提供できる。
【００２５】
また、本発明に係る入力装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムも本発明の範疇に含まれる。
【発明の効果】
【００２６】
本発明の入力装置は、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材と、上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択手段と、上記入力画面選択手段が上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定手段と、上記入力画面選択手段が上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定手段と、上記文字決定手段が決定した文字を、上記位置指定手段が指定した上記第１入力画面の文書内の位置に入力する編集手段とを備える。
【００２７】
また、本発明の入力方法は、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材を備える入力装置の入力方法であって、上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択ステップと、上記入力画面選択ステップで上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定ステップと、上記入力画面選択ステップで上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定ステップと、上記文字決定ステップで決定した文字を、上記位置指定ステップで指定した上記第１入力画面の文書内の位置に入力する編集ステップとを備える。
【００２８】
これにより、操作性、及び利便性を向上した入力装置、入力方法を提供できるという効果を奏する。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】図９（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルが、第１入力画面と、第２入力画面とを重畳表示し、異なる面積の対象物がタッチしている様子を表す説明図であり、図９（ｂ）は図９（ａ）に示す第１入力画面の第１領域内に、第２入力画面から取得した入力操作に対応付けられた表示を行った様子を表す説明図であり、図９（ｃ）は図９（ｂ）に示す第１入力画面からの入力操作により、第１領域を移動し、当該移動により第２入力領域を移動した様子を表す説明図である。
【図１０】本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。
【図１１】本発明の一実施形態に係るデータ表示／センサ装置の主制御部の第２入力画面制御部に、第２領域管理部を設けた場合の上記データ表示／センサ装置の処理の流れを表すフローチャートである。
【図１２】図１２（ａ）は、本発明の第２の実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルに、第１入力画面を表示している様子を表す説明図であり、図１２（ｂ）は図１２（ａ）に示すセンサ内蔵液晶パネルが第２入力画面を重畳表示している様子を表す説明図であり、図１２（ｃ）は図１２（ｂ）に示すセンサ内蔵液晶パネルの第１入力画面をスクロールさせた様子を表す説明図である。
【発明を実施するための形態】
【００３０】
〔実施の形態１〕
本実施の形態に係るデータ表示／センサ装置１００（入力装置）は、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面Ｌ２と、文書を編集するための第１入力画面Ｌ１とを重畳表示するセンサ内蔵液晶パネル３０１（面状部材）と、センサ内蔵液晶パネル３０１が検知した像の面積に応じて、第１入力画面Ｌ１又は第２入力画面Ｌ２を選択する入力画面選択部８３０（入力画面選択手段）と、入力画面選択部８３０が第１入力画面Ｌ１を選択したときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第１入力画面Ｌ１に適用して、第１入力画面Ｌ１の文書内の位置を指定する位置指定部８４１（位置指定手段）と、入力画面選択部８３０が第２入力画面Ｌ２を選択したときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第２入力画面Ｌ２に適用して、入力する文字を決定する文字決定部８５１（文字決定手段）と、文字決定部８５１が決定した文字を、位置指定部８４１が指定した第１入力画面Ｌ１の文書内の位置に入力する編集部８４２（編集手段）とを備える。
【００３１】
まず、以下で、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。なお、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は１つでもよいし、複数でもよい。
【００３２】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００３３】
なお、本実施の形態では、センサ内蔵液晶パネル３０１は、対象物がタッチ（接触）した場合に、タッチした位置の検出や、画像の読み取りを行うものとして説明するが、実際には、センサ内蔵液晶パネル３０１は、対象物が完全に接触しなくても、当該対象物が有る程度、接近すれば当該対象物の位置や画像を読み取ることが可能である。
【００３４】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００３５】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００３６】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００３７】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００３８】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００３９】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４０】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００４１】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００４２】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００４３】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００４４】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００４５】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００４６】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００４７】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００４８】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００４９】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５０】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００５１】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００５２】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００５３】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００５４】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００５５】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００５６】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００５７】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００５８】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００５９】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６０】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００６１】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００６２】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００６３】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００６４】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００６５】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００６６】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００６７】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００６８】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００６９】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００７０】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００７１】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００７２】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００７３】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００７４】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００７５】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００７６】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００７７】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００７８】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００７９】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００８０】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００８１】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００８２】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００８３】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００８４】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００８５】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００８６】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００８７】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００８８】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００８９】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００９０】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【００９１】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９２】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９３】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９４】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【００９５】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【００９６】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【００９７】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【００９８】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【００９９】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１００】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１０１】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１０２】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１０３】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１０４】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１０５】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１０６】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１０７】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１０８】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１０９】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１１０】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１１１】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１１２】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１１３】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１１４】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１１５】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１１６】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１１７】
（データ表示／センサ装置１００の動作説明）
以下、図１、図９（ａ）〜（ｃ）、図１０、図１１を参照して、本発明の第１の実施形態に係るデータ表示／センサ装置１００（入力装置）を詳細に説明する。
【０１１８】
まず、図９（ａ）〜（ｃ）を用い、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１に表示する表示画面、及びデータ表示／センサ装置１００の動作の典型例について説明する。
【０１１９】
図９（ａ）は、センサ内蔵液晶パネル３０１に、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示したデータ表示／センサ装置１００が、ユーザからの入力操作を取得する様子を表す説明図であり、図９（ｂ）は図９（ａ）に示すデータ表示／センサ装置１００が、第２入力画面Ｌ２から入力操作を取得した様子を表す説明図であり、図９（ｃ）は、図９（ｂ）に示すデータ表示／センサ装置１００が、次に第１入力画面から入力操作を取得した様子を表す説明図である。
【０１２０】
まず、図９（ａ）を用い、センサ内蔵液晶パネル３０１が重畳表示する第１入力画面Ｌ１、及び第２入力画面Ｌ２について説明する。
【０１２１】
図９（ａ）に示すように、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１は、近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面Ｌ２と、文書を編集するための第１入力画面Ｌ１とを重畳表示している。
【０１２２】
第１入力画面Ｌ１は、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知することにより、センサ内蔵液晶パネル３０１に、ユーザの操作を取得させるための入力画面であり、第２入力画面Ｌ２を適用してセンサ内蔵液晶パネル３０１が取得するユーザの操作を、文書内に表示する。
【０１２３】
すなわち、第１入力画面Ｌ１は、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知することにより、ユーザからの入力操作を取得するための入力画面であり、さらに、第２入力画面Ｌ２から取得される文字の表示を行うものである。第１入力画面Ｌ１は、第２入力画面Ｌ２から取得されるユーザの入力操作を取得するための第１領域が複数配置された構成である。第１入力画面Ｌ１は、複数の第１領域のうち、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知した位置を含む第１領域（指定第１領域）を指定表示する。
【０１２４】
ここで、指定表示とは、複数の第１領域のうち、指定第１領域が選択されたことをユーザに対して視認させるための表示である。
【０１２５】
そして、第１入力画面Ｌ１は、第２入力画面Ｌ２から取得されるユーザの入力操作に応じた表示を、上記指定第１領域内に行う。
【０１２６】
本実施の形態では、センサ内蔵液晶パネル３０１は、第１入力画面Ｌ１として、例えば、米国マイクロソフト社が提供するエクセル（米国マイクロソフト社の商標）などの表計算ソフトウェアの表示画面を第１入力画面Ｌ１ａとして表示している。第１入力画面Ｌ１ａには、文字や記号等の入力及び当該入力された文字を表示するためのセル（第１領域）がマトリクス状に複数配置されている。
【０１２７】
そして、第１入力画面Ｌ１ａは、複数のセルのうち、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知した位置を含むセル（指定第１領域）にカーソル３５３を表示（指定表示）している。
【０１２８】
第２入力画面Ｌ２は、センサ内蔵液晶パネル３０１が指３５２のタッチを検知することにより、センサ内蔵液晶パネル３０１に、ユーザの操作を取得させるための入力画面である。第２入力画面Ｌ２は、センサ内蔵液晶パネル３０１がユーザの操作を取得するための複数の第２領域からなる第２領域群Ｌ２ａを備える。
【０１２９】
第２領域群Ｌ２ａの各第２領域は、いわゆるＱＷＥＲＴＹ配列で配列されており、一般的にＰＣ（パーソナルコンピュータ）に用いられているキーボードの各キーに対応するものである。すなわち、一般的なキーボードの各キーに対応付けられている文字コードが、第２領域群Ｌ２ａの各入力領域にも対応付けられている。そして、一般的なキーボードと同様に、第２領域群Ｌ２ａの各第２領域に対応付けられた文字コードにも、文字、数字、記号、特殊記号等（以下、単に文字と称する）が対応付けられており、各第２領域内には、当該第２領域に対応付けられた文字が表示されている。なお、特殊記号には、スペースや改行なども含む。
【０１３０】
ここで、第２領域群Ｌ２ａの各第２領域と、当該第２領域に対応付けられた文字コードと、当該文字コードに対応付けられた文字とは、例えば、テーブルとして記憶部９０１に格納されている。
【０１３１】
また、第２領域群Ｌ２ａの各第２領域は、半透明でセンサ内蔵液晶パネル３０１に表示されている。このため、センサ内蔵液晶パネル３０１は、第１入力画面Ｌ１ａの各セル内に表示する文字と、第２入力画面Ｌ２の第２領域群Ｌ２ａの各第２領域内の文字とを重畳表示しても、それぞれの表示をユーザに、容易に認識させることができる。
【０１３２】
なお、第２領域群Ｌ２ａは、半透明で表示することが好ましいが、半透明に限定されるものではない。
【０１３３】
次に、図９（ａ）〜（ｃ）を用い、データ表示／センサ装置１００の動作説明を行う。
【０１３４】
まず、図９（ａ）に示すように、データ表示／センサ装置１００は、第１入力画面Ｌ１ａをセンサ内蔵液晶パネル３０１に表示している。そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知すると、入力モードとして、センサ内蔵液晶パネル３０１に第２入力画面Ｌ２を表示する。つまり、センサ内蔵液晶パネル３０１は、第１入力画面Ｌ１ａと、第２入力画面Ｌ２とを重畳表示する。
【０１３５】
そして、データ表示／センサ装置１００は、スタイラスペン３５１のタッチを検知した位置を含むセル（指定第１領域）に、カーソル３５３を移動して表示することにより指定第１領域を指定表示する。このカーソル３５３が含まれているセルが指定第１領域である。言い換えると、データ表示／センサ装置１００は、第１入力領域Ｌ１ａからのユーザの入力操作として、カーソル３５３を移動させる位置を取得する。
【０１３６】
次に、ユーザは、センサ内蔵液晶パネル３０１上であって、第２入力画面Ｌ２の第２領域群Ｌ２の第２領域内に指３５２をタッチする。すると、センサ内蔵液晶パネル３０１が指３５２のタッチを検知し、図９（ｂ）に示すように、データ表示／センサ装置１００は、当該タッチを検知した位置を含む第２領域群Ｌ２ａの第２領域に対応付けられた文字を、指定第１領域内に表示する。
【０１３７】
言い換えると、データ表示／センサ装置１００は、第１入力領域Ｌ１ａからの入力操作としてスタイラスペン３５１のタッチを検知したセンサ内蔵液晶パネル３０１上の位置に移動させたカーソル３５３内に、第２入力画面Ｌ２からの入力操作として指３５２のタッチを検知した第２領域群Ｌ２ａの第２領域に対応付けられた文字を表示する。
【０１３８】
ここでは、ユーザは、「１」と対応付けられた第２領域に指をタッチする。すると、センサ内蔵液晶パネル３０１は、「１」と対応付けられた第２領域への指３５２のタッチを検知し、カーソル３５３を表示するセル内に「１」と表示する。
【０１３９】
続けてユーザは、「２」と対応付けられた第２領域に指をタッチする。すると、センサ内蔵液晶パネル３０１は、「２」と対応付けられた第２領域への指３５２のタッチを検知し、カーソル３５３を表示するセル内の「１」の表示の隣に「２」と表示する。
【０１４０】
さらに、ユーザは、「３」と対応付けられた第２領域に指をタッチする。すると、センサ内蔵液晶パネル３０１は、「３」と対応付けられた第２領域への指３５２のタッチを検知し、カーソル３５３を表示するセル内の「２」の表示の隣に「３」と表示する。これにより、カーソル３５３を表示するセル内には「１２３」と表示される。
【０１４１】
次に、ユーザは、他のセルに文字を入力する場合、文字を入力したいセル内のセンサ内蔵液晶パネル３０１にスタイラスペン３５１をタッチする。すると、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知し、データ表示／センサ装置１００は、上記検知した位置を含むセルにカーソル３５３を移動する。
【０１４２】
ここで、図９（ｃ）に示すように、データ表示／センサ装置１００は、カーソル３５３を含むセルである指定第１領域と、第２領域群Ｌ２ａの第２領域とのセンサ内蔵液晶パネル３０１上の表示位置が重なる（重畳する）場合、指定第１領域と重なる第２領域群Ｌ２ａの第２領域の位置を、指定第１領域と異なる位置に移動して、表示してもよい。
【０１４３】
すなわち、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知した位置が第２領域群Ｌ２ａの第２領域内である場合、データ表示／センサ装置１００は、スタイラスペン３５１のタッチを検知した位置を含む第１領域にカーソル３５３を表示すると共に、カーソル３５３を表示する第１領域と重ならないように、第２領域群Ｌ２ａの第２領域を表示する。
【０１４４】
これにより、データ表示／センサ装置１００は、ユーザから入力された文字を、ユーザに対して認識させやすく表示することができる。
【０１４５】
さらに、データ表示／センサ装置１００は、例えば、”Enter”など、特定の機能を有する文字コードと対応付けられた第２領域からの入力操作を取得すると、入力モードを終了し、センサ内蔵液晶パネル３０１に表示されている第２領域群Ｌ２の表示を終了してもよい。
【０１４６】
これにより、データ表示／センサ装置１００は、ユーザが必要なときだけ、第２領域群Ｌ２ａをセンサ内蔵液晶パネル３０１に表示することができる。
【０１４７】
（データ表示／センサ装置の要部構成の説明）
次に、図１を参照しながら、データ表示／センサ装置１００の詳細な説明を行う。
【０１４８】
図１は、データ表示／センサ装置１００の要部構成を表すブロック図である。
【０１４９】
図１に示すように、主制御部８００は、表示データ生成部８１０と、データ取得部８２０と、入力画面選択部８３０（入力画面選択手段）と、第１入力画面制御部８４０（表示指示手段、第１入力画面制御手段）と、第２入力画面制御部８５０（移動手段、第２入力画面制御手段）とを備える。
【０１５０】
入力画面選択部８３０は、面積判定部８３１（面積判定手段）を備える。また、第１入力画面制御部８４０は、位置指定部８４１（位置指定手段）と、編集部８４２（編集手段）とを備える。そして、第２入力画面制御部８５０は、文字決定部８５１と、第２領域管理部８５２（判定手段）を備える。なお、第２領域管理部８５２は、省略してもよい。
【０１５１】
表示データ生成部８１０は、第１入力画面制御部８４０又は第２入力画面制御部８５０からの出力に応じて、センサ内蔵液晶パネル３０１に表示画面（入力画面）を表示させるための表示データを生成するものである。そして、当該生成した表示データをデータ処理部７００に出力する。これにより、センサ内蔵液晶パネル３０１に、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示させる。
【０１５２】
また、表示データ生成部８１０は、コマンドを設定し、当該設定したコマンドをデータ処理部７００に出力するものである。
【０１５３】
データ取得部８２０は、データ処理部７００から出力される全体画像データ及び座標データを取得する。そして、データ取得部８２０は、データ処理部７００から取得した全体画像データ及び座標データを入力画面選択部８３０に出力する。
【０１５４】
入力画面選択部８３０は、データ取得部８２０から全体画像データ及び座標データを取得する。そして、入力画面選択部８３０は、データ取得部８２０から取得した全体画像データに含まれる像の面積に応じて、データ取得部８２０から取得した座標データの出力先を変更するものである。
【０１５５】
面積判定部８３１は、センサ内蔵液晶パネル３０１が検知した像の面積の値を算出し、当該算出した面積の値が、予め決められた閾値より大きいかを判定する。ここで、予め決められた閾値は、記憶部９０１に格納されている。
【０１５６】
そして、入力画面選択部８３０は、面積判定部８３１が判定した結果に基づいて、入力操作を取得するための第１入力画面Ｌ１又は第２入力画面Ｌ２を選択する。すなわち、入力画面選択部８３０は、面積判定部８３１の判定結果に応じて、センサ内蔵液晶パネル３０１が取得したユーザの操作を適用するための第１入力画面Ｌ１と第２入力画面Ｌ２とを選択する。
【０１５７】
これにより、入力画面選択部８３０は、センサ内蔵液晶パネル３０１が重畳表示する複数の入力画面のうち、ユーザからの入力操作を取得するための入力画面を選択するものである。
【０１５８】
第１入力画面制御部８４０は、センサ内蔵液晶パネル３０１が重畳表示する第１入力画面Ｌ１及び第２入力画面Ｌ２のうち、センサ内蔵液晶パネル３０１が第１入力画面Ｌ１を適用して取得するユーザの操作に基づいて、第１入力画面Ｌ１の表示を制御するものである。そして、第１入力画面制御部８４０は、位置指定部８４１、編集部８４２を含む。
【０１５９】
位置指定部８４１は、入力画面選択部８３０が第１入力画面Ｌ１を選択したときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第１入力画面Ｌ１に適用して、第１入力画面Ｌ１の文書内の位置を指定する。
【０１６０】
すなわち、位置指定部８４１は、入力画面選択部８３０が第１入力画面Ｌ１を選択したときの、センサ内蔵液晶パネル３０１が取得した入力操作に応じて、第１入力画面Ｌ１内の位置を指定する。
【０１６１】
つまり、位置指定部８４１は、第１入力画面制御部８４０が入力画面選択部８３０から座標データを取得すると、記憶部９０１を参照し、第１入力画面Ｌ１に配置されている複数の第１領域の位置と、入力画面選択部８３０から取得した座標データが示す位置とを比較し、当該座標データが含まれる第１領域を指定する。
【０１６２】
そして、第１入力画面制御部８４０は、位置指定部８４１が位置を指定した第１領域（指定第１領域）をユーザに視認させるために、センサ内蔵液晶パネル３０１に指定表示させるための指示を表示データ生成部８１０に行う。
【０１６３】
また、第１入力画面制御部８４０は、第２入力画面制御部８５０から、文字コードなどである文字表示情報を取得すると、当該文字コードに対応する文字を指定第１領域に表示させるための指示を表示データ生成部８１０に行う。
【０１６４】
編集部８４２は、文字決定部８５１が決定した文字を、位置指定部８４１が指定した第１入力画面Ｌ１の文書内の位置に入力する。すなわち、編集部８４２は、文字決定部８５１が決定した文字を、指定第１領域に入力することにより、第１入力画面Ｌ１を編集する。
【０１６５】
なお、編集部８４２は、位置指定部８４１が第１領域の位置を指定する前に、第２入力画面制御部８５０から、文字を決定した旨の情報である文字決定情報を取得した場合、例えば、初期設定などで予め指定されている第１領域に、文字決定部８５１が決定した文字を入力することにより第１入力画面Ｌ１を編集する。そして、編集した第１入力画面Ｌ１を表示させるための指示を表示データ生成部８１０に行う。
【０１６６】
第２入力画面制御部８５０は、センサ内蔵液晶パネル３０１が重畳表示する第１入力画面Ｌ１及び第２入力画面Ｌ２のうち、第２入力画面Ｌ２からの入力操作に基づいて、第２入力画面Ｌ２の表示を制御するものである。
【０１６７】
第２入力画面制御部８５０は、入力画面選択部８３０から座標データを取得すると、記憶部９０１を参照し、第２入力画面Ｌ２に配置されている複数の第２領域の位置と、入力画面選択部８３０から取得した座標データが示す位置とを比較し、当該座標データが含まれる第２領域を特定する。
【０１６８】
文字決定部８５１は、入力画面選択部８３０が第２入力画面Ｌ２を選択したときの、センサ内蔵液晶パネル３０１が取得したユーザの操作を第２入力画面Ｌ２に適用して、入力する文字を決定する。
【０１６９】
すなわち、文字決定部８５１は、記憶部９０１を参照し、上記特定した第２領域に対応付けられている文字を決定する。そして、文字決定部８５１は文字を決定した旨の情報である文字決定情報を第１入力画面制御部８４０に出力する。
【０１７０】
また、第２入力画面制御部８５０は、第２領域と、指定第１領域とのセンサ内蔵液晶パネル３０１上の表示位置が重なる場合、センサ内蔵液晶パネル３０１上の第２領域の表示位置を、第１領域と重ならない位置に移動させる第２領域管理部８５２を含む。
【０１７１】
第１入力画面制御部８４０から、指定第１領域のセンサ内蔵液晶パネル３０１上の位置を表す、指定第１領域位置情報を第２入力画面制御部８５０が取得すると、第２領域管理部８５２は、第２領域と、指定第１領域とのセンサ内蔵液晶パネル３０１上の表示位置が重なるか否かを判定する。
【０１７２】
そして、第２領域管理部８５２が、第２領域と、指定第１領域とのセンサ内蔵液晶パネル３０１上の表示位置が重なると判定すると、第２入力画面制御部８５０は、第２領域を、指定第１領域と異なる位置、つまり、重ならない位置に移動させる指示情報を表示データ生成部８１０に出力する。これにより、センサ内蔵液晶パネル３０１は、第２領域が、指定第１領域と異なる位置に移動された第２入力画面Ｌ２と、第１入力画面Ｌ１とを重畳表示することができる。
【０１７３】
（フローチャート）
次に、図１０を用い、データ表示／センサ装置１００の処理の流れについて説明する。
【０１７４】
図１０は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。
【０１７５】
まず、データ表示／センサ装置１００は、ユーザの操作を取得することにより、センサ内蔵液晶パネル３０１に第１入力画面Ｌ１を表示する。
【０１７６】
さらに、併せて、表示データ生成部８１０は、「データ取得タイミング」フィールドに、”イベント”を指定し、「データ種別」フィールドに”座標”および”全体画像”の両方を指定（”101”を指定）したコマンドをデータ処理部７００に出力する。
【０１７７】
これにより、表示データ生成部８１０は、センサ内蔵液晶パネル３０１が取得する画像データに変化が生じた場合のみ、データ処理部７００から全体画像データ及び座標データを取得する。
【０１７８】
そして、ユーザが指３５２又はスタイラスペン３５１をセンサ内蔵液晶パネル３０１にタッチする。すると、センサ内蔵液晶パネル３０１は、タッチした指３５２又はスタイラスペン３５１の像を検知する（ステップＳ１１）。
【０１７９】
次に、主制御部８００のデータ取得部８２０は、データ処理部７００からセンサ内蔵液晶パネル３０１が検知した像を含む全体画像データと、像の代表座標（例えば中心座標）を示すデータを座標データとして取得する。そして、データ取得部８２０は、データ処理部７００から取得した全体画像データ、及び座標データを入力画面選択部８３０に出力する。
【０１８０】
入力画面選択部８３０は、データ取得部８２０から全体画像データを取得すると、面積判定部８３１は、全体画像データに含まれる像の面積を算出する。そして、面積判定部８３１は、記憶部９０１を参照し、上記算出した像の面積が予め決められた閾値より大きいか否かを判定する（ステップＳ１２）。
【０１８１】
そして、入力画面選択部８３０は、算出した像の面積が閾値以下であると面積判定部８３１が判定した場合（ステップＳ１２のＮＯ）、センサ内蔵液晶パネル３０１にタッチしたのはスタイラスペン３５１であると判定し、データ取得部８２０から取得した座標データを、第１入力画面制御部８４０に出力する。
【０１８２】
第１入力画面制御部８４０は、入力画面選択部８３０から座標データを取得すると、第１入力画面制御部８４０の位置指定部８４１は、記憶部９０１を参照し、複数の第１領域のうち、入力画面選択部８３０から取得した座標データが示す位置を含む第１領域（指定第１領域）を指定する（ステップＳ１３）。
【０１８３】
そして、第１入力画面制御部８４０は、位置指定部８４１が指定した第１領域を指定第１領域として指定表示することを指示するための指定表示指示情報を、表示データ生成部８１０に出力する。表示データ生成部８１０は、第１入力画面制御部８４０から指定表示指示情報を取得すると、指定第１領域を指定表示した第１入力画面Ｌ１と、第２入力画面とをセンサ内蔵液晶パネル３０１に重畳表示させるための表示データを生成し、当該生成した表示データをデータ処理部７００に出力する。
【０１８４】
これにより、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に、指定第１領域を指定表示した第１入力画面Ｌ１と、第２入力画面とを重畳表示させる。そして、ステップＳ１１の処理へ戻る。
【０１８５】
また、ユーザが、指３５２をセンサ内蔵液晶パネル３０１にタッチした場合、すなわち、算出した像の面積が閾値より大きいと面積判定部８３１が判定した場合（ステップＳ１２のＹＥＳ）、入力画面選択部８３０は、センサ内蔵液晶パネル３０１にタッチしたのは指３５２であると判定し、データ取得部８２０から取得した座標データを、第２入力画面制御部８５０に出力する。
【０１８６】
そして、第２入力画面制御部８５０は、入力画面選択部８３０から座標データを取得すると、記憶部９０１を参照し、第２領域群Ｌ２ａのうち、座標データが示す位置を含む第２領域を特定する。つまり、第２入力画面制御部８５０は、ユーザからの入力操作を取得した第２領域を特定する。
【０１８７】
次に、第２入力画面制御部８５０の文字決定部８５１は、記憶部９０１を参照し、特定した第２領域に対応付けられた文字を決定する（ステップＳ１４）。そして、文字決定部８５１は、文字を決定したことを示す文字決定情報を第１入力画面制御部８４０に出力する。
【０１８８】
そして、第１入力画面制御部８４０の編集部８４２は、第２入力画面制御部８５０から文字表示情報を取得すると、当該文字決定情報で決定された文字を、指定第１領域に入力することにより、第１入力画面Ｌ１を編集する。
【０１８９】
次に、第１入力画面制御部８４０は、編集部８４２が第１入力画面Ｌ１編集した結果を表す編集情報を表示データ生成部８１０に出力する。
【０１９０】
そして、表示データ生成部８１０は、第１入力画面制御部８４０から編集情報を取得すると、ユーザからの入力操作を取得した第２領域に対応付けられている文字を、指定第１領域に表示した第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳してセンサ内蔵液晶パネル３０１に表示するための表示データを生成する。
【０１９１】
そして、表示データ生成部８１０は、上記生成した表示データを、データ処理部７００に出力することにより、センサ内蔵液晶パネル３０１に、ユーザからの入力操作を取得した第２領域に対応付けられている文字を、指定第１領域に表示した第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示させる（ステップＳ１５）。
【０１９２】
（第２領域管理部８５２による追加ステップ）
また、第２入力画面制御部８５０に、第２領域管理部８５２を設けた場合のステップについて、図１１を用いて説明する。
【０１９３】
図１１は、データ表示／センサ装置１００の第２入力画面制御部８５０に、第２領域管理部を設けた場合の処理の流れを表すフローチャートである。
【０１９４】
図１１に示すように、ステップＳ１３の後、第１入力画面制御部８４０は、指定第１領域のセンサ内蔵液晶パネル３０１上の位置を表す、指定第１領域位置情報を第２入力画面制御部８５０に出力する。
【０１９５】
第２入力画面制御部８５０は、第１入力画面制御部８４０から指定第１領域位置情報を取得すると、第２入力画面制御部８５０の第２領域管理部８５２は、センサ内蔵液晶パネル３０１に表示している第２領域群Ｌ２ａの第２領域の表示位置と、指定第１領域の表示位置とが重なっているか否かを判定する（ステップＳ１６）。
【０１９６】
そして、第２領域管理部８５２は、指定第１領域と、第２領域群Ｌ２ａの第２領域の表示位置とが重なっていないと判定した場合（ステップＳ１６のＮＯ）、ステップＳ１１の処理を行う。
【０１９７】
また、第２領域管理部８５２は、指定第１領域と、第２領域群Ｌ２ａの第２領域の表示位置とが重なっていると判定した場合（ステップＳ１６のＹＥＳ）、第２入力画面制御部８５０は、第２領域群Ｌ２ａの第２領域を、指定第１領域とは異なる位置に移動した第２入力画面Ｌ２を表示させるための情報である第２入力画面表示情報を、表示データ生成部８１０に出力する。
【０１９８】
そして、表示データ生成部８１０は、第２入力画面制御部８５０から、第２入力画面表示情報を取得すると、当該取得した第２入力画面表示情報に基づいて、表示データを生成する。
【０１９９】
また、表示データ生成部８１０は、生成した表示データをデータ処理部７００に出力することにより、指定第１領域が選択表示された第１入力画面Ｌ１と、指定第１領域とは異なる位置に第２領域を表示した第２入力画面Ｌ２と、を重畳して表示した表示画面を、センサ内蔵液晶パネル３０１に表示させる（ステップＳ１７）。
【０２００】
〔実施の形態２〕
次に、本発明の他の実施形態について、図１２を用い説明する。実施の形態１と、実施の形態２とでは、第１入力画面Ｌ１の表示が異なる点で相違する。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０２０１】
第１入力画面Ｌ１は、表計算ソフトウェアの表示画面に限定されず、文字を入力するための複数の第１領域を備えていればよく、例えば、テキスト入力が可能な第１領域を備えるＷｅｂ（ウェブ）ページの表示画面や、メール用のアプリケーションソフトの表示画面であってもよい。
【０２０２】
図１２（ａ）〜（ｃ）を用い、第１入力画面Ｌ１を、テキスト入力が可能な第１領域を備えるＷｅｂページを第１入力画面Ｌ１ｂとして表示する場合のデータ表示／センサ装置１００の動作の典型例について説明する。
【０２０３】
図１２（ａ）は、第１入力画面Ｌ１として、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１にＷｅｂページを表示している様子を表す説明図であり、図１２（ｂ）は図１２（ａ）に示すセンサ内蔵液晶パネル３０１に、第２入力画面Ｌ２を重畳表示している様子を表す説明図であり、図１２（ｃ）は、図１２（ｂ）に示す第１入力画面Ｌ１をスクロールさせた様子を表す説明図である。
【０２０４】
図１２（ａ）に示すように、データ表示／センサ装置１００は、テキスト入力が可能な第１領域を備えるＷｅｂページである第１入力画面Ｌ１ｂをセンサ内蔵液晶パネル３０１に表示している。
【０２０５】
データ表示／センサ装置１００は、インターネットへの接続が可能なように構成されており、第１入力画面Ｌ１ｂは、インターネットを介して取得する可能な表示画面である。
【０２０６】
図１２（ａ）に示すように、第１入力画面Ｌ１ｂは、文字を入力することができる複数の第１領域３６０ａ、第１領域３６０ｂを備える。
【０２０７】
そして、図１２（ｂ）に示すように、ユーザが、指３５２をセンサ内蔵液晶パネル３０１にタッチすると、センサ内蔵液晶パネル３０１は、指３５２のタッチを検知する。そして、センサ内蔵液晶パネル３０１が指３５２のタッチを検知すると、データ表示／センサ装置１００は、入力モードに切り替わり、センサ内蔵液晶パネル３０１に、第２領域群Ｌ２ａを備える第２入力画面Ｌ２を表示する。すなわち、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に、第１入力画面Ｌ１と第２入力画面Ｌ２とを重畳表示する。
【０２０８】
そして、センサ内蔵液晶パネル３０１がスタイラスペン３５１のタッチを検知する前に、第２領域群Ｌ２ａの第２領域内への指３５２のタッチを検知すると、当該タッチを検知した第２領域に対応付けられた文字を、予め決められた位置の指定第１領域（例えば、第１領域３６０ａ）内に表示する。
【０２０９】
また、図１２（ｃ）に示すように、ユーザは、センサ内蔵液晶パネル３０１に表示されている第１入力画面Ｌ１ｂをスクロールする場合、センサ内蔵液晶パネル３０１に表示されている第１領域３６０ａ、３６０ｂ以外の領域にスタイラスペン３５１をタッチし、当該タッチしたスタイラスペン３５１を、センサ内蔵液晶パネル３０１の表面に沿ってスライドする。
【０２１０】
すると、センサ内蔵液晶パネル３０１は、第１領域３６０ａ、３６０ｂ以外の領域へのスタイラスペン３５１のタッチを検知し、さらに、スタイラスペン３５１の移動を検知すると、スタイラスペンの移動にあわせて、第１入力画面Ｌ１ａｂをスクロールして表示する。
【０２１１】
そして、センサ内蔵液晶パネル３０１は、第１領域３６０ｃ内へのスタイラスペン３５１のタッチを検知すると、当該スタイラスペン３５１のタッチを検知した第１領域３６０ｃを指定第１領域として選択し、第１領域３６０ｃ内にカーソルを表示することにより選択表示する。
【０２１２】
次に、センサ内蔵液晶パネル３０１は、第２入力画面Ｌ２に表示する第２領域群Ｌ２ａの第２領域内への指３５２のタッチを検知すると、当該検知した第２領域群Ｌ２ａの第２領域に対応付けられた文字を、第１領域３６０ｃ内に表示する。
【０２１３】
〔プログラム〕
また、データ表示／センサ装置１００の各ブロック、特に入力画面選択部８３０、第１入力画面制御部８４０、第２入力画面制御部８５０は、ハードウェアロジックによって構成してもよいし、次のようにコンピュータを用いてソフトウェアによって実現してもよい。
【０２１４】
すなわち、入力画面選択部８３０、第１入力画面制御部８４０、第２入力画面制御部８５０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである入力画面選択部８３０、第１入力画面制御部８４０、第２入力画面制御部８５０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記入力画面選択部８３０、第１入力画面制御部８４０、第２入力画面制御部８５０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２１５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２１６】
また、入力画面選択部８３０、第１入力画面制御部８４０、第２入力画面制御部８５０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２１７】
なお、実施の形態１及び実施の形態２では、第１入力画面Ｌ１を操作するための対象物として、スタイラスペン３５１を用いた説明を行ったが、スタイラスペン３５１に限定されるものではない。すなわち、センサ内蔵液晶パネル３０１が検知した像の面積が、予め決められた閾値以下であるか否かを入力画面選択部８３０が判定できればよく、スタイラスペン３５１に替えて、例えば、指先や爪先などでもよい。
【０２１８】
さらに、入力画面選択部８３０は、センサ内蔵液晶パネル３０１が検知した像の面積が、予め決められた閾値以下である場合、データ取得部８２０から取得した座標データを第１入力画面制御部８４０に出力し、センサ内蔵液晶パネル３０１が検知した像の面積が、予め決められた閾値より大きい場合、データ取得部８２０から取得した座標データを、第１入力画面制御部８４０に出力したが、その逆でもよい。
【０２１９】
すなわち、入力画面選択部８３０は、センサ内蔵液晶パネル３０１が検知した像の面積が、予め決められた閾値より大きい場合、データ取得部８２０から取得した座標データを第１入力画面制御部８４０に出力し、センサ内蔵液晶パネル３０１が検知した像の面積が、予め決められた閾値以下である場合、データ取得部８２０から取得した座標データを、第１入力画面制御部８４０に出力してもよい。
【０２２０】
また、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２２１】
本発明は、文字の入力を行う装置に適用でき、特に、複数の入力画面を表示するデータ表示／センサ装置に好適に適用できる。
【符号の説明】
【０２２２】
１００ データ表示／センサ装置
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）と
８００ 主制御部
８１０ 表示データ生成部
８２０ データ取得部
８３０ 入力画面選択部（入力画面選択手段）
８３１ 面積判定部（面積判定手段）
８４０ 第１入力画面制御部（表示指示手段、第１入力画面制御手段）
８４１ 位置指定部（位置指定手段）
８４２ 編集部（編集手段）
８５０ 第２入力画面制御部（移動手段、第２入力画面制御手段）
８５１ 文字決定部（文字決定手段）
８５２ 第２領域管理部（判定手段）
Ｌ１ 第１入力画面
Ｌ１ａ 第１入力画面
Ｌ１ａ 第１入力領域
Ｌ１ａｂ 第１入力画面
Ｌ１ｂ 第１入力画面
Ｌ２ 第２入力画面
Ｌ２ 第２領域群
Ｌ２ａ 第２領域群
【特許請求の範囲】
【請求項１】
近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材と、
上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択手段と、
上記入力画面選択手段が上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定手段と、
上記入力画面選択手段が上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定手段と、
上記文字決定手段が決定した文字を、上記位置指定手段が指定した上記第１入力画面の文書内の位置に入力する編集手段とを備えることを特徴とする入力装置。
【請求項２】
上記位置指定手段が指定した上記第１入力画面内の位置を含む第１領域が、上記面状部材が上記第２入力画面からユーザの操作を取得するために上記第２入力画面に配置された第２領域と重なるかを判定する判定手段と、
上記判定手段によって、上記第１領域が上記第２領域と重なると判定された場合、上記第１領域と異なる位置に、上記第２領域を移動させる移動手段とを備えることを特徴とする請求項１に記載の入力装置。
【請求項３】
上記面状部材が検知した像の面積の値を算出し、当該算出した面積の値が、予め決められた閾値より大きいかを判定する面積判定手段を備え、
上記入力画面選択手段は、上記面積判定手段が判定した結果に基づいて、ユーザの操作を取得するための上記第１入力画面又は上記第２入力画面を選択することを特徴とする請求項１または２に記載の入力装置。
【請求項４】
近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材を備える入力装置の入力方法であって、
上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択ステップと、
上記入力画面選択ステップで上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定ステップと、
上記入力画面選択ステップで上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定ステップと、
上記文字決定ステップで決定した文字を、上記位置指定ステップで指定した上記第１入力画面の文書内の位置に入力する編集ステップとを備えることを特徴とする入力方法。
【請求項５】
請求項１〜３の何れか一項に記載の入力装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるための入力プログラム。
【請求項１】
近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材と、
上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択手段と、
上記入力画面選択手段が上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定手段と、
上記入力画面選択手段が上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定手段と、
上記文字決定手段が決定した文字を、上記位置指定手段が指定した上記第１入力画面の文書内の位置に入力する編集手段とを備えることを特徴とする入力装置。
【請求項２】
上記位置指定手段が指定した上記第１入力画面内の位置を含む第１領域が、上記面状部材が上記第２入力画面からユーザの操作を取得するために上記第２入力画面に配置された第２領域と重なるかを判定する判定手段と、
上記判定手段によって、上記第１領域が上記第２領域と重なると判定された場合、上記第１領域と異なる位置に、上記第２領域を移動させる移動手段とを備えることを特徴とする請求項１に記載の入力装置。
【請求項３】
上記面状部材が検知した像の面積の値を算出し、当該算出した面積の値が、予め決められた閾値より大きいかを判定する面積判定手段を備え、
上記入力画面選択手段は、上記面積判定手段が判定した結果に基づいて、ユーザの操作を取得するための上記第１入力画面又は上記第２入力画面を選択することを特徴とする請求項１または２に記載の入力装置。
【請求項４】
近傍の像を検知することによりユーザの操作を取得することが可能であって、かつ、文字入力を行うための第２入力画面と、文書を編集するための第１入力画面とを重畳表示する面状部材を備える入力装置の入力方法であって、
上記面状部材が検知した像の面積に応じて、上記第１入力画面又は第２入力画面を選択する入力画面選択ステップと、
上記入力画面選択ステップで上記第１入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第１入力画面に適用して、上記第１入力画面の文書内の位置を指定する位置指定ステップと、
上記入力画面選択ステップで上記第２入力画面を選択したときの、上記面状部材が取得したユーザの操作を上記第２入力画面に適用して、入力する文字を決定する文字決定ステップと、
上記文字決定ステップで決定した文字を、上記位置指定ステップで指定した上記第１入力画面の文書内の位置に入力する編集ステップとを備えることを特徴とする入力方法。
【請求項５】
請求項１〜３の何れか一項に記載の入力装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるための入力プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１６５２４６（Ｐ２０１０−１６５２４６Ａ）
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願番号】特願２００９−７９９３（Ｐ２００９−７９９３）
【出願日】平成２１年１月１６日（２００９．１．１６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願日】平成２１年１月１６日（２００９．１．１６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]