入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置
【課題】ユーザにとって利便性及び操作性の高い入力装置を提供する。
【解決手段】第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが、共に指の像を検知したか否かを判定する検知判定部８１０と、検知判定部８１０が、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定した場合に、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出部８３０と、を備える。これにより、ユーザは、様々な指の像の動きを第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂに検出させることによって、従来の入力装置では実現できなかった多彩で立体的な操作を経験でき、また、そのような操作によって、優れた利便性及び操作性が提供される。
【解決手段】第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが、共に指の像を検知したか否かを判定する検知判定部８１０と、検知判定部８１０が、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定した場合に、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出部８３０と、を備える。これにより、ユーザは、様々な指の像の動きを第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂに検出させることによって、従来の入力装置では実現できなかった多彩で立体的な操作を経験でき、また、そのような操作によって、優れた利便性及び操作性が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二つの入力面から入力する入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置に関する。
【背景技術】
【０００２】
近年、タッチパネル式の入力装置が、携帯電話機、ＰＤＡなどに代表されるモバイル機器（携帯端末）において広く普及している。その一例として、入力面に対して、指が接触していない状態から、接触している状態に変化したときに、接触した指の位置に応じた入力が行われる入力装置が知られている（例えば、特許文献１）。
【０００３】
また、単にタッチパネル式で入力を受け付けるのみならず、用途に応じて、より便利な入力が可能な入力装置が提案されている。例えば、携帯用端末機器において、ユーザは、表示画面上のアイコンに指を接触させて、次にアイコンを移動させたい方向にその指を動かすことにより、そのアイコンを表示画面中の好みの位置に移動させることができる。さらに、表示画面上のフォルダを指でダブルクリックすることにより、そのフォルダを開けることもできる（例えば、特許文献２）。
【特許文献１】特開２００８−１４１５１９号公報（平成２０年６月１９日公開）
【特許文献２】特開平１１−３９０９３号公報（平成１１年２月１２日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の入力装置は、何れも一つの入力面から入力する方式（以下、一面入力式とする）であって、裏表両面に配設された二つの入力面から入力する方式（以下、両面入力式とする）の入力装置は、そもそも存在しなかった。
【０００５】
従って、ユーザは、両面入力式の入力装置によって実現される多彩で立体的な操作と、その優れた利便性及び操作性を、従来の一面入力式の入力装置では経験することができなかった。
【０００６】
さらに、従来の入力装置には次のような問題があった。つまり、一面入力式の入力装置では、ユーザが気付かないうちに意図しない操作が行われる可能性を排除できない。具体的には、ユーザの指がタッチパネル上のアイコンに無意識のうちに接触し、アイコンを表示画面上のどこか別の場所にドラッグしてしまうことがある。そのドラッグした先がゴミ箱フォルダであった場合には、そのアイコンは、ユーザの知らない間に消去されてしまうという事態に陥る。このように、従来の入力装置には、一つの入力面から入力を行うことによって生じる固有の問題もあった。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザにとって利便性及び操作性の高い入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の入力装置は、前記課題を解決するために、近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置であって、前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定手段と、前記検知判定手段が、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出手段と、を備えることを特徴としている。
【０００９】
また、本発明の入力装置の制御方法は、近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置の制御方法であって、前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、を含むことを特徴としている。
【００１０】
これにより、本発明に係る入力装置および入力装置の制御方法では、表裏両面にそれぞれ配設された近傍の像を検知する面状部材が共に指の像を検知した場合に、指の像の動きに対応付けられた入力信号が入力検出手段によって生成される。そして、その入力信号は、表裏両面の面状部材が検知した指の像の動きに対応付けられた信号である。
【００１１】
従って、表裏両面の面状部材が様々な指の像の動きを検出することによって、従来の入力装置では実現できなかった多彩で立体的な操作が行われ、また、そのような操作によって、優れた利便性及び操作性がユーザに提供される。しかも板状の入力装置の裏表両面から画面を指で挟持するように操作するため、ユーザは、極めて容易に当該装置を使用することができる。
【００１２】
加えて、表裏両面の面状部材のうち何れか一方の面状部材が指の像を検知しただけでは、その指の像の動きに対応付けられた入力信号が生成されることはない。そのため、例えばユーザの指がタッチパネル上のアイコンに無意識のうちに接触しても、その指の像が検知されて入力信号が生成され、何らかの処理が実行されてしまうという事態を回避することができる。それゆえ、入力面に誤って触って、意図せず操作してしまうリスクが軽減される。
【００１３】
このように、本発明に係る入力装置および入力装置の制御方法は、優れた操作性及び利便性をユーザに提供することができる。
【００１４】
さらに、本発明に係る入力装置では、前記の構成において、前記入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、前記入力信号に対応する命令を、前記動作実行装置に送信する動作制御手段を備える構成としてもよい。
【００１５】
前記の構成によれば、本発明に係る入力装置では、入力検出手段が、表裏両面の面状部材が共に指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する。そして、前記入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、入力信号に対応付けられた命令が動作実行装置に送信され、動作実行装置がその命令に従って所定の動作を実行する。
【００１６】
従って、表裏両面の面状部材が様々な指の像の動きを検出することによって、動作実行装置は、ユーザが所望する動作を実行することができる。
【００１７】
なお、動作実行装置は、１つであっても複数であってもよく、また入力装置と一体に構成されていてもよく、さらに入力装置から物理的に離れた位置に存在していてもよい。
【００１８】
さらに、本発明に係る入力装置では、前記の構成において、前記入力検出手段は、前記表裏両面の面状部材が、該表裏両面の面状部材上の所定の領域において指の像を検知した場合に、前記入力信号を生成する構成としてもよい。
【００１９】
前記の構成によれば、本発明に係る入力装置では、入力検出手段が、表裏両面の面状部材上の所定の領域において指の像を検知した場合に入力信号を生成し、表裏両面の面状部材上の前記所定の領域とは異なる他の領域に指がタッチした場合には入力信号を生成しない。このようにして、入力検出手段は、表裏両面の面状部材上の操作領域を制限することができる。
【００２０】
従って、ユーザは、表裏両面の面状部材上の前記所定の領域とは異なる他の領域に指をタッチしても、入力信号が生成されて入力面に誤って操作してしまう事態を回避することができる。また、ユーザにとって操作しやすい領域に前記所定の領域が設定されることにより、本発明に係る入力装置は、さらに優れた操作性及び利便性をユーザに提供することができる。
【００２１】
さらに、本発明に係る入力装置では、前記表裏両面の面状部材において、前記所定の領域に画像を表示させる画像表示制御手段を備え、前記入力検出手段は、前記画像に対応付けられた前記入力信号を生成する構成としてもよい。
【００２２】
前記の構成によれば、本発明に係る入力装置では、画像表示制御手段が所定の領域に画像を表示する。また、入力検出手段は、所定の領域において指の像が検知された場合に、当該画像に対応付けられた入力信号を生成する。
【００２３】
つまり、画像表示制御手段が画像を表示することによって操作可能な範囲（操作対象）がユーザに明示され、ユーザは、当該画像を裏表両面から指で挟持することにより、前記動作実行装置に所定の動作を実行させることができる。
【００２４】
それとは逆に、入力検出手段は、表裏両面の面状部材上の画像が表示された領域とは異なる他の領域に指がタッチした場合であっても、入力信号を生成することはない。それゆえ、当該画像が表示されている所定の領域とは異なる領域を誤って触って、意図せず操作してしまうという事態を回避できる。
【００２５】
さらに、本発明に係る入力装置では、前記の構成において、前記画像表示制御手段は、前記動作実行装置が実行した前記所定の動作の結果に基づく画像を、前記面状部材に表示させる構成としてもよい。
【００２６】
前記の構成によれば、本発明に係る入力装置では、画像表示制御手段は、前記動作実行装置が実行した前記所定の動作の結果に基づく画像を前記面状部材に表示させる。
【００２７】
従って、画像表示制御手段は、ユーザの指の動きに対応付けられて実行された動作の結果を画面上に表示して、その結果をユーザに確認させることができる。
【００２８】
なお、その動作後の画像に対してさらに何らかの動作を与えたいときは、前記表裏両面の面状部材に対して所望の指の像の動きを検出させればよい。つまり、ユーザは、動作の結果を画面上で確認することにより、次の動作を連続的に行うことができる。
【００２９】
なお、前記入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記各手段として動作させることにより前記入力装置をコンピュータにて実現させる入力装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、前記の入力装置を備えた情報端末装置も、本発明の範疇に入る。
【発明の効果】
【００３０】
本発明に係る入力装置は、以上のように、表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定手段と、前記検知判定手段が、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出手段と、を備える構成である。
【００３１】
また、本発明に係る入力装置の制御方法は、以上のように、前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、を含む構成である。
【００３２】
それゆえ、二つの入力面から入力する、操作性及び利便性に優れた入力装置および入力装置の制御方法をユーザに提供することができる。
【発明を実施するための最良の形態】
【００３３】
本実施の形態について図１〜図２７に基づいて説明すると以下の通りである。
【００３４】
本実施の形態に係るデータ表示／センサ装置１００（入力装置）は、概略的に言えば、近傍の像を検知する第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂ（表裏両面の面状部材）が表裏両面にそれぞれ配設されており、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが、共に指の像を検知したか否かを判定する検知判定部８１０（検知判定手段）と、検知判定部８１０が、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定した場合に、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出部８３０（入力検出手段）と、を備える装置である。
【００３５】
そこで、まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００３６】
（センサ内蔵液晶パネルの概要）
前記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００３７】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００３８】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００３９】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４０】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００４１】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４２】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４３】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、前記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００４４】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、前記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００４５】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置でｄｆある。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００４６】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００４７】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００４８】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００４９】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５０】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５１】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００５２】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５３】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００５４】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００５５】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００５６】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００５７】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００５８】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００５９】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６０】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６１】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００６２】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６３】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００６４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００６５】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００６６】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００６７】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００６８】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００６９】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７０】
なお、前記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００７１】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００７２】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００７３】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００７４】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００７５】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００７６】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００７７】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００７８】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、前記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００７９】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８０】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８１】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００８２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。
【００８３】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、前記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００８４】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００８５】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００８６】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００８７】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００８８】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００８９】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９０】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００９１】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００９２】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００９３】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【００９４】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９５】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９６】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９７】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【００９８】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【００９９】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１００】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、前記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１０１】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１０２】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１０３】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１０４】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１０５】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１０６】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１０７】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１０８】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１０９】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１１０】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１１１】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１１２】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１１３】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１１４】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１１５】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１１６】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１１７】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１１８】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１１９】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
〔実施の形態１〕
本発明の主な特徴は、データ表示／センサ装置１００では、近傍の像を検知する第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが表裏両面にそれぞれ配設されており、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが、共に指の像を検知したか否かを判定する検知判定部８１０と、検知判定部８１０が第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定した場合に、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して入力信号を生成する入力検出部８３０と、を備える点にある。
【０１２０】
これにより、データ表示／センサ装置１００では、表裏両面に配設された第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合に、入力検出部８３０が入力信号を生成する。
【０１２１】
従って、第１表示／光センサ部３００Ａ、あるいは第２表示／光センサ部３００Ｂの一方のみが指の像を検出しても、それにより入力信号が生成されることはない。それゆえ、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが様々な指の像の動きを検出することにより、従来の入力装置では実現できなかった多彩で立体的な操作を可能とする。また、データ表示／センサ装置１００は、そのような操作によって優れた利便性及び操作性をユーザに提供する。
【０１２２】
さらに、データ表示／センサ装置１００では、ユーザの指がタッチパネル上のアイコンに無意識のうちに接触して、アイコンを表示画面上のどこか別の場所にドラッグしてしまうといった事態を避けることができる。従って、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂという二つの入力面からの入力により入力信号が生成されるため、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂに対して誤って操作してしまうリスクが軽減される。
（データ表示／センサ装置の動作説明）
実施の形態１に係るデータ表示／センサ装置１００について、図１、図９〜図１８、図２８〜図３０を参照して説明する。
【０１２３】
なお、まず最初に、データ表示／センサ装置１００が実行する種々の動作の具体例を図９〜図１８を参照して説明する。次に、データ表示／センサ装置１００の構成を図１を参照して説明する。そして、種々の動作を実現する処理の流れを図２０を参照して説明する。
【０１２４】
ここで、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ、あるいは第２表示／光センサ部３００Ｂの何れに画像を表示させてもよいが、本実施の形態では、第１表示／光センサ部３００Ａに画像を表示するものとして説明する。なお、第１表示／光センサ部３００Ａは、図９〜図１８において図面手前側に位置する。
【０１２５】
また、ユーザは、右手あるいは左手の何れでもデータ表示／センサ装置１００を操作することができるが、本実施の形態では、右手で操作するものとして説明する。
（表示画像に対して実行される動作）
以下、図９〜図１８の概要を説明する。
【０１２６】
図９（ａ）は、第１表示／光センサ部３００Ａに矩形の画像２５ａが表示され、かつ、ユーザが、矩形の画像２５ａを上面から親指２０でタッチすると共に、第２表示／光センサ部３００Ｂに矩形の画像２５ａの裏面が表示されているとしたならば、その矩形の画像２５ａの裏面が表示されているであろう領域を人差し指２１でタッチしている。
【０１２７】
なお、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａが、実際に下面から人差し指２１でタッチされることはないものの、説明の便宜上、本実施の形態に係る以降の説明では、この状態を「上面から親指２０で、下面から人差し指２１で、それぞれタッチする」と表現する。このことは、図１０〜図１９を参照して説明する記載においても同様である。
【０１２８】
図９（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面横方向において、親指２０を右方向、人差し指２１を左方向）へ移動させて、複数の矩形の画像２５ａが扇状に拡がった状態で第１表示／光センサ部３００Ａに表示された様子を示す図である。つまり、図９（ａ）では、複数の矩形の画像２５ａはあたかも短冊が束になって閉じた状態にあり、図９（ｂ）では、それら複数の矩形の画像２５ａが扇状に拡がった状態にある。
【０１２９】
図１０（ａ）は、第１表示／光センサ部３００Ａに円形の画像２６ａを表示し、かつ、円形の画像２６ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１０（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、第１表示／光センサ部３００Ａに、より大きな寸法の円形の画像２６ｂを表示させた図である。
【０１３０】
図１１（ａ）は、第１表示／光センサ部３００Ａに略正方形の画像２７ａを表示し、かつ、略正方形の画像２７ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１１（ｂ）は、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、略正方形の画像２７ａを第１表示／光センサ部３００Ａの画面の外側へ移動させつつある状態を示す図である。
【０１３１】
図１２（ａ）は、図面横方向をパイプ軸（管長）方向とするパイプ形状の画像２８ａを第１表示／光センサ部３００Ａに表示し、かつ、パイプ形状の画像２８ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１２（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、パイプ軸に直交する方向にパイプ形状の画像２８ａを回転させている様子を示す図である。
【０１３２】
図１３（ａ）は、第１表示／光センサ部３００Ａの画面上端付近に矩形の画像２９ａ〜２９ｄを図面横方向に一列に並べて表示し、かつ、そのうちの一つの矩形の画像２９ｃを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１３（ｂ）は、親指２０と人差し指２１をそれぞれ同じ方向（図面下方向）へ移動させて、矩形の画像２９ｃを下側に引き出す動作により、矩形の画像２９ｃが図面縦方向に引き伸ばされて、帯状の画像２９ｃ’となった様子を示す図である。
【０１３３】
図１４（ａ）は、第１表示／光センサ部３００Ａに矩形の画像３０ａを表示し、かつ、第１表示／光センサ部３００Ａの表示画面を、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１４（ｂ）は、矩形の画像３０ａを分断するように親指２０と人差し指２１をそれぞれ同じ方向（図面下方向）へ移動させて、矩形の画像３０ａを左右２つの矩形の画像３０ｂに分割した様子を示す図である。
【０１３４】
図１５（ａ）は、第１表示／光センサ部３００Ａに複数の矩形の画像３１ａを円周状に配置して表示し、かつ、円の中心点付近を上面から親指２０で、画像３１ａを下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１５（ｂ）は、親指２０を動かさずに、人差し指２１を図面下側へ移動させて、複数の矩形の画像３１ａを前記円の円周に沿って反時計回りに回転させている様子を示す図である。
【０１３５】
図１６（ａ）は、第１表示／光センサ部３００Ａに、円形の画像３２ａと矩形の画像３２ｂとが結合してなる画像３２ｃを表示し、かつ、円形の画像３２ａの中心点付近を上面から親指２０で、矩形の画像３２ｂを下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１６（ｂ）は、親指２０を動かさずに、人差し指２１を図面左側へ移動させて、あたかも円形の画像３２ａの中心点付近を支点とした振り子のように、矩形の画像３２ｂを左側へ移動させた様子を示す図である。
【０１３６】
図１７（ａ）は、第１表示／光センサ部３００Ａのほぼ画面全体に亘って矩形の画像３３ａを表示し、かつ、矩形の画像３３ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１７（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、図面下側から矩形の画像３３ｂを出現させ、画像３３ａと画像３３ｂとを図面縦方向に並べて表示した様子を示す。図１７（ｃ）は、さらに親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、画面に表示される画像が、画像３３ａから画像３３ｂに切り替えられた様子を示す図である。
【０１３７】
図１８（ａ）は、第１表示／光センサ部３００Ａに略正方形の画像３４ａを表示した様子を示す。図１８（ｂ）は、略正方形の画像３４ａを、上面から人差し指２１で、下面から中指２２で、それぞれタッチして、略正方形の画像３４ａが「選択」状態となった様子を示す図である。
（表示画像に対して実行される動作の具体的説明）
次に、図９〜図１８を参照して説明した上記各動作をより具体的に説明する。
【０１３８】
図９（ａ）に示すように、第１表示／光センサ部３００Ａには矩形の画像２５ａが表示されている。そして、ユーザは、その矩形の画像２５ａを、上面側（第１表示／光センサ部３００Ａが配設された側）から親指２０で、下面側（第２表示／光センサ部３００Ｂが配設された側）から人差し指２１で、それぞれタッチする。
【０１３９】
なお、上記説明したとおり、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａは、上面から親指２０でタッチされることはあっても、下面から人差し指２１で実際にタッチされることはない。しかしながら、本実施の形態に係る以降の説明では、説明の便宜上、このような状態のことを、「上面から親指２０で、下面から人差し指２１で、それぞれタッチする」と表現している。このことは、図１０〜図１８を参照して説明する記載においても同様である。
【０１４０】
また、親指２０及び人差し指２１が表裏両面から矩形の画像２５ａをタッチするものとして説明しているが、どの指を使用してもよい。つまり、何れかの指を使って、表裏両面から矩形の画像２５ａを挟持すればよく、そのことが、矩形の画像２５ａに対して所定の動作を実行する前提となる。それゆえ、上面あるいは下面の何れか一方のみから矩形の画像２５ａをタッチしても、それだけでは矩形の画像２５ａに対して所定の動作を実行することはできない。また、画像（あるいは画面）を指でタッチするものとして説明しているが、実際に画像をタッチしている必要はなく、表示／光センサ部３００がその指の像を検知すればよい。
【０１４１】
また、図中の星印は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、指の像を検知しているおおよその場所を示す。なお、以降の説明では、説明の便宜のため、上面側から親指２０で、下面側から人差し指２１で、画像２５ａをタッチするものとして説明する。このことは、図１０〜図１８についても同様である。
【０１４２】
さらに、画像２５ａは矩形であるとして説明しているが、画像２５ａは正方形であってもよく、任意の形状とすることができる。但し、本実施の形態では、画像２５ａは矩形であるとして説明する。同様に、図１０〜図１８において、各画像の形状を円形、正方形、あるいはパイプ形状等として説明しているが、それらの形状はあくまで例示であり、記載した形状に限られない。
【０１４３】
また、親指２０と人差し指２１の指の動きの速度については特に言及しないが、その指の像の動きに対応付けられた動作は、指の動きの速度に応じて実行される。
【０１４４】
次に、図９（ｂ）に示すように、ユーザは、親指２０と人差し指２１を反対方向（図面横方向において、親指２０を右方向、人差し指２１を左方向）へ移動させる。この指の動きによって、複数の矩形の画像２５ａが扇状に拡がった状態で第１表示／光センサ部３００Ａに表示される。つまり、図９（ａ）では、複数の矩形の画像２５ａはあたかも短冊が束になって閉じた状態にあり、図９（ｂ）では、それら複数の矩形の画像２５ａが扇状に拡がった状態にある。
【０１４５】
なお、上述した扇状の拡がり具合は、親指２０及び人差し指２１の移動距離に応じて決まる。従って、図９（ｂ）では、親指２０及び人差し指２１が表示画面の端部付近まで移動しているため、扇状の拡がりは表示画面の全体に及んでいる。
【０１４６】
また、次のような方法によって、上述したのとは逆の動き、つまり、扇状に拡がった複数の矩形の画像２５ａを、短冊が束になって閉じたように表示することができる。
【０１４７】
まず、ユーザは、扇状に広がった複数の矩形の画像２５ａを、上面側から親指２０で、下面側から人差し指２１で、それぞれタッチする。このとき、親指２０及び人差し指２１がタッチする位置は、図９（ｂ）に示すように、それぞれ異なる位置である。つまり、親指２０は最外部付近（図面左側）に位置する画像２５ａをタッチし、人差し指２１は他方の最外部付近（図面右側）に位置する画像２５ａをタッチする。次に、親指２０と人差し指２１を反対方向（図面横方向において、親指２０を左方向、人差し指２１を右方向）へ移動させる。つまり、図９（ａ）から図９（ｂ）へ至る指の動きと逆の動きをする。これにより、扇状に拡がった複数の矩形の画像２５ａが短冊が束になって閉じたように表示される。このようにして、データ表示／センサ装置１００は、図９（ａ）及び図９（ｂ）によって示される多彩で立体的な動作を、容易かつ迅速に実現することができる。
【０１４８】
ここで、矩形の画像２５ａは、図９（ａ）の図面縦方向にその長手方向が配置され、扇状の拡がりは、図９（ｂ）の図面横方向に向かって記載されている。しかしながら、矩形の画像２５ａが、図９（ａ）の図面横方向にその長手方向が配置され、扇状の画像２５ａが、図９（ｂ）の図面縦方向に拡がるように表示されることも可能である。また、矩形の画像２５ａの配置方向は、図９（ａ）の縦・横方向に限らず、任意の方向で配置してよく、図９（ａ）はあくまで一例である。
【０１４９】
図９（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、複数の矩形の画像２５ａがそれぞれ「ニュース」、「ブログ」、「ショッピング」等のアドレスを示す画像（オブジェクト）として割り当てられているとする。そして、上述した親指２０、及び人差し指２１の動作により、短冊が束になって閉じたように表示されていた複数の矩形の画像２５ａが扇状に拡がって表示される。これにより、ユーザは、扇状に拡がったオブジェクトの中から、所望のアドレスを容易に、かつ迅速に画面上から探し出すことができる。しかも、アドレス先を示すオブジェクトが扇状に拡がることで、デザイン性に優れた動作を実現でき、データ表示／センサ装置１００は、高い満足度をユーザに提供することができる。なお、扇状に拡がった幾つかのオブジェクトの中から、所望のオブジェクトを選択する方法は、例えば図１８を参照して説明する方法によって実現される。
【０１５０】
次に、図１０について説明する。図１０（ａ）に示すように、第１表示／光センサ部３００Ａには円形の画像２６ａが表示されている。そして、ユーザは、その円形の画像２６ａを、上面側から親指２０で、下面側から人差し指２１で、それぞれタッチする。
【０１５１】
次に、図１０（ｂ）に示すように、ユーザは、親指２０と人差し指２１を反対方向（図面縦方向において、親指２０を略上方向、人差し指２１を略下方向）へ移動させる。この指の動作によって、円形の画像２６ａは、より大きな寸法の円形の画像２６ｂとなって第１表示／光センサ部３００Ａに表示される。
【０１５２】
なお、寸法が拡大される程度は、親指２０及び人差し指２１の移動距離に応じて決まる。従って、図１０（ｂ）では、ユーザは、親指２０及び人差し指２１を大きく移動させたため、画像２６ｂは、一部が画面からはみ出して表示されている。
【０１５３】
また、次のような方法によって、第１表示／光センサ部３００Ａに、円形の画像２６ｂよりもサイズが小さくなった円形の画像２６ａを表示させることができる。
【０１５４】
まず、ユーザは、円形の画像２６ｂを、上面側から親指２０で、下面側から人差し指２１で、それぞれタッチする。このとき、親指２０及び人差し指２１が画像２６ｂをタッチする位置は、図１０（ｂ）に示すように、それぞれ異なる位置である。なお、図１０（ｂ）で示す例では、親指２０は画像２６ｂの上端部付近を、人差し指２１は画像２６ｂの下端部付近を、それぞれタッチしている。
【０１５５】
次に、親指２０と人差し指２１を反対方向（図面縦方向において、親指２０を略下方向、人差し指２１を略下上方向）へ移動させる。この指の動作によって、円形の画像２６ｂは、より小さな寸法の円形の画像２６ａとなって第１表示／光センサ部３００Ａに表示される。つまり、図１０（ａ）から図１０（ｂ）へ至る指の動きと逆の動きをすることにより、円形の画像２６ｂは、より小さな寸法の円形の画像２６ａとなって第１表示／光センサ部３００Ａに表示される。このようにして、ユーザは、画像の拡大・縮小を容易に、かつ迅速に実行できる。
【０１５６】
なお、親指２０と人差し指２１を互いに反対方向に動かす場合に、その方向は、前記説明した図面垂直方向に限らず、どの方向であってもよい。ここで挙げた例はあくまで一例である。
【０１５７】
図１０（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば円形の画像２６ａが写真画像である場合、ユーザは、拡大した状態でその画像を鑑賞したい場合がある。そのような場合に、上述した親指２０、及び人差し指２１の動作により、その写真画像を拡大して表示することができ、データ表示／センサ装置１００は、拡大した画像を鑑賞したいというユーザの要求に応えることができる。
【０１５８】
次に、図１１について説明する。図１１（ａ）では、第１表示／光センサ部３００Ａに正方形の画像２７ａが表示され、その正方形の画像２７ａが、上面から親指２０で、下面から人差し指２１で、それぞれタッチされている。そして、図１１（ｂ）に示すように、ユーザは、親指２０と人差し指２１を同一方向（図面横方向において、右方向）へ移動させて、画面の外部へ正方形の画像２７ａを移動させている。つまり、ユーザは、この指の動きにより、その指の動く距離に応じて正方形の画像２７ａを移動させることができる。そして、表示画面の外部まで正方形の画像２７ａを移動させた場合に正方形の画像２７ａのファイルが削除される、という動作を予め割り当てておけば、正方形の画像２７ａのファイルは容易に削除される。このようにして、ユーザは、画像の移動、削除をより簡単に、かつ迅速に実行することができる。
【０１５９】
なお、図１１（ａ）・（ｂ）では、図面横方向において、親指２０及び人差し指２１を共に右側に移動させるものとして説明した。しかしながら、親指２０及び人差し指２１を移動させる方向はこれに限らず、いかなる方向であってもよい。従って、ユーザは、任意の場所に画像を移動させることができる。
【０１６０】
図１１（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、画面に表示された任意のファイル（あるいはフォルダ）を移動したい場合に、そのファイルを表裏両面から挟持して、所望の移動先まで親指及び人差し指を移動することにより、その位置にファイルを移動させることができる。また、画面に表示されたファイルを削除したい場合には、そのファイルを表裏両面から挟持して、画面の外側へ移動させればよい。このようにして、データ表示／センサ装置１００は、ファイルを削除・移動したいというユーザの要求に応えることができる。
【０１６１】
次に、図１２について説明する。図１２（ａ）に示すように、図面横方向をパイプ軸（管長）方向とするパイプ形状の画像２８ａが第１表示／光センサ部３００Ａに表示されている。そして、ユーザは、そのパイプ形状の画像２８ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている。そして、図１０（ｂ）に示すように、親指２０と人差し指２１を反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させることにより、第１表示／光センサ部３００Ａには、パイプ軸に直交する方向（図面下から上方向）にパイプ形状の画像２８ａが回転する様子が表示される。
【０１６２】
なお、親指２０と人差し指２１を前記とはそれぞれ逆の方向（図面縦方向において、親指２０を下方向、人差し指２１を上方向）に移動させことにより、パイプ形状の画像２８ａは、前記とは逆の方向、つまり、図面上から下方向に回転する。このように、親指２０と人差し指２１の移動方向によって、パイプ形状の画像２８ａの回転方向が任意に選択され、データ表示／センサ装置１００は、図１２（ａ）及び図１２（ｂ）によって示される多彩で立体的な動作を、容易かつ迅速に実現することができる。
【０１６３】
図１２（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。図１２（ａ）では、パイプ形状の画像２８ａは、図面横方向に延びる複数の矩形の画像２８ｂによって形成されている。そこで、各矩形の画像２８ｂが、例えば「ニュース」、「ブログ」、「ショッピング」等のアドレスを示す画像（オブジェクト）であり、パイプ形状の画像２８ａを回転させて、ユーザから見て正面に位置するオブジェクト（画面に対して正面に表示されるオブジェクト）が「選択されるオブジェクト」と設定しておく。そして、ユーザが、上述した親指２０、及び人差し指２１の動作によってパイプ形状の画像２８ａを回転させ、さらに、選択したいオブジェクトを画面に対して正面（選択位置Ｐ）に移動させることで、所望のオブジェクトが容易に、かつ迅速に選択される。しかも、アドレス先を示すオブジェクトが回転することにより、データ表示／センサ装置１００は、デザイン性に優れた動作を実現でき、高い満足度をユーザに提供することができる。
【０１６４】
次に、図１３について説明する。図１３（ａ）では、第１表示／光センサ部３００Ａの画面上端付近に、矩形の画像２９ａ〜２９ｄが図面横方向に一列に並べて表示されている。そして、矩形の画像２９ｃは、上面から親指２０で、下面から人差し指２１で、それぞれ挟持されている。そして、図１３（ｂ）では、親指２０と人差し指２１がそれぞれ同じ方向（図面下方向）に移動して、それにより矩形の画像２９ｃは、図面縦方向に引き伸ばされて、帯状の画像２９ｃ’となって表示されている。
【０１６５】
なお、帯状となった画像２９ｃ’の図面縦方向の長さは、親指２０及び人差し指２１の移動距離に応じて決まる。つまり、帯状となった画像２９ｃ’の図面縦方向の長さは、親指２０及び人差し指２１の移動距離に応じて異なる。
【０１６６】
また、帯状の画像２９ｃ’が表示された状態において、ユーザが、上面から親指２０で、下面から人差し指２１で、それぞれ帯状の画像２９ｃ’の図面下側の位置を挟持して、親指２０と人差し指２１をそれぞれ同じ方向（図面上方向）へ移動させる。この動作により、帯状の画像２９ｃ’は、引き延ばされる前の画像である矩形の画像２９ｃに戻る。その結果、第１表示／光センサ部３００Ａの画面上端付近に矩形の画像２９ｃが表示される。このように、親指２０及び人差し指２１が図面縦方向に上下することにより、第１表示／光センサ部３００Ａには、矩形の画像２９ｃと帯状の画像２９ｃ’とが切り替わって表示される。
【０１６７】
なお、図１３（ａ）では、第１表示／光センサ部３００Ａの画面上端付近に画像２９ａ〜２９ｄを表示しているが、この位置に限らず、第１表示／光センサ部３００Ａの画面下端、右端、左端付近に画像２９ａ〜２９ｄを表示してもよい。
【０１６８】
図１３（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。ユーザによっては、画面に表示されるオブジェクトをできるだけ少なくしておきたいという要望を持つことがある。そのような場合に、画面の上端、下端、右端、あるいは左端付近にオブジェクトを寄せておき、必要な時にのみ、上述した親指２０、及び人差し指２１の動作により帯状の画像２９ｃ’を引き出すことができれば、画面内のスペースを有効に活用することができ、また、画面に表示されるオブジェクトをできるだけ少なくしておきたいというユーザの要望にも応えることができる。
【０１６９】
次に、図１４について説明する。図１４（ａ）では、第１表示／光センサ部３００Ａに矩形の画像３０ａが表示され、かつ、ユーザは、上面から親指２０で、下面から人差し指２１で、それぞれ表示／光センサ部３００をタッチしている。そして、図１４（ｂ）に示すように、矩形の画像３０ａを分断するように親指２０と人差し指２１をそれぞれ同じ方向（図面下方向）へ移動させることにより、矩形の画像３０ａは、左右２つの画像３０ｂに分割される。なお、後述する指−命令対応情報テーブルに予め設定しておくことにより、親指２０と人差し指２１の移動方向に応じて、矩形の画像３０ａは上下、あるいは斜め方向に分割される。
【０１７０】
図１４（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、矩形の画像３０ａを２つに分割した場合に当該画像３０ａのファイルが削除される、という動作を予め割り当てておけば、上述した指の動きにより、矩形の画像３０ａのファイルを容易に削除することができる。
【０１７１】
次に、図１５について説明する。図１５（ａ）では、第１表示／光センサ部３００Ａに複数の画像３１ａが円周状に配置して表示され、かつ、ユーザは、その円の中心点付近を上面から親指２０で、画像３１ａを下面から人差し指２１で、それぞれタッチしている。そして、図１５（ｂ）に示すように、親指２０を動かさずに、人差し指２１を図面下側へ移動させることにより、複数の画像３１ａが、前記円の円周に沿って反時計回りに回転している。なお、図示していないが、人差し指２１を図面上側へ移動することにより、複数の画像３１ａは、円の円周に沿って時計回りに回転する。
【０１７２】
このようにして、複数の画像３１ａは、第１表示／光センサ部３００Ａに回転した状態で表示される。また、ユーザは、指の動きを停止して、その回転を停止させることができる。従って、回転を止めたときに、画面上の所定の場所に位置する画像（オブジェクト）を「選択されるオブジェクト」と設定しておくことにより、従来にはない斬新な方法によってオブジェクトが選択される。しかも人差し指の動きの速度に応じて複数の画像が回転するように設定することにより、所望のオブジェクトは、容易に、かつ迅速に第１表示／光センサ部３００Ａに表示され、さらに選択される。そして、データ表示／センサ装置１００は、デザイン性にも優れた動作を実現できるため、高い満足度をユーザに提供することができる。
【０１７３】
次に、図１６について説明する。図１６（ａ）では、第１表示／光センサ部３００Ａに、円形の画像３２ａと矩形の画像３２ｂとが結合してなる画像３２ｃが表示され、かつ、ユーザが、画像３２ａの中心付近を上面から親指２０で、画像３２ｂを下面から人差し指２１で、それぞれタッチしている。
【０１７４】
次に、図１６（ｂ）に示すように、親指２０を動かさずに、人差し指２１が図面左側へ移動することにより、あたかも画像３２ａの中心点付近を支点とした振り子のように、画像３２ｂが左側に移動する。
【０１７５】
なお、上述した画像３２ｂの移動は、人差し指２１の移動距離に応じて決まる。また、人差し指２１の移動方向を逆方向（図面右方向）へ移動させることにより、画像３２ｂは、人差し指２１の移動距離に応じて、画像３２ａの中心点付近を支点として移動する。
【０１７６】
このようにして、データ表示／センサ装置１００は、図１６（ａ）及び図１６（ｂ）によって示される多彩で立体的な動作を、容易かつ迅速に実現することができる。
【０１７７】
なお、図１６では、画像３２ｂは画像３２ａの図面上側に表示されているが、その位置は任意に選択される。また、図１６では、画像３２ａ、３２ｂは１つのみ表示されているが、これらが複数表示されてよい。
【０１７８】
図１６（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、データ表示／センサ装置１００から出力される音量を画面上の簡単な操作によって調節したいという要望を持つ場合がある。このような場合に、例えば人差し指２１が図面左右方向に動き、画像３２ｂがそれに伴い左右に移動し、その移動量に伴って音量がリニアに調節される、という動作を予め割り当てておけば、例えば画像３２ｂを左側に移動させて、これによりデータ表示／センサ装置１００から出力される音量を下がることが可能となる。あるいは、画像３２ｂを右側に移動させて、これによりデータ表示／センサ装置１００から出力される音量を上げることができる。
【０１７９】
次に、図１７について説明する。図１７（ａ）では、第１表示／光センサ部３００Ａのほぼ画面全体に亘って矩形の画像３３ａが表示され、かつ、ユーザが、上面から親指２０で、下面から人差し指２１でその画像３３ａをタッチしている。
【０１８０】
そして、図１７（ｂ）に示すように、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させることにより、図面下側から矩形の画像３３ｂが出現し、矩形の画像３３ａと矩形の画像３３ｂとが図面縦方向に並んで表示される。そして、図１７（ｃ）に示すように、さらに親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させることにより、画面に表示される画像が、画像３３ａから画像３３ｂに切り替わる。
【０１８１】
つまり、上述した親指２０及び人差し指２１の動きにより、画面に表示される画像が、画像３３ａから画像３３ｂに切り替わる。しかも、その切り替えが完全に行われる前に指の動きを停止することにより、矩形の画像３３ａ及び画像３３ｂが図面縦方向に並んで表示される。また、指の動きの速度に応じて、矩形の画像３３ａから画像３３ｂへの切り替えが所望の速度で行われる。さらに、親指２０及び人差し指２１の動きを前記とは逆の方向にすることにより、画像３３ｂから矩形の画像３３ａの方向に画像の切り替えが行われる。
【０１８２】
図１７（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、電子アルバム化された複数の写真を順次鑑賞したい場合を考える。そのような場合に、画面に表示された写真（画像３３ａ）から、次の写真（画像３３ｂ）に移りたいときに、上述した親指２０、及び人差し指２１の動作により、ユーザは、画像３３ａから画像３３ｂへの切り替えを容易に、かつ迅速に行うことができる。このように、データ表示／センサ装置１００は、画像を切り替えて次の画像を見たいというユーザの要求に確実に応えることができる。
【０１８３】
なお、図１７では、画像の切り替えを図面縦方向に行っているが、図面横方向に行うことも可能である。
【０１８４】
次に、図１８について説明する。図１８（ａ）では、第１表示／光センサ部３００Ａに略正方形の画像３４が表示されている。そして、図１８（ｂ）に示すように、親指２０と人差し指２１が表裏両面からほぼ同時に略正方形の画像３４にタッチして、略正方形の画像３４が選択された状態となる。
【０１８５】
つまり、ユーザは、親指２０と人差し指２１を表裏両面からほぼ同時に略正方形の画像３４をタッチすることにより、略正方形の画像３４を選択することができる。従って、親指２０あるいは人差し指２１の動きのみでは略正方形の画像３４は選択されず、また、第１表示／光センサ部３００Ａが親指２０の像を検知して暫く時間が経ってから第２表示／光センサ部３００Ｂが人差し指２１の像を検知したとしても、略正方形の画像３４は選択されない。
【０１８６】
従って、ユーザは、親指２０及び人差し指２１を表裏両面からほぼ同時に略正方形の画像３４にタッチしない限り、所望のオブジェクトを選択することができず、その分だけ、誤入力のリスクは軽減される。
【０１８７】
なお、第１表示／光センサ部３００Ａが親指２０の像を検知してから第２表示／光センサ部３００Ｂが人差し指２１の像を検知する（あるいは、第２表示／光センサ部３００Ｂが人差し指２１の像を検知してから第１表示／光センサ部３００Ａが親指２０の像を検知する）までの経過時間は適宜設定してよい。但し、経過時間を「０」としたのでは、容易にオブジェクトの選択をすることができず、ユーザは不便を感じることが多い。また、経過時間が長すぎたのでは、誤入力となってしまう可能性もある。そこで、経過時間を適宜設定しうる構成とすることにより、ユーザは、不便を感じることなく、かつ、誤入力のリスクを軽減することができる。
【０１８８】
一方、経過時間を設定せず、親指２０及び人差し指２１が表裏両面から略正方形の画像３４にタッチすることで、略正方形の画像３４が選択された状態とすることも可能である。これにより、ユーザは、経過時間を気にしながら表裏両面から略正方形の画像３４をタッチする必要がなくなる。
【０１８９】
なお、経過時間の設定は、ユーザが外部から入力し、その入力値を記憶部９０１に記憶させておけばよい。そして、入力検出部８３０がその入力値を記憶部９０１から読み出して、自身が測定した実測値と比較することにより、経過時間が経過したかどうかの判定が行われる。なお、経過時間の実測値が入力値を超える場合は、入力検出部８３０が入力信号を生成しない構成とすることも可能である。なお、入力検出部８３０、及び記憶部９０１の詳細は後ほど説明する。
【０１９０】
また、後述する指−命令対応情報テーブルに予め登録しておくことにより、親指２０と人差し指２１が略正方形の画像３４を表裏両面からダブルクリックした場合に、その画像３４が選択される構成とすることも可能である。この場合、上記の経過時間は、最初のクリックから２回目のクリックまでの時間とすることもできる。
【０１９１】
以上、図９〜図１８を参照して、指の像の動きに対応して実行される種々の動作の具体例を説明した。なお、前記説明では、親指２０と人差し指２１の移動方向と実行される動作とを対応付けて説明したが、実行される動作は、前記の各動作に限定されない。つまり、指の像の動きと実行される動作とを対応付けて後述する指−命令対応情報テーブルに予め登録しておけば、同じ指の動きであっても、異なる動作を実行することが可能となる。
【０１９２】
例えば、図１１を参照して説明した正方形の画像２７ａを移動する動作は、親指２０と人差し指２１をそれぞれ同じ方向へ移動させることにより実行される。しかしながら、親指２０と人差し指２１をそれぞれ同じ方向へ移動する動きを、画像を拡大（縮小）する動作に対応付けておくことにより、同じ指の動きであっても、異なる動作を実行することができる。あるいは、親指２０と人差し指２１をそれぞれ同じ方向へ移動させることにより、円形の画像の場合には画像の拡大という動作を割り当て、矩形の画像の場合には移動という動作を割り当てておくことにより、同じ指の動きであっても、画像の形状に応じて、異なる動作を実行することができる。
【０１９３】
ここで、数え切れないほど多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識し、その指の像の動きに対応付けられた所定の動作を実行するためには、次のような方法が考えられる。
【０１９４】
第１の方法は、第１表示／光センサ部３００Ａが検知した指の像の動きと、第２表示／光センサ部３００Ｂが検知した指の像の動きとの関係から、特定の指の動きを認識する方法である。この方法は、例えば、表裏両面における指の像が、同一方向に移動すればオブジェクトが移動、反対方向に移動すればオブジェクトが拡大、近づく方向に移動すればオブジェクトが縮小、といった動きを予め対応付けておくことにより、数多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識するというものである。
【０１９５】
第２の方法は、上述した第１の方法に加えて、データ表示／センサ装置１００との位置関係を考慮するものであり、データ表示／センサ装置１００に対する指の像の動きの角度から、特定の指の動きを認識する方法である。この方法は、データ表示／センサ装置１００の基準座標（Ｘ・Ｙ軸）を定めておき、表裏両面の像が、Ｘ軸の反対方向に移動すればオブジェクトが拡大、Ｙ軸の反対方向に移動すればオブジェクトが回転、といった動きを予め対応付けておくことにより、数多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識するというものである。
【０１９６】
第３の方法は、アプリケーション、モード等の動作する状態（場面）に応じて、特定の指の動きを認識する方法である。この方法は、あるアプリケーションの場合は、表裏両面の指の像を反対方向に移動させればオブジェクトが扇状に展開、他のアプリケーションの場合は、表裏面の指の像を反対方向に移動させればオブジェクトが拡大、さらに他のアプリケーションの場合は、表裏面の指の像を同一方向に移動させればオブジェクトが拡大、といった動きを予め対応付けておくことにより、数多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識するというものである。
【０１９７】
そして、どの方法を採用するかを予め設定しておけば、数え切れないほど多く存在する指の像の動きの変化の中から、ある特定の指の像の動きが認識されて、その指の像の動きに対応付けられた所定の動作が実行される。
【０１９８】
また、前記３つの方法に限らず、それらを組み合わせてもよく、あるいは、前記以外の方法により、数え切れないほど多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識し、その指の像の動きに対応付けられた所定の動作を実行してもよい。
【０１９９】
このようにして、特定の指の像の動きに対応付けられた所定の動作が実行される。そして、その所定の動作とは、図９〜図１８を参照して説明した、画像（オブジェクト）の選択、拡大、縮小、回転、扇状への展開、他の画像への切り替え、移動、削除、引き伸ばし、あるいは分割などが挙げられる。そして、第１表示／光センサ部３００Ａには、上記動作結果が表示される。
【０２００】
なお、実行される所定の動作は、上述した各動作に限らず、種々の動作が可能である。また、図９〜図１８を参照して説明した各動作を適宜組み合わせて得られる動作も実行可能である。
【０２０１】
ここで、他の動作の一例を図１１（ａ）・（ｂ）を参照して説明する。図１１（ａ）・（ｂ）では、上面から親指２０で、下面から人差し指２１で、それぞれ略正方形の画像２７ａをタッチして、さらに親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させている。この指の動きにより、略正方形の画像２７ａが第１表示／光センサ部３００Ａの画面の外側へと移動する。
【０２０２】
このとき、第１表示／光センサ部３００Ａの画面の外側へ略正方形の画像２７ａが移動し終わる前に親指２０及び／又は人差し指２１が略正方形の画像２７ａから離れた場合、画像が最初の位置（状態）に戻るようデータ表示／センサ装置が構成されていたとする。この場合、ユーザは、当該装置を使用することにより、親指２０及び／又は人差し指２１を略正方形の画像２７ａから離すことで略正方形の画像２７ａを最初の位置（状態）に戻すことができる。つまり、ユーザは、指を離す動作によって所定の動作（画像の移動）をキャンセルすることができる。
【０２０３】
つまり、データ表示／センサ装置が上記のように構成されていれば、画像を最初の状態に戻すための他の動作を必要とせず、ユーザの負担が軽減される。そして、所定の動作をキャンセルする操作は、図９等を参照して説明した他の実施例にも適用することが可能である。
【０２０４】
このように、指の動きと所定の動作とを種々のパターンで関連付けることができる。そして、実行される所定の動作は、上述した各動作に限らず、種々の動作が可能である。
【０２０５】
（データ表示／センサ装置の要部説明）
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、画像の表示および画像の検知を行うにあたり、主制御部８００の入力インターフェース制御部８０５が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０２０６】
図１は、データ表示／センサ装置１００の要部構成を表すブロック図である。図示のように、主制御部８００は、入力インターフェース制御部８０５と、アプリケーション実行部８５０（動作実行装置）と、を備える。また、入力インターフェース制御部８０５は、検知判定部８１０と、重畳判定部８２０と、入力検出部８３０と、動作制御部８４０（動作制御手段）と、画像表示制御部８６０（画像表示制御手段）と、を備える。
【０２０７】
検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、共に指の像を検知したかどうかを判定する。より具体的に説明すると、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したとき、座標データ、全体画像データ、部分画像データがデータ制御部７００から検知判定部８１０に送信される。従って、検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方から座標データ、全体画像データ、部分画像データを受信した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定することができる。なお、検知判定部８１０は、座標データ、全体画像データ、部分画像データのうち少なくとも何れか１つを受信することで、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定することもできる。
【０２０８】
ここで、図１では、データ処理部７００から検知判定部８１０（及び、重畳判定部８２０、入力検出部８３０）へ送信される座標データ、全体画像データ、部分画像データが実線及び破線で記載されている。これは、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方から座標データ、全体画像データ、部分画像データを取得するためであり、第１表示／光センサ部３００Ａから検知判定部８１０（及び、重畳判定部８２０、入力検出部８３０）へ送信される座標データ、全体画像データ、部分画像データを実線で、第２表示／光センサ部３００Ｂから検知判定部８１０（及び、重畳判定部８２０、入力検出部８３０）へ送信される座標データ、全体画像データ、部分画像データを破線で、それぞれ記載している。
【０２０９】
次に、検知判定部８１０は、「第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した」ことを示す判定結果を入力検出部８３０に出力する。従って、第１表示／光センサ部３００Ａのみ、あるいは第２表示／光センサ部３００Ｂのみが指の像を検知した場合、若しくは第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知しなかった場合には、検知判定部８１０は、「第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは、共に指の像を検知しなかった」ことを示す判定結果を入力検出部８３０に出力する。若しくは、検知判定部８１０は、入力検出部８３０に対して何も出力しない。
【０２１０】
重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。なお、表示／光センサ部３００のうち、第１表示／光センサ部３００Ａに画像が表示され、第２表示／光センサ部３００Ｂには画像が表示されていないものとして説明する。
【０２１１】
より具体的に説明すると、重畳判定部８２０は、データ制御部７００から座標データ、全体画像データ、部分画像データを取得し、それら座標データ、全体画像データ、部分画像データから像領域を特定する。また、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出す。その画像情報には、当該画像に係る表示画像領域が座標により特定されているため、重畳判定部８２０は、記憶部９０１から画像情報を読み出すことにより表示画像領域を特定することができる。
【０２１２】
一例として、図２８、及び図２９を参照して画像情報について説明する。図２８は、図１０に係る円形の画像２６ａ、２６ｂについての画像情報を説明するための図である。また、図２９は、図１１に係る矩形の画像２７ａについての画像情報を説明するための図である。
【０２１３】
図２８（ａ）に示すように、円形の画像２６ａは、座標（Ａ、Ｂ）を中心点として、直径φＴ１で示される円である。また、図１０を参照して説明した方法によって得られた、図２８（ｂ）におけるより大きな寸法に拡大した円形の画像２６ｂは、座標（Ａ、Ｂ）を中心点として、直径φＴ２で示される円である。なお、ここでは円形の画像２６ａ・２６ｂに係る表示画像領域は、座標（Ａ、Ｂ）、及び直径φＴ１、φＴ２によって特定されているが、円形の画像２６ａ・２６ｂの各円周の座標によって特定する態様であっても構わない。何れの態様であれ、円形の画像２６ａ・２６ｂに係る表示画像領域が特定されるためである。
【０２１４】
また、図２９（ａ）に示すように、矩形の画像２７ａは、（Ａ、Ｂ１）という位置を画像の中心として、一辺が長さＣで表される正方形の画像である。また、図１１を参照して説明した方法によって得られた、図２９（ｂ）における図面右側に移動した画像２７ａは、（Ａ、Ｂ２）を画像の中心として、一辺が長さＣで表される正方形の画像である。なお、ここでは正方形の画像２７ａは、座標（Ａ、Ｂ１）、（Ａ、Ｂ２）、及び長さＣで特定されるが、正方形の画像２７ａの４辺を示す座標によって特定する態様であっても構わない。何れの態様であれ、正方形の画像２７ａに係る表示画像領域が特定されるためである。
【０２１５】
このように、図２８で言えば座標（Ａ、Ｂ）及びφＴ１、φＴ２という情報を、また図２９で言えば座標（Ａ、Ｂ１）、（Ａ、Ｂ２）、及びＣという情報を、それぞれ画像情報として扱うことにより、重畳判定部８２０は、記憶部９０１からその画像情報を読み出すことによって表示画像領域を特定することができる。
【０２１６】
上記の方法により、重畳判定部８２０は、像領域および表示画像領域を特定することができ、従って、像領域と表示画像領域との間に重畳する重畳領域が存在するか否かを判定することができる。そして、重畳判定部８２０は、その判定結果を入力検出部８３０に出力する。なお、前記の重畳領域が存在しないと判定した場合に、重畳判定部８２０がその判定結果を入力検出部８３０に出力せず、そのことにより重畳領域が存在しないことの判定結果とすることもできる。
【０２１７】
また、前記の説明では、重畳判定部８２０はデータ制御部７００から座標データ、全体画像データ、部分画像データを取得するものとして説明した。しかしながら、重畳判定部８２０は、検知判定部８１０を介して、データ制御部７００から座標データ、全体画像データ、部分画像データを取得してもよい。
【０２１８】
なお、重畳領域が存在するか否かの判定では、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａあるいは第２表示／光センサ部３００Ｂのうち、何れか一方が検知した指の像の領域である像領域とが重畳するか否かを判定してもよい。これにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方の像領域と表示画像領域とが重畳するか否かを判定する場合よりも、「重畳領域が存在する」と判定される条件を緩和することができる。
【０２１９】
ここで、具体例を用いて、重畳判定の条件を緩和することが好ましい理由を説明する。図９（ａ）では、ユーザは、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａに対応する第２表示／光センサ部３００Ｂ上の領域を人差し指２１でタッチしている。つまり、第２表示／光センサ部３００Ｂに矩形の画像２５ａが表示されているとしたならば、その矩形の画像２５ａが表示されているであろう領域を、人差し指２１がタッチする。
【０２２０】
このとき、第２表示／光センサ部３００Ｂは矩形の画像２５ａを画面上に表示していないため、ユーザは、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａに対応する第２表示／光センサ部３００Ｂ上の領域を感覚的に認識して、その上で、その領域をタッチしている。つまり、人差し指２１による当該領域へのタッチは、感覚的に行われるものであり、常に正確に行われるものではない。
【０２２１】
従って、少なくとも第１表示／光センサ部３００Ａあるいは第２表示／光センサ部３００Ｂのうち、何れか一方が検知した指の像の領域である像領域が表示画像領域と重畳することにより「重畳領域が存在する」と判定されるのであれば、データ表示／センサ装置１００は、より優れた操作性及び利便性をユーザに提供することができる。
【０２２２】
入力検出部８３０は、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が重畳領域が存在すると判定した場合には、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
【０２２３】
このとき、入力検出部８３０は、さらにアプリケーション、モード等の動作する状態（場面）、あるいは画像の属性にも対応付けて入力信号を生成する。これにより、後述するアプリケーション実行部８５０は、第１表示／光センサ部３００Ａに表示された画像に対して所定の動作を実行することができる。なお、入力検出部８３０は、記憶部９０１から直接、もしくは重畳判定部８２０を介して当該画像等に係る画像情報を取得することができる。これにより、入力検出部８３０は、第１表示／光センサ部３００Ａに表示された画像に対応付けされた入力信号を生成することができる。
【０２２４】
ここで、入力検出部８３０が生成する入力信号について、図９の動作を例に具体的に説明する。
【０２２５】
第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは、反対方向へ移動する親指２０の像と人差し指２１の像を検知する。このとき、入力検出部８３０は、データ制御部７００から親指２０の像と人差し指２１の像の移動前後における全体画像データ、部分画像データ、及び座標データを取得する。そして、入力検出部８３０は、それらのデータから、それぞれの指の像の移動量、及び移動方向を算出する。
【０２２６】
より具体的に説明すると、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）で表され、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）として表される。従って、入力検出部８３０は、親指２０の像及び人差し指２１の像の移動前後における上記座標データをそれぞれ取得して、その座標データの差分を計算することにより、それぞれの指の像の移動量、及び移動方向を算出することができる。
【０２２７】
このようにして、入力検出部８３０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して、各指の座標移動量、座標移動方向（単独ベクトル）を算出する。そして、入力検出部８３０は、各指の単独ベクトルから、各指が互いにどの方向に、どの程度移動したかを示す相対ベクトルを算出する。これにより、入力検出部８３０は、単独ベクトル、及び相対ベクトルを算出し、かつ、単独ベクトル、及び相対ベクトルに対応付けられた入力信号を生成する。
【０２２８】
さらに、入力検出部８３０は、以下の種々の項目に対応付けられた入力信号、つまり、記憶部９０１から読み出した画像情報に基づいて、アプリケーション、モード等の動作する状態（場面）ごとに対応付けされた入力信号、図１９を参照して後述する「経過時間」に対応付けられた入力信号、あるいは指の動きの速度に対応付けられた入力信号、を生成する。なお、入力信号は、ここで挙げた項目すべてに対応付けて生成される必要はなく、これらのうち一部に対応付けられて生成されてもよい。
【０２２９】
このように、入力検出部８３０は、上記種々の項目に対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
【０２３０】
動作制御部８４０は、入力検出部８３０が生成した入力信号を受信して、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられた指−命令対応情報に基づいて、アプリケーション実行部８５０に動作実行命令を送信する。
【０２３１】
より具体的に説明すると、動作制御部８４０は、入力検出部８３０が生成した入力信号を受信する。そして、動作制御部８４０は、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられた指−命令対応情報を記憶部９０１から読み出し、その指−命令対応情報に基づいて、当該入力信号に対応する動作実行命令をアプリケーション実行部８５０に送信する。
【０２３２】
ここで、指−命令対応情報についてより具体的に説明する。指−命令対応情報とは、入力検出部８３０が生成する入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられた情報である。例えば、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像が同じ方向に移動すると、選択した画像を同じ方向に移動させる、あるいは、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像が互いに反対方向に移動すると、選択した画像を拡大する（縮小する）、というように、指−命令対応情報は、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられている（図３０参照）。さらに、これに加え、入力検出部８３０は、単独ベクトル、相対ベクトル、アプリケーション・モード等の動作する状態（場面）、経過時間、あるいは指の動きの速度といった種々の項目に対応付けられた入力信号を生成する。従って、指−命令対応情報は、上記種々の項目、及び実行すべき所定の動作とが関連付けてなるものである。
【０２３３】
なお、図３０は、図９〜図１９を参照して説明する、画像の形状、指の動き、及び得られる動作を関連付けた指−命令対応情報の一例を示すテーブルである。従って、ここで示す各項目はあくまで一例であって、これに限られるものではない。
【０２３４】
アプリケーション実行部８５０は、動作制御部８４０から動作実行命令を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部８５０は、その動作が行われたことを示す動作結果情報を画像表示制御部８６０に送信する。
【０２３５】
例えば、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像が同じ方向に移動した場合（仮にＡ点からＢ点へ移動したとする）であって、その指の像の動きに対応付けられた動作が、「表示画像をＡ点からＢ点へ移動させる」という動作である場合、アプリケーション実行部８５０は、当該表示画像の表示位置をＡ点からＢ点に移動する処理を行う。そして、アプリケーション実行部８５０は、「表示画像をＡ点からＢ点へ移動する処理を行った」ことを示す動作結果情報を画像表示制御部８６０に送信する。
【０２３６】
このように、アプリケーション実行部８５０は、動作制御部８４０から動作実行命令を受信して、その命令によって示される動作を実行し、さらに、その動作が行われたことを示す動作結果情報を画像表示制御部８６０に送信する。
【０２３７】
なお、図１において、アプリケーション実行部８５０は主制御部８００に含まれる構成である。しかしながら、主制御部８００の外部にアプリケーション実行部８５０を設けて、外部通信部９０７を介して、所定の動作を実行する構成としてもよい。また、アプリケーション実行部８５０は、１または複数のアプリケーションを有してよい。
【０２３８】
画像表示制御部８６０は、アプリケーション実行部８５０から動作結果情報を受信すると、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。
【０２３９】
従って、「表示画像をＡ点からＢ点へ移動させる」という動作がアプリケーション実行部８５０によって実行された場合、画像表示制御部８６０は、データ処理部７００にそのことを示す表示データを送信して、その結果、第１表示／光センサ部３００Ａに動作結果が表示される。つまり、表示画像がＡ点からＢ点へ移動する様子が第１表示／光センサ部３００Ａに表示される。
【０２４０】
また、図１では、記憶部９０１は、主制御部８００の外部に設けられているが、主制御部８００の内部に設けられる構成であってもよい。
【０２４１】
また、検知判定部８１０、重畳判定部８２０、及び入力検出部８３０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂごとに、指の像の全体画像データ、部分画像データ、及び座標データを送信するようデータ処理部７００に要求している。これは、主制御部８００で実行されるアプリケーションプログラムが、指の像の全体画像データ、部分画像データ、及び座標データを第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂごとに送信するようデータ処理部７００を制御することにより行われる。
【０２４２】
（フローチャート説明）
次に、図９〜図１８、及び図２０を参照しながら、データ表示／センサ装置１００の処理の流れ、及び、入力インターフェース制御部８０５からデータ処理部７００に送信されるコマンドの詳細について説明する。
【０２４３】
図２０は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。
【０２４４】
まず、データ表示／センサ装置１００の電源がオフの状態にあるとき、ユーザが電源スイッチ９０５を押下することにより、データ表示／センサ装置１００は電源オンとなる（Ｓ１１）。
【０２４５】
そして、ステップＳ１３では、ユーザが電源スイッチ９０５を押下することにより、表示／光センサ部３００に画像が表示される。なお、ここでは、第１表示／光センサ部３００Ａに画像が表示されるものとする。この状態で、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが指の像を検出するまで待機する。
【０２４６】
ここで、第１表示／光センサ部３００Ａに画像を表示させる場合は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、第２表示／光センサ部３００Ｂに画像を表示させる場合は、「表示パネル」フィールドの値として下画面（“010”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。ここでは、第１表示／光センサ部３００Ａに画像を表示させるため、「表示パネル」フィールドの値として両画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２４７】
また、この段階では、表示／光センサ部３００は近傍の像を検知可能な状態にあるものとする。前記検知を行うために、「データ取得タイミング」フィールドに、“イベント”を指定し、「データ種別」フィールドに“座標”および“全体画像”の両方を指定（“101”を指定）したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、“座標”または“全体画像”のみを指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力されてもよい。
【０２４８】
さらに、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにおいて前記検知を行うために、「スキャンパネル」フィールドに両方の表示／光センサ部３００を指定（“011”）したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２４９】
これにより、センサ内蔵液晶パネル３０１が近傍の像を検知した場合に、検知判定部８１０、重畳判定部８２０、及び入力検出部８３０は、データ処理部７００から座標データ、全体画像データ、部分画像データを取得することができる。
【０２５０】
つまり、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにユーザの指がタッチしたとき、光センサ回路３２が、タッチした指の影像および反射像の少なくとも何れかを検知する。その結果、データ処理部７００がセンサ制御部６０２から取得する画像データに変化が生じる。
【０２５１】
このようにして、検知判定部８１０は、前記画像データに変化が生じた際にデータ処理部７００から出力されてくる、座標データ、全体画像データ、部分画像データを取得することにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したことを認識できる。
【０２５２】
そして、ステップＳ１５では、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したかどうかを判定する。つまり、表示／光センサ部３００ごとの座標データ、全体画像データ、部分画像データがデータ処理部７００から検知判定部８１０に入力されることにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定される。なお、図２０では、便宜のため、第１表示／光センサ部３００Ａを「Ａ」と称し、第２表示／光センサ部３００Ｂを「Ｂ」と称している。
【０２５３】
第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合（ステップＳ１５でＹｅｓ）、ステップＳ１７に進む。ステップＳ１７では、重畳判定部８２０が、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。つまり、データ処理部７００から表示／光センサ部３００ごとの座標データ、全体画像データ、部分画像データを取得することにより、重畳判定部８２０は、座標データ、全体画像データ、及び部分画像データと、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域とを比較して、重畳する領域（重畳領域）が存在するかどうかを判定する。なお、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出している。
【０２５４】
重畳領域が存在すると判定された場合（ステップＳ１７でＹｅｓ）、ステップＳ１９に進む。ステップＳ１９では、入力検出部８３０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
【０２５５】
続いて、ステップＳ２１では、動作制御部８４０が、その入力信号を入力検出部８３０から受信して、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１から読み出す。
【０２５６】
動作制御部８４０は、記憶部９０１から指−命令対応情報を読み出して、その指−命令対応情報に基づいて、アプリケーション実行部８５０に動作実行命令を送信する。
【０２５７】
続いて、ステップＳ２３では、アプリケーション実行部８５０が、動作制御部８４０から動作実行命令を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部８５０は、その動作が行われたことを示す動作結果情報を画像表示制御部８６０に送信する。
【０２５８】
そして、ステップＳ２５では、画像表示制御部８６０が、アプリケーション実行部８５０から動作結果情報を受信して、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。その結果、第１表示／光センサ部３００Ａには、アプリケーション実行部８５０が動作制御部８４０から受信した動作実行命令に基づいて実行した動作結果が表示される。
【０２５９】
このとき、第１表示／光センサ部３００Ａに画像を表示させる場合は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、第２表示／光センサ部３００Ｂに画像を表示させる場合は、「表示パネル」フィールドの値として下画面（“010”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。ここでは、第１表示／光センサ部３００Ａに画像を表示させるため、「表示パネル」フィールドの値として両画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２６０】
一方、ステップＳ１５、及びステップＳ１７で「Ｎｏ」に進む場合は、再びステップＳ１５に戻る。なお、ステップＳ１５の次にステップＳ１７の処理を行う順序で説明したが、同時に行っても、あるいは逆の順序で行ってもよい。
【０２６１】
なお、後述の図２３を参照して説明する例では、第１表示／光センサ部３００Ａに画像が表示されていない場合であっても、所望の動作を実行することができる。従って、この場合には、重畳領域が存在するか否か（ステップＳ１７）の判定を経ることなく、入力検出部８３０が入力信号を生成するステップ（ステップＳ１９）に進む。
【０２６２】
ここで、前記各ステップ（ステップＳ１１〜ステップＳ２５）の処理の流れを図９を参照して説明する。
【０２６３】
図９（ａ）では、第１表示／光センサ部３００Ａに矩形の画像２５ａが表示されている。これは、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力された結果、第１表示／光センサ部３００Ａに画像２５ａが表示されたものである。
【０２６４】
なお、既にこの段階で、「データ取得タイミング」フィールドに、“イベント”を指定し、「データ種別」フィールドに“座標”および“全体画像”の両方を指定（“101”を指定）したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力され、表示／光センサ部３００は近傍の像を検知可能な状態にあるものとする。なお、“座標”または“全体画像”のみを指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力されてもよい。
【０２６５】
また、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにおいて前記検知を行うために、「スキャンパネル」フィールドに両方の表示／光センサ部３００を指定（“011”）したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２６６】
このような状態において、ユーザが、上面（第１表示／光センサ部３００Ａが配設された側）から親指２０で、下面（第２表示／光センサ部３００Ｂが配設された側）から人差し指２１で、それぞれその矩形の画像２５ａをタッチする。そして、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは共に指の像を検知することができる状態にあるため、検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、共に指の像を検知していると判定し、その判定結果を入力検出部８３０に出力する。
【０２６７】
また、図９（ａ）に示すように、第１表示／光センサ部３００Ａに表示された画像２５ａの領域を示す表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した親指２０、人差し指２１の指の像の領域である像領域とは重畳している。従って、重畳判定部８２０は、表示画像領域と像領域とが重畳する重畳領域が存在すると判定し、その判定結果を入力検出部８３０に出力する。
【０２６８】
なお、重畳判定部８２０は、データ制御部７００から指の像の座標データ、全体画像データ、部分画像データを取得し、それらのデータから前記の像領域を特定する。また、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出すことにより、画像２５ａの表示画像領域を特定している。このようにして、重畳判定部８２０は、像領域および表示画像領域を特定することができるため、像領域と表示画像領域との間に重畳する重畳領域が存在するか否かを判定することができる。
【０２６９】
入力検出部８３０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと検知判定部８１０が判定し、かつ、重畳判定部８２０が重畳領域が存在すると判定したことにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出する。
【０２７０】
ここで、図９（ｂ）では、親指２０と人差し指２１をそれぞれ反対方向（図面横方向において、親指２０を右方向、人差し指２１を左方向）へ移動しているため、入力検出部８３０は、その指の像の動きを検出し、その指の像の動きに対応付けられた入力信号を生成する。また、入力検出部８３０は、記憶部９０１から直接、もしくは重畳判定部８２０を介して矩形の画像２５ａに係る画像情報を取得しており、入力信号は、矩形の画像２５ａに対応付けて生成されている。そして、入力検出部８３０はその入力信号を動作制御部８４０に出力する。
【０２７１】
動作制御部８４０は、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１から読み出し、次に、動作実行命令をアプリケーション実行部８５０に送信する。ここで、第１表示／光センサ部３００Ａに表示された画像が矩形の画像２５ａであって、データ表示／センサ装置１００の表裏両面で検出された指の像の動きがそれぞれ反対方向へ移動する場合には、指−命令対応情報は、矩形の画像２５ａを扇状の画像２５ａに変化させる動作に対応付けられている。
【０２７２】
従って、アプリケーション実行部８５０は、矩形の画像２５ａを扇状の画像２５ａに拡げる処理を行い、その上で、「矩形の画像２５ａを扇状の画像２５ａに拡げる処理を行った」ことを示す動作結果情報を画像表示制御部８６０に送信する。
【０２７３】
画像表示制御部８６０は、アプリケーション実行部８５０から前記の動作結果情報を受信すると、データ処理部７００に表示データを送信する。その表示データとは、矩形の画像２５ａを扇状の画像２５ａに拡げて表示することを指示するデータである。そして、データ処理部７００は、画像表示制御部８６０から送信された表示データに基づいて、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａを扇状の画像２５ａへ展開した画像を表示させる。
【０２７４】
なお、扇状の画像２５ａの表示は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力された結果、第１表示／光センサ部３００Ａに扇状の画像２５ａが表示されたものである。
【０２７５】
このようにして、図９（ａ）・（ｂ）を参照して説明した動作が実行され、その実行結果が第１表示／光センサ部３００Ａに表示される。
【０２７６】
これと同様の処理の流れによって、図１０〜図１８を参照して説明した種々の動作が実行され、その実行結果が第１表示／光センサ部３００Ａに表示される。
【０２７７】
なお、ここでは、右手について説明しているが、左手についても、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１に記憶させておけば、第１表示／光センサ部３００Ａに表示された表示画像に対して、所望の動作を実行させることができる。
【０２７８】
また、ここでは第１表示／光センサ部３００Ａに表示画像を表示するものとして説明したが、第２表示／光センサ部３００Ｂに画像を表示させてもよい。
【０２７９】
さらに、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂによる検知の対象として親指２０及び人差し指２１を用いることとして説明したが、検知の対象とする指の種類は、これらの指に限定されず、中指、薬指、小指であってもよい。指の種類ではなく、検知した指の像の動きに基づいて、第１表示／光センサ部３００Ａに表示された画像に対して所定の動作を実行させるためである。
【０２８０】
データ表示／センサ装置１００の前記処理によって得られる効果を説明すると以下の通りである。
【０２８１】
データ表示／センサ装置１００は、前記構成を備えることにより、表裏両面にそれぞれ配設された近傍の像を検知する第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合に、指の像の動きに対応付けられた入力信号が入力検出部８３０によって生成される。つまり、第１表示／光センサ部３００Ａ、第２表示／光センサ部３００Ｂのうち何れか一方の表示／光センサ部３００が指の像を検知しただけでは、その指の像の動きに対応付けられた入力信号が生成されることはない。
【０２８２】
このように、データ表示／センサ装置１００では、表裏両面の表示／光センサ部３００という二つの入力面からの入力によって入力信号が生成される。そして、その入力信号は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きに対応付けられた信号である。従って、ユーザは、様々な指の像の動きを第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂに検出させることによって、従来の入力装置では実現できなかった多彩で立体的な操作を行うことができ、また、そのような操作によって、優れた利便性及び操作性がもたらされる。しかも板状のデータ表示／センサ装置１００の裏表両面から画面を指で挟持するように操作するため、ユーザは、極めて容易に当該装置を使用することができる。
【０２８３】
そして、二つの入力面からの入力によって入力信号が生成されるため、例えばユーザの指がタッチパネル上のアイコンに無意識のうちに接触しても、その指の像が検知されて入力信号が生成され、何らかの処理が実行されてしまうという事態を回避することができる。その結果、入力面に誤って操作してしまうリスクが軽減される。
【０２８４】
このように、データ表示／センサ装置１００では、優れた操作性及び利便性をユーザに提供することができる。
【０２８５】
さらに、データ表示／センサ装置１００では、前記の構成において、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、入力信号に対応する命令を、アプリケーション実行部８５０に送信する動作制御部８４０を備える構成である。
【０２８６】
従って、表裏両面の表示／光センサ部３００が指の像の動きを検出して、該指の像の動きに対応付けられた入力信号が入力検出部８３０によって生成される。そして、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、入力信号に対応付けられた命令がアプリケーション実行部８５０に送信され、アプリケーション実行部８５０は、入力信号に対応する命令を実行する。
【０２８７】
従って、データ表示／センサ装置１００のユーザは、様々な指の像の動きを表裏両面の表示／光センサ部３００に検出させることによって、アプリケーション実行部８５０に所望の動作を実行させることができる。
【０２８８】
さらに、データ表示／センサ装置１００では、前記の構成において、入力検出部８３０は、表裏両面の表示／光センサ部３００が、表裏両面の表示／光センサ部３００上の所定の領域において指の像を検知した場合に、前記入力信号を生成する構成とすることができる。そして、表裏両面の表示／光センサ部３００において、所定の領域に画像を表示させる画像表示制御部８６０を備え、入力検出部８３０は、当該画像に対応付けられた前記入力信号を生成する構成とすることができる。
【０２８９】
前記の構成によれば、データ表示／センサ装置１００では、表裏両面の表示／光センサ部３００上の所定の領域において指の像が検知された場合に入力信号が生成される。
【０２９０】
従って、入力検出部８３０は、表裏両面の表示／光センサ部３００上の所定の領域とは異なる他の領域に指がタッチした場合には入力信号を生成しない。
【０２９１】
それゆえ、ユーザは、表裏両面の表示／光センサ部３００上の所定の領域とは異なる他の領域に指をタッチした場合であっても、入力信号が生成されるという事態を回避することができる。
【０２９２】
さらに、データ表示／センサ装置１００では、画像表示制御部８６０が所定の領域に画像を表示させる。また、入力検出部８３０は、所定の領域において指の像が検知された場合に、当該画像に対応付けられた入力信号を生成する。
【０２９３】
従って、ユーザは、当該画像を裏表両面から指で挟持することにより、アプリケーション実行部８５０に所定の動作を実行させることができる。逆に、当該画像が表示されている所定の領域とは異なる領域では、入力検出部８３０は入力信号を生成しないため、ユーザは、当該画像が表示されている所定の領域とは異なる領域をタッチしても、入力面に誤って操作してしまうという事態を回避できる。
【０２９４】
それゆえ、所定の領域に表示された画像のみを対象として、ユーザは所望の動作を実現することができ、その結果、データ表示／センサ装置１００は、優れた操作性及び利便性をユーザに提供することができる。
【０２９５】
さらに、データ表示／センサ装置１００では、画像表示制御部８６０は、アプリケーション実行部８５０が実行した所定の動作の結果に基づく画像を、第１表示／光センサ部３００Ａに表示させる構成とすることができる。
【０２９６】
つまり、画像表示制御部８６０は、アプリケーション実行部８５０が実行した所定の動作の結果に基づく画像を第１表示／光センサ部３００Ａに表示させることができる。
【０２９７】
従って、画像表示制御部８６０は、ユーザの指の動きに対応付けられて実行された動作の結果を画面上に表示して、その結果をユーザに確認させることができる。
【０２９８】
なお、ユーザは、自身の指の動きに基づいて実行された動作の結果を画面上で確認することができる。そして、その動作後の画像に対してさらに何らかの動作を与えたいときは、表裏両面の表示／光センサ部３００に対して所望の指の像の動きを検出させればよい。つまり、ユーザは、動作の結果を画面上で確認することにより、次の動作を連続的に行うことができる。
【０２９９】
このように、データ表示／センサ装置１００は、より優れた操作性および利便性をユーザにも提供することができる。
【０３００】
（変形例１）
次に、図１９、図２１、図２２を参照してデータ表示／センサ装置１００の一変形例であるデータ表示／センサ装置１１０を説明する。なお、図１、図９〜図１８、図２０を参照して説明した内容と同様の内容は説明を省略する。
【０３０１】
図１９（ａ）は、第１表示／光センサ部３００Ａに矩形の画像３４ａが表示されている様子を示す図である。図１９（ｂ）は、人差し指２１と中指２２をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、画像３４ａから画像３４ｂへの切り替えを徐々に行う様子を示し、図１９（ｃ）は、さらに人差し指２１と中指２２をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、画面に表示される画像を、画像３４ａから画像３４ｂへ切り替えた様子を示す図である。
【０３０２】
図１９（ａ）では、第１表示／光センサ部３００Ａに矩形の画像３４ａが表示され、かつ、ユーザは、上面から人差し指２１で、下面から中指２２で画像３４ａをタッチしている。このとき、人差し指２１及び中指２２は、指先に加えて、指の腹や側面によりデータ表示／センサ装置１１０を表裏両面から挟持している。従って、人差し指２１及び中指２２と表示／光センサ部３００との接触面積は、指先のみで表示／光センサ部３００を挟持する場合に比べて大きくなる。
【０３０３】
次に、図１９（ｂ）に示すように、ユーザは、データ表示／センサ装置１１０に対して人差し指２１と中指２２をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、図面左側から画像３４ｂを出現させ、画像３４ａと画像３４ｂとを並べて表示させている。つまり、画像３４ａから画像３４ｂへの切り替えが、人差し指２１及び中指２２の移動に伴って行われる。なお、画像３４ａから画像３４ｂへの切り替えは、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が所定の接触面積よりも大きいことをトリガにして行われる。従って、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が所定の接触面積よりも小さい場合は、画像３４ａから画像３４ｂへの切り替えは実行されない。この点が、図１７を参照して説明した画像３３ａから画像３３ｂへの切り替えと異なる点である。なお、所定の接触面積は、特に決まった数値である必要はなく、任意に設定することができ、その値は記憶部９０１に記憶される。
【０３０４】
続いて、図１９（ｃ）に示すように、さらに人差し指２１と中指２２を同じ方向（図面横方向において、右方向）へ移動させて、画像３４ａから画像３４ｂへの切り替えを完了させている。
【０３０５】
このように、データ表示／センサ装置１１０及びその制御方法では、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が設定面積よりも大きいことをトリガにして、前記の人差し指２１及び中指２２の動きに応じて、画像３４ａから画像３４ｂへの切り替えが行われる。それゆえ、単に指先で裏表両面から画像３４ａを挟持するだけでは画像３４ａから画像３４ｂへの切り替えは実行されず、ユーザは、意識的に指の腹や側面を使う操作を求められる。つまり、データ表示／センサ装置１１０は、敢えてこのような操作をユーザに求めることにより誤操作のリスクを軽減している。
【０３０６】
なお、画像３４ａから画像３４ｂへの切り替えが完全に行われる前に指の動きを停止することにより、画像３４ａと画像３４ｂとが並んで表示された状態を維持しうる。また、指の動きの速度に応じて、画像３４ａから画像３４ｂへの切り替えを所望の速度で実行することができる。さらに、人差し指２１及び中指２２の動きを前記とは逆の方向にすることにより、画像３４ｂから画像３４ａの方向に画像を切り替えることも可能である。そして、画像３４ａと画像３４ｂとの境目の移動方向は、図面横方向でも、図面縦方向でも、あるいはその他の方向であってもよく、適宜変更しうる。なお、ここで説明した様々な動作は、予め指−命令対応情報を設定しておき、その指−命令対応情報を参照することにより実現される。
【０３０７】
図１９（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、電子アルバム化された複数の写真を順次鑑賞したい場合を考える。そのような場合に、画面に表示された写真（画像３４ａ）から、次の写真（画像３４ｂ）に移りたいときに、上述した人差し指２１、及び中指２２の動作により、ユーザは、画像３４ａから画像３４ｂへの切り替えを容易に、かつ迅速に行うことができる。このように、データ表示／センサ装置１１０は、画像を切り替えて次の画像を見たいというユーザの要求に確実に応えることができる。
【０３０８】
上述したように、画像３４ａから画像３４ｂへの切り替えは、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が所定の面積よりも大きいことをトリガにして行われる。従って、図１９（ｂ）に記載される画面の切り替えを実現するデータ表示／センサ装置１１０は、人差し指２１及び中指２２と表示／光センサ部３００との接触面積を算出することが可能な構成を備える必要がある。そこで、データ表示／センサ装置１１０の構成を図２１を参照して説明する。なお、図１を参照して前述した構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
【０３０９】
図２１は、データ表示／センサ装置１１０の要部構成を表すブロック図である。図示のように、入力インターフェース制御部８０５は、さらに面積算出判定部８７０を備える。
【０３１０】
面積算出判定部８７０は、データ処理部７００から部分画像データを取得し、取得した指の像の面積（以降、接触面積と称する）を算出する。そして、予め設定された所定の面積（以降、設定面積と称する）を記憶部９０１から読み出して、接触面積と設定面積とを比較する。その後、面積算出判定部８７０は、その判定結果を入力検出部８３０に出力する。なお、面積の算出方法は、従来の画像処理ソフトで行われる一般的な方法でよい。
【０３１１】
入力検出部８３０は、検知判定部８１０が第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、重畳判定部８２０が重畳領域が存在すると判定した場合、かつ、面積算出判定部８７０が、接触面積が設定面積よりも大きいと判定した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
【０３１２】
従って、面積算出判定部８７０が、接触面積は設定面積よりも小さいと判定した場合には、入力検出部８３０は入力信号を生成しない。そして、その結果、ユーザがいかに指を動かしたとしても、画像３４ａから画像３４ｂへの切り替えを実行することはできない。
【０３１３】
このように、データ表示／センサ装置１１０は、画像３４ａから画像３４ｂへの切り替えを、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が設定面積よりも大きいことをトリガにして行っている。
【０３１４】
次に、図１９、及び図２２を参照しながら、データ表示／センサ装置１１０の処理の流れについて説明する。図２２は、データ表示／センサ装置１１０の処理の流れを表すフローチャートである。なお、図２０を参照して説明したデータ表示／センサ装置１００の処理の流れと同一のステップには同一のステップ番号を付している。従って、これらのステップの詳細な説明は省略する。
【０３１５】
重畳判定部８２０が、重畳領域が存在すると判定した場合（ステップＳ１７でＹｅｓ）、ステップＳ１８に進む。ステップＳ１８では、面積算出判定部８７０が、データ処理部７００から部分画像データを取得し、取得した指の像の面積（接触面積）を算出する。そして、面積算出判定部８７０は、予め設定された所定の面積（設定面積）を記憶部９０１から読み出して、接触面積が設定面積よりも大きいか否かを判定する。
【０３１６】
なお、重畳判定部８２０による接触面積と設定面積との比較は、第１表示／光センサ部３００Ａが検知した指の像の接触面積と設定面積との比較、あるいは第２表示／光センサ部３００Ｂが検知した指の像の接触面積と設定面積との比較のどちらでもよい。若しくは、２つの表示／光センサ部３００が検知した指の像の接触面積の大きい方（若しくは、小さい方）と設定面積とを比較する構成であってもよい。
【０３１７】
一方、ステップＳ１８で「Ｎｏ」に進む場合は、再びステップＳ１５に戻る。なお、ステップＳ１５、ステップＳ１７、ステップＳ１８の順に処理を行うこととして説明したが、ここで説明した処理の順序に限定されず、適宜変更してよい。
【０３１８】
このように、データ表示／センサ装置１１０及びその制御方法では、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が設定面積よりも大きいことをトリガにして、前記の人差し指２１及び中指２２の動きに応じて、画像３４ａから画像３４ｂへの切り替えが行われる。それゆえ、単に指先で裏表両面から画像３４ａを挟持するだけでは画像３４ａから画像３４ｂへの切り替えは実行されず、ユーザは、意識的に指の腹や側面を使う操作を求められる。つまり、データ表示／センサ装置１１０は、敢えてこのような操作をユーザに求めることにより誤操作のリスクを軽減している。
【０３１９】
（変形例２）
次に、図２３、図２４を参照して、他の変形例について説明する。
【０３２０】
図２３（ａ）〜（ｃ）は、表示／光センサ部３００に画像が表示されていない状態で、画面の背景の色彩が段階的に変化していく様子を示す図である。また、図２４は、本発明の一実施形態に係るデータ表示／センサ装置１２０の要部構成を表すブロック図である。
【０３２１】
以下、図２３、図２４を参照して、データ表示／センサ装置１２０について説明する。なお、図面に記載されている側を第１表示／光センサ部３００Ａとして説明する。また、図１等を参照して前述した構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
【０３２２】
図２３に図示するように、第１表示／光センサ部３００Ａは、画面の下端部付近に信号生成領域１７０を有する。そして、重畳判定部８２０は、信号生成領域１７０を示す座標を記憶部９０１から読み取る（図２４参照）。なお、信号生成領域１７０は、第１表示／光センサ部３００Ａに表示されていても、表示されていなくても、何れでもよい。
【０３２３】
ここで、重畳判定部８２０は、信号生成領域１７０と、第１表示／光センサ部３００Ａ及び／あるいは第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。
【０３２４】
より具体的に説明すると、重畳判定部８２０は、データ制御部７００から２つの表示／光センサ部３００で検知された指の像の座標データ、全体画像データ、部分画像データを取得し、それらのデータから像領域を特定する。さらに、重畳判定部８２０は、座標によって示される信号生成領域１７０を記憶部９０１から読み取る。そして、重畳判定部８２０は、像領域と信号生成領域１７０との間に重畳する重畳領域が存在するか否かを判定し、その判定結果を入力検出部８３０に出力する。
【０３２５】
入力検出部８３０は、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が、像領域と信号生成領域１７０との間に重畳する重畳領域が存在すると判定した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
【０３２６】
従って、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域が信号生成領域１７０に重畳していない場合、入力検出部８３０は入力信号を生成しない。つまり、ユーザが信号生成領域１７０とは異なる領域に指でタッチしても、所望の動作を実現することはできない。
【０３２７】
なお、図２３では、信号生成領域１７０は図面下側に設けられている。しかしながら、信号生成領域１７０を設ける位置、大きさ、範囲は、任意に設定してよい。図２３は、あくまでその一例である。
【０３２８】
図２３で説明した動作の使用例として、次のような実施例が考えられる。
【０３２９】
ユーザは、上面（第１表示／光センサ部３００Ａが配設された側）から親指２０で、下面（第２表示／光センサ部３００Ｂが配設された側）から人差し指２１で、それぞれ信号生成領域１７０をタッチする。これにより、検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が、像領域と信号生成領域１７０との間に重畳する重畳領域が存在すると判定する。
【０３３０】
そして、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させる。これにより、入力検出部８３０は、その指の像の動きに対応付けられた入力信号を動作制御部８４０に出力する。ここで、親指２０と人差し指２１をそれぞれ反対方向へ移動させるという指の動き（正確には、その指の動きによる指の像の動き）と、第１表示／光センサ部３００Ａの画面の背景の色彩が段階的に変化するという動作が対応付けられているとする。すると、動作制御部８４０は、その入力信号と、アプリケーション９５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１から読み出し、当該入力信号に対応する動作実行命令をアプリケーション実行部８５０に送信する。ここで、その動作実行命令は、第１表示／光センサ部３００Ａの画面の背景の色彩が段階的に変化するという動作をアプリケーション実行部８５０に実行させる命令である。それゆえ、最終的に、図１を参照して説明した処理の流れに従って、第１表示／光センサ部３００Ａの画面の背景の色彩が段階的に変化していく。
【０３３１】
このように、データ表示／センサ装置１２０では、たとえ第１表示／光センサ部３００Ａに画像が表示されていない状態であっても、ユーザは、所望の動作をデータ表示／センサ装置１２０に実行させることができる。
【０３３２】
また、データ表示／センサ装置１２０は、表裏両面の表示／光センサ部３００上の信号生成領域１７０において指の像が検知された場合に入力信号が生成される構成である。従って、ユーザは、表裏両面の表示／光センサ部３００上の信号生成領域１７０とは異なる他の領域に指をタッチしても、入力信号が生成されるという事態を回避することができる。
【０３３３】
それゆえ、信号生成領域１７０をユーザにとって操作しやすい領域に設定することにより、データ表示／センサ装置１２０は、優れた操作性及び利便性をユーザに提供することができる。なお、ユーザがデータ表示／センサ装置１２０を保持する際に、親指と人差し指が位置する近辺に信号生成領域１７０を設けておくことにより、ユーザが信号生成領域１７０をタッチする操作がさらに容易になり、ユーザにとって利便性及び操作性がより一層向上する。
【０３３４】
また、データ表示／センサ装置１２０では、ユーザは、信号生成領域１７０の位置、大きさ、範囲を適宜設定することができるが、他のユーザの使用を制限するために、意図的に信号生成領域１７０を特定の領域に設定することもできる。これにより、他のユーザが勝手にデータ表示／センサ装置１２０を使用するといった事態を回避しうる。このように、データ表示／センサ装置１２０は、利便性及び操作性に優れた装置をユーザに提供することができる。
【０３３５】
ここで、本変形例から派生する実施例として、さらに次のような実施例も考えられる。以下、その使用例を説明する。
【０３３６】
第１表示／光センサ部３００Ａは、画面の下端部付近に信号生成領域１７０を有する。ここで、第１表示／光センサ部３００Ａの信号生成領域１７０とは異なる領域に、図９を参照して説明した、矩形の画像２５ａが表示されていると仮定する。なお、矩形の画像２５ａの表示領域は、座標によって記憶部９０１に記録されている。
【０３３７】
そして、入力検出部８３０は、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が、像領域と信号生成領域１７０との間に重畳する重畳領域が存在すると判定した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成する。
【０３３８】
このとき、入力検出部８３０は、記憶部９０１から矩形の画像２５ａの表示領域を読み出しており、矩形の画像２５ａの表示領域に対して所定の動作を実行するように対応付けられた入力信号を動作制御部８４０に出力する。
【０３３９】
このようにして、ユーザは、信号生成領域１７０において第１表示／光センサ部３００Ａに指の像の動きを検出させることにより、信号生成領域１７０とは異なる領域に表示された矩形の画像２５ａに所定の動作を実行することができる。つまり、ユーザは、矩形の画像２５ａが表示された領域を指でタッチすることなく、矩形の画像２５ａに対して所定の動作を実行することもできる。
【０３４０】
それゆえ、ユーザは、たとえ矩形の画像２５ａが指から遠い位置に表示されていて、表裏両面から矩形の画像２５ａを挟持することが困難な場合であっても、信号生成領域１７０において指を動かすことにより、矩形の画像２５ａに対して所定の動作を実行することができる。これにより、データ表示／センサ装置１２０は、利便性及び操作性に優れた装置をユーザに提供することができる。
〔実施の形態２〕
次に、図２５〜図２７を参照して、本実施の形態に係るデータ表示／センサ装置１３０の実施例を説明する。なお、ここで説明する内容は、図９〜図２４を参照して説明した種々の動作を組み合わせることにより、ユーザが、所望の動作を実現するというものである。従って、図９〜図２４を参照して説明した動作の詳細、その動作を実現する処理の詳細、本実施の形態に係るデータ表示／センサ装置１３０によって得られる効果については、詳細説明を省略する。
【０３４１】
図２５、図２６は、データ表示／センサ装置１３０の実施例を示す図である。図２５（ａ）は、表示／光センサ部３００に「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」が表示された様子を示す。図２５（ｂ）は、メニュー画面から「ＴＶ」を示す画像が挟持されて、図面右側に引き出された様子を示す図である。図２５（ｃ）は、ＴＶメニューから「民放」が選択された様子を示す図である。図２５（ｄ）は、民放「ＣＨ０１」が視聴されている時の様子を示す図である。
【０３４２】
続いて、図２６（ａ）は、民放のチャンネルを「ＣＨ０１」から「ＣＨ０２」に切り替えている様子を示す図である。図２６（ｂ）は、「ＣＨ０２」が視聴されている時の様子を示す図である。図２６（ｃ）は、「民放」から「ＣＳ ＣＨ０２」に切り替えている様子を示す図である。図２６（ｄ）は、「ＣＳ ＣＨ０２」が視聴されている時の様子を示す図である。
【０３４３】
また、図２７は、ＴＶメニューにおける、ＣＳ、民放、及びＢＳ放送、及びそれら各放送電波におけるチャンネル選択の概念図である。
【０３４４】
まずは、図２５、図２６を参照して、データ表示／センサ装置１３０の実施例を具体的に説明する。
【０３４５】
図２５（ａ）には、第１表示／光センサ部３００Ａに「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」が示されている。なお、本図ではメニュー画面としてＴＥＬ／ＴＶ／ＷＥＢを用いて説明しているが、選択する項目はここに記載した項目に限らず、写真、動画などのメニューであってよい。
【０３４６】
この状態は、ユーザが、メニュー画面からＴＥＬ、ＴＶ、あるいはＷＥＢのうちの何れかの項目を選択しうる状態であり、図１３（ａ）を参照して説明した、第１表示／光センサ部３００Ａの画面上端付近に画像２９ａ〜２９ｄが表示されているのと同様の状態である。
【０３４７】
そして、図２５（ｂ）は、メニュー画面から「ＴＶ」を示す画像部分を挟持して引き出した様子を示す図である。つまり、図２５（ｂ）では、第１表示／光センサ部３００Ａの画面左端付近に表示された「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」から、ユーザが、上面から親指２０で、下面から人差し指２１で所望のメニューを挟持して、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させる。これにより、例えば「ＴＶ」を選択した場合に、図２５（ｂ）に示すように、ＴＶを示す画像が右方向へ引き伸ばされる。
【０３４８】
なお、図示のように、ＴＶにはさらに「ＣＳ／民放／ＢＳ」という項目（放送電波の種類）が含まれる。従って、ユーザは、この項目の中から所望の放送電波を選択することができる。なお、ここでは「ＣＳ／民放／ＢＳ」という項目により説明を行うが、他の項目を含んでもよい。
【０３４９】
図２５（ｃ）は、ＴＶメニューから「民放」が選択された様子を示す図である。この状態は、ユーザが、「ＣＳ／民放／ＢＳ」から「民放」を選択した状態であり、図１８を参照して説明した、親指２０と人差し指２１が表裏両面から同時に画像３４をタッチして、画像３４を選択する動作に該当する。つまり、図２６（ｃ）の段階では、第１表示／光センサ部３００Ａに「ＣＳ／民放／ＢＳ」を表示しておき、ユーザは、上面から親指２０で、下面から人差し指２１で所望のメニューをタッチする。これにより、例えば「民放」を選択した場合に、図２５（ｃ）に示すように民放が選択されて、図２５（ｄ）の状態に移る。
【０３５０】
図２５（ｄ）は、民放「ＣＨ０１」が視聴されている時の様子を示す図であり、「民放」を選択した結果、民放「ＣＨ０１」を視聴することができるようになったものである。
【０３５１】
続いて、図２６（ａ）は、民放のチャンネルを「ＣＨ０１」から「ＣＨ０２」に切り替えている様子を示す図である。ユーザは、「ＣＨ０１」から「ＣＨ０２」にチャンネルを切り替えたくなった場合には、図示のように、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、「ＣＨ０１」から「ＣＨ０２」への切り替えを行う。これは、図１７を参照して説明した、親指２０と人差し指２１をそれぞれ反対方向へ移動させて、画像３３ａから画像３３ｂへの切り替えを行う動作に該当する。
【０３５２】
図２６（ｂ）は、「ＣＨ０２」が視聴されている時の様子を示す図であり、「ＣＨ０１」から「ＣＨ０２」への切り替えを行った結果、民放の「ＣＨ０２」を視聴することができるようになったものである。
【０３５３】
図２６（ｃ）は、「民放 ＣＨ０２」から「ＣＳ ＣＨ０２」に切り替えている様子を示す図である。ユーザは、「民放」から「ＣＳ」に放送電波を切り替えたくなった場合には、図示のように、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、「民放」から「ＣＳ ＣＨ０２」に切り替えを図っている。これは、図１１を参照して説明した、親指２０と人差し指２１をそれぞれ同じ方向へ移動させて、画像を移動させる動作に該当する。あるいは、この動作は、図１３を参照して説明した画像を引き伸ばしする動作に類似する。
【０３５４】
図２６（ｄ）は、「ＣＳ ＣＨ０２」が視聴されている時の様子を示す図であり、「ＣＨ０１」から「ＣＨ０２」への切り替えを行った結果、「ＣＨ０２」を視聴することができるようになったものである。
【０３５５】
ここで、図２５、図２６を参照して説明した処理の流れを、図２７を用いて概略的に説明する。図２７は、ＴＶメニューにおける、ＣＳ、民放、及びＢＳ放送、及びそれら各放送電波におけるチャンネル選択の概念図である。なお、図示した状態は、すでに「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」から「ＴＶ」が選択された状態にある。
【０３５６】
ここで、図２５、図２６を参照して説明した処理の流れを理解するために、図２７に示すように、「ＣＳ／民放／ＢＳ」という項目（放送電波の種類）が図面横方向に並び、かつ、各項目ごとに「チャンネル」がリング状に並んでいる状態を考える。
【０３５７】
ユーザは、視聴したい放送電波を選択する際には、横方向の指の動きを求められる。例えば、ユーザは、「民放」から「ＣＳ」に切り替えたい場合に、第１表示／光センサ部３００Ａに表示された画像を上面から親指２０で、下面から人差し指２１で挟持し、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させる。これにより、第１表示／光センサ部３００Ａに「ＣＳ」の放送が表示される。また、「民放」から「ＢＳ」に切り替えたい場合には、「民放」から「ＣＳ」に切り替えた時とは逆の指の動きを行う。これにより、第１表示／光センサ部３００Ａに「ＢＳ」の放送が表示される。つまり、図２７に図示する、横方向に並んだ「ＣＳ／民放／ＢＳ」という項目を切り替える場合には、指を横方向に移動させることにより、所望の放送電波を選択することが可能となる。
【０３５８】
そして、ユーザは、視聴したいチャンネルを切り替える際には、縦方向の指の動きを求められる。例えば、ユーザは、「ＣＨ０１」から「ＣＨ０２」に切り替えたい場合に、第１表示／光センサ部３００Ａに表示された画像を上面から親指２０で、下面から人差し指２１で挟持し、親指２０と人差し指２１をそれぞれ反対方向（図面横方向において、親指２０を上方向、人差し指２１を下方向）へ移動させる。これにより、第１表示／光センサ部３００Ａに「ＣＨ０２」の放送が表示される。また、「ＣＨ０２」から「ＣＨ０１」に切り替えたい場合には、「ＣＨ０１」から「ＣＨ０２」に切り替えた時とは逆の指の動きを行う。これにより、第１表示／光センサ部３００Ａに「ＣＨ０１」の放送が表示される。つまり、図２７に図示する、縦方向に並んだ「チャンネル」を切り替える場合には、指を縦方向に指を移動することにより、所望のチャンネルに切り替えることができる。
【０３５９】
このように、各機能（ＴＥＬ／ＴＶ／ＷＥＢ）ごとに、あるいは、所望の機能を選択した状態での表示画面ごとに、予め設定された指−命令対応情報を参照することにより、指の動き（より正確には、表示／光センサ部３００が検知する指の像の動き）と、それに対応付けられた動作が実行される。これにより、ユーザは、所望の画面を第１表示／光センサ部３００Ａに表示させることができる。そして図２５、図２６を参照して説明したように、図９〜図１９で説明した種々の動作を適宜組み合わせることにより、ユーザは、所望の動作を実現することができる。
【０３６０】
なお、発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０３６１】
また、本発明に係る入力装置を備えた携帯電話等の情報端末装置も、本発明の技術的範囲に含まれる。
【０３６２】
（プログラム、コンピュータ読み取り可能な記録媒体）
最後に、本実施形態に係るデータ表示／センサ装置１００、１１０、１２０、１３０の各ブロック、特に入力インターフェース制御部８０５の検知判定部８１０、重畳判定部８２０、入力検出部８３０、動作制御部８４０、アプリケーション実行部８５０、及び画像表示制御部８６０、並びにデータ表示／センサ装置１１０の面積算出判定部８７０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０３６３】
すなわち、本実施形態に係るデータ表示／センサ装置１００、１１０、１２０、１３０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit）、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００、１１０、１２０、１３０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０３６４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０３６５】
また、本実施形態に係るデータ表示／センサ装置１００、１１０、１２０、１３０を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０３６６】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０３６７】
本発明は、二つの入力面から入力する携帯電話機、ＰＤＡなどのモバイル機器（携帯端末）に適用できる。特に、像検知装置を備えた携帯端末に好適である。
【図面の簡単な説明】
【０３６８】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】（ａ）は、表示／光センサ部に矩形の画像を表示し、かつ、その画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ反対方向へ移動させて、矩形の画像が扇状に拡がった状態を表示させた図である。
【図１０】（ａ）は、表示／光センサ部に円形の画像を表示し、かつ、その画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ反対方向へ移動させて、より大きな寸法の円形に拡大した画像を表示させた図である。
【図１１】（ａ）は、表示／光センサ部に略正方形の画像を表示し、かつ、その画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ同じ方向へ移動させて、その画像を画面の外側へ移動させつつある状態を示す図である。
【図１２】（ａ）は、図面横方向をパイプ軸（管長）方向とするパイプ形状の画像を表示／光センサ部に表示し、かつ、その画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ反対方向へ移動させて、パイプ軸に直交する方向にその画像を回転させている様子を示す図である。
【図１３】（ａ）は、表示／光センサ部の画面上端付近にいくつかの画像を図面横方向に一列に並べて表示し、かつ、そのうちの一つの画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ同じ方向（図面下方向）へ移動させて、その画像を下側に引き出して帯状の画像を表示した図である。
【図１４】（ａ）は、表示／光センサ部に矩形の画像を表示し、かつ、表示／光センサ部の表示画面を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ同じ方向へ移動させて、その画像を２つの画像に分割した様子を示す図である。
【図１５】（ａ）は、表示／光センサ部に複数の画像を円形に配置して表示し、かつ、円の中心付近に上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指を動かさずに、人差し指を図面下側へ移動させて、複数の画像を円周に沿って回転させている様子を示す図である。
【図１６】（ａ）は、表示／光センサ部に、円形の画像と矩形の画像とが結合してなる画像を表示し、かつ、円形の画像の中心付近を上面から親指で、矩形の画像を下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指を動かさずに、人差し指を図面左側へ移動させて、あたかも円形の画像の中心点付近を支点とした振り子のように、矩形の画像を左側へ移動させた様子を示す図である。
【図１７】（ａ）は、表示／光センサ部において、ある画像を表示し、かつ、その画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ反対方向へ移動させて、図面下側から別の画像を出現させ、二つの画像を並べて表示した様子を示し、（ｃ）は、さらに親指と人差し指をそれぞれ反対方向へ移動させて、画面に表示される画像を切り替えた様子を示す図である。
【図１８】（ａ）は、表示／光センサ部に画像が表示された様子を示す図であり、（ｂ）は、表裏両面からほぼ同時に親指と人差し指とで当該画像をタッチして、当該画像が「選択」された状態となった様子を示す図である。
【図１９】（ａ）は、表示／光センサ部において、ある画像を表示し、かつ、その画像を、上面から人差し指で、下面から中指で、それぞれタッチしている様子を示す図であり、（ｂ）は、人差し指と中指をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、別の画像への切り替えを徐々に行う様子を示し、（ｃ）は、さらに人差し指と中指をそれぞれ同じ方向へ移動させて、画面に表示される画像を切り替えた様子を示す図である。
【図２０】本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。
【図２１】本発明の他の実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２２】本発明の他の実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。
【図２３】（ａ）〜（ｃ）は、表示／光センサ部に画像が表示されていない状態で、背景の色彩が段階的に変化していく様子を示す図である。
【図２４】本発明のさらに他の実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２５】本実施の形態に係るデータ表示／センサ装置の実施例を示す図であり、（ａ）は、表示／光センサ部に「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」が表示された様子を示す。（ｂ）は、メニュー画面から「ＴＶ」を示す画像が挟持されて、引き出された様子を示す図である。（ｃ）は、ＴＶメニューから「民放」が選択された様子を示す図である。（ｄ）は、民放「ＣＨ０１」が視聴されている時の様子を示す図である。
【図２６】本実施の形態に係るデータ表示／センサ装置の実施例を示す図であり、（ａ）は、民放のチャンネルを「ＣＨ０１」から「ＣＨ０２」に切り替えている様子を示す図である。（ｂ）は、「ＣＨ０２」が視聴されている時の様子を示す図である。（ｃ）は、「民放 ＣＨ０２」から「ＣＳ ＣＨ０２」に切り替えている様子を示す図である。（ｄ）は、「ＣＳ ＣＨ０２」が視聴されている時の様子を示す図である。
【図２７】ＴＶメニューにおける、ＣＳ、民放、及びＢＳ放送、及びそれら各放送電波におけるチャンネル選択の概念図である。
【図２８】図１０に係る円形の画像２６ａ、２６ｂについての画像情報を説明するための図である。
【図２９】図１１に係る矩形の画像２７ａについての画像情報を説明するための図である。
【図３０】指−命令対応情報の一例を示すための図である。
【符号の説明】
【０３６９】
１００、１１０、１２０、１３０ データ表示／センサ装置（入力装置）
１７０ 信号生成領域（所定の領域）
８００ 主制御部
８０５ 入力インターフェース制御部
８１０ 検知判定部（検知判定手段）
８２０ 重畳判定部（重畳判定手段）
８３０ 入力検出部（入力検出手段）
８４０ 動作制御部（動作制御手段）
８５０ アプリケーション実行部（動作実行装置）
８６０ 画像表示制御部（画像表示制御手段）
８７０ 面積算出判定部
９０１ 記憶部
【技術分野】
【０００１】
本発明は、二つの入力面から入力する入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置に関する。
【背景技術】
【０００２】
近年、タッチパネル式の入力装置が、携帯電話機、ＰＤＡなどに代表されるモバイル機器（携帯端末）において広く普及している。その一例として、入力面に対して、指が接触していない状態から、接触している状態に変化したときに、接触した指の位置に応じた入力が行われる入力装置が知られている（例えば、特許文献１）。
【０００３】
また、単にタッチパネル式で入力を受け付けるのみならず、用途に応じて、より便利な入力が可能な入力装置が提案されている。例えば、携帯用端末機器において、ユーザは、表示画面上のアイコンに指を接触させて、次にアイコンを移動させたい方向にその指を動かすことにより、そのアイコンを表示画面中の好みの位置に移動させることができる。さらに、表示画面上のフォルダを指でダブルクリックすることにより、そのフォルダを開けることもできる（例えば、特許文献２）。
【特許文献１】特開２００８−１４１５１９号公報（平成２０年６月１９日公開）
【特許文献２】特開平１１−３９０９３号公報（平成１１年２月１２日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の入力装置は、何れも一つの入力面から入力する方式（以下、一面入力式とする）であって、裏表両面に配設された二つの入力面から入力する方式（以下、両面入力式とする）の入力装置は、そもそも存在しなかった。
【０００５】
従って、ユーザは、両面入力式の入力装置によって実現される多彩で立体的な操作と、その優れた利便性及び操作性を、従来の一面入力式の入力装置では経験することができなかった。
【０００６】
さらに、従来の入力装置には次のような問題があった。つまり、一面入力式の入力装置では、ユーザが気付かないうちに意図しない操作が行われる可能性を排除できない。具体的には、ユーザの指がタッチパネル上のアイコンに無意識のうちに接触し、アイコンを表示画面上のどこか別の場所にドラッグしてしまうことがある。そのドラッグした先がゴミ箱フォルダであった場合には、そのアイコンは、ユーザの知らない間に消去されてしまうという事態に陥る。このように、従来の入力装置には、一つの入力面から入力を行うことによって生じる固有の問題もあった。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザにとって利便性及び操作性の高い入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の入力装置は、前記課題を解決するために、近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置であって、前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定手段と、前記検知判定手段が、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出手段と、を備えることを特徴としている。
【０００９】
また、本発明の入力装置の制御方法は、近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置の制御方法であって、前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、を含むことを特徴としている。
【００１０】
これにより、本発明に係る入力装置および入力装置の制御方法では、表裏両面にそれぞれ配設された近傍の像を検知する面状部材が共に指の像を検知した場合に、指の像の動きに対応付けられた入力信号が入力検出手段によって生成される。そして、その入力信号は、表裏両面の面状部材が検知した指の像の動きに対応付けられた信号である。
【００１１】
従って、表裏両面の面状部材が様々な指の像の動きを検出することによって、従来の入力装置では実現できなかった多彩で立体的な操作が行われ、また、そのような操作によって、優れた利便性及び操作性がユーザに提供される。しかも板状の入力装置の裏表両面から画面を指で挟持するように操作するため、ユーザは、極めて容易に当該装置を使用することができる。
【００１２】
加えて、表裏両面の面状部材のうち何れか一方の面状部材が指の像を検知しただけでは、その指の像の動きに対応付けられた入力信号が生成されることはない。そのため、例えばユーザの指がタッチパネル上のアイコンに無意識のうちに接触しても、その指の像が検知されて入力信号が生成され、何らかの処理が実行されてしまうという事態を回避することができる。それゆえ、入力面に誤って触って、意図せず操作してしまうリスクが軽減される。
【００１３】
このように、本発明に係る入力装置および入力装置の制御方法は、優れた操作性及び利便性をユーザに提供することができる。
【００１４】
さらに、本発明に係る入力装置では、前記の構成において、前記入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、前記入力信号に対応する命令を、前記動作実行装置に送信する動作制御手段を備える構成としてもよい。
【００１５】
前記の構成によれば、本発明に係る入力装置では、入力検出手段が、表裏両面の面状部材が共に指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する。そして、前記入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、入力信号に対応付けられた命令が動作実行装置に送信され、動作実行装置がその命令に従って所定の動作を実行する。
【００１６】
従って、表裏両面の面状部材が様々な指の像の動きを検出することによって、動作実行装置は、ユーザが所望する動作を実行することができる。
【００１７】
なお、動作実行装置は、１つであっても複数であってもよく、また入力装置と一体に構成されていてもよく、さらに入力装置から物理的に離れた位置に存在していてもよい。
【００１８】
さらに、本発明に係る入力装置では、前記の構成において、前記入力検出手段は、前記表裏両面の面状部材が、該表裏両面の面状部材上の所定の領域において指の像を検知した場合に、前記入力信号を生成する構成としてもよい。
【００１９】
前記の構成によれば、本発明に係る入力装置では、入力検出手段が、表裏両面の面状部材上の所定の領域において指の像を検知した場合に入力信号を生成し、表裏両面の面状部材上の前記所定の領域とは異なる他の領域に指がタッチした場合には入力信号を生成しない。このようにして、入力検出手段は、表裏両面の面状部材上の操作領域を制限することができる。
【００２０】
従って、ユーザは、表裏両面の面状部材上の前記所定の領域とは異なる他の領域に指をタッチしても、入力信号が生成されて入力面に誤って操作してしまう事態を回避することができる。また、ユーザにとって操作しやすい領域に前記所定の領域が設定されることにより、本発明に係る入力装置は、さらに優れた操作性及び利便性をユーザに提供することができる。
【００２１】
さらに、本発明に係る入力装置では、前記表裏両面の面状部材において、前記所定の領域に画像を表示させる画像表示制御手段を備え、前記入力検出手段は、前記画像に対応付けられた前記入力信号を生成する構成としてもよい。
【００２２】
前記の構成によれば、本発明に係る入力装置では、画像表示制御手段が所定の領域に画像を表示する。また、入力検出手段は、所定の領域において指の像が検知された場合に、当該画像に対応付けられた入力信号を生成する。
【００２３】
つまり、画像表示制御手段が画像を表示することによって操作可能な範囲（操作対象）がユーザに明示され、ユーザは、当該画像を裏表両面から指で挟持することにより、前記動作実行装置に所定の動作を実行させることができる。
【００２４】
それとは逆に、入力検出手段は、表裏両面の面状部材上の画像が表示された領域とは異なる他の領域に指がタッチした場合であっても、入力信号を生成することはない。それゆえ、当該画像が表示されている所定の領域とは異なる領域を誤って触って、意図せず操作してしまうという事態を回避できる。
【００２５】
さらに、本発明に係る入力装置では、前記の構成において、前記画像表示制御手段は、前記動作実行装置が実行した前記所定の動作の結果に基づく画像を、前記面状部材に表示させる構成としてもよい。
【００２６】
前記の構成によれば、本発明に係る入力装置では、画像表示制御手段は、前記動作実行装置が実行した前記所定の動作の結果に基づく画像を前記面状部材に表示させる。
【００２７】
従って、画像表示制御手段は、ユーザの指の動きに対応付けられて実行された動作の結果を画面上に表示して、その結果をユーザに確認させることができる。
【００２８】
なお、その動作後の画像に対してさらに何らかの動作を与えたいときは、前記表裏両面の面状部材に対して所望の指の像の動きを検出させればよい。つまり、ユーザは、動作の結果を画面上で確認することにより、次の動作を連続的に行うことができる。
【００２９】
なお、前記入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記各手段として動作させることにより前記入力装置をコンピュータにて実現させる入力装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、前記の入力装置を備えた情報端末装置も、本発明の範疇に入る。
【発明の効果】
【００３０】
本発明に係る入力装置は、以上のように、表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定手段と、前記検知判定手段が、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出手段と、を備える構成である。
【００３１】
また、本発明に係る入力装置の制御方法は、以上のように、前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、を含む構成である。
【００３２】
それゆえ、二つの入力面から入力する、操作性及び利便性に優れた入力装置および入力装置の制御方法をユーザに提供することができる。
【発明を実施するための最良の形態】
【００３３】
本実施の形態について図１〜図２７に基づいて説明すると以下の通りである。
【００３４】
本実施の形態に係るデータ表示／センサ装置１００（入力装置）は、概略的に言えば、近傍の像を検知する第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂ（表裏両面の面状部材）が表裏両面にそれぞれ配設されており、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが、共に指の像を検知したか否かを判定する検知判定部８１０（検知判定手段）と、検知判定部８１０が、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定した場合に、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出部８３０（入力検出手段）と、を備える装置である。
【００３５】
そこで、まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００３６】
（センサ内蔵液晶パネルの概要）
前記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００３７】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００３８】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００３９】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４０】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００４１】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４２】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４３】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、前記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００４４】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、前記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００４５】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置でｄｆある。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００４６】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００４７】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００４８】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００４９】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５０】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５１】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００５２】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５３】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００５４】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００５５】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００５６】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００５７】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００５８】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００５９】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６０】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６１】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００６２】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６３】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００６４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００６５】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００６６】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００６７】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００６８】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００６９】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７０】
なお、前記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００７１】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００７２】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００７３】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００７４】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００７５】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００７６】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００７７】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００７８】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、前記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００７９】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８０】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８１】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００８２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。
【００８３】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、前記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００８４】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００８５】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００８６】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００８７】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００８８】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００８９】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９０】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００９１】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００９２】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００９３】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【００９４】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９５】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９６】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９７】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【００９８】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【００９９】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１００】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、前記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１０１】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１０２】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１０３】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１０４】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１０５】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１０６】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１０７】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１０８】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１０９】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１１０】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１１１】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１１２】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１１３】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１１４】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１１５】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１１６】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１１７】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１１８】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１１９】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
〔実施の形態１〕
本発明の主な特徴は、データ表示／センサ装置１００では、近傍の像を検知する第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが表裏両面にそれぞれ配設されており、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが、共に指の像を検知したか否かを判定する検知判定部８１０と、検知判定部８１０が第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定した場合に、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して入力信号を生成する入力検出部８３０と、を備える点にある。
【０１２０】
これにより、データ表示／センサ装置１００では、表裏両面に配設された第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合に、入力検出部８３０が入力信号を生成する。
【０１２１】
従って、第１表示／光センサ部３００Ａ、あるいは第２表示／光センサ部３００Ｂの一方のみが指の像を検出しても、それにより入力信号が生成されることはない。それゆえ、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが様々な指の像の動きを検出することにより、従来の入力装置では実現できなかった多彩で立体的な操作を可能とする。また、データ表示／センサ装置１００は、そのような操作によって優れた利便性及び操作性をユーザに提供する。
【０１２２】
さらに、データ表示／センサ装置１００では、ユーザの指がタッチパネル上のアイコンに無意識のうちに接触して、アイコンを表示画面上のどこか別の場所にドラッグしてしまうといった事態を避けることができる。従って、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂという二つの入力面からの入力により入力信号が生成されるため、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂに対して誤って操作してしまうリスクが軽減される。
（データ表示／センサ装置の動作説明）
実施の形態１に係るデータ表示／センサ装置１００について、図１、図９〜図１８、図２８〜図３０を参照して説明する。
【０１２３】
なお、まず最初に、データ表示／センサ装置１００が実行する種々の動作の具体例を図９〜図１８を参照して説明する。次に、データ表示／センサ装置１００の構成を図１を参照して説明する。そして、種々の動作を実現する処理の流れを図２０を参照して説明する。
【０１２４】
ここで、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ、あるいは第２表示／光センサ部３００Ｂの何れに画像を表示させてもよいが、本実施の形態では、第１表示／光センサ部３００Ａに画像を表示するものとして説明する。なお、第１表示／光センサ部３００Ａは、図９〜図１８において図面手前側に位置する。
【０１２５】
また、ユーザは、右手あるいは左手の何れでもデータ表示／センサ装置１００を操作することができるが、本実施の形態では、右手で操作するものとして説明する。
（表示画像に対して実行される動作）
以下、図９〜図１８の概要を説明する。
【０１２６】
図９（ａ）は、第１表示／光センサ部３００Ａに矩形の画像２５ａが表示され、かつ、ユーザが、矩形の画像２５ａを上面から親指２０でタッチすると共に、第２表示／光センサ部３００Ｂに矩形の画像２５ａの裏面が表示されているとしたならば、その矩形の画像２５ａの裏面が表示されているであろう領域を人差し指２１でタッチしている。
【０１２７】
なお、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａが、実際に下面から人差し指２１でタッチされることはないものの、説明の便宜上、本実施の形態に係る以降の説明では、この状態を「上面から親指２０で、下面から人差し指２１で、それぞれタッチする」と表現する。このことは、図１０〜図１９を参照して説明する記載においても同様である。
【０１２８】
図９（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面横方向において、親指２０を右方向、人差し指２１を左方向）へ移動させて、複数の矩形の画像２５ａが扇状に拡がった状態で第１表示／光センサ部３００Ａに表示された様子を示す図である。つまり、図９（ａ）では、複数の矩形の画像２５ａはあたかも短冊が束になって閉じた状態にあり、図９（ｂ）では、それら複数の矩形の画像２５ａが扇状に拡がった状態にある。
【０１２９】
図１０（ａ）は、第１表示／光センサ部３００Ａに円形の画像２６ａを表示し、かつ、円形の画像２６ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１０（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、第１表示／光センサ部３００Ａに、より大きな寸法の円形の画像２６ｂを表示させた図である。
【０１３０】
図１１（ａ）は、第１表示／光センサ部３００Ａに略正方形の画像２７ａを表示し、かつ、略正方形の画像２７ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１１（ｂ）は、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、略正方形の画像２７ａを第１表示／光センサ部３００Ａの画面の外側へ移動させつつある状態を示す図である。
【０１３１】
図１２（ａ）は、図面横方向をパイプ軸（管長）方向とするパイプ形状の画像２８ａを第１表示／光センサ部３００Ａに表示し、かつ、パイプ形状の画像２８ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１２（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、パイプ軸に直交する方向にパイプ形状の画像２８ａを回転させている様子を示す図である。
【０１３２】
図１３（ａ）は、第１表示／光センサ部３００Ａの画面上端付近に矩形の画像２９ａ〜２９ｄを図面横方向に一列に並べて表示し、かつ、そのうちの一つの矩形の画像２９ｃを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１３（ｂ）は、親指２０と人差し指２１をそれぞれ同じ方向（図面下方向）へ移動させて、矩形の画像２９ｃを下側に引き出す動作により、矩形の画像２９ｃが図面縦方向に引き伸ばされて、帯状の画像２９ｃ’となった様子を示す図である。
【０１３３】
図１４（ａ）は、第１表示／光センサ部３００Ａに矩形の画像３０ａを表示し、かつ、第１表示／光センサ部３００Ａの表示画面を、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１４（ｂ）は、矩形の画像３０ａを分断するように親指２０と人差し指２１をそれぞれ同じ方向（図面下方向）へ移動させて、矩形の画像３０ａを左右２つの矩形の画像３０ｂに分割した様子を示す図である。
【０１３４】
図１５（ａ）は、第１表示／光センサ部３００Ａに複数の矩形の画像３１ａを円周状に配置して表示し、かつ、円の中心点付近を上面から親指２０で、画像３１ａを下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１５（ｂ）は、親指２０を動かさずに、人差し指２１を図面下側へ移動させて、複数の矩形の画像３１ａを前記円の円周に沿って反時計回りに回転させている様子を示す図である。
【０１３５】
図１６（ａ）は、第１表示／光センサ部３００Ａに、円形の画像３２ａと矩形の画像３２ｂとが結合してなる画像３２ｃを表示し、かつ、円形の画像３２ａの中心点付近を上面から親指２０で、矩形の画像３２ｂを下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１６（ｂ）は、親指２０を動かさずに、人差し指２１を図面左側へ移動させて、あたかも円形の画像３２ａの中心点付近を支点とした振り子のように、矩形の画像３２ｂを左側へ移動させた様子を示す図である。
【０１３６】
図１７（ａ）は、第１表示／光センサ部３００Ａのほぼ画面全体に亘って矩形の画像３３ａを表示し、かつ、矩形の画像３３ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１７（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、図面下側から矩形の画像３３ｂを出現させ、画像３３ａと画像３３ｂとを図面縦方向に並べて表示した様子を示す。図１７（ｃ）は、さらに親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、画面に表示される画像が、画像３３ａから画像３３ｂに切り替えられた様子を示す図である。
【０１３７】
図１８（ａ）は、第１表示／光センサ部３００Ａに略正方形の画像３４ａを表示した様子を示す。図１８（ｂ）は、略正方形の画像３４ａを、上面から人差し指２１で、下面から中指２２で、それぞれタッチして、略正方形の画像３４ａが「選択」状態となった様子を示す図である。
（表示画像に対して実行される動作の具体的説明）
次に、図９〜図１８を参照して説明した上記各動作をより具体的に説明する。
【０１３８】
図９（ａ）に示すように、第１表示／光センサ部３００Ａには矩形の画像２５ａが表示されている。そして、ユーザは、その矩形の画像２５ａを、上面側（第１表示／光センサ部３００Ａが配設された側）から親指２０で、下面側（第２表示／光センサ部３００Ｂが配設された側）から人差し指２１で、それぞれタッチする。
【０１３９】
なお、上記説明したとおり、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａは、上面から親指２０でタッチされることはあっても、下面から人差し指２１で実際にタッチされることはない。しかしながら、本実施の形態に係る以降の説明では、説明の便宜上、このような状態のことを、「上面から親指２０で、下面から人差し指２１で、それぞれタッチする」と表現している。このことは、図１０〜図１８を参照して説明する記載においても同様である。
【０１４０】
また、親指２０及び人差し指２１が表裏両面から矩形の画像２５ａをタッチするものとして説明しているが、どの指を使用してもよい。つまり、何れかの指を使って、表裏両面から矩形の画像２５ａを挟持すればよく、そのことが、矩形の画像２５ａに対して所定の動作を実行する前提となる。それゆえ、上面あるいは下面の何れか一方のみから矩形の画像２５ａをタッチしても、それだけでは矩形の画像２５ａに対して所定の動作を実行することはできない。また、画像（あるいは画面）を指でタッチするものとして説明しているが、実際に画像をタッチしている必要はなく、表示／光センサ部３００がその指の像を検知すればよい。
【０１４１】
また、図中の星印は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、指の像を検知しているおおよその場所を示す。なお、以降の説明では、説明の便宜のため、上面側から親指２０で、下面側から人差し指２１で、画像２５ａをタッチするものとして説明する。このことは、図１０〜図１８についても同様である。
【０１４２】
さらに、画像２５ａは矩形であるとして説明しているが、画像２５ａは正方形であってもよく、任意の形状とすることができる。但し、本実施の形態では、画像２５ａは矩形であるとして説明する。同様に、図１０〜図１８において、各画像の形状を円形、正方形、あるいはパイプ形状等として説明しているが、それらの形状はあくまで例示であり、記載した形状に限られない。
【０１４３】
また、親指２０と人差し指２１の指の動きの速度については特に言及しないが、その指の像の動きに対応付けられた動作は、指の動きの速度に応じて実行される。
【０１４４】
次に、図９（ｂ）に示すように、ユーザは、親指２０と人差し指２１を反対方向（図面横方向において、親指２０を右方向、人差し指２１を左方向）へ移動させる。この指の動きによって、複数の矩形の画像２５ａが扇状に拡がった状態で第１表示／光センサ部３００Ａに表示される。つまり、図９（ａ）では、複数の矩形の画像２５ａはあたかも短冊が束になって閉じた状態にあり、図９（ｂ）では、それら複数の矩形の画像２５ａが扇状に拡がった状態にある。
【０１４５】
なお、上述した扇状の拡がり具合は、親指２０及び人差し指２１の移動距離に応じて決まる。従って、図９（ｂ）では、親指２０及び人差し指２１が表示画面の端部付近まで移動しているため、扇状の拡がりは表示画面の全体に及んでいる。
【０１４６】
また、次のような方法によって、上述したのとは逆の動き、つまり、扇状に拡がった複数の矩形の画像２５ａを、短冊が束になって閉じたように表示することができる。
【０１４７】
まず、ユーザは、扇状に広がった複数の矩形の画像２５ａを、上面側から親指２０で、下面側から人差し指２１で、それぞれタッチする。このとき、親指２０及び人差し指２１がタッチする位置は、図９（ｂ）に示すように、それぞれ異なる位置である。つまり、親指２０は最外部付近（図面左側）に位置する画像２５ａをタッチし、人差し指２１は他方の最外部付近（図面右側）に位置する画像２５ａをタッチする。次に、親指２０と人差し指２１を反対方向（図面横方向において、親指２０を左方向、人差し指２１を右方向）へ移動させる。つまり、図９（ａ）から図９（ｂ）へ至る指の動きと逆の動きをする。これにより、扇状に拡がった複数の矩形の画像２５ａが短冊が束になって閉じたように表示される。このようにして、データ表示／センサ装置１００は、図９（ａ）及び図９（ｂ）によって示される多彩で立体的な動作を、容易かつ迅速に実現することができる。
【０１４８】
ここで、矩形の画像２５ａは、図９（ａ）の図面縦方向にその長手方向が配置され、扇状の拡がりは、図９（ｂ）の図面横方向に向かって記載されている。しかしながら、矩形の画像２５ａが、図９（ａ）の図面横方向にその長手方向が配置され、扇状の画像２５ａが、図９（ｂ）の図面縦方向に拡がるように表示されることも可能である。また、矩形の画像２５ａの配置方向は、図９（ａ）の縦・横方向に限らず、任意の方向で配置してよく、図９（ａ）はあくまで一例である。
【０１４９】
図９（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、複数の矩形の画像２５ａがそれぞれ「ニュース」、「ブログ」、「ショッピング」等のアドレスを示す画像（オブジェクト）として割り当てられているとする。そして、上述した親指２０、及び人差し指２１の動作により、短冊が束になって閉じたように表示されていた複数の矩形の画像２５ａが扇状に拡がって表示される。これにより、ユーザは、扇状に拡がったオブジェクトの中から、所望のアドレスを容易に、かつ迅速に画面上から探し出すことができる。しかも、アドレス先を示すオブジェクトが扇状に拡がることで、デザイン性に優れた動作を実現でき、データ表示／センサ装置１００は、高い満足度をユーザに提供することができる。なお、扇状に拡がった幾つかのオブジェクトの中から、所望のオブジェクトを選択する方法は、例えば図１８を参照して説明する方法によって実現される。
【０１５０】
次に、図１０について説明する。図１０（ａ）に示すように、第１表示／光センサ部３００Ａには円形の画像２６ａが表示されている。そして、ユーザは、その円形の画像２６ａを、上面側から親指２０で、下面側から人差し指２１で、それぞれタッチする。
【０１５１】
次に、図１０（ｂ）に示すように、ユーザは、親指２０と人差し指２１を反対方向（図面縦方向において、親指２０を略上方向、人差し指２１を略下方向）へ移動させる。この指の動作によって、円形の画像２６ａは、より大きな寸法の円形の画像２６ｂとなって第１表示／光センサ部３００Ａに表示される。
【０１５２】
なお、寸法が拡大される程度は、親指２０及び人差し指２１の移動距離に応じて決まる。従って、図１０（ｂ）では、ユーザは、親指２０及び人差し指２１を大きく移動させたため、画像２６ｂは、一部が画面からはみ出して表示されている。
【０１５３】
また、次のような方法によって、第１表示／光センサ部３００Ａに、円形の画像２６ｂよりもサイズが小さくなった円形の画像２６ａを表示させることができる。
【０１５４】
まず、ユーザは、円形の画像２６ｂを、上面側から親指２０で、下面側から人差し指２１で、それぞれタッチする。このとき、親指２０及び人差し指２１が画像２６ｂをタッチする位置は、図１０（ｂ）に示すように、それぞれ異なる位置である。なお、図１０（ｂ）で示す例では、親指２０は画像２６ｂの上端部付近を、人差し指２１は画像２６ｂの下端部付近を、それぞれタッチしている。
【０１５５】
次に、親指２０と人差し指２１を反対方向（図面縦方向において、親指２０を略下方向、人差し指２１を略下上方向）へ移動させる。この指の動作によって、円形の画像２６ｂは、より小さな寸法の円形の画像２６ａとなって第１表示／光センサ部３００Ａに表示される。つまり、図１０（ａ）から図１０（ｂ）へ至る指の動きと逆の動きをすることにより、円形の画像２６ｂは、より小さな寸法の円形の画像２６ａとなって第１表示／光センサ部３００Ａに表示される。このようにして、ユーザは、画像の拡大・縮小を容易に、かつ迅速に実行できる。
【０１５６】
なお、親指２０と人差し指２１を互いに反対方向に動かす場合に、その方向は、前記説明した図面垂直方向に限らず、どの方向であってもよい。ここで挙げた例はあくまで一例である。
【０１５７】
図１０（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば円形の画像２６ａが写真画像である場合、ユーザは、拡大した状態でその画像を鑑賞したい場合がある。そのような場合に、上述した親指２０、及び人差し指２１の動作により、その写真画像を拡大して表示することができ、データ表示／センサ装置１００は、拡大した画像を鑑賞したいというユーザの要求に応えることができる。
【０１５８】
次に、図１１について説明する。図１１（ａ）では、第１表示／光センサ部３００Ａに正方形の画像２７ａが表示され、その正方形の画像２７ａが、上面から親指２０で、下面から人差し指２１で、それぞれタッチされている。そして、図１１（ｂ）に示すように、ユーザは、親指２０と人差し指２１を同一方向（図面横方向において、右方向）へ移動させて、画面の外部へ正方形の画像２７ａを移動させている。つまり、ユーザは、この指の動きにより、その指の動く距離に応じて正方形の画像２７ａを移動させることができる。そして、表示画面の外部まで正方形の画像２７ａを移動させた場合に正方形の画像２７ａのファイルが削除される、という動作を予め割り当てておけば、正方形の画像２７ａのファイルは容易に削除される。このようにして、ユーザは、画像の移動、削除をより簡単に、かつ迅速に実行することができる。
【０１５９】
なお、図１１（ａ）・（ｂ）では、図面横方向において、親指２０及び人差し指２１を共に右側に移動させるものとして説明した。しかしながら、親指２０及び人差し指２１を移動させる方向はこれに限らず、いかなる方向であってもよい。従って、ユーザは、任意の場所に画像を移動させることができる。
【０１６０】
図１１（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、画面に表示された任意のファイル（あるいはフォルダ）を移動したい場合に、そのファイルを表裏両面から挟持して、所望の移動先まで親指及び人差し指を移動することにより、その位置にファイルを移動させることができる。また、画面に表示されたファイルを削除したい場合には、そのファイルを表裏両面から挟持して、画面の外側へ移動させればよい。このようにして、データ表示／センサ装置１００は、ファイルを削除・移動したいというユーザの要求に応えることができる。
【０１６１】
次に、図１２について説明する。図１２（ａ）に示すように、図面横方向をパイプ軸（管長）方向とするパイプ形状の画像２８ａが第１表示／光センサ部３００Ａに表示されている。そして、ユーザは、そのパイプ形状の画像２８ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている。そして、図１０（ｂ）に示すように、親指２０と人差し指２１を反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させることにより、第１表示／光センサ部３００Ａには、パイプ軸に直交する方向（図面下から上方向）にパイプ形状の画像２８ａが回転する様子が表示される。
【０１６２】
なお、親指２０と人差し指２１を前記とはそれぞれ逆の方向（図面縦方向において、親指２０を下方向、人差し指２１を上方向）に移動させことにより、パイプ形状の画像２８ａは、前記とは逆の方向、つまり、図面上から下方向に回転する。このように、親指２０と人差し指２１の移動方向によって、パイプ形状の画像２８ａの回転方向が任意に選択され、データ表示／センサ装置１００は、図１２（ａ）及び図１２（ｂ）によって示される多彩で立体的な動作を、容易かつ迅速に実現することができる。
【０１６３】
図１２（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。図１２（ａ）では、パイプ形状の画像２８ａは、図面横方向に延びる複数の矩形の画像２８ｂによって形成されている。そこで、各矩形の画像２８ｂが、例えば「ニュース」、「ブログ」、「ショッピング」等のアドレスを示す画像（オブジェクト）であり、パイプ形状の画像２８ａを回転させて、ユーザから見て正面に位置するオブジェクト（画面に対して正面に表示されるオブジェクト）が「選択されるオブジェクト」と設定しておく。そして、ユーザが、上述した親指２０、及び人差し指２１の動作によってパイプ形状の画像２８ａを回転させ、さらに、選択したいオブジェクトを画面に対して正面（選択位置Ｐ）に移動させることで、所望のオブジェクトが容易に、かつ迅速に選択される。しかも、アドレス先を示すオブジェクトが回転することにより、データ表示／センサ装置１００は、デザイン性に優れた動作を実現でき、高い満足度をユーザに提供することができる。
【０１６４】
次に、図１３について説明する。図１３（ａ）では、第１表示／光センサ部３００Ａの画面上端付近に、矩形の画像２９ａ〜２９ｄが図面横方向に一列に並べて表示されている。そして、矩形の画像２９ｃは、上面から親指２０で、下面から人差し指２１で、それぞれ挟持されている。そして、図１３（ｂ）では、親指２０と人差し指２１がそれぞれ同じ方向（図面下方向）に移動して、それにより矩形の画像２９ｃは、図面縦方向に引き伸ばされて、帯状の画像２９ｃ’となって表示されている。
【０１６５】
なお、帯状となった画像２９ｃ’の図面縦方向の長さは、親指２０及び人差し指２１の移動距離に応じて決まる。つまり、帯状となった画像２９ｃ’の図面縦方向の長さは、親指２０及び人差し指２１の移動距離に応じて異なる。
【０１６６】
また、帯状の画像２９ｃ’が表示された状態において、ユーザが、上面から親指２０で、下面から人差し指２１で、それぞれ帯状の画像２９ｃ’の図面下側の位置を挟持して、親指２０と人差し指２１をそれぞれ同じ方向（図面上方向）へ移動させる。この動作により、帯状の画像２９ｃ’は、引き延ばされる前の画像である矩形の画像２９ｃに戻る。その結果、第１表示／光センサ部３００Ａの画面上端付近に矩形の画像２９ｃが表示される。このように、親指２０及び人差し指２１が図面縦方向に上下することにより、第１表示／光センサ部３００Ａには、矩形の画像２９ｃと帯状の画像２９ｃ’とが切り替わって表示される。
【０１６７】
なお、図１３（ａ）では、第１表示／光センサ部３００Ａの画面上端付近に画像２９ａ〜２９ｄを表示しているが、この位置に限らず、第１表示／光センサ部３００Ａの画面下端、右端、左端付近に画像２９ａ〜２９ｄを表示してもよい。
【０１６８】
図１３（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。ユーザによっては、画面に表示されるオブジェクトをできるだけ少なくしておきたいという要望を持つことがある。そのような場合に、画面の上端、下端、右端、あるいは左端付近にオブジェクトを寄せておき、必要な時にのみ、上述した親指２０、及び人差し指２１の動作により帯状の画像２９ｃ’を引き出すことができれば、画面内のスペースを有効に活用することができ、また、画面に表示されるオブジェクトをできるだけ少なくしておきたいというユーザの要望にも応えることができる。
【０１６９】
次に、図１４について説明する。図１４（ａ）では、第１表示／光センサ部３００Ａに矩形の画像３０ａが表示され、かつ、ユーザは、上面から親指２０で、下面から人差し指２１で、それぞれ表示／光センサ部３００をタッチしている。そして、図１４（ｂ）に示すように、矩形の画像３０ａを分断するように親指２０と人差し指２１をそれぞれ同じ方向（図面下方向）へ移動させることにより、矩形の画像３０ａは、左右２つの画像３０ｂに分割される。なお、後述する指−命令対応情報テーブルに予め設定しておくことにより、親指２０と人差し指２１の移動方向に応じて、矩形の画像３０ａは上下、あるいは斜め方向に分割される。
【０１７０】
図１４（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、矩形の画像３０ａを２つに分割した場合に当該画像３０ａのファイルが削除される、という動作を予め割り当てておけば、上述した指の動きにより、矩形の画像３０ａのファイルを容易に削除することができる。
【０１７１】
次に、図１５について説明する。図１５（ａ）では、第１表示／光センサ部３００Ａに複数の画像３１ａが円周状に配置して表示され、かつ、ユーザは、その円の中心点付近を上面から親指２０で、画像３１ａを下面から人差し指２１で、それぞれタッチしている。そして、図１５（ｂ）に示すように、親指２０を動かさずに、人差し指２１を図面下側へ移動させることにより、複数の画像３１ａが、前記円の円周に沿って反時計回りに回転している。なお、図示していないが、人差し指２１を図面上側へ移動することにより、複数の画像３１ａは、円の円周に沿って時計回りに回転する。
【０１７２】
このようにして、複数の画像３１ａは、第１表示／光センサ部３００Ａに回転した状態で表示される。また、ユーザは、指の動きを停止して、その回転を停止させることができる。従って、回転を止めたときに、画面上の所定の場所に位置する画像（オブジェクト）を「選択されるオブジェクト」と設定しておくことにより、従来にはない斬新な方法によってオブジェクトが選択される。しかも人差し指の動きの速度に応じて複数の画像が回転するように設定することにより、所望のオブジェクトは、容易に、かつ迅速に第１表示／光センサ部３００Ａに表示され、さらに選択される。そして、データ表示／センサ装置１００は、デザイン性にも優れた動作を実現できるため、高い満足度をユーザに提供することができる。
【０１７３】
次に、図１６について説明する。図１６（ａ）では、第１表示／光センサ部３００Ａに、円形の画像３２ａと矩形の画像３２ｂとが結合してなる画像３２ｃが表示され、かつ、ユーザが、画像３２ａの中心付近を上面から親指２０で、画像３２ｂを下面から人差し指２１で、それぞれタッチしている。
【０１７４】
次に、図１６（ｂ）に示すように、親指２０を動かさずに、人差し指２１が図面左側へ移動することにより、あたかも画像３２ａの中心点付近を支点とした振り子のように、画像３２ｂが左側に移動する。
【０１７５】
なお、上述した画像３２ｂの移動は、人差し指２１の移動距離に応じて決まる。また、人差し指２１の移動方向を逆方向（図面右方向）へ移動させることにより、画像３２ｂは、人差し指２１の移動距離に応じて、画像３２ａの中心点付近を支点として移動する。
【０１７６】
このようにして、データ表示／センサ装置１００は、図１６（ａ）及び図１６（ｂ）によって示される多彩で立体的な動作を、容易かつ迅速に実現することができる。
【０１７７】
なお、図１６では、画像３２ｂは画像３２ａの図面上側に表示されているが、その位置は任意に選択される。また、図１６では、画像３２ａ、３２ｂは１つのみ表示されているが、これらが複数表示されてよい。
【０１７８】
図１６（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、データ表示／センサ装置１００から出力される音量を画面上の簡単な操作によって調節したいという要望を持つ場合がある。このような場合に、例えば人差し指２１が図面左右方向に動き、画像３２ｂがそれに伴い左右に移動し、その移動量に伴って音量がリニアに調節される、という動作を予め割り当てておけば、例えば画像３２ｂを左側に移動させて、これによりデータ表示／センサ装置１００から出力される音量を下がることが可能となる。あるいは、画像３２ｂを右側に移動させて、これによりデータ表示／センサ装置１００から出力される音量を上げることができる。
【０１７９】
次に、図１７について説明する。図１７（ａ）では、第１表示／光センサ部３００Ａのほぼ画面全体に亘って矩形の画像３３ａが表示され、かつ、ユーザが、上面から親指２０で、下面から人差し指２１でその画像３３ａをタッチしている。
【０１８０】
そして、図１７（ｂ）に示すように、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させることにより、図面下側から矩形の画像３３ｂが出現し、矩形の画像３３ａと矩形の画像３３ｂとが図面縦方向に並んで表示される。そして、図１７（ｃ）に示すように、さらに親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させることにより、画面に表示される画像が、画像３３ａから画像３３ｂに切り替わる。
【０１８１】
つまり、上述した親指２０及び人差し指２１の動きにより、画面に表示される画像が、画像３３ａから画像３３ｂに切り替わる。しかも、その切り替えが完全に行われる前に指の動きを停止することにより、矩形の画像３３ａ及び画像３３ｂが図面縦方向に並んで表示される。また、指の動きの速度に応じて、矩形の画像３３ａから画像３３ｂへの切り替えが所望の速度で行われる。さらに、親指２０及び人差し指２１の動きを前記とは逆の方向にすることにより、画像３３ｂから矩形の画像３３ａの方向に画像の切り替えが行われる。
【０１８２】
図１７（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、電子アルバム化された複数の写真を順次鑑賞したい場合を考える。そのような場合に、画面に表示された写真（画像３３ａ）から、次の写真（画像３３ｂ）に移りたいときに、上述した親指２０、及び人差し指２１の動作により、ユーザは、画像３３ａから画像３３ｂへの切り替えを容易に、かつ迅速に行うことができる。このように、データ表示／センサ装置１００は、画像を切り替えて次の画像を見たいというユーザの要求に確実に応えることができる。
【０１８３】
なお、図１７では、画像の切り替えを図面縦方向に行っているが、図面横方向に行うことも可能である。
【０１８４】
次に、図１８について説明する。図１８（ａ）では、第１表示／光センサ部３００Ａに略正方形の画像３４が表示されている。そして、図１８（ｂ）に示すように、親指２０と人差し指２１が表裏両面からほぼ同時に略正方形の画像３４にタッチして、略正方形の画像３４が選択された状態となる。
【０１８５】
つまり、ユーザは、親指２０と人差し指２１を表裏両面からほぼ同時に略正方形の画像３４をタッチすることにより、略正方形の画像３４を選択することができる。従って、親指２０あるいは人差し指２１の動きのみでは略正方形の画像３４は選択されず、また、第１表示／光センサ部３００Ａが親指２０の像を検知して暫く時間が経ってから第２表示／光センサ部３００Ｂが人差し指２１の像を検知したとしても、略正方形の画像３４は選択されない。
【０１８６】
従って、ユーザは、親指２０及び人差し指２１を表裏両面からほぼ同時に略正方形の画像３４にタッチしない限り、所望のオブジェクトを選択することができず、その分だけ、誤入力のリスクは軽減される。
【０１８７】
なお、第１表示／光センサ部３００Ａが親指２０の像を検知してから第２表示／光センサ部３００Ｂが人差し指２１の像を検知する（あるいは、第２表示／光センサ部３００Ｂが人差し指２１の像を検知してから第１表示／光センサ部３００Ａが親指２０の像を検知する）までの経過時間は適宜設定してよい。但し、経過時間を「０」としたのでは、容易にオブジェクトの選択をすることができず、ユーザは不便を感じることが多い。また、経過時間が長すぎたのでは、誤入力となってしまう可能性もある。そこで、経過時間を適宜設定しうる構成とすることにより、ユーザは、不便を感じることなく、かつ、誤入力のリスクを軽減することができる。
【０１８８】
一方、経過時間を設定せず、親指２０及び人差し指２１が表裏両面から略正方形の画像３４にタッチすることで、略正方形の画像３４が選択された状態とすることも可能である。これにより、ユーザは、経過時間を気にしながら表裏両面から略正方形の画像３４をタッチする必要がなくなる。
【０１８９】
なお、経過時間の設定は、ユーザが外部から入力し、その入力値を記憶部９０１に記憶させておけばよい。そして、入力検出部８３０がその入力値を記憶部９０１から読み出して、自身が測定した実測値と比較することにより、経過時間が経過したかどうかの判定が行われる。なお、経過時間の実測値が入力値を超える場合は、入力検出部８３０が入力信号を生成しない構成とすることも可能である。なお、入力検出部８３０、及び記憶部９０１の詳細は後ほど説明する。
【０１９０】
また、後述する指−命令対応情報テーブルに予め登録しておくことにより、親指２０と人差し指２１が略正方形の画像３４を表裏両面からダブルクリックした場合に、その画像３４が選択される構成とすることも可能である。この場合、上記の経過時間は、最初のクリックから２回目のクリックまでの時間とすることもできる。
【０１９１】
以上、図９〜図１８を参照して、指の像の動きに対応して実行される種々の動作の具体例を説明した。なお、前記説明では、親指２０と人差し指２１の移動方向と実行される動作とを対応付けて説明したが、実行される動作は、前記の各動作に限定されない。つまり、指の像の動きと実行される動作とを対応付けて後述する指−命令対応情報テーブルに予め登録しておけば、同じ指の動きであっても、異なる動作を実行することが可能となる。
【０１９２】
例えば、図１１を参照して説明した正方形の画像２７ａを移動する動作は、親指２０と人差し指２１をそれぞれ同じ方向へ移動させることにより実行される。しかしながら、親指２０と人差し指２１をそれぞれ同じ方向へ移動する動きを、画像を拡大（縮小）する動作に対応付けておくことにより、同じ指の動きであっても、異なる動作を実行することができる。あるいは、親指２０と人差し指２１をそれぞれ同じ方向へ移動させることにより、円形の画像の場合には画像の拡大という動作を割り当て、矩形の画像の場合には移動という動作を割り当てておくことにより、同じ指の動きであっても、画像の形状に応じて、異なる動作を実行することができる。
【０１９３】
ここで、数え切れないほど多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識し、その指の像の動きに対応付けられた所定の動作を実行するためには、次のような方法が考えられる。
【０１９４】
第１の方法は、第１表示／光センサ部３００Ａが検知した指の像の動きと、第２表示／光センサ部３００Ｂが検知した指の像の動きとの関係から、特定の指の動きを認識する方法である。この方法は、例えば、表裏両面における指の像が、同一方向に移動すればオブジェクトが移動、反対方向に移動すればオブジェクトが拡大、近づく方向に移動すればオブジェクトが縮小、といった動きを予め対応付けておくことにより、数多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識するというものである。
【０１９５】
第２の方法は、上述した第１の方法に加えて、データ表示／センサ装置１００との位置関係を考慮するものであり、データ表示／センサ装置１００に対する指の像の動きの角度から、特定の指の動きを認識する方法である。この方法は、データ表示／センサ装置１００の基準座標（Ｘ・Ｙ軸）を定めておき、表裏両面の像が、Ｘ軸の反対方向に移動すればオブジェクトが拡大、Ｙ軸の反対方向に移動すればオブジェクトが回転、といった動きを予め対応付けておくことにより、数多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識するというものである。
【０１９６】
第３の方法は、アプリケーション、モード等の動作する状態（場面）に応じて、特定の指の動きを認識する方法である。この方法は、あるアプリケーションの場合は、表裏両面の指の像を反対方向に移動させればオブジェクトが扇状に展開、他のアプリケーションの場合は、表裏面の指の像を反対方向に移動させればオブジェクトが拡大、さらに他のアプリケーションの場合は、表裏面の指の像を同一方向に移動させればオブジェクトが拡大、といった動きを予め対応付けておくことにより、数多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識するというものである。
【０１９７】
そして、どの方法を採用するかを予め設定しておけば、数え切れないほど多く存在する指の像の動きの変化の中から、ある特定の指の像の動きが認識されて、その指の像の動きに対応付けられた所定の動作が実行される。
【０１９８】
また、前記３つの方法に限らず、それらを組み合わせてもよく、あるいは、前記以外の方法により、数え切れないほど多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識し、その指の像の動きに対応付けられた所定の動作を実行してもよい。
【０１９９】
このようにして、特定の指の像の動きに対応付けられた所定の動作が実行される。そして、その所定の動作とは、図９〜図１８を参照して説明した、画像（オブジェクト）の選択、拡大、縮小、回転、扇状への展開、他の画像への切り替え、移動、削除、引き伸ばし、あるいは分割などが挙げられる。そして、第１表示／光センサ部３００Ａには、上記動作結果が表示される。
【０２００】
なお、実行される所定の動作は、上述した各動作に限らず、種々の動作が可能である。また、図９〜図１８を参照して説明した各動作を適宜組み合わせて得られる動作も実行可能である。
【０２０１】
ここで、他の動作の一例を図１１（ａ）・（ｂ）を参照して説明する。図１１（ａ）・（ｂ）では、上面から親指２０で、下面から人差し指２１で、それぞれ略正方形の画像２７ａをタッチして、さらに親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させている。この指の動きにより、略正方形の画像２７ａが第１表示／光センサ部３００Ａの画面の外側へと移動する。
【０２０２】
このとき、第１表示／光センサ部３００Ａの画面の外側へ略正方形の画像２７ａが移動し終わる前に親指２０及び／又は人差し指２１が略正方形の画像２７ａから離れた場合、画像が最初の位置（状態）に戻るようデータ表示／センサ装置が構成されていたとする。この場合、ユーザは、当該装置を使用することにより、親指２０及び／又は人差し指２１を略正方形の画像２７ａから離すことで略正方形の画像２７ａを最初の位置（状態）に戻すことができる。つまり、ユーザは、指を離す動作によって所定の動作（画像の移動）をキャンセルすることができる。
【０２０３】
つまり、データ表示／センサ装置が上記のように構成されていれば、画像を最初の状態に戻すための他の動作を必要とせず、ユーザの負担が軽減される。そして、所定の動作をキャンセルする操作は、図９等を参照して説明した他の実施例にも適用することが可能である。
【０２０４】
このように、指の動きと所定の動作とを種々のパターンで関連付けることができる。そして、実行される所定の動作は、上述した各動作に限らず、種々の動作が可能である。
【０２０５】
（データ表示／センサ装置の要部説明）
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、画像の表示および画像の検知を行うにあたり、主制御部８００の入力インターフェース制御部８０５が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０２０６】
図１は、データ表示／センサ装置１００の要部構成を表すブロック図である。図示のように、主制御部８００は、入力インターフェース制御部８０５と、アプリケーション実行部８５０（動作実行装置）と、を備える。また、入力インターフェース制御部８０５は、検知判定部８１０と、重畳判定部８２０と、入力検出部８３０と、動作制御部８４０（動作制御手段）と、画像表示制御部８６０（画像表示制御手段）と、を備える。
【０２０７】
検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、共に指の像を検知したかどうかを判定する。より具体的に説明すると、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したとき、座標データ、全体画像データ、部分画像データがデータ制御部７００から検知判定部８１０に送信される。従って、検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方から座標データ、全体画像データ、部分画像データを受信した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定することができる。なお、検知判定部８１０は、座標データ、全体画像データ、部分画像データのうち少なくとも何れか１つを受信することで、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定することもできる。
【０２０８】
ここで、図１では、データ処理部７００から検知判定部８１０（及び、重畳判定部８２０、入力検出部８３０）へ送信される座標データ、全体画像データ、部分画像データが実線及び破線で記載されている。これは、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方から座標データ、全体画像データ、部分画像データを取得するためであり、第１表示／光センサ部３００Ａから検知判定部８１０（及び、重畳判定部８２０、入力検出部８３０）へ送信される座標データ、全体画像データ、部分画像データを実線で、第２表示／光センサ部３００Ｂから検知判定部８１０（及び、重畳判定部８２０、入力検出部８３０）へ送信される座標データ、全体画像データ、部分画像データを破線で、それぞれ記載している。
【０２０９】
次に、検知判定部８１０は、「第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した」ことを示す判定結果を入力検出部８３０に出力する。従って、第１表示／光センサ部３００Ａのみ、あるいは第２表示／光センサ部３００Ｂのみが指の像を検知した場合、若しくは第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知しなかった場合には、検知判定部８１０は、「第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは、共に指の像を検知しなかった」ことを示す判定結果を入力検出部８３０に出力する。若しくは、検知判定部８１０は、入力検出部８３０に対して何も出力しない。
【０２１０】
重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。なお、表示／光センサ部３００のうち、第１表示／光センサ部３００Ａに画像が表示され、第２表示／光センサ部３００Ｂには画像が表示されていないものとして説明する。
【０２１１】
より具体的に説明すると、重畳判定部８２０は、データ制御部７００から座標データ、全体画像データ、部分画像データを取得し、それら座標データ、全体画像データ、部分画像データから像領域を特定する。また、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出す。その画像情報には、当該画像に係る表示画像領域が座標により特定されているため、重畳判定部８２０は、記憶部９０１から画像情報を読み出すことにより表示画像領域を特定することができる。
【０２１２】
一例として、図２８、及び図２９を参照して画像情報について説明する。図２８は、図１０に係る円形の画像２６ａ、２６ｂについての画像情報を説明するための図である。また、図２９は、図１１に係る矩形の画像２７ａについての画像情報を説明するための図である。
【０２１３】
図２８（ａ）に示すように、円形の画像２６ａは、座標（Ａ、Ｂ）を中心点として、直径φＴ１で示される円である。また、図１０を参照して説明した方法によって得られた、図２８（ｂ）におけるより大きな寸法に拡大した円形の画像２６ｂは、座標（Ａ、Ｂ）を中心点として、直径φＴ２で示される円である。なお、ここでは円形の画像２６ａ・２６ｂに係る表示画像領域は、座標（Ａ、Ｂ）、及び直径φＴ１、φＴ２によって特定されているが、円形の画像２６ａ・２６ｂの各円周の座標によって特定する態様であっても構わない。何れの態様であれ、円形の画像２６ａ・２６ｂに係る表示画像領域が特定されるためである。
【０２１４】
また、図２９（ａ）に示すように、矩形の画像２７ａは、（Ａ、Ｂ１）という位置を画像の中心として、一辺が長さＣで表される正方形の画像である。また、図１１を参照して説明した方法によって得られた、図２９（ｂ）における図面右側に移動した画像２７ａは、（Ａ、Ｂ２）を画像の中心として、一辺が長さＣで表される正方形の画像である。なお、ここでは正方形の画像２７ａは、座標（Ａ、Ｂ１）、（Ａ、Ｂ２）、及び長さＣで特定されるが、正方形の画像２７ａの４辺を示す座標によって特定する態様であっても構わない。何れの態様であれ、正方形の画像２７ａに係る表示画像領域が特定されるためである。
【０２１５】
このように、図２８で言えば座標（Ａ、Ｂ）及びφＴ１、φＴ２という情報を、また図２９で言えば座標（Ａ、Ｂ１）、（Ａ、Ｂ２）、及びＣという情報を、それぞれ画像情報として扱うことにより、重畳判定部８２０は、記憶部９０１からその画像情報を読み出すことによって表示画像領域を特定することができる。
【０２１６】
上記の方法により、重畳判定部８２０は、像領域および表示画像領域を特定することができ、従って、像領域と表示画像領域との間に重畳する重畳領域が存在するか否かを判定することができる。そして、重畳判定部８２０は、その判定結果を入力検出部８３０に出力する。なお、前記の重畳領域が存在しないと判定した場合に、重畳判定部８２０がその判定結果を入力検出部８３０に出力せず、そのことにより重畳領域が存在しないことの判定結果とすることもできる。
【０２１７】
また、前記の説明では、重畳判定部８２０はデータ制御部７００から座標データ、全体画像データ、部分画像データを取得するものとして説明した。しかしながら、重畳判定部８２０は、検知判定部８１０を介して、データ制御部７００から座標データ、全体画像データ、部分画像データを取得してもよい。
【０２１８】
なお、重畳領域が存在するか否かの判定では、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａあるいは第２表示／光センサ部３００Ｂのうち、何れか一方が検知した指の像の領域である像領域とが重畳するか否かを判定してもよい。これにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方の像領域と表示画像領域とが重畳するか否かを判定する場合よりも、「重畳領域が存在する」と判定される条件を緩和することができる。
【０２１９】
ここで、具体例を用いて、重畳判定の条件を緩和することが好ましい理由を説明する。図９（ａ）では、ユーザは、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａに対応する第２表示／光センサ部３００Ｂ上の領域を人差し指２１でタッチしている。つまり、第２表示／光センサ部３００Ｂに矩形の画像２５ａが表示されているとしたならば、その矩形の画像２５ａが表示されているであろう領域を、人差し指２１がタッチする。
【０２２０】
このとき、第２表示／光センサ部３００Ｂは矩形の画像２５ａを画面上に表示していないため、ユーザは、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａに対応する第２表示／光センサ部３００Ｂ上の領域を感覚的に認識して、その上で、その領域をタッチしている。つまり、人差し指２１による当該領域へのタッチは、感覚的に行われるものであり、常に正確に行われるものではない。
【０２２１】
従って、少なくとも第１表示／光センサ部３００Ａあるいは第２表示／光センサ部３００Ｂのうち、何れか一方が検知した指の像の領域である像領域が表示画像領域と重畳することにより「重畳領域が存在する」と判定されるのであれば、データ表示／センサ装置１００は、より優れた操作性及び利便性をユーザに提供することができる。
【０２２２】
入力検出部８３０は、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が重畳領域が存在すると判定した場合には、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
【０２２３】
このとき、入力検出部８３０は、さらにアプリケーション、モード等の動作する状態（場面）、あるいは画像の属性にも対応付けて入力信号を生成する。これにより、後述するアプリケーション実行部８５０は、第１表示／光センサ部３００Ａに表示された画像に対して所定の動作を実行することができる。なお、入力検出部８３０は、記憶部９０１から直接、もしくは重畳判定部８２０を介して当該画像等に係る画像情報を取得することができる。これにより、入力検出部８３０は、第１表示／光センサ部３００Ａに表示された画像に対応付けされた入力信号を生成することができる。
【０２２４】
ここで、入力検出部８３０が生成する入力信号について、図９の動作を例に具体的に説明する。
【０２２５】
第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは、反対方向へ移動する親指２０の像と人差し指２１の像を検知する。このとき、入力検出部８３０は、データ制御部７００から親指２０の像と人差し指２１の像の移動前後における全体画像データ、部分画像データ、及び座標データを取得する。そして、入力検出部８３０は、それらのデータから、それぞれの指の像の移動量、及び移動方向を算出する。
【０２２６】
より具体的に説明すると、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）で表され、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）として表される。従って、入力検出部８３０は、親指２０の像及び人差し指２１の像の移動前後における上記座標データをそれぞれ取得して、その座標データの差分を計算することにより、それぞれの指の像の移動量、及び移動方向を算出することができる。
【０２２７】
このようにして、入力検出部８３０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して、各指の座標移動量、座標移動方向（単独ベクトル）を算出する。そして、入力検出部８３０は、各指の単独ベクトルから、各指が互いにどの方向に、どの程度移動したかを示す相対ベクトルを算出する。これにより、入力検出部８３０は、単独ベクトル、及び相対ベクトルを算出し、かつ、単独ベクトル、及び相対ベクトルに対応付けられた入力信号を生成する。
【０２２８】
さらに、入力検出部８３０は、以下の種々の項目に対応付けられた入力信号、つまり、記憶部９０１から読み出した画像情報に基づいて、アプリケーション、モード等の動作する状態（場面）ごとに対応付けされた入力信号、図１９を参照して後述する「経過時間」に対応付けられた入力信号、あるいは指の動きの速度に対応付けられた入力信号、を生成する。なお、入力信号は、ここで挙げた項目すべてに対応付けて生成される必要はなく、これらのうち一部に対応付けられて生成されてもよい。
【０２２９】
このように、入力検出部８３０は、上記種々の項目に対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
【０２３０】
動作制御部８４０は、入力検出部８３０が生成した入力信号を受信して、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられた指−命令対応情報に基づいて、アプリケーション実行部８５０に動作実行命令を送信する。
【０２３１】
より具体的に説明すると、動作制御部８４０は、入力検出部８３０が生成した入力信号を受信する。そして、動作制御部８４０は、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられた指−命令対応情報を記憶部９０１から読み出し、その指−命令対応情報に基づいて、当該入力信号に対応する動作実行命令をアプリケーション実行部８５０に送信する。
【０２３２】
ここで、指−命令対応情報についてより具体的に説明する。指−命令対応情報とは、入力検出部８３０が生成する入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられた情報である。例えば、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像が同じ方向に移動すると、選択した画像を同じ方向に移動させる、あるいは、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像が互いに反対方向に移動すると、選択した画像を拡大する（縮小する）、というように、指−命令対応情報は、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられている（図３０参照）。さらに、これに加え、入力検出部８３０は、単独ベクトル、相対ベクトル、アプリケーション・モード等の動作する状態（場面）、経過時間、あるいは指の動きの速度といった種々の項目に対応付けられた入力信号を生成する。従って、指−命令対応情報は、上記種々の項目、及び実行すべき所定の動作とが関連付けてなるものである。
【０２３３】
なお、図３０は、図９〜図１９を参照して説明する、画像の形状、指の動き、及び得られる動作を関連付けた指−命令対応情報の一例を示すテーブルである。従って、ここで示す各項目はあくまで一例であって、これに限られるものではない。
【０２３４】
アプリケーション実行部８５０は、動作制御部８４０から動作実行命令を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部８５０は、その動作が行われたことを示す動作結果情報を画像表示制御部８６０に送信する。
【０２３５】
例えば、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像が同じ方向に移動した場合（仮にＡ点からＢ点へ移動したとする）であって、その指の像の動きに対応付けられた動作が、「表示画像をＡ点からＢ点へ移動させる」という動作である場合、アプリケーション実行部８５０は、当該表示画像の表示位置をＡ点からＢ点に移動する処理を行う。そして、アプリケーション実行部８５０は、「表示画像をＡ点からＢ点へ移動する処理を行った」ことを示す動作結果情報を画像表示制御部８６０に送信する。
【０２３６】
このように、アプリケーション実行部８５０は、動作制御部８４０から動作実行命令を受信して、その命令によって示される動作を実行し、さらに、その動作が行われたことを示す動作結果情報を画像表示制御部８６０に送信する。
【０２３７】
なお、図１において、アプリケーション実行部８５０は主制御部８００に含まれる構成である。しかしながら、主制御部８００の外部にアプリケーション実行部８５０を設けて、外部通信部９０７を介して、所定の動作を実行する構成としてもよい。また、アプリケーション実行部８５０は、１または複数のアプリケーションを有してよい。
【０２３８】
画像表示制御部８６０は、アプリケーション実行部８５０から動作結果情報を受信すると、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。
【０２３９】
従って、「表示画像をＡ点からＢ点へ移動させる」という動作がアプリケーション実行部８５０によって実行された場合、画像表示制御部８６０は、データ処理部７００にそのことを示す表示データを送信して、その結果、第１表示／光センサ部３００Ａに動作結果が表示される。つまり、表示画像がＡ点からＢ点へ移動する様子が第１表示／光センサ部３００Ａに表示される。
【０２４０】
また、図１では、記憶部９０１は、主制御部８００の外部に設けられているが、主制御部８００の内部に設けられる構成であってもよい。
【０２４１】
また、検知判定部８１０、重畳判定部８２０、及び入力検出部８３０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂごとに、指の像の全体画像データ、部分画像データ、及び座標データを送信するようデータ処理部７００に要求している。これは、主制御部８００で実行されるアプリケーションプログラムが、指の像の全体画像データ、部分画像データ、及び座標データを第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂごとに送信するようデータ処理部７００を制御することにより行われる。
【０２４２】
（フローチャート説明）
次に、図９〜図１８、及び図２０を参照しながら、データ表示／センサ装置１００の処理の流れ、及び、入力インターフェース制御部８０５からデータ処理部７００に送信されるコマンドの詳細について説明する。
【０２４３】
図２０は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。
【０２４４】
まず、データ表示／センサ装置１００の電源がオフの状態にあるとき、ユーザが電源スイッチ９０５を押下することにより、データ表示／センサ装置１００は電源オンとなる（Ｓ１１）。
【０２４５】
そして、ステップＳ１３では、ユーザが電源スイッチ９０５を押下することにより、表示／光センサ部３００に画像が表示される。なお、ここでは、第１表示／光センサ部３００Ａに画像が表示されるものとする。この状態で、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが指の像を検出するまで待機する。
【０２４６】
ここで、第１表示／光センサ部３００Ａに画像を表示させる場合は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、第２表示／光センサ部３００Ｂに画像を表示させる場合は、「表示パネル」フィールドの値として下画面（“010”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。ここでは、第１表示／光センサ部３００Ａに画像を表示させるため、「表示パネル」フィールドの値として両画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２４７】
また、この段階では、表示／光センサ部３００は近傍の像を検知可能な状態にあるものとする。前記検知を行うために、「データ取得タイミング」フィールドに、“イベント”を指定し、「データ種別」フィールドに“座標”および“全体画像”の両方を指定（“101”を指定）したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、“座標”または“全体画像”のみを指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力されてもよい。
【０２４８】
さらに、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにおいて前記検知を行うために、「スキャンパネル」フィールドに両方の表示／光センサ部３００を指定（“011”）したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２４９】
これにより、センサ内蔵液晶パネル３０１が近傍の像を検知した場合に、検知判定部８１０、重畳判定部８２０、及び入力検出部８３０は、データ処理部７００から座標データ、全体画像データ、部分画像データを取得することができる。
【０２５０】
つまり、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにユーザの指がタッチしたとき、光センサ回路３２が、タッチした指の影像および反射像の少なくとも何れかを検知する。その結果、データ処理部７００がセンサ制御部６０２から取得する画像データに変化が生じる。
【０２５１】
このようにして、検知判定部８１０は、前記画像データに変化が生じた際にデータ処理部７００から出力されてくる、座標データ、全体画像データ、部分画像データを取得することにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したことを認識できる。
【０２５２】
そして、ステップＳ１５では、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したかどうかを判定する。つまり、表示／光センサ部３００ごとの座標データ、全体画像データ、部分画像データがデータ処理部７００から検知判定部８１０に入力されることにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定される。なお、図２０では、便宜のため、第１表示／光センサ部３００Ａを「Ａ」と称し、第２表示／光センサ部３００Ｂを「Ｂ」と称している。
【０２５３】
第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合（ステップＳ１５でＹｅｓ）、ステップＳ１７に進む。ステップＳ１７では、重畳判定部８２０が、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。つまり、データ処理部７００から表示／光センサ部３００ごとの座標データ、全体画像データ、部分画像データを取得することにより、重畳判定部８２０は、座標データ、全体画像データ、及び部分画像データと、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域とを比較して、重畳する領域（重畳領域）が存在するかどうかを判定する。なお、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出している。
【０２５４】
重畳領域が存在すると判定された場合（ステップＳ１７でＹｅｓ）、ステップＳ１９に進む。ステップＳ１９では、入力検出部８３０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
【０２５５】
続いて、ステップＳ２１では、動作制御部８４０が、その入力信号を入力検出部８３０から受信して、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１から読み出す。
【０２５６】
動作制御部８４０は、記憶部９０１から指−命令対応情報を読み出して、その指−命令対応情報に基づいて、アプリケーション実行部８５０に動作実行命令を送信する。
【０２５７】
続いて、ステップＳ２３では、アプリケーション実行部８５０が、動作制御部８４０から動作実行命令を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部８５０は、その動作が行われたことを示す動作結果情報を画像表示制御部８６０に送信する。
【０２５８】
そして、ステップＳ２５では、画像表示制御部８６０が、アプリケーション実行部８５０から動作結果情報を受信して、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。その結果、第１表示／光センサ部３００Ａには、アプリケーション実行部８５０が動作制御部８４０から受信した動作実行命令に基づいて実行した動作結果が表示される。
【０２５９】
このとき、第１表示／光センサ部３００Ａに画像を表示させる場合は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、第２表示／光センサ部３００Ｂに画像を表示させる場合は、「表示パネル」フィールドの値として下画面（“010”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。ここでは、第１表示／光センサ部３００Ａに画像を表示させるため、「表示パネル」フィールドの値として両画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２６０】
一方、ステップＳ１５、及びステップＳ１７で「Ｎｏ」に進む場合は、再びステップＳ１５に戻る。なお、ステップＳ１５の次にステップＳ１７の処理を行う順序で説明したが、同時に行っても、あるいは逆の順序で行ってもよい。
【０２６１】
なお、後述の図２３を参照して説明する例では、第１表示／光センサ部３００Ａに画像が表示されていない場合であっても、所望の動作を実行することができる。従って、この場合には、重畳領域が存在するか否か（ステップＳ１７）の判定を経ることなく、入力検出部８３０が入力信号を生成するステップ（ステップＳ１９）に進む。
【０２６２】
ここで、前記各ステップ（ステップＳ１１〜ステップＳ２５）の処理の流れを図９を参照して説明する。
【０２６３】
図９（ａ）では、第１表示／光センサ部３００Ａに矩形の画像２５ａが表示されている。これは、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力された結果、第１表示／光センサ部３００Ａに画像２５ａが表示されたものである。
【０２６４】
なお、既にこの段階で、「データ取得タイミング」フィールドに、“イベント”を指定し、「データ種別」フィールドに“座標”および“全体画像”の両方を指定（“101”を指定）したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力され、表示／光センサ部３００は近傍の像を検知可能な状態にあるものとする。なお、“座標”または“全体画像”のみを指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力されてもよい。
【０２６５】
また、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにおいて前記検知を行うために、「スキャンパネル」フィールドに両方の表示／光センサ部３００を指定（“011”）したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２６６】
このような状態において、ユーザが、上面（第１表示／光センサ部３００Ａが配設された側）から親指２０で、下面（第２表示／光センサ部３００Ｂが配設された側）から人差し指２１で、それぞれその矩形の画像２５ａをタッチする。そして、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは共に指の像を検知することができる状態にあるため、検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、共に指の像を検知していると判定し、その判定結果を入力検出部８３０に出力する。
【０２６７】
また、図９（ａ）に示すように、第１表示／光センサ部３００Ａに表示された画像２５ａの領域を示す表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した親指２０、人差し指２１の指の像の領域である像領域とは重畳している。従って、重畳判定部８２０は、表示画像領域と像領域とが重畳する重畳領域が存在すると判定し、その判定結果を入力検出部８３０に出力する。
【０２６８】
なお、重畳判定部８２０は、データ制御部７００から指の像の座標データ、全体画像データ、部分画像データを取得し、それらのデータから前記の像領域を特定する。また、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出すことにより、画像２５ａの表示画像領域を特定している。このようにして、重畳判定部８２０は、像領域および表示画像領域を特定することができるため、像領域と表示画像領域との間に重畳する重畳領域が存在するか否かを判定することができる。
【０２６９】
入力検出部８３０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと検知判定部８１０が判定し、かつ、重畳判定部８２０が重畳領域が存在すると判定したことにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出する。
【０２７０】
ここで、図９（ｂ）では、親指２０と人差し指２１をそれぞれ反対方向（図面横方向において、親指２０を右方向、人差し指２１を左方向）へ移動しているため、入力検出部８３０は、その指の像の動きを検出し、その指の像の動きに対応付けられた入力信号を生成する。また、入力検出部８３０は、記憶部９０１から直接、もしくは重畳判定部８２０を介して矩形の画像２５ａに係る画像情報を取得しており、入力信号は、矩形の画像２５ａに対応付けて生成されている。そして、入力検出部８３０はその入力信号を動作制御部８４０に出力する。
【０２７１】
動作制御部８４０は、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１から読み出し、次に、動作実行命令をアプリケーション実行部８５０に送信する。ここで、第１表示／光センサ部３００Ａに表示された画像が矩形の画像２５ａであって、データ表示／センサ装置１００の表裏両面で検出された指の像の動きがそれぞれ反対方向へ移動する場合には、指−命令対応情報は、矩形の画像２５ａを扇状の画像２５ａに変化させる動作に対応付けられている。
【０２７２】
従って、アプリケーション実行部８５０は、矩形の画像２５ａを扇状の画像２５ａに拡げる処理を行い、その上で、「矩形の画像２５ａを扇状の画像２５ａに拡げる処理を行った」ことを示す動作結果情報を画像表示制御部８６０に送信する。
【０２７３】
画像表示制御部８６０は、アプリケーション実行部８５０から前記の動作結果情報を受信すると、データ処理部７００に表示データを送信する。その表示データとは、矩形の画像２５ａを扇状の画像２５ａに拡げて表示することを指示するデータである。そして、データ処理部７００は、画像表示制御部８６０から送信された表示データに基づいて、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａを扇状の画像２５ａへ展開した画像を表示させる。
【０２７４】
なお、扇状の画像２５ａの表示は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力された結果、第１表示／光センサ部３００Ａに扇状の画像２５ａが表示されたものである。
【０２７５】
このようにして、図９（ａ）・（ｂ）を参照して説明した動作が実行され、その実行結果が第１表示／光センサ部３００Ａに表示される。
【０２７６】
これと同様の処理の流れによって、図１０〜図１８を参照して説明した種々の動作が実行され、その実行結果が第１表示／光センサ部３００Ａに表示される。
【０２７７】
なお、ここでは、右手について説明しているが、左手についても、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１に記憶させておけば、第１表示／光センサ部３００Ａに表示された表示画像に対して、所望の動作を実行させることができる。
【０２７８】
また、ここでは第１表示／光センサ部３００Ａに表示画像を表示するものとして説明したが、第２表示／光センサ部３００Ｂに画像を表示させてもよい。
【０２７９】
さらに、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂによる検知の対象として親指２０及び人差し指２１を用いることとして説明したが、検知の対象とする指の種類は、これらの指に限定されず、中指、薬指、小指であってもよい。指の種類ではなく、検知した指の像の動きに基づいて、第１表示／光センサ部３００Ａに表示された画像に対して所定の動作を実行させるためである。
【０２８０】
データ表示／センサ装置１００の前記処理によって得られる効果を説明すると以下の通りである。
【０２８１】
データ表示／センサ装置１００は、前記構成を備えることにより、表裏両面にそれぞれ配設された近傍の像を検知する第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合に、指の像の動きに対応付けられた入力信号が入力検出部８３０によって生成される。つまり、第１表示／光センサ部３００Ａ、第２表示／光センサ部３００Ｂのうち何れか一方の表示／光センサ部３００が指の像を検知しただけでは、その指の像の動きに対応付けられた入力信号が生成されることはない。
【０２８２】
このように、データ表示／センサ装置１００では、表裏両面の表示／光センサ部３００という二つの入力面からの入力によって入力信号が生成される。そして、その入力信号は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きに対応付けられた信号である。従って、ユーザは、様々な指の像の動きを第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂに検出させることによって、従来の入力装置では実現できなかった多彩で立体的な操作を行うことができ、また、そのような操作によって、優れた利便性及び操作性がもたらされる。しかも板状のデータ表示／センサ装置１００の裏表両面から画面を指で挟持するように操作するため、ユーザは、極めて容易に当該装置を使用することができる。
【０２８３】
そして、二つの入力面からの入力によって入力信号が生成されるため、例えばユーザの指がタッチパネル上のアイコンに無意識のうちに接触しても、その指の像が検知されて入力信号が生成され、何らかの処理が実行されてしまうという事態を回避することができる。その結果、入力面に誤って操作してしまうリスクが軽減される。
【０２８４】
このように、データ表示／センサ装置１００では、優れた操作性及び利便性をユーザに提供することができる。
【０２８５】
さらに、データ表示／センサ装置１００では、前記の構成において、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、入力信号に対応する命令を、アプリケーション実行部８５０に送信する動作制御部８４０を備える構成である。
【０２８６】
従って、表裏両面の表示／光センサ部３００が指の像の動きを検出して、該指の像の動きに対応付けられた入力信号が入力検出部８３０によって生成される。そして、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、入力信号に対応付けられた命令がアプリケーション実行部８５０に送信され、アプリケーション実行部８５０は、入力信号に対応する命令を実行する。
【０２８７】
従って、データ表示／センサ装置１００のユーザは、様々な指の像の動きを表裏両面の表示／光センサ部３００に検出させることによって、アプリケーション実行部８５０に所望の動作を実行させることができる。
【０２８８】
さらに、データ表示／センサ装置１００では、前記の構成において、入力検出部８３０は、表裏両面の表示／光センサ部３００が、表裏両面の表示／光センサ部３００上の所定の領域において指の像を検知した場合に、前記入力信号を生成する構成とすることができる。そして、表裏両面の表示／光センサ部３００において、所定の領域に画像を表示させる画像表示制御部８６０を備え、入力検出部８３０は、当該画像に対応付けられた前記入力信号を生成する構成とすることができる。
【０２８９】
前記の構成によれば、データ表示／センサ装置１００では、表裏両面の表示／光センサ部３００上の所定の領域において指の像が検知された場合に入力信号が生成される。
【０２９０】
従って、入力検出部８３０は、表裏両面の表示／光センサ部３００上の所定の領域とは異なる他の領域に指がタッチした場合には入力信号を生成しない。
【０２９１】
それゆえ、ユーザは、表裏両面の表示／光センサ部３００上の所定の領域とは異なる他の領域に指をタッチした場合であっても、入力信号が生成されるという事態を回避することができる。
【０２９２】
さらに、データ表示／センサ装置１００では、画像表示制御部８６０が所定の領域に画像を表示させる。また、入力検出部８３０は、所定の領域において指の像が検知された場合に、当該画像に対応付けられた入力信号を生成する。
【０２９３】
従って、ユーザは、当該画像を裏表両面から指で挟持することにより、アプリケーション実行部８５０に所定の動作を実行させることができる。逆に、当該画像が表示されている所定の領域とは異なる領域では、入力検出部８３０は入力信号を生成しないため、ユーザは、当該画像が表示されている所定の領域とは異なる領域をタッチしても、入力面に誤って操作してしまうという事態を回避できる。
【０２９４】
それゆえ、所定の領域に表示された画像のみを対象として、ユーザは所望の動作を実現することができ、その結果、データ表示／センサ装置１００は、優れた操作性及び利便性をユーザに提供することができる。
【０２９５】
さらに、データ表示／センサ装置１００では、画像表示制御部８６０は、アプリケーション実行部８５０が実行した所定の動作の結果に基づく画像を、第１表示／光センサ部３００Ａに表示させる構成とすることができる。
【０２９６】
つまり、画像表示制御部８６０は、アプリケーション実行部８５０が実行した所定の動作の結果に基づく画像を第１表示／光センサ部３００Ａに表示させることができる。
【０２９７】
従って、画像表示制御部８６０は、ユーザの指の動きに対応付けられて実行された動作の結果を画面上に表示して、その結果をユーザに確認させることができる。
【０２９８】
なお、ユーザは、自身の指の動きに基づいて実行された動作の結果を画面上で確認することができる。そして、その動作後の画像に対してさらに何らかの動作を与えたいときは、表裏両面の表示／光センサ部３００に対して所望の指の像の動きを検出させればよい。つまり、ユーザは、動作の結果を画面上で確認することにより、次の動作を連続的に行うことができる。
【０２９９】
このように、データ表示／センサ装置１００は、より優れた操作性および利便性をユーザにも提供することができる。
【０３００】
（変形例１）
次に、図１９、図２１、図２２を参照してデータ表示／センサ装置１００の一変形例であるデータ表示／センサ装置１１０を説明する。なお、図１、図９〜図１８、図２０を参照して説明した内容と同様の内容は説明を省略する。
【０３０１】
図１９（ａ）は、第１表示／光センサ部３００Ａに矩形の画像３４ａが表示されている様子を示す図である。図１９（ｂ）は、人差し指２１と中指２２をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、画像３４ａから画像３４ｂへの切り替えを徐々に行う様子を示し、図１９（ｃ）は、さらに人差し指２１と中指２２をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、画面に表示される画像を、画像３４ａから画像３４ｂへ切り替えた様子を示す図である。
【０３０２】
図１９（ａ）では、第１表示／光センサ部３００Ａに矩形の画像３４ａが表示され、かつ、ユーザは、上面から人差し指２１で、下面から中指２２で画像３４ａをタッチしている。このとき、人差し指２１及び中指２２は、指先に加えて、指の腹や側面によりデータ表示／センサ装置１１０を表裏両面から挟持している。従って、人差し指２１及び中指２２と表示／光センサ部３００との接触面積は、指先のみで表示／光センサ部３００を挟持する場合に比べて大きくなる。
【０３０３】
次に、図１９（ｂ）に示すように、ユーザは、データ表示／センサ装置１１０に対して人差し指２１と中指２２をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、図面左側から画像３４ｂを出現させ、画像３４ａと画像３４ｂとを並べて表示させている。つまり、画像３４ａから画像３４ｂへの切り替えが、人差し指２１及び中指２２の移動に伴って行われる。なお、画像３４ａから画像３４ｂへの切り替えは、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が所定の接触面積よりも大きいことをトリガにして行われる。従って、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が所定の接触面積よりも小さい場合は、画像３４ａから画像３４ｂへの切り替えは実行されない。この点が、図１７を参照して説明した画像３３ａから画像３３ｂへの切り替えと異なる点である。なお、所定の接触面積は、特に決まった数値である必要はなく、任意に設定することができ、その値は記憶部９０１に記憶される。
【０３０４】
続いて、図１９（ｃ）に示すように、さらに人差し指２１と中指２２を同じ方向（図面横方向において、右方向）へ移動させて、画像３４ａから画像３４ｂへの切り替えを完了させている。
【０３０５】
このように、データ表示／センサ装置１１０及びその制御方法では、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が設定面積よりも大きいことをトリガにして、前記の人差し指２１及び中指２２の動きに応じて、画像３４ａから画像３４ｂへの切り替えが行われる。それゆえ、単に指先で裏表両面から画像３４ａを挟持するだけでは画像３４ａから画像３４ｂへの切り替えは実行されず、ユーザは、意識的に指の腹や側面を使う操作を求められる。つまり、データ表示／センサ装置１１０は、敢えてこのような操作をユーザに求めることにより誤操作のリスクを軽減している。
【０３０６】
なお、画像３４ａから画像３４ｂへの切り替えが完全に行われる前に指の動きを停止することにより、画像３４ａと画像３４ｂとが並んで表示された状態を維持しうる。また、指の動きの速度に応じて、画像３４ａから画像３４ｂへの切り替えを所望の速度で実行することができる。さらに、人差し指２１及び中指２２の動きを前記とは逆の方向にすることにより、画像３４ｂから画像３４ａの方向に画像を切り替えることも可能である。そして、画像３４ａと画像３４ｂとの境目の移動方向は、図面横方向でも、図面縦方向でも、あるいはその他の方向であってもよく、適宜変更しうる。なお、ここで説明した様々な動作は、予め指−命令対応情報を設定しておき、その指−命令対応情報を参照することにより実現される。
【０３０７】
図１９（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、電子アルバム化された複数の写真を順次鑑賞したい場合を考える。そのような場合に、画面に表示された写真（画像３４ａ）から、次の写真（画像３４ｂ）に移りたいときに、上述した人差し指２１、及び中指２２の動作により、ユーザは、画像３４ａから画像３４ｂへの切り替えを容易に、かつ迅速に行うことができる。このように、データ表示／センサ装置１１０は、画像を切り替えて次の画像を見たいというユーザの要求に確実に応えることができる。
【０３０８】
上述したように、画像３４ａから画像３４ｂへの切り替えは、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が所定の面積よりも大きいことをトリガにして行われる。従って、図１９（ｂ）に記載される画面の切り替えを実現するデータ表示／センサ装置１１０は、人差し指２１及び中指２２と表示／光センサ部３００との接触面積を算出することが可能な構成を備える必要がある。そこで、データ表示／センサ装置１１０の構成を図２１を参照して説明する。なお、図１を参照して前述した構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
【０３０９】
図２１は、データ表示／センサ装置１１０の要部構成を表すブロック図である。図示のように、入力インターフェース制御部８０５は、さらに面積算出判定部８７０を備える。
【０３１０】
面積算出判定部８７０は、データ処理部７００から部分画像データを取得し、取得した指の像の面積（以降、接触面積と称する）を算出する。そして、予め設定された所定の面積（以降、設定面積と称する）を記憶部９０１から読み出して、接触面積と設定面積とを比較する。その後、面積算出判定部８７０は、その判定結果を入力検出部８３０に出力する。なお、面積の算出方法は、従来の画像処理ソフトで行われる一般的な方法でよい。
【０３１１】
入力検出部８３０は、検知判定部８１０が第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、重畳判定部８２０が重畳領域が存在すると判定した場合、かつ、面積算出判定部８７０が、接触面積が設定面積よりも大きいと判定した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
【０３１２】
従って、面積算出判定部８７０が、接触面積は設定面積よりも小さいと判定した場合には、入力検出部８３０は入力信号を生成しない。そして、その結果、ユーザがいかに指を動かしたとしても、画像３４ａから画像３４ｂへの切り替えを実行することはできない。
【０３１３】
このように、データ表示／センサ装置１１０は、画像３４ａから画像３４ｂへの切り替えを、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が設定面積よりも大きいことをトリガにして行っている。
【０３１４】
次に、図１９、及び図２２を参照しながら、データ表示／センサ装置１１０の処理の流れについて説明する。図２２は、データ表示／センサ装置１１０の処理の流れを表すフローチャートである。なお、図２０を参照して説明したデータ表示／センサ装置１００の処理の流れと同一のステップには同一のステップ番号を付している。従って、これらのステップの詳細な説明は省略する。
【０３１５】
重畳判定部８２０が、重畳領域が存在すると判定した場合（ステップＳ１７でＹｅｓ）、ステップＳ１８に進む。ステップＳ１８では、面積算出判定部８７０が、データ処理部７００から部分画像データを取得し、取得した指の像の面積（接触面積）を算出する。そして、面積算出判定部８７０は、予め設定された所定の面積（設定面積）を記憶部９０１から読み出して、接触面積が設定面積よりも大きいか否かを判定する。
【０３１６】
なお、重畳判定部８２０による接触面積と設定面積との比較は、第１表示／光センサ部３００Ａが検知した指の像の接触面積と設定面積との比較、あるいは第２表示／光センサ部３００Ｂが検知した指の像の接触面積と設定面積との比較のどちらでもよい。若しくは、２つの表示／光センサ部３００が検知した指の像の接触面積の大きい方（若しくは、小さい方）と設定面積とを比較する構成であってもよい。
【０３１７】
一方、ステップＳ１８で「Ｎｏ」に進む場合は、再びステップＳ１５に戻る。なお、ステップＳ１５、ステップＳ１７、ステップＳ１８の順に処理を行うこととして説明したが、ここで説明した処理の順序に限定されず、適宜変更してよい。
【０３１８】
このように、データ表示／センサ装置１１０及びその制御方法では、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が設定面積よりも大きいことをトリガにして、前記の人差し指２１及び中指２２の動きに応じて、画像３４ａから画像３４ｂへの切り替えが行われる。それゆえ、単に指先で裏表両面から画像３４ａを挟持するだけでは画像３４ａから画像３４ｂへの切り替えは実行されず、ユーザは、意識的に指の腹や側面を使う操作を求められる。つまり、データ表示／センサ装置１１０は、敢えてこのような操作をユーザに求めることにより誤操作のリスクを軽減している。
【０３１９】
（変形例２）
次に、図２３、図２４を参照して、他の変形例について説明する。
【０３２０】
図２３（ａ）〜（ｃ）は、表示／光センサ部３００に画像が表示されていない状態で、画面の背景の色彩が段階的に変化していく様子を示す図である。また、図２４は、本発明の一実施形態に係るデータ表示／センサ装置１２０の要部構成を表すブロック図である。
【０３２１】
以下、図２３、図２４を参照して、データ表示／センサ装置１２０について説明する。なお、図面に記載されている側を第１表示／光センサ部３００Ａとして説明する。また、図１等を参照して前述した構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
【０３２２】
図２３に図示するように、第１表示／光センサ部３００Ａは、画面の下端部付近に信号生成領域１７０を有する。そして、重畳判定部８２０は、信号生成領域１７０を示す座標を記憶部９０１から読み取る（図２４参照）。なお、信号生成領域１７０は、第１表示／光センサ部３００Ａに表示されていても、表示されていなくても、何れでもよい。
【０３２３】
ここで、重畳判定部８２０は、信号生成領域１７０と、第１表示／光センサ部３００Ａ及び／あるいは第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。
【０３２４】
より具体的に説明すると、重畳判定部８２０は、データ制御部７００から２つの表示／光センサ部３００で検知された指の像の座標データ、全体画像データ、部分画像データを取得し、それらのデータから像領域を特定する。さらに、重畳判定部８２０は、座標によって示される信号生成領域１７０を記憶部９０１から読み取る。そして、重畳判定部８２０は、像領域と信号生成領域１７０との間に重畳する重畳領域が存在するか否かを判定し、その判定結果を入力検出部８３０に出力する。
【０３２５】
入力検出部８３０は、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が、像領域と信号生成領域１７０との間に重畳する重畳領域が存在すると判定した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
【０３２６】
従って、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域が信号生成領域１７０に重畳していない場合、入力検出部８３０は入力信号を生成しない。つまり、ユーザが信号生成領域１７０とは異なる領域に指でタッチしても、所望の動作を実現することはできない。
【０３２７】
なお、図２３では、信号生成領域１７０は図面下側に設けられている。しかしながら、信号生成領域１７０を設ける位置、大きさ、範囲は、任意に設定してよい。図２３は、あくまでその一例である。
【０３２８】
図２３で説明した動作の使用例として、次のような実施例が考えられる。
【０３２９】
ユーザは、上面（第１表示／光センサ部３００Ａが配設された側）から親指２０で、下面（第２表示／光センサ部３００Ｂが配設された側）から人差し指２１で、それぞれ信号生成領域１７０をタッチする。これにより、検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が、像領域と信号生成領域１７０との間に重畳する重畳領域が存在すると判定する。
【０３３０】
そして、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させる。これにより、入力検出部８３０は、その指の像の動きに対応付けられた入力信号を動作制御部８４０に出力する。ここで、親指２０と人差し指２１をそれぞれ反対方向へ移動させるという指の動き（正確には、その指の動きによる指の像の動き）と、第１表示／光センサ部３００Ａの画面の背景の色彩が段階的に変化するという動作が対応付けられているとする。すると、動作制御部８４０は、その入力信号と、アプリケーション９５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１から読み出し、当該入力信号に対応する動作実行命令をアプリケーション実行部８５０に送信する。ここで、その動作実行命令は、第１表示／光センサ部３００Ａの画面の背景の色彩が段階的に変化するという動作をアプリケーション実行部８５０に実行させる命令である。それゆえ、最終的に、図１を参照して説明した処理の流れに従って、第１表示／光センサ部３００Ａの画面の背景の色彩が段階的に変化していく。
【０３３１】
このように、データ表示／センサ装置１２０では、たとえ第１表示／光センサ部３００Ａに画像が表示されていない状態であっても、ユーザは、所望の動作をデータ表示／センサ装置１２０に実行させることができる。
【０３３２】
また、データ表示／センサ装置１２０は、表裏両面の表示／光センサ部３００上の信号生成領域１７０において指の像が検知された場合に入力信号が生成される構成である。従って、ユーザは、表裏両面の表示／光センサ部３００上の信号生成領域１７０とは異なる他の領域に指をタッチしても、入力信号が生成されるという事態を回避することができる。
【０３３３】
それゆえ、信号生成領域１７０をユーザにとって操作しやすい領域に設定することにより、データ表示／センサ装置１２０は、優れた操作性及び利便性をユーザに提供することができる。なお、ユーザがデータ表示／センサ装置１２０を保持する際に、親指と人差し指が位置する近辺に信号生成領域１７０を設けておくことにより、ユーザが信号生成領域１７０をタッチする操作がさらに容易になり、ユーザにとって利便性及び操作性がより一層向上する。
【０３３４】
また、データ表示／センサ装置１２０では、ユーザは、信号生成領域１７０の位置、大きさ、範囲を適宜設定することができるが、他のユーザの使用を制限するために、意図的に信号生成領域１７０を特定の領域に設定することもできる。これにより、他のユーザが勝手にデータ表示／センサ装置１２０を使用するといった事態を回避しうる。このように、データ表示／センサ装置１２０は、利便性及び操作性に優れた装置をユーザに提供することができる。
【０３３５】
ここで、本変形例から派生する実施例として、さらに次のような実施例も考えられる。以下、その使用例を説明する。
【０３３６】
第１表示／光センサ部３００Ａは、画面の下端部付近に信号生成領域１７０を有する。ここで、第１表示／光センサ部３００Ａの信号生成領域１７０とは異なる領域に、図９を参照して説明した、矩形の画像２５ａが表示されていると仮定する。なお、矩形の画像２５ａの表示領域は、座標によって記憶部９０１に記録されている。
【０３３７】
そして、入力検出部８３０は、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が、像領域と信号生成領域１７０との間に重畳する重畳領域が存在すると判定した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成する。
【０３３８】
このとき、入力検出部８３０は、記憶部９０１から矩形の画像２５ａの表示領域を読み出しており、矩形の画像２５ａの表示領域に対して所定の動作を実行するように対応付けられた入力信号を動作制御部８４０に出力する。
【０３３９】
このようにして、ユーザは、信号生成領域１７０において第１表示／光センサ部３００Ａに指の像の動きを検出させることにより、信号生成領域１７０とは異なる領域に表示された矩形の画像２５ａに所定の動作を実行することができる。つまり、ユーザは、矩形の画像２５ａが表示された領域を指でタッチすることなく、矩形の画像２５ａに対して所定の動作を実行することもできる。
【０３４０】
それゆえ、ユーザは、たとえ矩形の画像２５ａが指から遠い位置に表示されていて、表裏両面から矩形の画像２５ａを挟持することが困難な場合であっても、信号生成領域１７０において指を動かすことにより、矩形の画像２５ａに対して所定の動作を実行することができる。これにより、データ表示／センサ装置１２０は、利便性及び操作性に優れた装置をユーザに提供することができる。
〔実施の形態２〕
次に、図２５〜図２７を参照して、本実施の形態に係るデータ表示／センサ装置１３０の実施例を説明する。なお、ここで説明する内容は、図９〜図２４を参照して説明した種々の動作を組み合わせることにより、ユーザが、所望の動作を実現するというものである。従って、図９〜図２４を参照して説明した動作の詳細、その動作を実現する処理の詳細、本実施の形態に係るデータ表示／センサ装置１３０によって得られる効果については、詳細説明を省略する。
【０３４１】
図２５、図２６は、データ表示／センサ装置１３０の実施例を示す図である。図２５（ａ）は、表示／光センサ部３００に「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」が表示された様子を示す。図２５（ｂ）は、メニュー画面から「ＴＶ」を示す画像が挟持されて、図面右側に引き出された様子を示す図である。図２５（ｃ）は、ＴＶメニューから「民放」が選択された様子を示す図である。図２５（ｄ）は、民放「ＣＨ０１」が視聴されている時の様子を示す図である。
【０３４２】
続いて、図２６（ａ）は、民放のチャンネルを「ＣＨ０１」から「ＣＨ０２」に切り替えている様子を示す図である。図２６（ｂ）は、「ＣＨ０２」が視聴されている時の様子を示す図である。図２６（ｃ）は、「民放」から「ＣＳ ＣＨ０２」に切り替えている様子を示す図である。図２６（ｄ）は、「ＣＳ ＣＨ０２」が視聴されている時の様子を示す図である。
【０３４３】
また、図２７は、ＴＶメニューにおける、ＣＳ、民放、及びＢＳ放送、及びそれら各放送電波におけるチャンネル選択の概念図である。
【０３４４】
まずは、図２５、図２６を参照して、データ表示／センサ装置１３０の実施例を具体的に説明する。
【０３４５】
図２５（ａ）には、第１表示／光センサ部３００Ａに「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」が示されている。なお、本図ではメニュー画面としてＴＥＬ／ＴＶ／ＷＥＢを用いて説明しているが、選択する項目はここに記載した項目に限らず、写真、動画などのメニューであってよい。
【０３４６】
この状態は、ユーザが、メニュー画面からＴＥＬ、ＴＶ、あるいはＷＥＢのうちの何れかの項目を選択しうる状態であり、図１３（ａ）を参照して説明した、第１表示／光センサ部３００Ａの画面上端付近に画像２９ａ〜２９ｄが表示されているのと同様の状態である。
【０３４７】
そして、図２５（ｂ）は、メニュー画面から「ＴＶ」を示す画像部分を挟持して引き出した様子を示す図である。つまり、図２５（ｂ）では、第１表示／光センサ部３００Ａの画面左端付近に表示された「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」から、ユーザが、上面から親指２０で、下面から人差し指２１で所望のメニューを挟持して、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させる。これにより、例えば「ＴＶ」を選択した場合に、図２５（ｂ）に示すように、ＴＶを示す画像が右方向へ引き伸ばされる。
【０３４８】
なお、図示のように、ＴＶにはさらに「ＣＳ／民放／ＢＳ」という項目（放送電波の種類）が含まれる。従って、ユーザは、この項目の中から所望の放送電波を選択することができる。なお、ここでは「ＣＳ／民放／ＢＳ」という項目により説明を行うが、他の項目を含んでもよい。
【０３４９】
図２５（ｃ）は、ＴＶメニューから「民放」が選択された様子を示す図である。この状態は、ユーザが、「ＣＳ／民放／ＢＳ」から「民放」を選択した状態であり、図１８を参照して説明した、親指２０と人差し指２１が表裏両面から同時に画像３４をタッチして、画像３４を選択する動作に該当する。つまり、図２６（ｃ）の段階では、第１表示／光センサ部３００Ａに「ＣＳ／民放／ＢＳ」を表示しておき、ユーザは、上面から親指２０で、下面から人差し指２１で所望のメニューをタッチする。これにより、例えば「民放」を選択した場合に、図２５（ｃ）に示すように民放が選択されて、図２５（ｄ）の状態に移る。
【０３５０】
図２５（ｄ）は、民放「ＣＨ０１」が視聴されている時の様子を示す図であり、「民放」を選択した結果、民放「ＣＨ０１」を視聴することができるようになったものである。
【０３５１】
続いて、図２６（ａ）は、民放のチャンネルを「ＣＨ０１」から「ＣＨ０２」に切り替えている様子を示す図である。ユーザは、「ＣＨ０１」から「ＣＨ０２」にチャンネルを切り替えたくなった場合には、図示のように、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、「ＣＨ０１」から「ＣＨ０２」への切り替えを行う。これは、図１７を参照して説明した、親指２０と人差し指２１をそれぞれ反対方向へ移動させて、画像３３ａから画像３３ｂへの切り替えを行う動作に該当する。
【０３５２】
図２６（ｂ）は、「ＣＨ０２」が視聴されている時の様子を示す図であり、「ＣＨ０１」から「ＣＨ０２」への切り替えを行った結果、民放の「ＣＨ０２」を視聴することができるようになったものである。
【０３５３】
図２６（ｃ）は、「民放 ＣＨ０２」から「ＣＳ ＣＨ０２」に切り替えている様子を示す図である。ユーザは、「民放」から「ＣＳ」に放送電波を切り替えたくなった場合には、図示のように、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、「民放」から「ＣＳ ＣＨ０２」に切り替えを図っている。これは、図１１を参照して説明した、親指２０と人差し指２１をそれぞれ同じ方向へ移動させて、画像を移動させる動作に該当する。あるいは、この動作は、図１３を参照して説明した画像を引き伸ばしする動作に類似する。
【０３５４】
図２６（ｄ）は、「ＣＳ ＣＨ０２」が視聴されている時の様子を示す図であり、「ＣＨ０１」から「ＣＨ０２」への切り替えを行った結果、「ＣＨ０２」を視聴することができるようになったものである。
【０３５５】
ここで、図２５、図２６を参照して説明した処理の流れを、図２７を用いて概略的に説明する。図２７は、ＴＶメニューにおける、ＣＳ、民放、及びＢＳ放送、及びそれら各放送電波におけるチャンネル選択の概念図である。なお、図示した状態は、すでに「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」から「ＴＶ」が選択された状態にある。
【０３５６】
ここで、図２５、図２６を参照して説明した処理の流れを理解するために、図２７に示すように、「ＣＳ／民放／ＢＳ」という項目（放送電波の種類）が図面横方向に並び、かつ、各項目ごとに「チャンネル」がリング状に並んでいる状態を考える。
【０３５７】
ユーザは、視聴したい放送電波を選択する際には、横方向の指の動きを求められる。例えば、ユーザは、「民放」から「ＣＳ」に切り替えたい場合に、第１表示／光センサ部３００Ａに表示された画像を上面から親指２０で、下面から人差し指２１で挟持し、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させる。これにより、第１表示／光センサ部３００Ａに「ＣＳ」の放送が表示される。また、「民放」から「ＢＳ」に切り替えたい場合には、「民放」から「ＣＳ」に切り替えた時とは逆の指の動きを行う。これにより、第１表示／光センサ部３００Ａに「ＢＳ」の放送が表示される。つまり、図２７に図示する、横方向に並んだ「ＣＳ／民放／ＢＳ」という項目を切り替える場合には、指を横方向に移動させることにより、所望の放送電波を選択することが可能となる。
【０３５８】
そして、ユーザは、視聴したいチャンネルを切り替える際には、縦方向の指の動きを求められる。例えば、ユーザは、「ＣＨ０１」から「ＣＨ０２」に切り替えたい場合に、第１表示／光センサ部３００Ａに表示された画像を上面から親指２０で、下面から人差し指２１で挟持し、親指２０と人差し指２１をそれぞれ反対方向（図面横方向において、親指２０を上方向、人差し指２１を下方向）へ移動させる。これにより、第１表示／光センサ部３００Ａに「ＣＨ０２」の放送が表示される。また、「ＣＨ０２」から「ＣＨ０１」に切り替えたい場合には、「ＣＨ０１」から「ＣＨ０２」に切り替えた時とは逆の指の動きを行う。これにより、第１表示／光センサ部３００Ａに「ＣＨ０１」の放送が表示される。つまり、図２７に図示する、縦方向に並んだ「チャンネル」を切り替える場合には、指を縦方向に指を移動することにより、所望のチャンネルに切り替えることができる。
【０３５９】
このように、各機能（ＴＥＬ／ＴＶ／ＷＥＢ）ごとに、あるいは、所望の機能を選択した状態での表示画面ごとに、予め設定された指−命令対応情報を参照することにより、指の動き（より正確には、表示／光センサ部３００が検知する指の像の動き）と、それに対応付けられた動作が実行される。これにより、ユーザは、所望の画面を第１表示／光センサ部３００Ａに表示させることができる。そして図２５、図２６を参照して説明したように、図９〜図１９で説明した種々の動作を適宜組み合わせることにより、ユーザは、所望の動作を実現することができる。
【０３６０】
なお、発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０３６１】
また、本発明に係る入力装置を備えた携帯電話等の情報端末装置も、本発明の技術的範囲に含まれる。
【０３６２】
（プログラム、コンピュータ読み取り可能な記録媒体）
最後に、本実施形態に係るデータ表示／センサ装置１００、１１０、１２０、１３０の各ブロック、特に入力インターフェース制御部８０５の検知判定部８１０、重畳判定部８２０、入力検出部８３０、動作制御部８４０、アプリケーション実行部８５０、及び画像表示制御部８６０、並びにデータ表示／センサ装置１１０の面積算出判定部８７０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０３６３】
すなわち、本実施形態に係るデータ表示／センサ装置１００、１１０、１２０、１３０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit）、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００、１１０、１２０、１３０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０３６４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０３６５】
また、本実施形態に係るデータ表示／センサ装置１００、１１０、１２０、１３０を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０３６６】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０３６７】
本発明は、二つの入力面から入力する携帯電話機、ＰＤＡなどのモバイル機器（携帯端末）に適用できる。特に、像検知装置を備えた携帯端末に好適である。
【図面の簡単な説明】
【０３６８】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】（ａ）は、表示／光センサ部に矩形の画像を表示し、かつ、その画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ反対方向へ移動させて、矩形の画像が扇状に拡がった状態を表示させた図である。
【図１０】（ａ）は、表示／光センサ部に円形の画像を表示し、かつ、その画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ反対方向へ移動させて、より大きな寸法の円形に拡大した画像を表示させた図である。
【図１１】（ａ）は、表示／光センサ部に略正方形の画像を表示し、かつ、その画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ同じ方向へ移動させて、その画像を画面の外側へ移動させつつある状態を示す図である。
【図１２】（ａ）は、図面横方向をパイプ軸（管長）方向とするパイプ形状の画像を表示／光センサ部に表示し、かつ、その画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ反対方向へ移動させて、パイプ軸に直交する方向にその画像を回転させている様子を示す図である。
【図１３】（ａ）は、表示／光センサ部の画面上端付近にいくつかの画像を図面横方向に一列に並べて表示し、かつ、そのうちの一つの画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ同じ方向（図面下方向）へ移動させて、その画像を下側に引き出して帯状の画像を表示した図である。
【図１４】（ａ）は、表示／光センサ部に矩形の画像を表示し、かつ、表示／光センサ部の表示画面を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ同じ方向へ移動させて、その画像を２つの画像に分割した様子を示す図である。
【図１５】（ａ）は、表示／光センサ部に複数の画像を円形に配置して表示し、かつ、円の中心付近に上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指を動かさずに、人差し指を図面下側へ移動させて、複数の画像を円周に沿って回転させている様子を示す図である。
【図１６】（ａ）は、表示／光センサ部に、円形の画像と矩形の画像とが結合してなる画像を表示し、かつ、円形の画像の中心付近を上面から親指で、矩形の画像を下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指を動かさずに、人差し指を図面左側へ移動させて、あたかも円形の画像の中心点付近を支点とした振り子のように、矩形の画像を左側へ移動させた様子を示す図である。
【図１７】（ａ）は、表示／光センサ部において、ある画像を表示し、かつ、その画像を、上面から親指で、下面から人差し指で、それぞれタッチしている様子を示す図であり、（ｂ）は、親指と人差し指をそれぞれ反対方向へ移動させて、図面下側から別の画像を出現させ、二つの画像を並べて表示した様子を示し、（ｃ）は、さらに親指と人差し指をそれぞれ反対方向へ移動させて、画面に表示される画像を切り替えた様子を示す図である。
【図１８】（ａ）は、表示／光センサ部に画像が表示された様子を示す図であり、（ｂ）は、表裏両面からほぼ同時に親指と人差し指とで当該画像をタッチして、当該画像が「選択」された状態となった様子を示す図である。
【図１９】（ａ）は、表示／光センサ部において、ある画像を表示し、かつ、その画像を、上面から人差し指で、下面から中指で、それぞれタッチしている様子を示す図であり、（ｂ）は、人差し指と中指をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、別の画像への切り替えを徐々に行う様子を示し、（ｃ）は、さらに人差し指と中指をそれぞれ同じ方向へ移動させて、画面に表示される画像を切り替えた様子を示す図である。
【図２０】本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。
【図２１】本発明の他の実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２２】本発明の他の実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。
【図２３】（ａ）〜（ｃ）は、表示／光センサ部に画像が表示されていない状態で、背景の色彩が段階的に変化していく様子を示す図である。
【図２４】本発明のさらに他の実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２５】本実施の形態に係るデータ表示／センサ装置の実施例を示す図であり、（ａ）は、表示／光センサ部に「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」が表示された様子を示す。（ｂ）は、メニュー画面から「ＴＶ」を示す画像が挟持されて、引き出された様子を示す図である。（ｃ）は、ＴＶメニューから「民放」が選択された様子を示す図である。（ｄ）は、民放「ＣＨ０１」が視聴されている時の様子を示す図である。
【図２６】本実施の形態に係るデータ表示／センサ装置の実施例を示す図であり、（ａ）は、民放のチャンネルを「ＣＨ０１」から「ＣＨ０２」に切り替えている様子を示す図である。（ｂ）は、「ＣＨ０２」が視聴されている時の様子を示す図である。（ｃ）は、「民放 ＣＨ０２」から「ＣＳ ＣＨ０２」に切り替えている様子を示す図である。（ｄ）は、「ＣＳ ＣＨ０２」が視聴されている時の様子を示す図である。
【図２７】ＴＶメニューにおける、ＣＳ、民放、及びＢＳ放送、及びそれら各放送電波におけるチャンネル選択の概念図である。
【図２８】図１０に係る円形の画像２６ａ、２６ｂについての画像情報を説明するための図である。
【図２９】図１１に係る矩形の画像２７ａについての画像情報を説明するための図である。
【図３０】指−命令対応情報の一例を示すための図である。
【符号の説明】
【０３６９】
１００、１１０、１２０、１３０ データ表示／センサ装置（入力装置）
１７０ 信号生成領域（所定の領域）
８００ 主制御部
８０５ 入力インターフェース制御部
８１０ 検知判定部（検知判定手段）
８２０ 重畳判定部（重畳判定手段）
８３０ 入力検出部（入力検出手段）
８４０ 動作制御部（動作制御手段）
８５０ アプリケーション実行部（動作実行装置）
８６０ 画像表示制御部（画像表示制御手段）
８７０ 面積算出判定部
９０１ 記憶部
【特許請求の範囲】
【請求項１】
近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置であって、
前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定手段と、
前記検知判定手段が、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出手段と、を備えることを特徴とする入力装置。
【請求項２】
前記入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、前記入力信号に対応する命令を、前記動作実行装置に送信する動作制御手段を備えることを特徴とする請求項１に記載の入力装置。
【請求項３】
前記入力検出手段は、前記表裏両面の面状部材が、該表裏両面の面状部材上の所定の領域において指の像を検知した場合に、前記入力信号を生成することを特徴とする請求項１又は２に記載の入力装置。
【請求項４】
前記表裏両面の面状部材において、前記所定の領域に画像を表示させる画像表示制御手段を備え、
前記入力検出手段は、前記画像に対応付けられた前記入力信号を生成することを特徴とする請求項３に記載の入力装置。
【請求項５】
前記画像表示制御手段は、前記動作実行装置が実行した前記所定の動作の結果に基づく画像を、前記面状部材に表示させることを特徴とする請求項４に記載の入力装置。
【請求項６】
近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置の制御方法であって、
前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、
前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、を含むことを特徴とする入力装置の制御方法。
【請求項７】
近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置の制御プログラムであって、
前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、
前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、をコンピュータに実行させるための入力装置の制御プログラム。
【請求項８】
請求項７に記載の入力装置の制御プログラムを記録したコンピュータ読取可能な記録媒体。
【請求項９】
請求項１から５のいずれか１項に記載の入力装置を備えた情報端末装置。
【請求項１】
近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置であって、
前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定手段と、
前記検知判定手段が、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出手段と、を備えることを特徴とする入力装置。
【請求項２】
前記入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、前記入力信号に対応する命令を、前記動作実行装置に送信する動作制御手段を備えることを特徴とする請求項１に記載の入力装置。
【請求項３】
前記入力検出手段は、前記表裏両面の面状部材が、該表裏両面の面状部材上の所定の領域において指の像を検知した場合に、前記入力信号を生成することを特徴とする請求項１又は２に記載の入力装置。
【請求項４】
前記表裏両面の面状部材において、前記所定の領域に画像を表示させる画像表示制御手段を備え、
前記入力検出手段は、前記画像に対応付けられた前記入力信号を生成することを特徴とする請求項３に記載の入力装置。
【請求項５】
前記画像表示制御手段は、前記動作実行装置が実行した前記所定の動作の結果に基づく画像を、前記面状部材に表示させることを特徴とする請求項４に記載の入力装置。
【請求項６】
近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置の制御方法であって、
前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、
前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、を含むことを特徴とする入力装置の制御方法。
【請求項７】
近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置の制御プログラムであって、
前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、
前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、をコンピュータに実行させるための入力装置の制御プログラム。
【請求項８】
請求項７に記載の入力装置の制御プログラムを記録したコンピュータ読取可能な記録媒体。
【請求項９】
請求項１から５のいずれか１項に記載の入力装置を備えた情報端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１０−１４６５０６（Ｐ２０１０−１４６５０６Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３２６２７４（Ｐ２００８−３２６２７４）
【出願日】平成２０年１２月２２日（２００８．１２．２２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月２２日（２００８．１２．２２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]