位置検出装置および位置検出方法
【課題】撮像面と撮像対象との位置関係を測定または判定する。
【解決手段】データ表示／センサ装置１００は、入力表示画面およびバックライトを有する表示／光センサ部と、入力表示画面に照明光を照射する外部照明部とを備えている。表示／光センサ部は、バックライトからの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる撮像対象の影の像を含む影画像とを撮像する。また、データ表示／センサ装置１００は、撮像対象から入力表示画面に下ろした垂線の足の位置である反射像位置を反射光画像から算出する反射像位置算出部７０５と、入力表示画面における上記影の位置を影画像から算出する影像位置算出部７０６と、反射像位置と影の位置とのずれに基づいて撮像対象の入力表示画面からの距離を算出する距離算出部８０２とを備えている。
【解決手段】データ表示／センサ装置１００は、入力表示画面およびバックライトを有する表示／光センサ部と、入力表示画面に照明光を照射する外部照明部とを備えている。表示／光センサ部は、バックライトからの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる撮像対象の影の像を含む影画像とを撮像する。また、データ表示／センサ装置１００は、撮像対象から入力表示画面に下ろした垂線の足の位置である反射像位置を反射光画像から算出する反射像位置算出部７０５と、入力表示画面における上記影の位置を影画像から算出する影像位置算出部７０６と、反射像位置と影の位置とのずれに基づいて撮像対象の入力表示画面からの距離を算出する距離算出部８０２とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画面に近接または接触した撮像対象を撮像した撮像画像を解析することにより、撮像対象の位置を検出する位置検出装置に関するものである。
【背景技術】
【０００２】
ユーザの指などの撮像対象を撮像した画像を解析することにより、当該撮像対象の位置を検出し、その位置に応じた入力処理を行う装置が知られている。
【０００３】
例えば、特許文献１に記載の情報装置では、絞り部の開口度を異ならせてユーザの指を撮像した複数の画像を比較することにより、当該指が所定の領域内にあるかどうかを判定している。
【０００４】
また、特許文献２に記載のタッチパネルコントローラでは、所定の焦点距離に達した操作手の像を検出し、その２次元座標を生成している。
【０００５】
なお、赤外光を含むバックライト光の反射光を検出することにより、ユーザの指のタッチ位置を検出することは、特許文献３に記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１０４８９号公報（２００６年１月１２日公開）
【特許文献２】特開平１０−２６９０１２号公報（１９９８年１０月９日公開）
【特許文献３】国際公開第２００９／１１０２９４号パンフレット（２００９年９月１１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、特許文献１および２の発明では、ユーザの指が装置から所定の距離の範囲内にあるかどうかを判定しているだけであり、装置からユーザの指までの距離を正確に測定することはできない。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、その目的は、撮像面から撮像対象までの距離を測定することができる位置検出装置を提供することにある。また、本発明の別の目的は、撮像面から撮像対象までの距離を測定する構成を利用して、撮像対象が撮像面に接触しているかどうかを判定できる位置検出装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る位置検出装置は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出部とを備えることを特徴としている。
【００１０】
本発明に係る位置検出方法は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出工程とを含むことを特徴としている。
【００１１】
上記の構成によれば、撮像部は、撮像面に接触または近接した撮像対象を撮像した撮像画像を生成する。この撮像部は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる撮像対象の影の像を含む影画像とを撮像する。
【００１２】
内部照明部は、撮像面の内側から撮像対象に照明光を照射するため、反射光画像に含まれる反射像の位置は、撮像対象から撮像面に下ろした垂線の足の位置（反射像位置）と一致する。
【００１３】
外部照明部は、撮像面に照明光を照射する照明装置であり、撮像面に対する相対位置が固定されている。それゆえ、撮像面を含む平面を基準平面とする３次元空間において外部照明部の３次元座標は固定されている。
【００１４】
撮像対象が撮像面に接触していれば、反射像位置と影の位置とは一致し、撮像対象が撮像面から離れるに従って、両者のずれは大きくなる。この原理を利用して、位置検出部は、撮像対象の撮像面からの距離（高さ）を算出する。
【００１５】
具体的には、位置検出部の距離算出部は、反射像位置算出部が算出した反射像位置と、影位置算出部が算出した影の位置とのずれに基づいて、撮像対象の撮像面からの距離を算出する。
【００１６】
それゆえ、上記の構成により、撮像対象の撮像面からの距離を算出できる。
【００１７】
また、上記距離算出部は、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置と、上記外部照明部の位置との相対位置関係から上記撮像対象の３次元座標を算出することが好ましい。
【００１８】
上記の構成によれば、反射像位置、影の位置および外部照明部の位置の相対位置関係から撮像対象の３次元座標が算出される。この３次元座標は、例えば、撮像面を含む平面を基準平面とする３次元空間における座標である。このとき、撮像対象の撮像面からの距離は、３次元座標のｚ座標として表現される。
【００１９】
それゆえ、撮像対象の位置を３次元的に検出することができ、上記位置検出装置を、３次元的な入力操作を受け付ける入力装置として実現できる。
【００２０】
また、上記距離算出部は、上記撮像面における上記影と上記外部照明部とを結ぶ線分と、上記反射像位置から当該撮像面に対して垂直に延ばした線分との交点の上記撮像面からの距離を算出することが好ましい。
【００２１】
上記の構成によれは、撮像面における撮像対象の影と外部照明部とを結ぶ線分を第１線分とし、反射像位置から当該撮像面に対して垂直に延ばした線分を第２線分としたとき、距離算出部は、第１線分と第２線分との交点の撮像面からの距離を算出する。
【００２２】
それゆえ、反射像位置、影の位置および外部照明部の位置を用いて撮像対象の撮像面からの距離を算出できる。
【００２３】
また、上記外部照明部から上記撮像面を含む平面に下ろした垂線の足の位置を外部照明位置とすると、上記距離算出部は、上記影の位置、上記反射像位置および上記外部照明位置から推定される近似直線を算出し、算出した近似直線に上記影の位置および上記反射像位置が重なるように上記影の位置または上記反射像位置もしくはその両方を補正し、補正した位置を用いて上記距離を算出することが好ましい。
【００２４】
上記の構成によれば、距離算出部は、撮像面を含む平面上における、影の位置、反射像位置および外部照明位置の３点から代数幾何学的にもっともらしい近似直線を算出する。そして、距離算出部は、算出した近似直線上に影の位置および反射像位置が載るように上記影の位置または反射像位置もしくはその両方を補正する。
【００２５】
影の位置、反射像位置および外部照明位置は、理論的には一直線上に載るはずであるが、何らかの理由により、影の位置または反射像位置もしくはその両方が直線上に載らない場合がある。このような場合でも、上記の構成により、影の位置または反射像位置もしくはその両方を補正でき、撮像対象の撮像面からの距離を算出することができる。
【００２６】
本発明に係る位置検出装置は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像面に接触した撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定部とを備えることを特徴としている。
【００２７】
本発明に係る位置検出方法は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像面に接触した撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定工程とを含むことを特徴としている。
【００２８】
上記の構成によれば、撮像部は、撮像面に接触または近接した撮像対象を撮像した撮像画像を生成する。この撮像部は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる撮像対象の影の像を含む影画像とを撮像する。
【００２９】
内部照明部は、撮像面の内側から撮像対象に照明光を照射するため、反射光画像に含まれる反射像の位置は、撮像対象から撮像面に下ろした垂線の足の位置（反射像位置）と一致する。
【００３０】
外部照明部は、撮像面に照明光を照射する照明装置であり、撮像面に対する相対位置が固定されている。それゆえ、撮像面を含む平面を基準平面とする３次元空間において外部照明部の３次元座標は固定されている。
【００３１】
撮像対象が撮像面に接触していれば、反射像位置と影の位置とは一致し、撮像対象が撮像面から離れるに従って、両者のずれは大きくなる。この原理を利用して、位置検出部は、撮像対象が撮像面に接触しているかどうかを判定する。
【００３２】
具体的には、位置検出部は、撮像面に接触した撮像対象の位置を検出するものであり、反射像位置算出部、影位置算出部および判定部を備えている。判定部は、反射像位置算出部が算出した反射像位置と、影位置算出部が算出した影の位置とのずれに基づいて撮像対象が撮像面に接触しているかどうかを判定する。
【００３３】
それゆえ、上記の構成により、撮像対象が撮像面に接触しているかどうかを判定できる。
【００３４】
また、上記外部照明部から出射される照明光の波長領域と、上記内部照明部から出射される照明光の波長領域とは異なっており、上記撮像部は、上記外部照明部の照明光を受光する第１受光素子および上記内部照明部の照明光を受光する第２受光素子を備えており、上記第１受光素子により上記影画像を生成し、上記第２受光素子により上記反射光画像を生成することが好ましい。
【００３５】
影画像と反射光画像とを時間差を設けて順次撮像した場合には、その時間差の間に撮像対象が移動した場合には、撮像対象の位置が正確に検出することが困難になるという問題が生じる。
【００３６】
上記の構成によれば、外部照明部から出射される照明光の波長領域と、内部照明部から出射される照明光の波長領域とは異なっている。例えば、外部照明部から出射される照明光は可視光であり、内部照明部から出射される照明光は赤外光である。
【００３７】
そして、撮像部は、外部照明部の照明光を受光する第１受光素子により影画像を生成し、内部照明部の照明光を受光する第２受光素子により反射光画像を生成する。
【００３８】
それゆえ、影画像と反射光画像とを同時に撮像することが可能となり、撮像対象の位置を判定する精度を高めることができる。
【発明の効果】
【００３９】
以上のように、本発明に係る位置検出装置は、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出部とを備える構成である。
【００４０】
また、本発明に係る位置検出方法は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像部によって撮像する撮像工程と、上記撮像対象から撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出工程とを含む構成である。
【００４１】
それゆえ、撮像対象の撮像面からの距離を算出できるという効果を奏する。
【００４２】
また、本発明に係る位置検出装置は、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像面に接触した撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定部とを備える構成である。
【００４３】
また、本発明に係る位置検出方法は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像部によって撮像する撮像工程と、上記撮像対象から撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定工程とを含む構成である。
【００４４】
それゆえ、撮像対象が撮像面に接触しているかどうかを判定できるという効果を奏する。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態に係るデータ表示／センサ装置が備える主制御部の構成を示す機能ブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置の外観を示す概略図である。
【図３】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置が備えるバックライトの構成を示す図である。
【図５】図５（ａ）は、センサ内蔵液晶パネルが備える赤外光センサの構成を示す概略図であり、図５（ｂ）はセンサ内蔵液晶パネルが備える可視光センサの構成を示す概略図である。
【図６】センサ内蔵液晶パネルにおける赤外光センサおよび可視光センサの配置様式を示す図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図８】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図９】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図１０】図９に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図１１】図１１（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図１１（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているとき、またはユーザがセンサ内蔵液晶パネルに指をかざしたときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図１２】部分画像データの代表座標Ｚの別の算出方法を示す図である。
【図１３】本発明の一実施形態に係るデータ表示／センサ装置が備える表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図１４】図１４（ａ）〜（ｃ）は、上記データ表示／センサ装置が備える距離算出部における位置算出処理を説明するための図である。
【図１５】図１５（ａ）および（ｂ）は、上記データ表示／センサ装置が備える位置補正部における座標補正処理を説明するための図である。
【図１６】上記データ表示／センサ装置における処理の流れの一例を示すフローチャートである。
【図１７】上記データ表示／センサ装置の入力表示画面に対する入力操作の一例を示す図である。
【図１８】本発明の別の実施形態に係るデータ表示／センサ装置が備える主制御部の構成を示す機能ブロック図である。
【図１９】接触判定処理の原理について説明するための図であり、図１９（ａ）は指先が入力表示画面から離れている状態を示す図であり、図１９（ｂ）は指先が入力表示画面に近接している状態を示す図である。
【図２０】上記データ表示／センサ装置における処理の流れの一例を示すフローチャートである。
【図２１】図２１（ａ）および（ｂ）は、上記データ表示／センサ装置における入力操作の一例を示す図である。
【図２２】上記データ表示／センサ装置の変更例を示す図である。
【発明を実施するための形態】
【００４６】
〔実施の形態１〕
本発明の実施の一形態について図１〜図１７に基づいて説明すれば、以下のとおりである。
【００４７】
（データ表示／センサ装置１００の概略構成）
図２は、本実施形態のデータ表示／センサ装置（位置検出装置、入力装置）１００の外観を示す概略図である。同図に示すように、データ表示／センサ装置１００は、テーブル型パーソナルコンピュータであり、表示／光センサ部（撮像部）３００と本体１０４とを有するテーブル１０３を備えている。表示／光センサ部３００は、テーブル１０３の天板として機能する板状の部材であり、いわゆる光センサ内蔵液晶表示装置である。
【００４８】
表示／光センサ部３００は、複数の光センサ（撮像センサ）を内蔵したセンサ内蔵液晶パネル３０１を備えており、このセンサ内蔵液晶パネル３０１によって、入力表示画面（撮像面）３０２に対して入力操作するユーザの指先、またはタッチペンなどの指示部材の先端（以下、指先等と称することがある）を撮像する。入力表示画面３０２に対する入力操作には、入力表示画面３０２をタッチすることによる入力操作に加えて、入力表示画面３０２から離れた位置で３次元的に指先等を動かすことによる入力操作が含まれる。すなわち、撮像面である入力表示画面３０２に対して撮像対象は接触または近接する。
【００４９】
データ表示／センサ装置１００は、撮像した画像を解析することにより、指先等の位置を算出する。この位置には、撮像画像における２次元的な位置（換言すれば、入力表示画面３０２上に指先等を投影した場合の投影像の、入力表示画面３０２における２次元座標（Ｘ座標およびＹ座標））と、入力表示画面３０２から指先等までの距離（Ｚ座標）との両方の情報が含まれる。
【００５０】
テーブル１０３の天板としての表示／光センサ部３００の四隅の一箇所に、支柱１０２が立てられており、この支柱１０２の先端に外部照明（外部照明部）１０１が設けられている。この外部照明１０１は、入力表示画面３０２に対して相対的に固定された位置から入力表示画面３０２に照明光である可視光（波長：約３８０ｎｍ〜７５０ｎｍ）を照射する照明装置である。この外部照明１０１は、例えば、白色ＬＥＤを備える照明装置である。外部照明１０１は、入力表示画面３０２に対して所定の角度で設置されており、外部照明１０１から出射される照明光が入力表示画面３０２の全面に照射されるように設定されている。
【００５１】
外部照明１０１の照明光の光軸は、入力表示画面３０２に対して垂直よりも傾いている。上記光軸が入力表示画面３０２に対して垂直であれば、後述する反射像と撮像対象の影とが、撮像対象の入力表示画面３０２からの距離に関わらず重なってしまうからである。
【００５２】
データ表示／センサ装置１００のユーザは、外部照明１０１が設置されている側とは反対側に位置して入力操作を行う。換言すれは、外部照明１０１は、ユーザと対向する側に設置されていることが好ましい。
【００５３】
なお、入力操作を検出する領域が入力表示画面３０２の一部である場合には、当該領域およびその周囲に外部照明１０１からの照明光が照射されればよい。
【００５４】
外部照明１０１から照明光が照射されている状態で、ユーザが指先等により入力操作を行うと、指先等の影が入力表示画面３０２上に形成される。センサ内蔵液晶パネル３０１は、この外部照明１０１からの照明光によって生じる指先等の影の像を含む影画像を撮像する。
【００５５】
また、詳細については後述するが、センサ内蔵液晶パネル３０１は、バックライト（内部照明部）３０７（図３参照）からの照明光である赤外光が指先等に反射することによって生じる反射像を含む反射光画像も撮像する。
【００５６】
そして、データ表示／センサ装置１００は、反射光画像における反射像の位置と、影画像における影の位置と、予め定められた外部照明部の入力表示画面３０２に対する相対位置とから指先等の入力表示画面３０２からの距離を算出する。この距離の算出方法については後述する。
【００５７】
次に、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。なお、以下では、指先および指示部材を総称して対象物または撮像対象と称することがある。
【００５８】
（センサ内蔵液晶パネルの概要）
データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指先等でポインティング（タッチ）または非接触的な入力操作した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００５９】
図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。
【００６０】
同図に示すように、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２ａ・３２ｂ（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。
【００６１】
（バックライト３０７の構成）
センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。図４は、バックライト３０７の構成を示す図である。同図に示すように、バックライト３０７は、表示用バックライト光源としての複数の白色ＬＥＤ（Light Emitting Diode）３１０および認識用バックライト光源（内部照明部）としての赤外光ＬＥＤ３１１を備えている。白色ＬＥＤ３１０は、センサ内蔵液晶パネル３０１で表示を行うための可視光を出射する。赤外光ＬＥＤ３１１は、主に赤外光を含む光を出射するＬＥＤであり、指先等を認識するために当該指先等に対して光照射する。指先等に反射した赤外光は、後述する赤外光センサ６１によって受光される。
【００６２】
白色ＬＥＤ３１０は、フレキシブルプリント基板３２６の上において導光板３２４の側面に沿って配列され、赤外光ＬＥＤ３１１は導光板３２４の背面側に配置された回路基板３２７の上において２次元的に配置されている。
【００６３】
なお、バックライト３０７には、２枚のレンズシート３２１・３２２、拡散シート３２３および反射シート３２５が設けられている。
【００６４】
バックライト３０７の構成、特に、白色ＬＥＤ３１０および赤外光ＬＥＤ３１１の配置は、上述のものに限定されない。例えば、白色ＬＥＤ３１０および赤外光ＬＥＤ３１１を導光板３２４の側面に配置してもよい。また、表示用バックライトおよび認識用バックライトを別々に形成し、これらのバックライトを、バックライト光の出射方向において重ねてもよい。
【００６５】
また、表示用バックライト光源および認識用バックライト光源として冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものを用いてもよい。
【００６６】
（赤外光センサ６１および可視光センサ６２の構成）
センサ内蔵液晶パネル３０１は、赤外光センサ６１および可視光センサ６２を内蔵しているため、表示だけではなく画像の撮像が可能である。それゆえ、センサ内蔵液晶パネル３０１は、指先等の撮像対象を撮像する撮像面として機能する。
【００６７】
図５（ａ）は赤外光センサ６１の構成を示す概略図であり、図５（ｂ）は可視光センサ６２の構成を示す概略図である。赤外光センサ６１および可視光センサ６２は、フォトダイオードまたはフォトトランジスタで形成されており、受光した光の強度に応じた電流を流すことによって、受光量を検知する。これら赤外光センサ６１および可視光センサ６２は、アクティブマトリクス基板５１Ａ上に設けられており、可視光および赤外光を受光できる光センサ素子である。
【００６８】
赤外光センサ６１の光入射側（対向基板５１Ｂの側）には、主に可視光をカットして赤外光を透過する光学フィルタ６３が設けられている。一方、可視光センサ６２の光入射側には、主に赤外光をカットして可視光を透過する光学フィルタ６４が設けられている。光学フィルタ６３・６４の組成は、特に限定されないが、例えば、カラーフィルタの積層構造として実現することができる。赤外光センサ６１と可視光センサ６２とは光センサそのものは同じであるが、光入射側に設けられた光学フィルタの種類が異なるため、赤外光センサ６１は主に赤外光を受光し、可視光センサ６２は、主に可視光を受光する。
【００６９】
具体的には、赤外光センサ６１は、赤外光ＬＥＤ３１１から出射され、指先等に反射した赤外光を主に受光する。また、可視光センサ６２は、外部照明１０１から出射された照明光を主に受光する。そのため、赤外光センサ６１からの出力値によって形成された画像（反射光画像）には、指先等に赤外光が反射することによって形成される指先等の像（反射像）が含まれる。また、可視光センサ６２からの出力値によって形成された画像（影画像）には、外部照明１０１から出射された照明光が指先等によって遮られることで形成される指先等の影の像が含まれる。
【００７０】
すなわち、外部照明１０１から出射される照明光の波長領域と、赤外光ＬＥＤ３１１から出射される照明光の波長領域とは異なっている。そして、表示／光センサ部３００は、外部照明１０１の照明光を受光する可視光センサ（第１受光素子）６２および赤外光ＬＥＤ３１１の照明光を受光する赤外光センサ（第２受光素子）６１を備えており、可視光センサ６２により影画像を生成し、赤外光センサ６１により反射光画像を生成する。
【００７１】
なお、データ表示／センサ装置１００が載置された場所が明るい場合には、可視光センサ６２は、外部照明１０１の照明光以外の可視光を受光する可能性がある。この場合、外部照明１０１の照明光以外の可視光によって生じる指先等の影を検出する可能性がある。それゆえ、データ表示／センサ装置１００を載置する場所は比較的暗い場所が好ましい。
【００７２】
または、外部照明１０１から出射される可視光の強さを、データ表示／センサ装置１００が設置されている環境における環境光（例えば、室内における照明光）よりも強くし、最も濃い影の像（例えば、当該影の像を構成する画素の画素値の平均値が最も小さい影の像）を指先等の影の像であると認識してもよい。
【００７３】
また、データ表示／センサ装置１００を暗い場所に設置する場合には、外部照明１０１から赤外光を出射することにより指先等の影を形成し、その影の像を撮像するとともに、白色ＬＥＤ３１０から可視光を出射することにより反射像を形成し、その反射像を撮像してもよい。この場合、影画像は赤外光センサ６１からの出力値によって形成され、反射光画像は可視光センサ６２からの出力値によって形成される。
【００７４】
光学フィルタ６３・６４の組成は、特に限定されないが、例えば、カラーフィルタの積層構造として実現することができる。
【００７５】
なお、光学フィルタ６３・６４を設けずに、赤外光センサ６１を、赤外光を主に受光する光センサ素子で形成し、可視光センサ６２を、可視光を主に受光する光センサ素子で形成してもよい。
【００７６】
赤外光センサ６１または可視光センサ６２は、センサ内蔵液晶パネル３０１の各画素に対して１つずつ設けられている。図３では、赤外光センサ６１は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤外光センサ６１（または可視光センサ６２）を、赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００７７】
図６は、赤外光センサ６１および可視光センサ６２の配置様式を示す図である。同図では、赤外光センサ６１を「Ａ」で、可視光センサ６２を「Ｂ」で表している。同図に示すように、マトリクス状に配置されたセンサ内蔵液晶パネル３０１の画素に対して、赤外光センサ６１および可視光センサ６２を互い違いに（千鳥格子状に）配置してもよい。この場合、赤外光センサ６１および可視光センサ６２によって市松模様が形成される。
【００７８】
なお、赤外光センサ６１の列と可視光センサ６２の列とを交互に配置するなど、上述以外の配置にしてもよい。
【００７９】
赤外光センサ６１から出力された反射光画像および可視光センサ６２から出力された影画像は、センサ内蔵液晶パネル３０１の全画素に対して設けられた光センサから出力された画像と比較すると、その解像度は１／２になる。そのため、反射光画像および影画像において欠落している画素を補間してもよい。この補間は、線形補間など公知の技術によって行えばよい。
【００８０】
次に、図７（ａ）および図７（ｂ）を参照しながら、センサ内蔵液晶パネル３０１に接触または近接した指先等の撮像対象を撮像する２種類の方法について説明する。
【００８１】
図７（ａ）は、撮像対象の反射像を撮像する様子を示す模式図である。バックライト３０７の赤外光ＬＥＤ３１１から赤外光７１が出射されると、赤外光センサ６１を含む光センサ回路３２ａは、指７２などの撮像対象により反射された赤外光７１を検出する。これにより、センサ内蔵液晶パネル３０１は、撮像対象の反射像（反射光画像）を生成することができる。
【００８２】
また、図７（ｂ）は、撮像対象の影像を撮像する様子を示す模式図である。図７（ｂ）に示すように、可視光センサ６２を含む光センサ回路３２ｂは、対向基板５１Ｂなどを透過した外部照明１０１からの外光７３を検出する。しかしながら、ペン７４などの撮像対象がある場合は、外光７３の入射が妨げられるので、光センサ回路３２ｂが検出する光量が減る。これにより、センサ内蔵液晶パネル３０１は、撮像対象の影の像（影画像）を生成することができる。
【００８３】
後述するように撮像対象の撮像は、所定の時間間隔で行われるが、反射光画像と影画像とは同時に撮像される。
【００８４】
（データ表示／センサ装置の要部構成）
次に、図８を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図８は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。
【００８５】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００８６】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２ａ・３２ｂを含んで構成される。光センサ回路３２ａは、赤外光センサ６１を含んでおり、光センサ回路３２ｂは、可視光センサ６２を含んでいる。
【００８７】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００８８】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部（表示制御手段）６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００８９】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２ａおよび３２ｂを駆動する回路である。光センサ回路３２ａ・３２ｂの駆動方法の詳細については後述する。
【００９０】
信号変換回路３０６は、光センサ回路３２ａ・３２ｂから出力されるセンサ出力信号（ＳＳ）をそれぞれデジタル信号（ＤＳ）に変換し、変換後の信号を、光センサ回路３２ａから出力された信号と光センサ回路３２ｂから出力された信号とを区別してセンサ制御部６０２に送信する回路である。
【００９１】
センサ内蔵液晶パネル３０１の背面に配置されたバックライト３０７の白色ＬＥＤ３１０および赤外光ＬＥＤ３１１は、バックライト駆動回路３０８から電源電圧が印加されると点灯し、センサ内蔵液晶パネル３０１および撮像対象に光を照射する。
【００９２】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３から白色ＬＥＤ３１０を制御するための制御信号（ＢＫ）および赤外光ＬＥＤ３１１を制御するための制御信号（ＢＫ）を受信する。そして、制御信号（ＢＫ）がハイレベルであるときは、受信した制御信号に対応する白色ＬＥＤ３１０または赤外光ＬＥＤ３１１に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００９３】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００９４】
表示制御部６０１（表示制御手段）は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００９５】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００９６】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００９７】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２ａから出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、反射光画像データを生成する。また、センサ制御部６０２は、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２ｂから出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、影画像データを生成する。そして、生成した反射光画像データおよび影画像データをセンサデータ処理部７０３に送信する。
【００９８】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。このとき、バックライト制御部６０３は、白色ＬＥＤ３１０を制御するための制御信号および／または赤外光ＬＥＤ３１１を制御するための制御信号をバックライト駆動回路３０８に送信する。
【００９９】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【０１００】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【０１０１】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【０１０２】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【０１０３】
センサデータ処理部（位置検出部）７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１０４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データ（反射光画像データおよび影画像データ）を受信し、当該画像データをそのまま画像データバッファ７０４に格納する。より詳細には、センサデータ処理部７０３は、赤外光センサ６１および可視光センサ６２が同じ撮像タイミングでそれぞれ生成した画像データ（反射光画像データおよび影画像データ）を、互いに対応付けて格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。このとき、センサデータ処理部７０３は、送信する画像データが反射光画像のデータであるか、影画像のデータであるかを特定できる情報を当該画像データに付加する。
【０１０５】
なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【０１０６】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【０１０７】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、上記アプリケーションプログラムは、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。なお、「データ種別」のコマンドには、要求する画像（または代表座標）が反射光画像（またはその代表座標）なのか影画像（またはその代表座標）なのかを特定する情報が含まれている。
【０１０８】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【０１０９】
次に、記憶部９０１は、図８に示すように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【０１１０】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【０１１１】
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【０１１２】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【０１１３】
（コマンドの詳細）
次に、図９および図１０を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図９は、コマンドのフレーム構造の一例を模式的に示す図である。また、図１０は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【０１１４】
図９に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図１０に示す値が指定可能である。
【０１１５】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【０１１６】
次に、「データ取得タイミング」フィールドは、データ（反射光画像および影画像、またはそれらの代表座標）を主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１１７】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【０１１８】
また、“イベント”は、センサ制御部６０２から受信する画像データ（反射光画像データまたは影画像データ）に変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【０１１９】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２ａ・３２ｂにてスキャンを行う周期と一致する。
【０１２０】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。この「データ種別」フィールドには、要求する画像（または代表座標）が反射光画像（またはその代表座標）なのか影画像（またはその代表座標）なのかを特定する情報が含まれている。
【０１２１】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのもの（反射光画像データまたは影画像データ）を主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１２２】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データ（反射光画像データまたは影画像データ）から、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。このとき、センサデータ処理部７０３は、送信する部分画像データが反射光画像なのか影画像なのかを特定する情報を当該部分画像データに付加する。
【０１２３】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【０１２４】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。このとき、センサデータ処理部７０３は、送信する座標データが示す座標が反射光画像についてのものなのか影画像についてのものなのかを特定する情報を当該座標データに付加する。
【０１２５】
なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【０１２６】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１２７】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。この「スキャン方式」フィールドは、白色ＬＥＤ３１０および赤外光ＬＥＤ３１１のそれぞれを点灯するか否かを指定することができるものである。
【０１２８】
“反射”は、バックライト３０７を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１２９】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８を動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。
【０１３０】
反射光画像を撮像するときには、赤外光ＬＥＤ３１１は点灯され、影画像を撮像するときには、白色ＬＥＤ３１０は消灯される。撮像対象の高さを検出するときには、反射光画像と影画像とは同時に撮像されるため、赤外光ＬＥＤ３１１に対しては“反射”のコマンドが送信され、白色ＬＥＤ３１０に対しては“透過”のコマンドが送信される。
【０１３１】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。この「スキャン画像階調」フィールドは、反射光画像と影画像とに共通のものであってもよいし、個別に指定できるものであってもよい。
【０１３２】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１３３】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１３４】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。この「スキャン解像度」フィールドは、反射光画像と影画像とに共通のものであってもよいし、個別に指定できるものであってもよい。
【０１３５】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１３６】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１３７】
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１３８】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１３９】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１４０】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１４１】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１４２】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１４３】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【０１４４】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１４５】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１４６】
（全体画像データ／部分画像データ／座標データ）
次に、図１１を参照しながら、反射光画像に関する全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図１１（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図１１（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データ（反射光画像データ）である。
【０１４７】
赤外光ＬＥＤ３１１が点灯している状態でユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、または、ユーザがセンサ内蔵液晶パネル３０１に指をかざしたとき、当該指先の近傍の光センサ回路３２ａが受光する光量が変化するため、当該光センサ回路３２ａが出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザの指先の像の画素値の明度に変化が生じることとなる。
【０１４８】
図１１（ｂ）に示す画像データでは、図１１（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図１１（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１４９】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１５０】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１５１】
図１２は、部分画像データ（領域ＰＰ）の代表座標Ｚの別の算出方法を示す図である。同図に示すように、入力表示画面３０２を指示する指または指示部材の先端が最も入力表示画面３０２に近いため、当該先端が赤外光ＬＥＤ３１１からの照明光を受けて最も明るくなる。それゆえ、部分画像データにおける最も大きいレベルの画素値を有する領域の中心（または重心）の座標を代表座標Ｚとしてもよい。最も大きいレベルの画素値を有する領域とは、例えば、画素値の大きい順に画素を並べた場合の最上位から所定の順位まで（例えば、上位２０％）の画素によって形成される領域である。
【０１５２】
（センサ内蔵液晶パネルの構成）
次に、図１３を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図１３は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１５３】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２ａ・３２ｂを備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１５４】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１５５】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１５６】
次に、光センサ回路３２ａおよび光センサ回路３２ｂは、その一方が、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１５７】
光センサ回路３２ａ・３２ｂにて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２ａ・３２ｂがそれぞれ受光した光量を算出することができる。
【０１５８】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１５９】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１６０】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１６１】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１６２】
光センサ駆動回路３０５は、光センサ回路３２ａおよび光センサ回路３２ｂを駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１６３】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１６４】
（センサデータ処理部７０３および主制御部８００の構成）
次に、図１を参照しつつ、センサデータ処理部７０３および主制御部８００の構成について説明する。図１は、センサデータ処理部７０３および主制御部８００の構成を示す機能ブロック図である。
【０１６５】
（センサデータ処理部７０３）
図１に示すように、センサデータ処理部７０３は、反射像位置算出部７０５および影位置算出部７０６を備えている。
【０１６６】
反射像位置算出部７０５は、入力表示画面３０２に近接または接触した指先等に対して赤外光ＬＥＤ３１１からの照明光が照射されることによって生じる反射像を入力表示画面３０２に投影したときの投影像（便宜上、これも反射像と称する）の位置を、センサ制御部６０２から出力される反射光画像から算出する。換言すれば、反射像位置算出部７０５は、撮像対象から入力表示画面３０２に下ろした垂線の足の位置である反射像位置を反射光画像から算出する。
【０１６７】
影位置算出部７０６は、外部照明１０１からの照明光によって生じる指先等の影の、入力表示画面３０２における位置を、センサ制御部６０２から出力される影画像から算出する。
【０１６８】
（主制御部８００）
主制御部８００は、位置補正部８０１、距離算出部８０２、動作判定部８０３および表示画像生成部８０４を備えている。
【０１６９】
位置補正部８０１は、反射像位置算出部７０５が算出した反射像の先端部の位置（反射像位置）（ｘおよびｙ座標）と、影位置算出部７０６が算出した影の先端部の位置（ｘおよびｙ座標）と、外部照明１０１の位置（例えば、外部照明１０１が有する発光部の中心または重心）とを取得する。そして、外部照明１０１を入力表示画面３０２を含む平面上に投影したときの像を照明部投影像とすると、位置補正部８０１は、指先等の影の先端部、反射像の先端部および照明部投影像の中心の位置（外部照明位置）から推定される近似直線を算出し、算出した近似直線に影の先端部の位置および反射像の先端部の位置が重なるように影の先端部の位置または反射像の先端部の位置もしくはその両方を補正する。
【０１７０】
照明部投影像の中心の位置は、外部照明１０１の中心から入力表示画面３０２を含む平面に下ろした垂線の足の位置である。
【０１７１】
なお、以下では、反射像の先端部の位置を単に反射像の位置と称し、影の先端部の位置を単に影の位置と称することがある。
【０１７２】
距離算出部８０２は、位置補正部８０１が補正した反射像の位置（ｘおよびｙ座標）および影の位置（ｘおよびｙ座標）と、外部照明１０１の位置（ｘ、ｙおよびｚ座標）とに基づいて撮像対象である指先等の入力表示画面３０２からの距離（ｚ座標）を算出する。換言すれば、距離算出部８０２は、反射像の位置と、影の位置と、外部照明１０１の位置との相対位置関係から撮像対象の３次元座標を算出する。
【０１７３】
具体的には、距離算出部８０２は、入力表示画面３０２における指先等の影と外部照明１０１とを結ぶ線分と、入力表示画面３０２に投影した反射像の位置から入力表示画面３０２に対して垂直に延ばした線分との交点の座標を指先等の座標として算出する。換言すれば、距離算出部８０２は、入力表示画面３０２における撮像対象の影と外部照明部とを結ぶ線分と、反射像の位置から当該撮入力表示画面３０２に対して垂直に延ばした線分との交点の入力表示画面３０２からの距離を算出する。
【０１７４】
なお、位置補正部８０１によって補正が行われなかった場合には、距離算出部８０２は、反射像位置算出部７０５が算出した反射像の位置と、影位置算出部７０６が算出した影の位置と、外部照明１０１の位置とに基づいて撮像対象である指先等の入力表示画面３０２からの距離を算出する。
【０１７５】
また、位置補正部８０１と距離算出部８０２とを距離算出部として捉えることもできる。
【０１７６】
動作判定部８０３は、反射像位置算出部７０５が算出した反射像の位置（すなわち、指先等のｘおよびｙ座標）と距離算出部８０２が算出した、指先等の入力表示画面３０２からの距離（ｚ座標）とを経時的に取得し、取得した指先等の軌跡と所定の動作パターンとを比較する。そして、動作判定部８０３は、指先等の軌跡が所定の動作パターンに一致した場合には、当該所定の動作パターンを特定する情報と、指先等の軌跡（移動方向および移動量）を示す情報とを表示画像生成部８０４へ出力する。
【０１７７】
表示画像生成部８０４は、動作判定部８０３が判定した動作に対応する画像を生成し、表示データ処理部７０１へ出力する。
【０１７８】
なお、主制御部８００は、動作判定部８０３が判定した動作に応じた入力処理を行う入力処理部を備えていればよく、表示画像生成部８０４は、入力処理部の一例である。例えば、表示画像生成部８０４の代わりに、動作判定部８０３が判定した動作に応じた演算を行う演算部を設けてもよい。
【０１７９】
（センサデータ処理部７０３における処理の詳細）
反射像位置算出部７０５は、図１１および図１２を用いて説明したように、反射光画像に含まれる指または指示部材の先端部のｘおよびｙ座標を算出する。このとき反射像位置算出部７０５は、画素値が所定の閾値より大きい画素値によって形成される領域の中心または重心の座標を上記先端部の座標として算出してもよいし、部分画像に含まれる画素を、その画素値の大きい順に並べた場合の最上位から所定の順位までの画素（例えば、上位２０％の画素）によって形成される領域の中心または重心の座標を上記先端部の座標として算出してもよい。
【０１８０】
影位置算出部７０６は、影画像に含まれる影の像の先端部のｘおよびｙ座標を算出する。このとき、影位置算出部７０６は、指先または指示部材の先端部の形状を示す所定のパターンとのパターンマッチングを行うことで影の像の先端部を検出する。
【０１８１】
または、影位置算出部７０６は、図１１（ｂ）に示した反射光画像における代表座標Ｚと同様の座標を、影画像に含まれる影の像の輪郭から算出してもよい。すなわち、反射光画像における反射像の輪郭と代表座標Ｚとの位置関係と同様の位置関係を示す座標を影画像における影の像の輪郭から算出し、影の像の代表座標Ｚとしてもよい。反射像の代表座標Ｚと影の像の代表座標Ｚと照明部投影像の中心位置とが一直線上に載らない場合には、位置補正部８０１によって位置ズレが補正されるため、多少の位置ズレが生じても大きな問題にはならない。
【０１８２】
また、影画像に複数の影の像が含まれている場合には、反射像位置算出部７０５は、複数の影の像のうち、最も濃い影の像（例えば、当該影の像を構成する画素の画素値の平均値が最も小さい影の像）を指先等の影の像であると認識すればよい。
【０１８３】
（距離算出部８０２における処理の詳細）
次に、距離算出部８０２において指先等の位置を算出する処理の詳細について説明する。図１４（ａ）〜（ｃ）は、距離算出部８０２における位置算出処理を説明するための図である。同図では、ｘ軸およびｙ軸によって規定される平面は、入力表示画面３０２を含む平面であり、ｚ軸は入力表示画面３０２からの距離を表している。この３次元座標空間において、反射像の先端部の位置を点Ａで示し、影の先端部の位置を点Ｂで、外部照明１０１の位置（照明光の発光部の中心または重心）を点Ｌで、指先等の位置を点Ｐで示している。点Ａの座標を（ｘ１，ｙ１，０）とし、点Ｂの座標を（ｘ２，ｙ２，０）、点Ｌの座標を（ｘｌ，ｙｌ，ｚｌ）、点Ｐの座標を（ｘｏ，ｙｏ，ｚｏ）としている。また、照明部投影像の位置を点Ｄで示している。
【０１８４】
図１４（ａ）は、点Ｌ、点Ａおよび点Ｂを含む３次元座標空間を示す図である。図１４（ｂ）は、点Ｌ、点Ａおよび点Ｂを含む平面を示す図である。図１４（ｃ）は、図１４（ａ）をｚ軸方向から見た場合の点Ｌ（点Ｄ）、点Ａおよび点Ｂの位置関係を示す図である。
【０１８５】
理論的には、点Ｌ、点Ｐおよび点Ｂは一直線上に位置し、点Ａのｘ座標およびｙ座標は、点Ｐのｘ座標およびｙ座標と一致する。
【０１８６】
図１４（ｂ）に示すように、照明部投影像の位置を点Ｄで示すと、三角形ＡＢＰと、三角形ＤＢＬとは相似であるため、次の（１）式の関係が成り立つ。
【０１８７】
ＡＰ：ＤＬ＝ＢＡ：ＢＤ ・・・（１）
図１４（ｃ）に示すように、ｘｙ平面をＺ軸方向から見ると、
ＢＡ：ＢＤ＝（ｘ２−ｘ１）：（ｘ２−ｘｌ） ・・・（２）
という関係が成り立つのが分かる。
【０１８８】
（２）式（１）に代入し、変形すると、次の（３）式が得られる。
【０１８９】
ＡＰ＝ＤＬ×（ｘ２−ｘ１）／（ｘ２−ｘｌ） ・・・（３）
ＡＰ＝ｚｏ、ＤＬ＝ｚｌであるため、次の（４）式が得られる。
【０１９０】
ｚｏ＝ｚｌ×（ｘ２−ｘ１）／（ｘ２−ｘｌ） ・・・（４）
（４）式から点Ｐのｚ座標であるｚｏ（すなわち、指先等の入力表示画面３０２からの距離）を算出できる。
【０１９１】
（４）式において、ｚｌおよびｘｌは所定の値であるため、点Ｐのｚ座標は、点Ａおよび点Ｂのｘ座標によって変化することが分かる。特に、ｘ２−ｘ１は、点Ａおよび点Ｂのｘ座標のずれを表しており、距離算出部８０２は、反射像の位置と影の位置とのずれに基づいて、指先等の入力表示画面３０２からの距離を算出していることが理解できるであろう。
【０１９２】
なお、位置補正部８０１における、指先等の入力表示画面３０２からの距離を算出する方法は、上述のものに限定されず、幾何学的に可能な他の算出方法を用いてもよい。
【０１９３】
（位置補正部８０１における処理の詳細）
次に、位置補正部８０１における座標補正処理の詳細について説明する。図１５（ａ）および（ｂ）は、位置補正部８０１における座標補正処理を説明するための図である。図１５（ａ）は、点Ｌ、点Ａおよび点Ｂを含む３次元座標空間を示す図である。図１５（ｂ）は、図１５（ａ）をｚ軸方向から見た場合のｘｙ座標平面を示す図である。理想的には、点Ｌのｘｙ座標平面への投影点Ｄ、点Ａおよび点Ｂは、一直線上に載る。しかし、なんらかの理由により、３点が一直線上に載らない場合がある。
【０１９４】
位置補正部８０１は、点Ｄ、点Ａおよび点Ｂからもっともらしい直線を算出し、算出した直線上に点Ｄ、点Ａおよび点Ｂが載るように各点の座標を補正する。上記直線は、最小自乗法によって算出すればよい。
【０１９５】
この場合、点Ｄの座標を固定して点Ａおよび点Ｂの座標を補正してもよいし、点Ｄの座標を固定して点Ａまたは点Ｂのいずれか一方の座標を補正してもよい。また、座標を補正する場合、点Ａまたは点Ｂの一方のｙ座標のみを補正すればよく、ｘ座標を補正する必要は必ずしもない。
【０１９６】
この構成により、上記３点が一直線上に載らない場合でも、点Ｐのｚ座標の算出精度を高めることができる。
【０１９７】
（データ表示／センサ装置１００における処理の流れ）
次に、データ表示／センサ装置１００において、指先等の入力表示画面３０２からの距離（点Ｐのｚ座標）を算出する処理（位置検出方法）の流れの一例について説明する。図１６は、データ表示／センサ装置１００における処理の流れの一例を示すフローチャートである。
【０１９８】
まず、主制御部８００は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０１９９】
データ処理部７００のセンサデータ処理部７０３は、受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３を介して、表示／光センサ部３００に、反射光画像および影画像を撮像する指示を与える。
【０２００】
この指示に従って、表示／光センサ部３００は、赤外光ＬＥＤ３１１を点等させた状態での光センサ回路３２ａによる反射光画像の撮像と、白色ＬＥＤ３１０を消灯させた状態での光センサ回路３２ｂによる影画像の撮像とを同時に、所定の時間間隔で行う（撮像工程）（Ｓ１）。そして、表示／光センサ部３００は、撮像した反射光画像および影画像をセンサデータ処理部７０３へ順次、所定の時間間隔で出力する。
【０２０１】
反射光画像に変化が生じた場合（すなわち、反射光画像に指先の像が含まれた場合）、反射像位置算出部７０５は、反射光画像に含まれる反射像の先端部のｘｙ座標を算出し（反射像位置算出工程）、算出したｘｙ座標を示す座標データを位置補正部８０１へ出力する（Ｓ２）。
【０２０２】
また、影画像に変化が生じた場合（すなわち、影画像に指先の像が含まれた場合）、影位置算出部７０６は、影画像に含まれる影の像の先端部のｘｙ座標を算出し（影位置算出工程）、算出したｘｙ座標を示す座標データを位置補正部８０１へ出力する（Ｓ３）。
【０２０３】
このとき、反射像位置算出部７０５から出力される反射像のｘｙ座標と、影位置算出部７０６から出力される影の像のｘｙ座標とは、同時に撮像された反射光画像および影画像からそれぞれ算出された座標どうしで互いに対応付けられて出力される。例えば、同時に撮像された反射光画像および影画像のそれぞれから算出された反射像のｘｙ座標と影の像のｘｙ座標とに同じ撮像タイミングを示す番号が付与されればよい。
【０２０４】
位置補正部８０１は、反射像のｘｙ座標と影の像のｘｙ座標と外部照明１０１のｘｙ座標とから、これらの座標が示す３点またはその近傍を通る直線を最小自乗法により算出し、算出した直線に反射像のｘｙ座標および影の像のｘｙ座標が載るように、当該ｘｙ座標を補正する（Ｓ４）。
【０２０５】
位置補正部８０１は、補正した座標を示す座標データを距離算出部８０２へ算出する。なお、外部照明１０１の座標は、記憶部９０１に格納されており、位置補正部８０１は、記憶部９０１から外部照明１０１のｘｙ座標を取得すればよい。
【０２０６】
距離算出部８０２は、上述のように、位置補正部８０１が補正した反射像のｘ座標および影のｘ座標と、外部照明１０１のｘ座標およびｚ座標とを（３）式に代入することにより、指先等の入力表示画面３０２からの距離（指先等のｚ座標）を算出する（距離算出工程）（Ｓ５）。
【０２０７】
距離算出部８０２は、算出した指先等のｚ座標を、当該指先等のｘ座標およびｙ座標（反射像のｘ座標およびｙ座標に相当）とともに動作判定部８０３へ出力する。
【０２０８】
動作判定部８０３は、距離算出部８０２から順次出力される指先等のｚ座標を３次元空間座標系にプロットし、指先等の軌跡をトレースする（Ｓ６）。
【０２０９】
そして、動作判定部８０３は、所定の時間間隔で指先等の軌跡が所定の動作パターンと一致するかどうかを判定する（Ｓ７）。
【０２１０】
所定の動作パターンと一致した場合（Ｓ７にてＹＥＳ）、動作判定部８０３は、当該所定の動作パターンを特定する情報と、指先等の軌跡を示す情報とを表示画像生成部８０４へ出力する。
【０２１１】
表示画像生成部８０４は、動作判定部８０３が判定した動作パターンに対応する処理を行う（Ｓ８）。例えば、図１７に示すように、表示画像生成部８０４は、センサ内蔵液晶パネル３０１に３次元的に表示されている立体図形をｚ軸方向に、指先等が移動した距離に対応する距離だけ移動させる。図１７は、入力表示画面３０２に対する入力操作の一例を示す図である。
【０２１２】
一方、所定の動作パターンと一致しない場合（Ｓ７にてＮＯ）、動作判定部８０３は、指先等の軌跡のトレースを続行する。
【０２１３】
（データ表示／センサ装置１００の効果）
以上のように、データ表示／センサ装置１００では、指先等の入力表示画面３０２からの距離を算出できる。それゆえ、入力表示画面３０２の上方で３次元的に指先等を所定のパターンで移動させることにより、当該パターンに対応した情報の入力を行うことができる。従って、指先等の移動に対応した直感的な入力操作を行うことができる。
【０２１４】
〔実施の形態２〕
本発明の他の実施形態について図１８〜図２２に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０２１５】
（データ表示／センサ装置２００の構成）
本実施形態のデータ表示／センサ装置２００は、入力表示画面３０２に接触した指先等の位置を検出し、その位置に対応する入力処理を行うものである。データ表示／センサ装置１００では、指先等の入力表示画面３０２からの距離を算出したが、データ表示／センサ装置２００では、指先等が入力表示画面３０２に接触しているかどうかの判定を行い、接触していない指先等は入力操作の位置検出対象から除外される。
【０２１６】
図１８は、データ表示／センサ装置２００が備える主制御部８１０の構成を示す機能ブロック図である。データ表示／センサ装置２００は、主制御部８００の代わりに主制御部８１０を備えている点を除けば、その構成はデータ表示／センサ装置１００と同じである。それゆえ、図１８には、主制御部８１０とその周辺の機能ブロックのみを示している。
【０２１７】
同図に示すように、主制御部８１０は、接触判定部（判定部）８１１、入力操作判定部８１２および表示画像生成部８０４を備えている。
【０２１８】
接触判定部８１１は、反射像位置算出部７０５が算出した反射像の位置と、影像位置算出部７０６が算出した影の位置とのずれに基づいて撮像対象が入力表示画面３０２に接触しているかどうかを判定する。換言すれば、接触判定部８１１は、反射光画像と影画像とを重ねたときの反射像と影の像との位置のずれに基づいて、指先等が入力表示画面３０２に接触しているかどうかを判定する。
【０２１９】
なお、反射光画像と影画像とを重ねることができるように、反射光画像の座標系と影画像の座標系とは同じものが用いられている。
【０２２０】
入力操作判定部８１２は、入力表示画面３０２に接触していると接触判定部８１１が判定した指先等の入力表示画面３０２における位置に対応する入力操作を判定する。例えば、入力操作判定部８１２は、その時点でセンサ内蔵液晶パネル３０１に表示されている操作ボタンの位置と、指先等の位置とを比較し、ユーザがどの操作ボタンを押したのかを判定する。その時点でセンサ内蔵液晶パネル３０１に表示されている操作ボタンの位置の情報は、一次記憶部９０２に格納されており、入力操作判定部８１２は、一次記憶部９０２に格納されている情報を利用して入力操作を判定すればよい。
【０２２１】
表示画像生成部８０４は、入力操作判定部８１２が判定した入力操作に対応する画像を生成し、表示データ処理部７０１へ出力する。
【０２２２】
（接触判定処理の詳細）
次に入力操作判定部８１２における接触判定処理の詳細について説明する。図１９（ａ）および（ｂ）は、接触判定処理の原理について説明するための図である。図１９（ａ）は、指先７５が入力表示画面３０２から離れている状態を示しており、図１９（ｂ）は、指先７５が入力表示画面３０２に近接している状態を示している。
【０２２３】
図１９（ｂ）に示すように指先７５が入力表示画面３０２に近接していれば、反射像の位置（Ａ）と指先７５の影の位置（Ｂ）とはほぼ一致し、指先７５が入力表示画面３０２に接触していれば、反射像の位置（Ａ）と指先７５の影の位置（Ｂ）とは一致する。図１９（ａ）に示すように、指先７５が入力表示画面３０２から離れるに従って、反射像と影との位置のずれは大きくなる。
【０２２４】
この現象を利用して、入力操作判定部８１２は、例えば、反射像と影との位置のずれが所定値以内（例えば、２ｍｍ以内）であれば、指先７５が入力表示画面３０２に接触していると判定する。この所定値は、指先７５が入力表示画面３０２に接触していると見なすことができる上記位置のずれの最大値であり、測定誤差を考慮して当業者が適宜設定すればよい。
【０２２５】
（データ表示／センサ装置２００における処理の流れ）
次に、データ表示／センサ装置２００において、入力表示画面３０２に接触した指先等の位置を検出する処理の流れの一例について説明する。図２０は、データ表示／センサ装置２００における処理の流れの一例を示すフローチャートである。
【０２２６】
図２０に示すステップＳ２１〜Ｓ２３は、図１６に示すステップＳ１〜Ｓ３と同じであるため、その説明を省略する。
【０２２７】
接触判定部８１１は、反射光画像に含まれる反射像の先端部のｘｙ座標を反射像位置算出部７０５から取得し、影画像に含まれる影の像の先端部のｘｙ座標を影位置算出部７０６から取得する。そして、接触判定部８１１は、反射像の先端部と影の像の先端部との間の距離を算出する（Ｓ２４）。
【０２２８】
そして、上記距離が所定値以内である場合（Ｓ２５にてＹＥＳ）、接触判定部８１１は、撮像対象の指先は入力表示画面３０２に接触していると判定し、当該指先の反射像の先端部のｘｙ座標を入力操作判定部８１２へ出力する（判定工程）。
【０２２９】
入力操作判定部８１２は、反射像の先端部のｘｙ座標と、その時点でセンサ内蔵液晶パネル３０１に表示されている操作ボタンの位置とを比較し、ユーザがどの操作ボタンを押したのかを判定する（Ｓ２６）。入力操作判定部８１２は、判定した入力操作を特定する情報を表示画像生成部８０４へ出力する。
【０２３０】
表示画像生成部８０４は、入力操作判定部８１２から出力された情報が示す入力操作に対応する表示用画像を生成し、表示データ処理部７０１に出力することで、当該表示用画像をセンサ内蔵液晶パネル３０１に表示する（Ｓ２７）。
【０２３１】
一方、上記距離が所定値よりも大きい場合（Ｓ２５にてＮＯ）、接触判定部８１１は、撮像対象の指先は入力表示画面３０２に接触していないと判定し、新たな指先の座標が送信されるのを待つ（Ｓ２１に戻る）。
【０２３２】
（データ表示／センサ装置２００の効果）
図２１（ａ）および（ｂ）は、データ表示／センサ装置２００における入力操作の一例を示す図である。図２１（ａ）には、入力表示画面３０２の表面を指先で直線状になぞる動作が示されており、図２１（ｂ）には、指先を一定方向に移動させつつ、入力表示画面３０２の表面を間隔を空けてタッチする動作が示されている。
【０２３３】
従来のデータ表示／センサ装置では、入力表示画面に指先等が接触したかどうかの判定を正確に行うことは困難であった。そのため、図２１（ａ）に示す動作と図２１（ｂ）に示す動作とを判別することは困難であった。
【０２３４】
これに対して、データ表示／センサ装置２００では、入力操作を行う指先等が入力表示画面３０２に接触しているかどうかを高い精度で判定できる。それゆえ、図２１（ａ）に示す動作と図２１（ｂ）に示す動作とを判別することが可能になり、入力操作のバリエーションを増やすことができる。また、入力表示画面３０２に接触していない指先等を接触していると誤認識する可能性を低減できる。
【０２３５】
（変更例）
図２２は、データ表示／センサ装置１００・２００の変更例を示す図である。上述の説明では、データ表示／センサ装置１００・２００は、テーブル型パーソナルコンピュータであるとしたが、データ表示／センサ装置１００・２００は、その他の入力装置として実現されてもよい。
【０２３６】
例えば、図２２（ａ）に示すように、データ表示／センサ装置１００・２００をタブレットスタイルの会議用端末装置として実現してもよい。この会議用端末装置は、ペン入力可能な入力表示面３０２を有する入力表示部１０６を備えている。この入力表示部１０６の四隅の１つに支柱１０２を立て、その先端に外部照明１０１を固定することにより、外部照明光を入力表示部１０６の入力表示画面３０２に対して所定の角度で照射することができる。
【０２３７】
また、図２２（ｂ）に示すように、データ表示／センサ装置１００・２００を、メイン表示装置１０７とセンサ付きサブ表示装置（撮像部）１０８とを備えるノート型パーソナルコンピュータとして実現してもよい。センサ付きサブ表示装置１０８は、センサ内蔵液晶パネル３０１と同様に指先等による入力操作を受け付けることができる。
【０２３８】
このようなノート型パーソナルコンピュータの場合には、メイン表示装置１０７の上方の隅の一方に外部照明１０１を固定し、サブ表示装置１０８の表示入力画面３０２に対して所定の角度で外部照明光を照射する。通常、メイン表示装置１０７とサブ表示装置１０８との角度は可変であるため、外部照明光の照射時には、上記角度を所定の角度に固定することで、外部照明１０１のサブ表示装置１０８に対する位置および角度を所定のものに固定する。
【０２３９】
（その他の変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２４０】
例えば、外部照明１０１から赤外光を出射することにより指先等の影を形成し、その影の像を撮像するとともに、赤外光ＬＥＤ３１１から赤外光を出射することにより反射像を形成し、その反射像を撮像してもよい。この場合、同時に影画像と反射光画像とを撮像することはできないため、影画像を撮像するタイミングと反射光画像を撮像するタイミングとをずらす。すなわち、所定の時間間隔を空けて影画像と反射光画像とを撮像する。このとき影画像および反射光画像は赤外光センサ６１からの出力値によって形成されるため、可視光センサ６２は不要となる。
【０２４１】
また、上述したデータ表示／センサ装置１００・２００の各ブロック、特に主制御部８００・８１０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２４２】
すなわち、データ表示／センサ装置１００・２００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００・２００の制御プログラム（制御プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００・２００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２４３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２４４】
また、データ表示／センサ装置１００・２００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２４５】
本発明は、表示画面に接触または近接する指先等の物体の、表示画面からの高さを検出できるため、指先等によって３次元的な入力操作を行う入力装置に利用することができる。
【符号の説明】
【０２４６】
６２ 可視光センサ（第１受光素子）
６１ 赤外光センサ（第２受光素子）
１００ データ表示／センサ装置（位置検出装置）
１０１ 外部照明（外部照明部）
１０８ センサ付きサブ表示装置（撮像面、撮像部）
２００ データ表示／センサ装置（位置検出装置）
３００ 表示／光センサ部（撮像部）
３０１ センサ内蔵液晶パネル（撮像部）
３０２ 入力表示画面（撮像面）
３０７ バックライト（内部照明部）
７０３ センサデータ処理部（位置検出部）
７０５ 反射像位置算出部
７０６ 影位置算出部
８０１ 位置補正部（距離算出部）
８０２ 距離算出部
８１１ 接触判定部（判定部）
【技術分野】
【０００１】
本発明は、撮像画面に近接または接触した撮像対象を撮像した撮像画像を解析することにより、撮像対象の位置を検出する位置検出装置に関するものである。
【背景技術】
【０００２】
ユーザの指などの撮像対象を撮像した画像を解析することにより、当該撮像対象の位置を検出し、その位置に応じた入力処理を行う装置が知られている。
【０００３】
例えば、特許文献１に記載の情報装置では、絞り部の開口度を異ならせてユーザの指を撮像した複数の画像を比較することにより、当該指が所定の領域内にあるかどうかを判定している。
【０００４】
また、特許文献２に記載のタッチパネルコントローラでは、所定の焦点距離に達した操作手の像を検出し、その２次元座標を生成している。
【０００５】
なお、赤外光を含むバックライト光の反射光を検出することにより、ユーザの指のタッチ位置を検出することは、特許文献３に記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１０４８９号公報（２００６年１月１２日公開）
【特許文献２】特開平１０−２６９０１２号公報（１９９８年１０月９日公開）
【特許文献３】国際公開第２００９／１１０２９４号パンフレット（２００９年９月１１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、特許文献１および２の発明では、ユーザの指が装置から所定の距離の範囲内にあるかどうかを判定しているだけであり、装置からユーザの指までの距離を正確に測定することはできない。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、その目的は、撮像面から撮像対象までの距離を測定することができる位置検出装置を提供することにある。また、本発明の別の目的は、撮像面から撮像対象までの距離を測定する構成を利用して、撮像対象が撮像面に接触しているかどうかを判定できる位置検出装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る位置検出装置は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出部とを備えることを特徴としている。
【００１０】
本発明に係る位置検出方法は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出工程とを含むことを特徴としている。
【００１１】
上記の構成によれば、撮像部は、撮像面に接触または近接した撮像対象を撮像した撮像画像を生成する。この撮像部は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる撮像対象の影の像を含む影画像とを撮像する。
【００１２】
内部照明部は、撮像面の内側から撮像対象に照明光を照射するため、反射光画像に含まれる反射像の位置は、撮像対象から撮像面に下ろした垂線の足の位置（反射像位置）と一致する。
【００１３】
外部照明部は、撮像面に照明光を照射する照明装置であり、撮像面に対する相対位置が固定されている。それゆえ、撮像面を含む平面を基準平面とする３次元空間において外部照明部の３次元座標は固定されている。
【００１４】
撮像対象が撮像面に接触していれば、反射像位置と影の位置とは一致し、撮像対象が撮像面から離れるに従って、両者のずれは大きくなる。この原理を利用して、位置検出部は、撮像対象の撮像面からの距離（高さ）を算出する。
【００１５】
具体的には、位置検出部の距離算出部は、反射像位置算出部が算出した反射像位置と、影位置算出部が算出した影の位置とのずれに基づいて、撮像対象の撮像面からの距離を算出する。
【００１６】
それゆえ、上記の構成により、撮像対象の撮像面からの距離を算出できる。
【００１７】
また、上記距離算出部は、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置と、上記外部照明部の位置との相対位置関係から上記撮像対象の３次元座標を算出することが好ましい。
【００１８】
上記の構成によれば、反射像位置、影の位置および外部照明部の位置の相対位置関係から撮像対象の３次元座標が算出される。この３次元座標は、例えば、撮像面を含む平面を基準平面とする３次元空間における座標である。このとき、撮像対象の撮像面からの距離は、３次元座標のｚ座標として表現される。
【００１９】
それゆえ、撮像対象の位置を３次元的に検出することができ、上記位置検出装置を、３次元的な入力操作を受け付ける入力装置として実現できる。
【００２０】
また、上記距離算出部は、上記撮像面における上記影と上記外部照明部とを結ぶ線分と、上記反射像位置から当該撮像面に対して垂直に延ばした線分との交点の上記撮像面からの距離を算出することが好ましい。
【００２１】
上記の構成によれは、撮像面における撮像対象の影と外部照明部とを結ぶ線分を第１線分とし、反射像位置から当該撮像面に対して垂直に延ばした線分を第２線分としたとき、距離算出部は、第１線分と第２線分との交点の撮像面からの距離を算出する。
【００２２】
それゆえ、反射像位置、影の位置および外部照明部の位置を用いて撮像対象の撮像面からの距離を算出できる。
【００２３】
また、上記外部照明部から上記撮像面を含む平面に下ろした垂線の足の位置を外部照明位置とすると、上記距離算出部は、上記影の位置、上記反射像位置および上記外部照明位置から推定される近似直線を算出し、算出した近似直線に上記影の位置および上記反射像位置が重なるように上記影の位置または上記反射像位置もしくはその両方を補正し、補正した位置を用いて上記距離を算出することが好ましい。
【００２４】
上記の構成によれば、距離算出部は、撮像面を含む平面上における、影の位置、反射像位置および外部照明位置の３点から代数幾何学的にもっともらしい近似直線を算出する。そして、距離算出部は、算出した近似直線上に影の位置および反射像位置が載るように上記影の位置または反射像位置もしくはその両方を補正する。
【００２５】
影の位置、反射像位置および外部照明位置は、理論的には一直線上に載るはずであるが、何らかの理由により、影の位置または反射像位置もしくはその両方が直線上に載らない場合がある。このような場合でも、上記の構成により、影の位置または反射像位置もしくはその両方を補正でき、撮像対象の撮像面からの距離を算出することができる。
【００２６】
本発明に係る位置検出装置は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像面に接触した撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定部とを備えることを特徴としている。
【００２７】
本発明に係る位置検出方法は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像面に接触した撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定工程とを含むことを特徴としている。
【００２８】
上記の構成によれば、撮像部は、撮像面に接触または近接した撮像対象を撮像した撮像画像を生成する。この撮像部は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる撮像対象の影の像を含む影画像とを撮像する。
【００２９】
内部照明部は、撮像面の内側から撮像対象に照明光を照射するため、反射光画像に含まれる反射像の位置は、撮像対象から撮像面に下ろした垂線の足の位置（反射像位置）と一致する。
【００３０】
外部照明部は、撮像面に照明光を照射する照明装置であり、撮像面に対する相対位置が固定されている。それゆえ、撮像面を含む平面を基準平面とする３次元空間において外部照明部の３次元座標は固定されている。
【００３１】
撮像対象が撮像面に接触していれば、反射像位置と影の位置とは一致し、撮像対象が撮像面から離れるに従って、両者のずれは大きくなる。この原理を利用して、位置検出部は、撮像対象が撮像面に接触しているかどうかを判定する。
【００３２】
具体的には、位置検出部は、撮像面に接触した撮像対象の位置を検出するものであり、反射像位置算出部、影位置算出部および判定部を備えている。判定部は、反射像位置算出部が算出した反射像位置と、影位置算出部が算出した影の位置とのずれに基づいて撮像対象が撮像面に接触しているかどうかを判定する。
【００３３】
それゆえ、上記の構成により、撮像対象が撮像面に接触しているかどうかを判定できる。
【００３４】
また、上記外部照明部から出射される照明光の波長領域と、上記内部照明部から出射される照明光の波長領域とは異なっており、上記撮像部は、上記外部照明部の照明光を受光する第１受光素子および上記内部照明部の照明光を受光する第２受光素子を備えており、上記第１受光素子により上記影画像を生成し、上記第２受光素子により上記反射光画像を生成することが好ましい。
【００３５】
影画像と反射光画像とを時間差を設けて順次撮像した場合には、その時間差の間に撮像対象が移動した場合には、撮像対象の位置が正確に検出することが困難になるという問題が生じる。
【００３６】
上記の構成によれば、外部照明部から出射される照明光の波長領域と、内部照明部から出射される照明光の波長領域とは異なっている。例えば、外部照明部から出射される照明光は可視光であり、内部照明部から出射される照明光は赤外光である。
【００３７】
そして、撮像部は、外部照明部の照明光を受光する第１受光素子により影画像を生成し、内部照明部の照明光を受光する第２受光素子により反射光画像を生成する。
【００３８】
それゆえ、影画像と反射光画像とを同時に撮像することが可能となり、撮像対象の位置を判定する精度を高めることができる。
【発明の効果】
【００３９】
以上のように、本発明に係る位置検出装置は、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出部とを備える構成である。
【００４０】
また、本発明に係る位置検出方法は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像部によって撮像する撮像工程と、上記撮像対象から撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出工程とを含む構成である。
【００４１】
それゆえ、撮像対象の撮像面からの距離を算出できるという効果を奏する。
【００４２】
また、本発明に係る位置検出装置は、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像面に接触した撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定部とを備える構成である。
【００４３】
また、本発明に係る位置検出方法は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像部によって撮像する撮像工程と、上記撮像対象から撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定工程とを含む構成である。
【００４４】
それゆえ、撮像対象が撮像面に接触しているかどうかを判定できるという効果を奏する。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態に係るデータ表示／センサ装置が備える主制御部の構成を示す機能ブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置の外観を示す概略図である。
【図３】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置が備えるバックライトの構成を示す図である。
【図５】図５（ａ）は、センサ内蔵液晶パネルが備える赤外光センサの構成を示す概略図であり、図５（ｂ）はセンサ内蔵液晶パネルが備える可視光センサの構成を示す概略図である。
【図６】センサ内蔵液晶パネルにおける赤外光センサおよび可視光センサの配置様式を示す図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図８】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図９】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図１０】図９に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図１１】図１１（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図１１（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているとき、またはユーザがセンサ内蔵液晶パネルに指をかざしたときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図１２】部分画像データの代表座標Ｚの別の算出方法を示す図である。
【図１３】本発明の一実施形態に係るデータ表示／センサ装置が備える表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図１４】図１４（ａ）〜（ｃ）は、上記データ表示／センサ装置が備える距離算出部における位置算出処理を説明するための図である。
【図１５】図１５（ａ）および（ｂ）は、上記データ表示／センサ装置が備える位置補正部における座標補正処理を説明するための図である。
【図１６】上記データ表示／センサ装置における処理の流れの一例を示すフローチャートである。
【図１７】上記データ表示／センサ装置の入力表示画面に対する入力操作の一例を示す図である。
【図１８】本発明の別の実施形態に係るデータ表示／センサ装置が備える主制御部の構成を示す機能ブロック図である。
【図１９】接触判定処理の原理について説明するための図であり、図１９（ａ）は指先が入力表示画面から離れている状態を示す図であり、図１９（ｂ）は指先が入力表示画面に近接している状態を示す図である。
【図２０】上記データ表示／センサ装置における処理の流れの一例を示すフローチャートである。
【図２１】図２１（ａ）および（ｂ）は、上記データ表示／センサ装置における入力操作の一例を示す図である。
【図２２】上記データ表示／センサ装置の変更例を示す図である。
【発明を実施するための形態】
【００４６】
〔実施の形態１〕
本発明の実施の一形態について図１〜図１７に基づいて説明すれば、以下のとおりである。
【００４７】
（データ表示／センサ装置１００の概略構成）
図２は、本実施形態のデータ表示／センサ装置（位置検出装置、入力装置）１００の外観を示す概略図である。同図に示すように、データ表示／センサ装置１００は、テーブル型パーソナルコンピュータであり、表示／光センサ部（撮像部）３００と本体１０４とを有するテーブル１０３を備えている。表示／光センサ部３００は、テーブル１０３の天板として機能する板状の部材であり、いわゆる光センサ内蔵液晶表示装置である。
【００４８】
表示／光センサ部３００は、複数の光センサ（撮像センサ）を内蔵したセンサ内蔵液晶パネル３０１を備えており、このセンサ内蔵液晶パネル３０１によって、入力表示画面（撮像面）３０２に対して入力操作するユーザの指先、またはタッチペンなどの指示部材の先端（以下、指先等と称することがある）を撮像する。入力表示画面３０２に対する入力操作には、入力表示画面３０２をタッチすることによる入力操作に加えて、入力表示画面３０２から離れた位置で３次元的に指先等を動かすことによる入力操作が含まれる。すなわち、撮像面である入力表示画面３０２に対して撮像対象は接触または近接する。
【００４９】
データ表示／センサ装置１００は、撮像した画像を解析することにより、指先等の位置を算出する。この位置には、撮像画像における２次元的な位置（換言すれば、入力表示画面３０２上に指先等を投影した場合の投影像の、入力表示画面３０２における２次元座標（Ｘ座標およびＹ座標））と、入力表示画面３０２から指先等までの距離（Ｚ座標）との両方の情報が含まれる。
【００５０】
テーブル１０３の天板としての表示／光センサ部３００の四隅の一箇所に、支柱１０２が立てられており、この支柱１０２の先端に外部照明（外部照明部）１０１が設けられている。この外部照明１０１は、入力表示画面３０２に対して相対的に固定された位置から入力表示画面３０２に照明光である可視光（波長：約３８０ｎｍ〜７５０ｎｍ）を照射する照明装置である。この外部照明１０１は、例えば、白色ＬＥＤを備える照明装置である。外部照明１０１は、入力表示画面３０２に対して所定の角度で設置されており、外部照明１０１から出射される照明光が入力表示画面３０２の全面に照射されるように設定されている。
【００５１】
外部照明１０１の照明光の光軸は、入力表示画面３０２に対して垂直よりも傾いている。上記光軸が入力表示画面３０２に対して垂直であれば、後述する反射像と撮像対象の影とが、撮像対象の入力表示画面３０２からの距離に関わらず重なってしまうからである。
【００５２】
データ表示／センサ装置１００のユーザは、外部照明１０１が設置されている側とは反対側に位置して入力操作を行う。換言すれは、外部照明１０１は、ユーザと対向する側に設置されていることが好ましい。
【００５３】
なお、入力操作を検出する領域が入力表示画面３０２の一部である場合には、当該領域およびその周囲に外部照明１０１からの照明光が照射されればよい。
【００５４】
外部照明１０１から照明光が照射されている状態で、ユーザが指先等により入力操作を行うと、指先等の影が入力表示画面３０２上に形成される。センサ内蔵液晶パネル３０１は、この外部照明１０１からの照明光によって生じる指先等の影の像を含む影画像を撮像する。
【００５５】
また、詳細については後述するが、センサ内蔵液晶パネル３０１は、バックライト（内部照明部）３０７（図３参照）からの照明光である赤外光が指先等に反射することによって生じる反射像を含む反射光画像も撮像する。
【００５６】
そして、データ表示／センサ装置１００は、反射光画像における反射像の位置と、影画像における影の位置と、予め定められた外部照明部の入力表示画面３０２に対する相対位置とから指先等の入力表示画面３０２からの距離を算出する。この距離の算出方法については後述する。
【００５７】
次に、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。なお、以下では、指先および指示部材を総称して対象物または撮像対象と称することがある。
【００５８】
（センサ内蔵液晶パネルの概要）
データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指先等でポインティング（タッチ）または非接触的な入力操作した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００５９】
図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。
【００６０】
同図に示すように、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２ａ・３２ｂ（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。
【００６１】
（バックライト３０７の構成）
センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。図４は、バックライト３０７の構成を示す図である。同図に示すように、バックライト３０７は、表示用バックライト光源としての複数の白色ＬＥＤ（Light Emitting Diode）３１０および認識用バックライト光源（内部照明部）としての赤外光ＬＥＤ３１１を備えている。白色ＬＥＤ３１０は、センサ内蔵液晶パネル３０１で表示を行うための可視光を出射する。赤外光ＬＥＤ３１１は、主に赤外光を含む光を出射するＬＥＤであり、指先等を認識するために当該指先等に対して光照射する。指先等に反射した赤外光は、後述する赤外光センサ６１によって受光される。
【００６２】
白色ＬＥＤ３１０は、フレキシブルプリント基板３２６の上において導光板３２４の側面に沿って配列され、赤外光ＬＥＤ３１１は導光板３２４の背面側に配置された回路基板３２７の上において２次元的に配置されている。
【００６３】
なお、バックライト３０７には、２枚のレンズシート３２１・３２２、拡散シート３２３および反射シート３２５が設けられている。
【００６４】
バックライト３０７の構成、特に、白色ＬＥＤ３１０および赤外光ＬＥＤ３１１の配置は、上述のものに限定されない。例えば、白色ＬＥＤ３１０および赤外光ＬＥＤ３１１を導光板３２４の側面に配置してもよい。また、表示用バックライトおよび認識用バックライトを別々に形成し、これらのバックライトを、バックライト光の出射方向において重ねてもよい。
【００６５】
また、表示用バックライト光源および認識用バックライト光源として冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものを用いてもよい。
【００６６】
（赤外光センサ６１および可視光センサ６２の構成）
センサ内蔵液晶パネル３０１は、赤外光センサ６１および可視光センサ６２を内蔵しているため、表示だけではなく画像の撮像が可能である。それゆえ、センサ内蔵液晶パネル３０１は、指先等の撮像対象を撮像する撮像面として機能する。
【００６７】
図５（ａ）は赤外光センサ６１の構成を示す概略図であり、図５（ｂ）は可視光センサ６２の構成を示す概略図である。赤外光センサ６１および可視光センサ６２は、フォトダイオードまたはフォトトランジスタで形成されており、受光した光の強度に応じた電流を流すことによって、受光量を検知する。これら赤外光センサ６１および可視光センサ６２は、アクティブマトリクス基板５１Ａ上に設けられており、可視光および赤外光を受光できる光センサ素子である。
【００６８】
赤外光センサ６１の光入射側（対向基板５１Ｂの側）には、主に可視光をカットして赤外光を透過する光学フィルタ６３が設けられている。一方、可視光センサ６２の光入射側には、主に赤外光をカットして可視光を透過する光学フィルタ６４が設けられている。光学フィルタ６３・６４の組成は、特に限定されないが、例えば、カラーフィルタの積層構造として実現することができる。赤外光センサ６１と可視光センサ６２とは光センサそのものは同じであるが、光入射側に設けられた光学フィルタの種類が異なるため、赤外光センサ６１は主に赤外光を受光し、可視光センサ６２は、主に可視光を受光する。
【００６９】
具体的には、赤外光センサ６１は、赤外光ＬＥＤ３１１から出射され、指先等に反射した赤外光を主に受光する。また、可視光センサ６２は、外部照明１０１から出射された照明光を主に受光する。そのため、赤外光センサ６１からの出力値によって形成された画像（反射光画像）には、指先等に赤外光が反射することによって形成される指先等の像（反射像）が含まれる。また、可視光センサ６２からの出力値によって形成された画像（影画像）には、外部照明１０１から出射された照明光が指先等によって遮られることで形成される指先等の影の像が含まれる。
【００７０】
すなわち、外部照明１０１から出射される照明光の波長領域と、赤外光ＬＥＤ３１１から出射される照明光の波長領域とは異なっている。そして、表示／光センサ部３００は、外部照明１０１の照明光を受光する可視光センサ（第１受光素子）６２および赤外光ＬＥＤ３１１の照明光を受光する赤外光センサ（第２受光素子）６１を備えており、可視光センサ６２により影画像を生成し、赤外光センサ６１により反射光画像を生成する。
【００７１】
なお、データ表示／センサ装置１００が載置された場所が明るい場合には、可視光センサ６２は、外部照明１０１の照明光以外の可視光を受光する可能性がある。この場合、外部照明１０１の照明光以外の可視光によって生じる指先等の影を検出する可能性がある。それゆえ、データ表示／センサ装置１００を載置する場所は比較的暗い場所が好ましい。
【００７２】
または、外部照明１０１から出射される可視光の強さを、データ表示／センサ装置１００が設置されている環境における環境光（例えば、室内における照明光）よりも強くし、最も濃い影の像（例えば、当該影の像を構成する画素の画素値の平均値が最も小さい影の像）を指先等の影の像であると認識してもよい。
【００７３】
また、データ表示／センサ装置１００を暗い場所に設置する場合には、外部照明１０１から赤外光を出射することにより指先等の影を形成し、その影の像を撮像するとともに、白色ＬＥＤ３１０から可視光を出射することにより反射像を形成し、その反射像を撮像してもよい。この場合、影画像は赤外光センサ６１からの出力値によって形成され、反射光画像は可視光センサ６２からの出力値によって形成される。
【００７４】
光学フィルタ６３・６４の組成は、特に限定されないが、例えば、カラーフィルタの積層構造として実現することができる。
【００７５】
なお、光学フィルタ６３・６４を設けずに、赤外光センサ６１を、赤外光を主に受光する光センサ素子で形成し、可視光センサ６２を、可視光を主に受光する光センサ素子で形成してもよい。
【００７６】
赤外光センサ６１または可視光センサ６２は、センサ内蔵液晶パネル３０１の各画素に対して１つずつ設けられている。図３では、赤外光センサ６１は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤外光センサ６１（または可視光センサ６２）を、赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００７７】
図６は、赤外光センサ６１および可視光センサ６２の配置様式を示す図である。同図では、赤外光センサ６１を「Ａ」で、可視光センサ６２を「Ｂ」で表している。同図に示すように、マトリクス状に配置されたセンサ内蔵液晶パネル３０１の画素に対して、赤外光センサ６１および可視光センサ６２を互い違いに（千鳥格子状に）配置してもよい。この場合、赤外光センサ６１および可視光センサ６２によって市松模様が形成される。
【００７８】
なお、赤外光センサ６１の列と可視光センサ６２の列とを交互に配置するなど、上述以外の配置にしてもよい。
【００７９】
赤外光センサ６１から出力された反射光画像および可視光センサ６２から出力された影画像は、センサ内蔵液晶パネル３０１の全画素に対して設けられた光センサから出力された画像と比較すると、その解像度は１／２になる。そのため、反射光画像および影画像において欠落している画素を補間してもよい。この補間は、線形補間など公知の技術によって行えばよい。
【００８０】
次に、図７（ａ）および図７（ｂ）を参照しながら、センサ内蔵液晶パネル３０１に接触または近接した指先等の撮像対象を撮像する２種類の方法について説明する。
【００８１】
図７（ａ）は、撮像対象の反射像を撮像する様子を示す模式図である。バックライト３０７の赤外光ＬＥＤ３１１から赤外光７１が出射されると、赤外光センサ６１を含む光センサ回路３２ａは、指７２などの撮像対象により反射された赤外光７１を検出する。これにより、センサ内蔵液晶パネル３０１は、撮像対象の反射像（反射光画像）を生成することができる。
【００８２】
また、図７（ｂ）は、撮像対象の影像を撮像する様子を示す模式図である。図７（ｂ）に示すように、可視光センサ６２を含む光センサ回路３２ｂは、対向基板５１Ｂなどを透過した外部照明１０１からの外光７３を検出する。しかしながら、ペン７４などの撮像対象がある場合は、外光７３の入射が妨げられるので、光センサ回路３２ｂが検出する光量が減る。これにより、センサ内蔵液晶パネル３０１は、撮像対象の影の像（影画像）を生成することができる。
【００８３】
後述するように撮像対象の撮像は、所定の時間間隔で行われるが、反射光画像と影画像とは同時に撮像される。
【００８４】
（データ表示／センサ装置の要部構成）
次に、図８を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図８は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。
【００８５】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００８６】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２ａ・３２ｂを含んで構成される。光センサ回路３２ａは、赤外光センサ６１を含んでおり、光センサ回路３２ｂは、可視光センサ６２を含んでいる。
【００８７】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００８８】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部（表示制御手段）６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００８９】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２ａおよび３２ｂを駆動する回路である。光センサ回路３２ａ・３２ｂの駆動方法の詳細については後述する。
【００９０】
信号変換回路３０６は、光センサ回路３２ａ・３２ｂから出力されるセンサ出力信号（ＳＳ）をそれぞれデジタル信号（ＤＳ）に変換し、変換後の信号を、光センサ回路３２ａから出力された信号と光センサ回路３２ｂから出力された信号とを区別してセンサ制御部６０２に送信する回路である。
【００９１】
センサ内蔵液晶パネル３０１の背面に配置されたバックライト３０７の白色ＬＥＤ３１０および赤外光ＬＥＤ３１１は、バックライト駆動回路３０８から電源電圧が印加されると点灯し、センサ内蔵液晶パネル３０１および撮像対象に光を照射する。
【００９２】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３から白色ＬＥＤ３１０を制御するための制御信号（ＢＫ）および赤外光ＬＥＤ３１１を制御するための制御信号（ＢＫ）を受信する。そして、制御信号（ＢＫ）がハイレベルであるときは、受信した制御信号に対応する白色ＬＥＤ３１０または赤外光ＬＥＤ３１１に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００９３】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００９４】
表示制御部６０１（表示制御手段）は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００９５】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００９６】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００９７】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２ａから出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、反射光画像データを生成する。また、センサ制御部６０２は、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２ｂから出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、影画像データを生成する。そして、生成した反射光画像データおよび影画像データをセンサデータ処理部７０３に送信する。
【００９８】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。このとき、バックライト制御部６０３は、白色ＬＥＤ３１０を制御するための制御信号および／または赤外光ＬＥＤ３１１を制御するための制御信号をバックライト駆動回路３０８に送信する。
【００９９】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【０１００】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【０１０１】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【０１０２】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【０１０３】
センサデータ処理部（位置検出部）７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１０４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データ（反射光画像データおよび影画像データ）を受信し、当該画像データをそのまま画像データバッファ７０４に格納する。より詳細には、センサデータ処理部７０３は、赤外光センサ６１および可視光センサ６２が同じ撮像タイミングでそれぞれ生成した画像データ（反射光画像データおよび影画像データ）を、互いに対応付けて格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。このとき、センサデータ処理部７０３は、送信する画像データが反射光画像のデータであるか、影画像のデータであるかを特定できる情報を当該画像データに付加する。
【０１０５】
なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【０１０６】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【０１０７】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、上記アプリケーションプログラムは、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。なお、「データ種別」のコマンドには、要求する画像（または代表座標）が反射光画像（またはその代表座標）なのか影画像（またはその代表座標）なのかを特定する情報が含まれている。
【０１０８】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【０１０９】
次に、記憶部９０１は、図８に示すように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【０１１０】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【０１１１】
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【０１１２】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【０１１３】
（コマンドの詳細）
次に、図９および図１０を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図９は、コマンドのフレーム構造の一例を模式的に示す図である。また、図１０は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【０１１４】
図９に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図１０に示す値が指定可能である。
【０１１５】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【０１１６】
次に、「データ取得タイミング」フィールドは、データ（反射光画像および影画像、またはそれらの代表座標）を主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１１７】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【０１１８】
また、“イベント”は、センサ制御部６０２から受信する画像データ（反射光画像データまたは影画像データ）に変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【０１１９】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２ａ・３２ｂにてスキャンを行う周期と一致する。
【０１２０】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。この「データ種別」フィールドには、要求する画像（または代表座標）が反射光画像（またはその代表座標）なのか影画像（またはその代表座標）なのかを特定する情報が含まれている。
【０１２１】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのもの（反射光画像データまたは影画像データ）を主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１２２】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データ（反射光画像データまたは影画像データ）から、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。このとき、センサデータ処理部７０３は、送信する部分画像データが反射光画像なのか影画像なのかを特定する情報を当該部分画像データに付加する。
【０１２３】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【０１２４】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。このとき、センサデータ処理部７０３は、送信する座標データが示す座標が反射光画像についてのものなのか影画像についてのものなのかを特定する情報を当該座標データに付加する。
【０１２５】
なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【０１２６】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１２７】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。この「スキャン方式」フィールドは、白色ＬＥＤ３１０および赤外光ＬＥＤ３１１のそれぞれを点灯するか否かを指定することができるものである。
【０１２８】
“反射”は、バックライト３０７を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１２９】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８を動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。
【０１３０】
反射光画像を撮像するときには、赤外光ＬＥＤ３１１は点灯され、影画像を撮像するときには、白色ＬＥＤ３１０は消灯される。撮像対象の高さを検出するときには、反射光画像と影画像とは同時に撮像されるため、赤外光ＬＥＤ３１１に対しては“反射”のコマンドが送信され、白色ＬＥＤ３１０に対しては“透過”のコマンドが送信される。
【０１３１】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。この「スキャン画像階調」フィールドは、反射光画像と影画像とに共通のものであってもよいし、個別に指定できるものであってもよい。
【０１３２】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１３３】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１３４】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。この「スキャン解像度」フィールドは、反射光画像と影画像とに共通のものであってもよいし、個別に指定できるものであってもよい。
【０１３５】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１３６】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１３７】
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１３８】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１３９】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１４０】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１４１】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１４２】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１４３】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【０１４４】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１４５】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１４６】
（全体画像データ／部分画像データ／座標データ）
次に、図１１を参照しながら、反射光画像に関する全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図１１（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図１１（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データ（反射光画像データ）である。
【０１４７】
赤外光ＬＥＤ３１１が点灯している状態でユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、または、ユーザがセンサ内蔵液晶パネル３０１に指をかざしたとき、当該指先の近傍の光センサ回路３２ａが受光する光量が変化するため、当該光センサ回路３２ａが出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザの指先の像の画素値の明度に変化が生じることとなる。
【０１４８】
図１１（ｂ）に示す画像データでは、図１１（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図１１（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１４９】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１５０】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１５１】
図１２は、部分画像データ（領域ＰＰ）の代表座標Ｚの別の算出方法を示す図である。同図に示すように、入力表示画面３０２を指示する指または指示部材の先端が最も入力表示画面３０２に近いため、当該先端が赤外光ＬＥＤ３１１からの照明光を受けて最も明るくなる。それゆえ、部分画像データにおける最も大きいレベルの画素値を有する領域の中心（または重心）の座標を代表座標Ｚとしてもよい。最も大きいレベルの画素値を有する領域とは、例えば、画素値の大きい順に画素を並べた場合の最上位から所定の順位まで（例えば、上位２０％）の画素によって形成される領域である。
【０１５２】
（センサ内蔵液晶パネルの構成）
次に、図１３を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図１３は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１５３】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２ａ・３２ｂを備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１５４】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１５５】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１５６】
次に、光センサ回路３２ａおよび光センサ回路３２ｂは、その一方が、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１５７】
光センサ回路３２ａ・３２ｂにて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２ａ・３２ｂがそれぞれ受光した光量を算出することができる。
【０１５８】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１５９】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１６０】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１６１】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１６２】
光センサ駆動回路３０５は、光センサ回路３２ａおよび光センサ回路３２ｂを駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１６３】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１６４】
（センサデータ処理部７０３および主制御部８００の構成）
次に、図１を参照しつつ、センサデータ処理部７０３および主制御部８００の構成について説明する。図１は、センサデータ処理部７０３および主制御部８００の構成を示す機能ブロック図である。
【０１６５】
（センサデータ処理部７０３）
図１に示すように、センサデータ処理部７０３は、反射像位置算出部７０５および影位置算出部７０６を備えている。
【０１６６】
反射像位置算出部７０５は、入力表示画面３０２に近接または接触した指先等に対して赤外光ＬＥＤ３１１からの照明光が照射されることによって生じる反射像を入力表示画面３０２に投影したときの投影像（便宜上、これも反射像と称する）の位置を、センサ制御部６０２から出力される反射光画像から算出する。換言すれば、反射像位置算出部７０５は、撮像対象から入力表示画面３０２に下ろした垂線の足の位置である反射像位置を反射光画像から算出する。
【０１６７】
影位置算出部７０６は、外部照明１０１からの照明光によって生じる指先等の影の、入力表示画面３０２における位置を、センサ制御部６０２から出力される影画像から算出する。
【０１６８】
（主制御部８００）
主制御部８００は、位置補正部８０１、距離算出部８０２、動作判定部８０３および表示画像生成部８０４を備えている。
【０１６９】
位置補正部８０１は、反射像位置算出部７０５が算出した反射像の先端部の位置（反射像位置）（ｘおよびｙ座標）と、影位置算出部７０６が算出した影の先端部の位置（ｘおよびｙ座標）と、外部照明１０１の位置（例えば、外部照明１０１が有する発光部の中心または重心）とを取得する。そして、外部照明１０１を入力表示画面３０２を含む平面上に投影したときの像を照明部投影像とすると、位置補正部８０１は、指先等の影の先端部、反射像の先端部および照明部投影像の中心の位置（外部照明位置）から推定される近似直線を算出し、算出した近似直線に影の先端部の位置および反射像の先端部の位置が重なるように影の先端部の位置または反射像の先端部の位置もしくはその両方を補正する。
【０１７０】
照明部投影像の中心の位置は、外部照明１０１の中心から入力表示画面３０２を含む平面に下ろした垂線の足の位置である。
【０１７１】
なお、以下では、反射像の先端部の位置を単に反射像の位置と称し、影の先端部の位置を単に影の位置と称することがある。
【０１７２】
距離算出部８０２は、位置補正部８０１が補正した反射像の位置（ｘおよびｙ座標）および影の位置（ｘおよびｙ座標）と、外部照明１０１の位置（ｘ、ｙおよびｚ座標）とに基づいて撮像対象である指先等の入力表示画面３０２からの距離（ｚ座標）を算出する。換言すれば、距離算出部８０２は、反射像の位置と、影の位置と、外部照明１０１の位置との相対位置関係から撮像対象の３次元座標を算出する。
【０１７３】
具体的には、距離算出部８０２は、入力表示画面３０２における指先等の影と外部照明１０１とを結ぶ線分と、入力表示画面３０２に投影した反射像の位置から入力表示画面３０２に対して垂直に延ばした線分との交点の座標を指先等の座標として算出する。換言すれば、距離算出部８０２は、入力表示画面３０２における撮像対象の影と外部照明部とを結ぶ線分と、反射像の位置から当該撮入力表示画面３０２に対して垂直に延ばした線分との交点の入力表示画面３０２からの距離を算出する。
【０１７４】
なお、位置補正部８０１によって補正が行われなかった場合には、距離算出部８０２は、反射像位置算出部７０５が算出した反射像の位置と、影位置算出部７０６が算出した影の位置と、外部照明１０１の位置とに基づいて撮像対象である指先等の入力表示画面３０２からの距離を算出する。
【０１７５】
また、位置補正部８０１と距離算出部８０２とを距離算出部として捉えることもできる。
【０１７６】
動作判定部８０３は、反射像位置算出部７０５が算出した反射像の位置（すなわち、指先等のｘおよびｙ座標）と距離算出部８０２が算出した、指先等の入力表示画面３０２からの距離（ｚ座標）とを経時的に取得し、取得した指先等の軌跡と所定の動作パターンとを比較する。そして、動作判定部８０３は、指先等の軌跡が所定の動作パターンに一致した場合には、当該所定の動作パターンを特定する情報と、指先等の軌跡（移動方向および移動量）を示す情報とを表示画像生成部８０４へ出力する。
【０１７７】
表示画像生成部８０４は、動作判定部８０３が判定した動作に対応する画像を生成し、表示データ処理部７０１へ出力する。
【０１７８】
なお、主制御部８００は、動作判定部８０３が判定した動作に応じた入力処理を行う入力処理部を備えていればよく、表示画像生成部８０４は、入力処理部の一例である。例えば、表示画像生成部８０４の代わりに、動作判定部８０３が判定した動作に応じた演算を行う演算部を設けてもよい。
【０１７９】
（センサデータ処理部７０３における処理の詳細）
反射像位置算出部７０５は、図１１および図１２を用いて説明したように、反射光画像に含まれる指または指示部材の先端部のｘおよびｙ座標を算出する。このとき反射像位置算出部７０５は、画素値が所定の閾値より大きい画素値によって形成される領域の中心または重心の座標を上記先端部の座標として算出してもよいし、部分画像に含まれる画素を、その画素値の大きい順に並べた場合の最上位から所定の順位までの画素（例えば、上位２０％の画素）によって形成される領域の中心または重心の座標を上記先端部の座標として算出してもよい。
【０１８０】
影位置算出部７０６は、影画像に含まれる影の像の先端部のｘおよびｙ座標を算出する。このとき、影位置算出部７０６は、指先または指示部材の先端部の形状を示す所定のパターンとのパターンマッチングを行うことで影の像の先端部を検出する。
【０１８１】
または、影位置算出部７０６は、図１１（ｂ）に示した反射光画像における代表座標Ｚと同様の座標を、影画像に含まれる影の像の輪郭から算出してもよい。すなわち、反射光画像における反射像の輪郭と代表座標Ｚとの位置関係と同様の位置関係を示す座標を影画像における影の像の輪郭から算出し、影の像の代表座標Ｚとしてもよい。反射像の代表座標Ｚと影の像の代表座標Ｚと照明部投影像の中心位置とが一直線上に載らない場合には、位置補正部８０１によって位置ズレが補正されるため、多少の位置ズレが生じても大きな問題にはならない。
【０１８２】
また、影画像に複数の影の像が含まれている場合には、反射像位置算出部７０５は、複数の影の像のうち、最も濃い影の像（例えば、当該影の像を構成する画素の画素値の平均値が最も小さい影の像）を指先等の影の像であると認識すればよい。
【０１８３】
（距離算出部８０２における処理の詳細）
次に、距離算出部８０２において指先等の位置を算出する処理の詳細について説明する。図１４（ａ）〜（ｃ）は、距離算出部８０２における位置算出処理を説明するための図である。同図では、ｘ軸およびｙ軸によって規定される平面は、入力表示画面３０２を含む平面であり、ｚ軸は入力表示画面３０２からの距離を表している。この３次元座標空間において、反射像の先端部の位置を点Ａで示し、影の先端部の位置を点Ｂで、外部照明１０１の位置（照明光の発光部の中心または重心）を点Ｌで、指先等の位置を点Ｐで示している。点Ａの座標を（ｘ１，ｙ１，０）とし、点Ｂの座標を（ｘ２，ｙ２，０）、点Ｌの座標を（ｘｌ，ｙｌ，ｚｌ）、点Ｐの座標を（ｘｏ，ｙｏ，ｚｏ）としている。また、照明部投影像の位置を点Ｄで示している。
【０１８４】
図１４（ａ）は、点Ｌ、点Ａおよび点Ｂを含む３次元座標空間を示す図である。図１４（ｂ）は、点Ｌ、点Ａおよび点Ｂを含む平面を示す図である。図１４（ｃ）は、図１４（ａ）をｚ軸方向から見た場合の点Ｌ（点Ｄ）、点Ａおよび点Ｂの位置関係を示す図である。
【０１８５】
理論的には、点Ｌ、点Ｐおよび点Ｂは一直線上に位置し、点Ａのｘ座標およびｙ座標は、点Ｐのｘ座標およびｙ座標と一致する。
【０１８６】
図１４（ｂ）に示すように、照明部投影像の位置を点Ｄで示すと、三角形ＡＢＰと、三角形ＤＢＬとは相似であるため、次の（１）式の関係が成り立つ。
【０１８７】
ＡＰ：ＤＬ＝ＢＡ：ＢＤ ・・・（１）
図１４（ｃ）に示すように、ｘｙ平面をＺ軸方向から見ると、
ＢＡ：ＢＤ＝（ｘ２−ｘ１）：（ｘ２−ｘｌ） ・・・（２）
という関係が成り立つのが分かる。
【０１８８】
（２）式（１）に代入し、変形すると、次の（３）式が得られる。
【０１８９】
ＡＰ＝ＤＬ×（ｘ２−ｘ１）／（ｘ２−ｘｌ） ・・・（３）
ＡＰ＝ｚｏ、ＤＬ＝ｚｌであるため、次の（４）式が得られる。
【０１９０】
ｚｏ＝ｚｌ×（ｘ２−ｘ１）／（ｘ２−ｘｌ） ・・・（４）
（４）式から点Ｐのｚ座標であるｚｏ（すなわち、指先等の入力表示画面３０２からの距離）を算出できる。
【０１９１】
（４）式において、ｚｌおよびｘｌは所定の値であるため、点Ｐのｚ座標は、点Ａおよび点Ｂのｘ座標によって変化することが分かる。特に、ｘ２−ｘ１は、点Ａおよび点Ｂのｘ座標のずれを表しており、距離算出部８０２は、反射像の位置と影の位置とのずれに基づいて、指先等の入力表示画面３０２からの距離を算出していることが理解できるであろう。
【０１９２】
なお、位置補正部８０１における、指先等の入力表示画面３０２からの距離を算出する方法は、上述のものに限定されず、幾何学的に可能な他の算出方法を用いてもよい。
【０１９３】
（位置補正部８０１における処理の詳細）
次に、位置補正部８０１における座標補正処理の詳細について説明する。図１５（ａ）および（ｂ）は、位置補正部８０１における座標補正処理を説明するための図である。図１５（ａ）は、点Ｌ、点Ａおよび点Ｂを含む３次元座標空間を示す図である。図１５（ｂ）は、図１５（ａ）をｚ軸方向から見た場合のｘｙ座標平面を示す図である。理想的には、点Ｌのｘｙ座標平面への投影点Ｄ、点Ａおよび点Ｂは、一直線上に載る。しかし、なんらかの理由により、３点が一直線上に載らない場合がある。
【０１９４】
位置補正部８０１は、点Ｄ、点Ａおよび点Ｂからもっともらしい直線を算出し、算出した直線上に点Ｄ、点Ａおよび点Ｂが載るように各点の座標を補正する。上記直線は、最小自乗法によって算出すればよい。
【０１９５】
この場合、点Ｄの座標を固定して点Ａおよび点Ｂの座標を補正してもよいし、点Ｄの座標を固定して点Ａまたは点Ｂのいずれか一方の座標を補正してもよい。また、座標を補正する場合、点Ａまたは点Ｂの一方のｙ座標のみを補正すればよく、ｘ座標を補正する必要は必ずしもない。
【０１９６】
この構成により、上記３点が一直線上に載らない場合でも、点Ｐのｚ座標の算出精度を高めることができる。
【０１９７】
（データ表示／センサ装置１００における処理の流れ）
次に、データ表示／センサ装置１００において、指先等の入力表示画面３０２からの距離（点Ｐのｚ座標）を算出する処理（位置検出方法）の流れの一例について説明する。図１６は、データ表示／センサ装置１００における処理の流れの一例を示すフローチャートである。
【０１９８】
まず、主制御部８００は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０１９９】
データ処理部７００のセンサデータ処理部７０３は、受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３を介して、表示／光センサ部３００に、反射光画像および影画像を撮像する指示を与える。
【０２００】
この指示に従って、表示／光センサ部３００は、赤外光ＬＥＤ３１１を点等させた状態での光センサ回路３２ａによる反射光画像の撮像と、白色ＬＥＤ３１０を消灯させた状態での光センサ回路３２ｂによる影画像の撮像とを同時に、所定の時間間隔で行う（撮像工程）（Ｓ１）。そして、表示／光センサ部３００は、撮像した反射光画像および影画像をセンサデータ処理部７０３へ順次、所定の時間間隔で出力する。
【０２０１】
反射光画像に変化が生じた場合（すなわち、反射光画像に指先の像が含まれた場合）、反射像位置算出部７０５は、反射光画像に含まれる反射像の先端部のｘｙ座標を算出し（反射像位置算出工程）、算出したｘｙ座標を示す座標データを位置補正部８０１へ出力する（Ｓ２）。
【０２０２】
また、影画像に変化が生じた場合（すなわち、影画像に指先の像が含まれた場合）、影位置算出部７０６は、影画像に含まれる影の像の先端部のｘｙ座標を算出し（影位置算出工程）、算出したｘｙ座標を示す座標データを位置補正部８０１へ出力する（Ｓ３）。
【０２０３】
このとき、反射像位置算出部７０５から出力される反射像のｘｙ座標と、影位置算出部７０６から出力される影の像のｘｙ座標とは、同時に撮像された反射光画像および影画像からそれぞれ算出された座標どうしで互いに対応付けられて出力される。例えば、同時に撮像された反射光画像および影画像のそれぞれから算出された反射像のｘｙ座標と影の像のｘｙ座標とに同じ撮像タイミングを示す番号が付与されればよい。
【０２０４】
位置補正部８０１は、反射像のｘｙ座標と影の像のｘｙ座標と外部照明１０１のｘｙ座標とから、これらの座標が示す３点またはその近傍を通る直線を最小自乗法により算出し、算出した直線に反射像のｘｙ座標および影の像のｘｙ座標が載るように、当該ｘｙ座標を補正する（Ｓ４）。
【０２０５】
位置補正部８０１は、補正した座標を示す座標データを距離算出部８０２へ算出する。なお、外部照明１０１の座標は、記憶部９０１に格納されており、位置補正部８０１は、記憶部９０１から外部照明１０１のｘｙ座標を取得すればよい。
【０２０６】
距離算出部８０２は、上述のように、位置補正部８０１が補正した反射像のｘ座標および影のｘ座標と、外部照明１０１のｘ座標およびｚ座標とを（３）式に代入することにより、指先等の入力表示画面３０２からの距離（指先等のｚ座標）を算出する（距離算出工程）（Ｓ５）。
【０２０７】
距離算出部８０２は、算出した指先等のｚ座標を、当該指先等のｘ座標およびｙ座標（反射像のｘ座標およびｙ座標に相当）とともに動作判定部８０３へ出力する。
【０２０８】
動作判定部８０３は、距離算出部８０２から順次出力される指先等のｚ座標を３次元空間座標系にプロットし、指先等の軌跡をトレースする（Ｓ６）。
【０２０９】
そして、動作判定部８０３は、所定の時間間隔で指先等の軌跡が所定の動作パターンと一致するかどうかを判定する（Ｓ７）。
【０２１０】
所定の動作パターンと一致した場合（Ｓ７にてＹＥＳ）、動作判定部８０３は、当該所定の動作パターンを特定する情報と、指先等の軌跡を示す情報とを表示画像生成部８０４へ出力する。
【０２１１】
表示画像生成部８０４は、動作判定部８０３が判定した動作パターンに対応する処理を行う（Ｓ８）。例えば、図１７に示すように、表示画像生成部８０４は、センサ内蔵液晶パネル３０１に３次元的に表示されている立体図形をｚ軸方向に、指先等が移動した距離に対応する距離だけ移動させる。図１７は、入力表示画面３０２に対する入力操作の一例を示す図である。
【０２１２】
一方、所定の動作パターンと一致しない場合（Ｓ７にてＮＯ）、動作判定部８０３は、指先等の軌跡のトレースを続行する。
【０２１３】
（データ表示／センサ装置１００の効果）
以上のように、データ表示／センサ装置１００では、指先等の入力表示画面３０２からの距離を算出できる。それゆえ、入力表示画面３０２の上方で３次元的に指先等を所定のパターンで移動させることにより、当該パターンに対応した情報の入力を行うことができる。従って、指先等の移動に対応した直感的な入力操作を行うことができる。
【０２１４】
〔実施の形態２〕
本発明の他の実施形態について図１８〜図２２に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０２１５】
（データ表示／センサ装置２００の構成）
本実施形態のデータ表示／センサ装置２００は、入力表示画面３０２に接触した指先等の位置を検出し、その位置に対応する入力処理を行うものである。データ表示／センサ装置１００では、指先等の入力表示画面３０２からの距離を算出したが、データ表示／センサ装置２００では、指先等が入力表示画面３０２に接触しているかどうかの判定を行い、接触していない指先等は入力操作の位置検出対象から除外される。
【０２１６】
図１８は、データ表示／センサ装置２００が備える主制御部８１０の構成を示す機能ブロック図である。データ表示／センサ装置２００は、主制御部８００の代わりに主制御部８１０を備えている点を除けば、その構成はデータ表示／センサ装置１００と同じである。それゆえ、図１８には、主制御部８１０とその周辺の機能ブロックのみを示している。
【０２１７】
同図に示すように、主制御部８１０は、接触判定部（判定部）８１１、入力操作判定部８１２および表示画像生成部８０４を備えている。
【０２１８】
接触判定部８１１は、反射像位置算出部７０５が算出した反射像の位置と、影像位置算出部７０６が算出した影の位置とのずれに基づいて撮像対象が入力表示画面３０２に接触しているかどうかを判定する。換言すれば、接触判定部８１１は、反射光画像と影画像とを重ねたときの反射像と影の像との位置のずれに基づいて、指先等が入力表示画面３０２に接触しているかどうかを判定する。
【０２１９】
なお、反射光画像と影画像とを重ねることができるように、反射光画像の座標系と影画像の座標系とは同じものが用いられている。
【０２２０】
入力操作判定部８１２は、入力表示画面３０２に接触していると接触判定部８１１が判定した指先等の入力表示画面３０２における位置に対応する入力操作を判定する。例えば、入力操作判定部８１２は、その時点でセンサ内蔵液晶パネル３０１に表示されている操作ボタンの位置と、指先等の位置とを比較し、ユーザがどの操作ボタンを押したのかを判定する。その時点でセンサ内蔵液晶パネル３０１に表示されている操作ボタンの位置の情報は、一次記憶部９０２に格納されており、入力操作判定部８１２は、一次記憶部９０２に格納されている情報を利用して入力操作を判定すればよい。
【０２２１】
表示画像生成部８０４は、入力操作判定部８１２が判定した入力操作に対応する画像を生成し、表示データ処理部７０１へ出力する。
【０２２２】
（接触判定処理の詳細）
次に入力操作判定部８１２における接触判定処理の詳細について説明する。図１９（ａ）および（ｂ）は、接触判定処理の原理について説明するための図である。図１９（ａ）は、指先７５が入力表示画面３０２から離れている状態を示しており、図１９（ｂ）は、指先７５が入力表示画面３０２に近接している状態を示している。
【０２２３】
図１９（ｂ）に示すように指先７５が入力表示画面３０２に近接していれば、反射像の位置（Ａ）と指先７５の影の位置（Ｂ）とはほぼ一致し、指先７５が入力表示画面３０２に接触していれば、反射像の位置（Ａ）と指先７５の影の位置（Ｂ）とは一致する。図１９（ａ）に示すように、指先７５が入力表示画面３０２から離れるに従って、反射像と影との位置のずれは大きくなる。
【０２２４】
この現象を利用して、入力操作判定部８１２は、例えば、反射像と影との位置のずれが所定値以内（例えば、２ｍｍ以内）であれば、指先７５が入力表示画面３０２に接触していると判定する。この所定値は、指先７５が入力表示画面３０２に接触していると見なすことができる上記位置のずれの最大値であり、測定誤差を考慮して当業者が適宜設定すればよい。
【０２２５】
（データ表示／センサ装置２００における処理の流れ）
次に、データ表示／センサ装置２００において、入力表示画面３０２に接触した指先等の位置を検出する処理の流れの一例について説明する。図２０は、データ表示／センサ装置２００における処理の流れの一例を示すフローチャートである。
【０２２６】
図２０に示すステップＳ２１〜Ｓ２３は、図１６に示すステップＳ１〜Ｓ３と同じであるため、その説明を省略する。
【０２２７】
接触判定部８１１は、反射光画像に含まれる反射像の先端部のｘｙ座標を反射像位置算出部７０５から取得し、影画像に含まれる影の像の先端部のｘｙ座標を影位置算出部７０６から取得する。そして、接触判定部８１１は、反射像の先端部と影の像の先端部との間の距離を算出する（Ｓ２４）。
【０２２８】
そして、上記距離が所定値以内である場合（Ｓ２５にてＹＥＳ）、接触判定部８１１は、撮像対象の指先は入力表示画面３０２に接触していると判定し、当該指先の反射像の先端部のｘｙ座標を入力操作判定部８１２へ出力する（判定工程）。
【０２２９】
入力操作判定部８１２は、反射像の先端部のｘｙ座標と、その時点でセンサ内蔵液晶パネル３０１に表示されている操作ボタンの位置とを比較し、ユーザがどの操作ボタンを押したのかを判定する（Ｓ２６）。入力操作判定部８１２は、判定した入力操作を特定する情報を表示画像生成部８０４へ出力する。
【０２３０】
表示画像生成部８０４は、入力操作判定部８１２から出力された情報が示す入力操作に対応する表示用画像を生成し、表示データ処理部７０１に出力することで、当該表示用画像をセンサ内蔵液晶パネル３０１に表示する（Ｓ２７）。
【０２３１】
一方、上記距離が所定値よりも大きい場合（Ｓ２５にてＮＯ）、接触判定部８１１は、撮像対象の指先は入力表示画面３０２に接触していないと判定し、新たな指先の座標が送信されるのを待つ（Ｓ２１に戻る）。
【０２３２】
（データ表示／センサ装置２００の効果）
図２１（ａ）および（ｂ）は、データ表示／センサ装置２００における入力操作の一例を示す図である。図２１（ａ）には、入力表示画面３０２の表面を指先で直線状になぞる動作が示されており、図２１（ｂ）には、指先を一定方向に移動させつつ、入力表示画面３０２の表面を間隔を空けてタッチする動作が示されている。
【０２３３】
従来のデータ表示／センサ装置では、入力表示画面に指先等が接触したかどうかの判定を正確に行うことは困難であった。そのため、図２１（ａ）に示す動作と図２１（ｂ）に示す動作とを判別することは困難であった。
【０２３４】
これに対して、データ表示／センサ装置２００では、入力操作を行う指先等が入力表示画面３０２に接触しているかどうかを高い精度で判定できる。それゆえ、図２１（ａ）に示す動作と図２１（ｂ）に示す動作とを判別することが可能になり、入力操作のバリエーションを増やすことができる。また、入力表示画面３０２に接触していない指先等を接触していると誤認識する可能性を低減できる。
【０２３５】
（変更例）
図２２は、データ表示／センサ装置１００・２００の変更例を示す図である。上述の説明では、データ表示／センサ装置１００・２００は、テーブル型パーソナルコンピュータであるとしたが、データ表示／センサ装置１００・２００は、その他の入力装置として実現されてもよい。
【０２３６】
例えば、図２２（ａ）に示すように、データ表示／センサ装置１００・２００をタブレットスタイルの会議用端末装置として実現してもよい。この会議用端末装置は、ペン入力可能な入力表示面３０２を有する入力表示部１０６を備えている。この入力表示部１０６の四隅の１つに支柱１０２を立て、その先端に外部照明１０１を固定することにより、外部照明光を入力表示部１０６の入力表示画面３０２に対して所定の角度で照射することができる。
【０２３７】
また、図２２（ｂ）に示すように、データ表示／センサ装置１００・２００を、メイン表示装置１０７とセンサ付きサブ表示装置（撮像部）１０８とを備えるノート型パーソナルコンピュータとして実現してもよい。センサ付きサブ表示装置１０８は、センサ内蔵液晶パネル３０１と同様に指先等による入力操作を受け付けることができる。
【０２３８】
このようなノート型パーソナルコンピュータの場合には、メイン表示装置１０７の上方の隅の一方に外部照明１０１を固定し、サブ表示装置１０８の表示入力画面３０２に対して所定の角度で外部照明光を照射する。通常、メイン表示装置１０７とサブ表示装置１０８との角度は可変であるため、外部照明光の照射時には、上記角度を所定の角度に固定することで、外部照明１０１のサブ表示装置１０８に対する位置および角度を所定のものに固定する。
【０２３９】
（その他の変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２４０】
例えば、外部照明１０１から赤外光を出射することにより指先等の影を形成し、その影の像を撮像するとともに、赤外光ＬＥＤ３１１から赤外光を出射することにより反射像を形成し、その反射像を撮像してもよい。この場合、同時に影画像と反射光画像とを撮像することはできないため、影画像を撮像するタイミングと反射光画像を撮像するタイミングとをずらす。すなわち、所定の時間間隔を空けて影画像と反射光画像とを撮像する。このとき影画像および反射光画像は赤外光センサ６１からの出力値によって形成されるため、可視光センサ６２は不要となる。
【０２４１】
また、上述したデータ表示／センサ装置１００・２００の各ブロック、特に主制御部８００・８１０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２４２】
すなわち、データ表示／センサ装置１００・２００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００・２００の制御プログラム（制御プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００・２００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２４３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２４４】
また、データ表示／センサ装置１００・２００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２４５】
本発明は、表示画面に接触または近接する指先等の物体の、表示画面からの高さを検出できるため、指先等によって３次元的な入力操作を行う入力装置に利用することができる。
【符号の説明】
【０２４６】
６２ 可視光センサ（第１受光素子）
６１ 赤外光センサ（第２受光素子）
１００ データ表示／センサ装置（位置検出装置）
１０１ 外部照明（外部照明部）
１０８ センサ付きサブ表示装置（撮像面、撮像部）
２００ データ表示／センサ装置（位置検出装置）
３００ 表示／光センサ部（撮像部）
３０１ センサ内蔵液晶パネル（撮像部）
３０２ 入力表示画面（撮像面）
３０７ バックライト（内部照明部）
７０３ センサデータ処理部（位置検出部）
７０５ 反射像位置算出部
７０６ 影位置算出部
８０１ 位置補正部（距離算出部）
８０２ 距離算出部
８１１ 接触判定部（判定部）
【特許請求の範囲】
【請求項１】
撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、
上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、
上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、
上記撮像部が撮像した撮像画像を解析することにより上記撮像対象の位置を検出する位置検出部とを備え、
上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、
上記位置検出部は、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、
上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、
上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出部とを備えることを特徴とする位置検出装置。
【請求項２】
上記距離算出部は、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置と、上記外部照明部の位置との相対位置関係から上記撮像対象の３次元座標を算出することを特徴とする請求項１に記載の位置検出装置。
【請求項３】
上記距離算出部は、上記撮像面における上記影と上記外部照明部とを結ぶ線分と、上記反射像位置から当該撮像面に対して垂直に延ばした線分との交点の上記撮像面からの距離を算出することを特徴とする請求項１または２に記載の位置検出装置。
【請求項４】
上記外部照明部から上記撮像面を含む平面に下ろした垂線の足の位置を外部照明位置とすると、
上記距離算出部は、上記影の位置、上記反射像位置および上記外部照明位置から推定される近似直線を算出し、算出した近似直線に上記影の位置および上記反射像位置が重なるように上記影の位置または上記反射像位置もしくはその両方を補正し、補正した位置を用いて上記距離を算出することを特徴とする請求項１〜３のいずれか１項に記載の位置検出装置。
【請求項５】
撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、
上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、
上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、
上記撮像部が撮像した撮像画像を解析することにより上記撮像面に接触した撮像対象の位置を検出する位置検出部とを備え、
上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、
上記位置検出部は、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、
上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、
上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定部とを備えることを特徴とする位置検出装置。
【請求項６】
上記外部照明部から出射される照明光の波長領域と、上記内部照明部から出射される照明光の波長領域とは異なっており、
上記撮像部は、上記外部照明部の照明光を受光する第１受光素子および上記内部照明部の照明光を受光する第２受光素子を備えており、上記第１受光素子により上記影画像を生成し、上記第２受光素子により上記反射光画像を生成することを特徴とする請求項１〜５のいずれか１項に記載の位置検出装置。
【請求項７】
撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、
上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、
上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、
上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出工程とを含むことを特徴とする位置検出方法。
【請求項８】
撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像面に接触した撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、
上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、
上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、
上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定工程とを含むことを特徴とする位置検出方法。
【請求項１】
撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、
上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、
上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、
上記撮像部が撮像した撮像画像を解析することにより上記撮像対象の位置を検出する位置検出部とを備え、
上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、
上記位置検出部は、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、
上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、
上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出部とを備えることを特徴とする位置検出装置。
【請求項２】
上記距離算出部は、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置と、上記外部照明部の位置との相対位置関係から上記撮像対象の３次元座標を算出することを特徴とする請求項１に記載の位置検出装置。
【請求項３】
上記距離算出部は、上記撮像面における上記影と上記外部照明部とを結ぶ線分と、上記反射像位置から当該撮像面に対して垂直に延ばした線分との交点の上記撮像面からの距離を算出することを特徴とする請求項１または２に記載の位置検出装置。
【請求項４】
上記外部照明部から上記撮像面を含む平面に下ろした垂線の足の位置を外部照明位置とすると、
上記距離算出部は、上記影の位置、上記反射像位置および上記外部照明位置から推定される近似直線を算出し、算出した近似直線に上記影の位置および上記反射像位置が重なるように上記影の位置または上記反射像位置もしくはその両方を補正し、補正した位置を用いて上記距離を算出することを特徴とする請求項１〜３のいずれか１項に記載の位置検出装置。
【請求項５】
撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、
上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、
上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、
上記撮像部が撮像した撮像画像を解析することにより上記撮像面に接触した撮像対象の位置を検出する位置検出部とを備え、
上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、
上記位置検出部は、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、
上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、
上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定部とを備えることを特徴とする位置検出装置。
【請求項６】
上記外部照明部から出射される照明光の波長領域と、上記内部照明部から出射される照明光の波長領域とは異なっており、
上記撮像部は、上記外部照明部の照明光を受光する第１受光素子および上記内部照明部の照明光を受光する第２受光素子を備えており、上記第１受光素子により上記影画像を生成し、上記第２受光素子により上記反射光画像を生成することを特徴とする請求項１〜５のいずれか１項に記載の位置検出装置。
【請求項７】
撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、
上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、
上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、
上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出工程とを含むことを特徴とする位置検出方法。
【請求項８】
撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像面に接触した撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、
上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、
上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、
上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定工程とを含むことを特徴とする位置検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１６４０７６（Ｐ２０１１−１６４０７６Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−３０５７０（Ｐ２０１０−３０５７０）
【出願日】平成２２年２月１５日（２０１０．２．１５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１５日（２０１０．２．１５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]