画像入出力装置およびその受光レベル補正方法、ならびに画像入力方法
【課題】画像表示に用いる光源の面内の発光強度および受光要素毎の受光感度を補正する画像入出力装置およびこれの面内補正方法を提供する。
【解決手段】画像入出力装置１は、表示要素１１ａおよび複数の受光要素１１ｂを有する入出力パネル１１と、入出力パネル１１から入力した受光信号を処理する受光信号処理部１３とを備えている。表示要素１１ａは、光源を用いて画像を表示するものであり、受光要素１１ｂは、外部近接物体によって反射された画像の反射光を受光して、受光信号を出力するものである。受光信号処理部１３は、入出力パネル１１の各受光要素１１ｂから受光信号を入力して、光源の面内の輝度および受光要素１１ｂ毎の受光感度の不均一を面内補正する面内補正テーブルと受光信号とを演算し、各受光要素１１ｂから入力した受光信号を面内補正している。
【解決手段】画像入出力装置１は、表示要素１１ａおよび複数の受光要素１１ｂを有する入出力パネル１１と、入出力パネル１１から入力した受光信号を処理する受光信号処理部１３とを備えている。表示要素１１ａは、光源を用いて画像を表示するものであり、受光要素１１ｂは、外部近接物体によって反射された画像の反射光を受光して、受光信号を出力するものである。受光信号処理部１３は、入出力パネル１１の各受光要素１１ｂから受光信号を入力して、光源の面内の輝度および受光要素１１ｂ毎の受光感度の不均一を面内補正する面内補正テーブルと受光信号とを演算し、各受光要素１１ｂから入力した受光信号を面内補正している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示機能と撮像機能とを備えた画像入出力装置およびこれを用いた画像入力方法、ならびにそのような画像入出力装置における受光レベル補正方法に関する。
【背景技術】
【０００２】
画像表示装置には、タッチパネルを備えたものがある。このタッチパネルには、電気抵抗の変化を利用した抵抗型や、静電容量の変化を利用した静電容量型のほか、光学的に指等を検知する光学型タッチパネルがある。この光学型タッチパネルでは、例えば、バックライトからの光を液晶素子で変調して画像を表示面に表示すると共に、表示面から出射されて指等の近接物体によって反射された光を、表示面に配列された受光素子によって受光し、近接物体の位置等を検出するものである。このような画像表示装置について記載したものには、特許文献１が挙げられる。特許文献１に記載された表示装置は、画像を表示する表示手段と、物体を撮像する撮像手段とを有する表示部を備えたものである。
【特許文献１】特開２００４−１２７２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した画像示装置では、バックライトからの出射光が外部の近接物体で反射されて戻ってきた光を検出するようになっているが、バックライトの輝度は表示面内で均一でないことが多い（例えば、表示面の周辺部に比べて中央部の輝度が強くなる）ので、近接物体によって反射される反射光の強度が中央部と周辺部とで異なる。また、反射光を受光する受光素子は表示面に沿って配列されているが、受光素子毎に受光感度が異なることが一般的である。このため、受光素子から得られる撮像信号は、バックライトが出射する光の表示面内分布と、受光素子間の受光感度の違いとにより強い影響を受けることになる。
【０００４】
このような状況下において、近接物体の位置を判断するために撮像信号を２値化処理した場合には、バックライトの輝度の不均一性と撮像素子毎の受光感度ばらつきとに起因する撮像信号の誤差により、適切でない２値化処理がされる。その結果、近接物体を正確に検出できず、位置検出エラーが生じるおそれがある。すなわち、従来の光学式タッチパネルを備えた画像表示装置では、高い精度で指等を検出することが困難であった。
【０００５】
本発明はかかる問題点に鑑みてなされたもので、その目的は、高い精度で指等の近接物体の検出が可能な画像入出力装置およびこれを用いた画像入力方法、ならびにそのような画像入出力装置における受光レベル補正方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の画像入出力装置は、表示面に沿って配列され、画像信号に基づいて画像を表示する複数の表示要素と、表示面に沿って配列され、表示面から出射されて外部で反射された光を受光する複数の受光要素とを有する入出力パネルと、表示面から出射される光の表示面内強度分布および複数の受光要素の面内受光感度分布の双方に応じた補正係数を表示面上の位置に対応付けて作成された面内補正テーブルを用いて、各受光要素からの受光信号を補正する補正手段と、補正手段により補正された受光信号から得られた撮像画像に基づいて、外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を得る画像処理部とを備えたものである。
【０００７】
画像入出力装置では、入出力パネルは、複数の表示要素による画像表示と、複数の受光要素による外部近接物体検出とを行うことが可能な、いわゆるタッチパネル付き表示面を構成する。ここで、外部近接物体は、例えば指等であり、表示面からの出射光を反射する。この反射光は、受光要素によって受光されて受光信号に変換される。この受光信号は、補正手段により、面内補正テーブルを用いて補正される。この面内補正テーブルは、表示面からの出射光の表示面内強度分布および複数の受光要素の面内受光感度分布の双方に応じた表示面内分布をもつ補正係数を表示面上の位置に対応付けて構成されたものなので、受光信号に対して表示面内での上記強度分布および受光感度分布に応じた補正が行われる。
【０００８】
特に、補正係数の表示面内分布が表示面内強度分布と面内受光感度分布とを合わせた合成分布を反転させた分布となるようにすると共に、各受光要素からの受光信号に対して、対応する補正係数を乗ずる補正を行うようにした場合には、出射光の表示面内強度分布や受光要素の面内受光感度分布の影響がキャンセルされた均一なレベルの受光信号を得ることも可能になる。
【０００９】
本発明の画像入力方法は、表示面から出射されて外部近接物体で反射された光を、表示面に沿って配列された複数の受光要素により受光し、表示面から出射される光の表示面内強度分布および複数の受光要素の面内受光感度分布の双方を合わせた合成分布を反転させた表示面内分布をもつ補正係数を求め、得られた補正係数を用いて各受光要素からの受光信号を補正し、補正された受光信号から得られた撮像画像に基づいて、外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を得るようにしたものである。
【００１０】
本発明の画像入力方法では、出射光の表示面内強度分布と受光要素の面内受光感度分布とを合わせた合成分布を反転させた表示面内分布をもつ補正係数を用いて、各受光要素からの受光信号に対する補正が行われる。その結果、出射光の表示面内強度分布や受光要素の面内受光感度分布の影響が受光信号から取り除かれる。
【発明の効果】
【００１１】
本発明の画像入出力装置によれば、入出力パネルの表示面からの出射光の表示面内強度分布および複数の受光要素の面内受光感度分布の双方に応じた補正係数を表示面上の位置に対応付けておき、この補正係数を用いて各受光要素からの受光信号を補正し、補正された受光信号から得られた撮像画像に基づいて外部近接物体の位置等の情報を得るようにしたので、補正係数を適宜に設定することにより、表示面内での上記強度分布および受光感度分布に応じた適切な補正を受光信号に行うことが可能になる。特に、補正係数の表示面内分布が表示面内強度分布と面内受光感度分布とを合わせた合成分布を反転させた分布となるようにすると共に、各受光要素からの受光信号に対して、対応する補正係数を乗ずる補正を行うようにした場合には、出射光の表示面内強度分布や受光要素の面内受光感度分布の影響がキャンセルされた均一なレベルの受光信号を得ることができ、高い精度で指等の近接物体を検出することが可能になる。
【００１２】
本発明の画像入力方法によれば、出射光の表示面内強度分布と受光要素の面内受光感度分布とを合わせた合成分布を反転させた表示面内分布をもつ補正係数を用いて、各受光要素からの受光信号に対する補正が行われる。その結果、出射光の表示面内強度分布や受光要素の面内受光感度分布の影響がキャンセルされた均一なレベルの受光信号を得ることができ、高い精度で指等の近接物体を検出することが可能になる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
図１は、第１の実施の形態に係る画像入出力装置１の概略構成を表すものである。図２は、第１の実施の形態に係る画像入出力装置１の構成を表すものである。図３は、入出力パネルの一部を拡大した断面を表すものである。本実施の形態に係る画像入出力装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３および画像処理部１４を有し、電子機器本体２０は、制御部２１を有する。
【００１５】
入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライトから出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。
【００１６】
入出力パネル１１は、図２および図３に示したように、１対の透明基板３０，３１の間に、隔壁３２によって互いに分離された構造の複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷ（ＣＷ１，ＣＷ２，ＣＷ３，…）と、これらの発光セルＣＷに内包された複数の受光セルＣＲ（ＣＲ１，ＣＲ２，ＣＲ３，…）とを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子ＰＤを含む。なお、受光セルＣＲにおいては、バックライトから出射された光ＬＢが入射しないように、バックライト側の透明基板３０と受光素子ＰＤとの間に遮蔽層３３が配置され、各受光素子ＰＤはバックライト光ＬＢの影響を受けず、バックライトと反対側の透明基板３１の方向から入射された光のみを検出するようになっている。
【００１７】
図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。
【００１８】
表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持すると共に、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２、および各受光セルＣＲを駆動する受光側スキャナ４３を連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を、受光側スキャナ４３には受光タイミング制御信号を、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。
【００１９】
発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。
【００２０】
表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。
【００２１】
受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の画像表示装置においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。
【００２２】
図１に示す受光信号処理部１３（補正手段）は、入出力パネル１１の後段に接続され、受光要素１１ｂからの受光信号を取り込んで増幅等を行うと共に、バックライトの面内の発光強度（表示面からの出射光の表示面内強度分布）および受光要素１１ｂ毎の受光感度（複数の受光要素の面内受光感度分布）に対して補償を行うための面内補正テーブル１３ａを用いて、受光信号を補正する回路である。すなわち、受光信号処理部１３は、バックライトの表示面内における輝度分布および受光要素１１ｂ毎の受光感度のばらつきの影響が除去された撮像画像を生成するものである。面内補正テーブル１３ａは、受光信号処理部１３に設けられたメモリ（図示せず）に格納されている。但し、他のブロック内に面内補正テーブル１３ａを格納するようにしてもよい。
【００２３】
受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。
【００２４】
受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を１画面ごと（１フィールドの表示ごと）の受光信号に再構成し、例えば、ＳＲＡＭなどから構成されるフィールドメモリに格納して保持する機能を有する。受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。
【００２５】
画像処理部１４（図１）は、受光信号処理部１３の後段に接続され、受光信号処理部１３から補正後の撮像画像を取り込んで、２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報、すなわち外部近接物体の重心や中心座標および外部近接物体の領域（サイズや形状）を示す情報を得る回路である。より具体的には、画像処理部１４の位置検出部４７（図２）が、受光信号保持部４６から出力される受光信号のデータに基づいて信号処理を行い、受光セルＣＲにおいて検出された物体が存在する位置等を特定する。これにより、接触あるいは近接する指等の位置を特定することが可能となる。その際、位置検出部４７は、補正された撮像画像を用いるようにしていることから、外部近接物体の位置等を検出する際の判定エラーが少なくなる。
【００２６】
電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から点情報を入力するようになっている。制御部２１は、点情報を用いて表示画像を変化させるものである。
【００２７】
制御部２１（図１）は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成され、供給された画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。
【００２８】
次に、面内補正テーブル１３ａの作成方法について説明する。図４は、面内補正テーブル１３ａを作成する処理の流れを表すものである。ここでは、図５に示したように、複数（ここでは４つ）の発光受光セルＣＷＲに含まれている複数（４つ）の受光要素１１ｂからなるグループ１５を１つの補正単位として補正を行う場合について説明する。
【００２９】
まず、反射率が面内で一様になっている基準反射板（図示せず）を入出力パネル１１の全面が覆われるように対向させて配置する（Ｓ１０）。この状態で、表示信号生成部 （図２）からの表示信号によって、表示要素１１ａとしての発光セルＣＷ（液晶セル）をすべて白表示状態（すなわち、最高階調状態）にすることにより、バックライトからの出射光のほぼすべてが表示面から出射されるようにする。この表示面からの出射光を基準反射板により反射させ、その反射光を各受光要素１１ｂにより受光する。但し、この場合、発光セルＣＷのうち、Ｒ，Ｇ，Ｂの各色発光セルをすべて最高階調にして文字通りの白表示（狭義の白表示）を行うようにしてもよいし、あるいは特定の１色（例えばＲ色）の発光セルのみを最高階調（広義の白表示）にし、他の２色（例えばＲ色）の発光セルについては最低階調（広義の黒表示）にするようにしてもよい。なお、液晶セルは通常、その液晶の状態（開閉状態）によらず赤外光を透過するので、各受光素子の上に赤外光選択透過フィルタを設けておけば、液晶セルを黒表示状態にしておいても、バックライトに含まれる赤外光を利用して上記のような反射および受光を行うこともできる。
【００３０】
次に、各受光要素１１ｂから出力される受光信号を読み出す（Ｓ１２）。本実施の形態で用いられる受光要素１１ｂは、個々の画素１６毎に配置されているので、面内補正テーブル１３ａを格納するメモリの容量を減らすために、上記のように、隣接して配置された複数の受光要素１１ｂにより１つのグループを構成して、グループ毎に補正係数を求める。一例としては、図５に示すように、列方向および行方向に配列されている画素１６のうち、列方向と行方向とで隣接している２×２の４つの画素１６で１つのグループを構成する。これにより、複数の画素１６にそれぞれ配置されている受光要素１１ｂが複数のグループに分割されて、各グループが受光要素群を形成する。なお、グループは、図５に示す２×２個の受光要素１１ｂ（画素１６）で構成するのではなく、他の個数（例えば、３×３、２×４、４×４等）の受光要素１１ｂで構成するようにしてもよい。
【００３１】
次に、各グループを構成している受光要素１１ｂから出力される受光信号の大きさの平均を演算して求める。すなわち、反射光の受光強度の平均値をグループ毎に求め、これをグループ平均値とする。さらに、得られた複数のグループ平均値のうちの最大値を最大グループ平均値とする（Ｓ１４）。
【００３２】
次に、Ｓ１４で得られた各グループ平均値を最大グループ平均値で除して得られる正規化値の逆数を求める逆数演算を行い（Ｓ１６）、その結果を補正係数とする。この場合、上記の正規化値は必ず１．０以下の値となることから、その逆数である補正係数は必ず１．０以上の値となる。このため、補正係数が１．０以下の範囲にある場合に比べて、記憶に要するメモリの容量が少なくて済む。しかも、通常、バックライトの表示面内輝度分布のばらつきや受光要素１１ｂ毎の受光感度のばらつきが著しく大きいことは少ないと考えられることから、各グループ平均値は最大グループ平均値をやや下回る程度の値となり、必然的に、逆数演算の結果である補正係数の値は、１．０を少し上回る程度の比較的狭い範囲に納まることとなる。このため、この点においても、後述するように、記憶に要するメモリの容量が少なくて済む。このようにして、Ｓ１６の演算をグループ毎に行ってすべてのグループの補正係数を求めることにより、例えば図６に示したような面内補正テーブル１３ａが得られ、これを上記のメモリへ記録する（Ｓ１８）。
【００３３】
図６の面内補正テーブル１３ａは、表示面の行方向および列方向、すなわちＸ軸方向およびＹ軸方向において、Ｘ軸方向にＸ＝１，２，３…Ｎ個、Ｙ軸方向にＹ＝１，２，３…Ｍ個のグループを形成した場合のものであり、グループ毎に補正係数Ｃ１１，Ｃ２１，…，ＣＮＭが求められている。この面内補正テーブル１３ａを立体グラフより例示すると、図７のようになる。この図７の模式図において、底面が入出力パネル１１の表示面に対応し、高さ方向が補正係数を示している。このように、本実施の形態では、各受光要素ごとに補正係数をもつのではなく、複数の受光要素をグループ化して、各グループごとに補正係数をもつようにしたので、補正係数の個数を低減でき、記憶に要するメモリ容量が少なくて済む。
【００３４】
次に、本実施の形態の画像入出力装置１の作用について説明する。図８は画像入出力装置１が面内補正を行うときの処理の流れを表すものである。図９は受光信号、面内補正テーブル１３ａおよび補正後の受光信号を表すものである。ここで図９（Ａ）は、面内の不均一な状態の一例を表すものであり、縦軸は不均一の大きさ、横軸は面内方向を示している。図９（Ｂ）は、表示面から出射される光の表示面内強度分布（曲線Ａ）と、複数の受光要素１１ｂの面内受光感度分布（曲線Ｂ）とを合成した分布（曲線Ｃ）の一例を表すものであり、縦軸は不均一の大きさ、横軸は面内方向を示している。図９（Ｃ）は、曲線Ｃに表される合成分布があるときに、受光要素１１ｂから出力される受光信号の一例を表すものであり、縦軸は不均一の大きさ、横軸は面内方向を示している。図９（Ｄ）は、曲線Ｃに表される合成分布を補償する面内補正テーブル１３ａの一例を表すものであり、縦軸は補正係数、横軸は面内方向を示している。図９（Ｅ）は、受光要素１１ｂから出力される信号強度に、曲線Ｅに表される面内補正テーブルを乗算することにより得られた補償後の信号強度の一例を表すものであり、縦軸は信号強度、横軸は面内方向を示している。
【００３５】
電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。
【００３６】
入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、表示要素１１ａに指等の外部近接物体が接触または近接すると、表示要素１１ａに表示された画像が外部近接物体で反射されて、この反射光が受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される（Ｓ２０）。このときバックライトの面内における輝度の不均一な状態は、図９（Ａ）の曲線Ａに示すようになり、マトリクス状に配列された受光要素１１ｂの面内における受光感度の不均一な状態は、図９（Ａ）の曲線Ｂに示すようになっている。このような曲線Ａと曲線Ｂとの合成分布は、図９（Ｂ）の曲線Ｃに示すようになる。これにより、受光要素１１ｂから出力される受光信号Ｄは、曲線Ｃ（曲線Ａおよび曲線Ｂ）に示される面内の不均一な状態によって、面内において信号強度が異なっている。
【００３７】
受光信号処理部１３は、受光信号を入力して増幅等の処理をすると共に、上記の記憶手段から読み出した面内補正テーブル１３ａを用いて、受光信号を処理する（Ｓ２２）。具体的に、受光信号処理部１３は、入力した受光信号と、図９（Ｄ）に示される面内補正テーブル１３ａとを演算（乗算）して、図９（Ｃ）の受光信号Ｄに示される面内の不均一な状態を、図９（Ｅ）に示されるように、受光信号Ｆの強度を面内で均一に面内補正している。このようにして受光処理部は、面内補正された受光信号Ｄから撮像画像を得ている。
【００３８】
次に、画像処理部１４は、面内補正された撮像画像を入力し、この撮像画像に対し２値化処理を行う（Ｓ２４）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。
【００３９】
そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（Ｓ２６）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。
【００４０】
この後、画像処理部１４は、ラベリング処理を行う（Ｓ２８）。すなわち、画像処理部１４は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、画像処理部１４は、「１」に設定された領域を外部近接物体の領域として検出し、この領域の重心または中心座標を得る。このようなデータは、点情報として制御部２１に出力される。
【００４１】
次に、制御部２１は、画像処理部１４から入力した点情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。
【００４２】
このように、本実施の形態によれば、画像を表示するバックライトの面内輝度分布および受光要素１１ｂ毎の受光感度の違いを補償するための面内補正テーブル１３ａを用いて、バックライトから出射されて外部近接物体により反射された光を受光する受光要素からの受光信号を補正することができる。これにより画像入出力装置１は、補正後の受光信号を基に高精度な画像処理を行うことができ、その結果、外部近接物体を正確に検出することができる。
【００４３】
また、本実施の形態によれば、補正係数が必ず１．０以上の値となるようにしたので、補正係数が１．０以下の範囲にある場合に比べて、記憶に要するメモリの容量が少なくて済む。しかも、補正係数の値は、１．０を少し上回る程度の比較的狭い範囲に納まることから、補正係数を表現するビット数を少なくすることができ、この点においても、記憶に要するメモリの容量の低減に寄与する。
【００４４】
また、本実施の形態によれば、複数の画素１６のうち隣接するもの同士でグループを構成し、各グループに設けられた受光要素１１ｂを用いてグループ毎に補正係数を求めて、面内補正テーブル１３ａを得ている。これにより、画素１６毎に補正係数を求めて面内補正テーブル１３ａを得る場合に比べて、面内補正テーブル１３ａのデータ量を減らすことができ、メモリ容量を小さくすることができる。
【００４５】
なお、面内補正テーブル１３ａの補正係数は、例えば小数点以下３桁程度まで求めて格納するようにしてもよいが、より粗い精度（例えば小数点以下１桁まで）で求めるようにしてもよい。具体的には、通常、面内補正テーブル１３ａを６ビットで設定しているところを、精度を粗くして４ビットで設定すれば、面内補正テーブル１３ａのデータ量を減らすことができ、上記の記憶手段のメモリ容量を小さくすることができる。
【００４６】
さらに、本実施の形態によれば、画像入出力装置１をユーザに出荷する前に面内補正テーブル１３ａを求めてメモリに記録させておくようにすれば、ユーザが面内補正テーブル１３ａを作成する手間を省くことができる。但し、ユーザによっても面内補正テーブル１３ａを作成することができるようになっていれば、入出力パネル１１が経時変化した場合でも、経時変化に合わせて面内補正テーブル１３ａを適宜作成することができ、使用時間が相当経過した後であっても、常に適切に補正された高精度な撮像画像を得ることができる。
【００４７】
なお、上記の実施の形態では、面内補正テーブル１３ａを作成するときに、図４のＳ１４，Ｓ１６に示されるように、グループ平均値とグループ間で検出される最大グループ平均値とを求め、これらの値を用いた演算を行って補正係数を得るようにしたが、補正係数は、この演算よって得られるものに限定されない。例えば、最大グループ平均値の代わりに任意の定数を用いて補正係数を求めるようにしてもよい。この任意の定数は、例えば１という値でもよく、この場合、補正係数はグループ平均値の単なる逆数となる。あるいは、最大グループ平均値の代わりに、最大グループ平均値に近いと予想される値を上記の定数として用いるようにしてもよい。この場合には、この定数を各グループ平均値によって除した結果が補正係数の値となる。また、面内補正テーブル１３ａは、図９（Ａ）の曲線Ａ，Ｂに例示されるような面内の不均一な状態を補償（相殺）できるもの、すなわち面内補正テーブル１３ａが曲線Ｃとは逆の分布（反転分布）をもつものであれば、如何なる値であってもよい。
【００４８】
また、面内補正テーブル１３ａの補正係数の個数を少なく（粗く設定）しておき、受光要素グループに対応する補正係数が面内補正テーブル１３ａ中に存在しないときには、存在するグループの補正係数に基づいてデータ補間を行うことにより、その補正係数が存在していない受光要素グループの補正係数を求め、この補間により求めた補正係数を用いて補正を行うようにしてもよい。例えば、隣接するグループの補正係数によってその間のグループの補正係数を補間するようにしてもよい。これにより、補正係数が隣り合うグループで急激に変化するのを防止して、面内補正テーブル１３ａを緩やかに変化させることができる。また、面内補正テーブル１３ａの記憶に要するメモリ容量を低減することができる。
【００４９】
また、上記の実施の形態では、マトリクス状に配置された受光要素１１ｂのうち隣接している複数の受光要素１１ｂで１つのグループを構成し、グループ毎に補正係数を求めて、面内補正テーブル１３ａを得ているが、画素１６毎に配置されている受光要素１１ｂのそれぞれにおいて補正係数を求めて、複数の補正係数をまとめることにより面内補正テーブル１３ａを得るようにしてもよい。この場合には、グループ毎に補正係数を得る場合に比べて、面内で細かく補正係数を得ることができるので、より高精度に面内補正された画像を得ることができる。
【００５０】
また、以下に示すような変形例も可能である。
【００５１】
［変形例１］
本変形例の画像入出力装置は、ディスプレイ１０に設けられた表示信号処理部１２、入出力パネル１１、受光信号処理部１３および画像処理部１４と、ディスプレイ１０を利用する電子機器の電子機器本体２０に設けられた制御部２１とを備えたものである。
【００５２】
画像入出力装置は、面内補正テーブル１３ａを作成するときに、第１の実施の形態で説明したような全面が同じ色になっている参照画像を用いるのではなく、入出力パネル１１に任意の参照画像を表示して、この任意の参照画像を用いて作成するようになっている。この参照画像は、１フレーム内で模様や複数の色が付いている等の任意のものである。
【００５３】
このような画像入出力装置を構成するために、表示信号処理部１２は、入出力パネル１１および受光信号処理部１３のそれぞれの前段に接続されている。表示信号処理部１２は、入出力パネル１１に対して、表示データに基づいて参照画像を表示するように駆動させる信号を出力すると共に、受光信号処理部１３に対して、入出力パネル１１に表示される参照画像のデータ値を出力するようになっている。
【００５４】
入出力パネル１１では、輝度が徐々に変わっている標準反射板によって参照画像が反射された光を受光要素１１ｂで受光して、受光信号処理部１３に出力するようになっている。受光信号処理部１３は、入出力パネル１１の後段にも接続しており、面内補正テーブル１３ａを作成するときに、入出力パネル１１から受光信号を入力すると、この入力した受光信号が得られたときの参照画像の輝度データから求めた反転輝度テーブルの係数と受光信号とを演算（乗算）して、面内で同色になっていない参照画像の影響を受光信号から取り除いている。
【００５５】
この後、受光信号処理部１３は、図４のＳ１４〜Ｓ１８に示される処理を行って、面内補正テーブル１３ａを得ている。
【００５６】
本実施の形態に係る画像入出力装置の作用は、第１の実施の形態で説明したものと同様になっているので、その説明を省略する。
【００５７】
このような画像入出力装置は、面内補正テーブル１３ａを作成するときに、入出力パネル１１に表示される画像の輝度データを表示信号処理部１２から受光信号処理部１３に出力された参照画像の輝度データの反転輝度テーブルの係数を用いて、入出力パネル１１から得た受光信号の面内で同色になっていない参照画像の影響を補正している。このため画像入出力装置は、第１の実施の形態で説明したような全面が同じ色の参照画像を用いなくとも面内補正テーブル１３ａを得ることができ、面内補正テーブル１３ａを作成するときにのみ必要な全面が同じ色の参照画像を記憶しておく必要がなくなる。
【００５８】
なお、表示信号処理部１２は、入出力パネル１１に表示させる参照画像が連続して変化する場合に、フレーム毎に画像データの逆数テーブルを求めて受光信号処理部１３に出力し、受光信号処理部１３は、入出力パネル１１から入力した受光信号と、この受光信号が入出力パネル１１で得られたときの画像データから求めた逆数テーブルとを用いて補正を行った後、さらに、図４のＳ１４〜Ｓ１８に示される処理を行って、面内補正テーブル１３ａを得ても良い。
【００５９】
［変形例２］
図１０は本変形例に係る画像入出力装置２の構成を表すものである。この画像入出力装置２は、上記実施の形態に係る画像入出力装置１と比較して、画像処理部１４が電子機器本体２０に設けられた点が異なっている。 すなわち、本変形例に係る画像入出力装置２は、表示信号処理部１２、入出力パネル１１および受光信号処理部１３がディスプレイ１０に設けられ、制御部２１および画像処理部１４が電子機器本体２０に設けられたものである。このような画像入出力装置２であっても、上記実施の形態に係る画像入出力装置１と同様の効果を奏することができる。
【００６０】
なお、上記実施の形態で説明した画像入出力装置１，２では、入出力パネル１１として、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の画像入出力装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。入出力パネル１１は、有機ＥＬ素子を画素１６毎に配置することで構成され、表示データに応じて各有機ＥＬ素子に順方向バイアス電圧を印加して発光動作をさせると画像を表示し、他の有機ＥＬ素子に逆方向バイアス電圧を印加して反射光を受光することになる。このとき、順方向バイアスが印加されることによって有機ＥＬ素子が発光動作したときの表示面内強度分布と、逆方向バイアスが印加されることによって有機ＥＬ素子が受光動作をしたときの面内受光感度分布とを、上記実施の形態で説明した面内補正方法を実施すれば、それぞれの分布を面内補正することができる。
【００６１】
以上、いくつかの実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらに限定されるものではなく、種々変形が可能である。例えば、図２および図３に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施の形態に係る画像入出力装置の構成を表すブロック図である。
【図２】図１の画像入出力装置の構成をより詳細に表すブロック図である。
【図３】入出力パネルの一部を拡大した断面である。
【図４】面内補正テーブルを作成するときのフロー図である。
【図５】複数の受光要素を複数のグループに分割した場合のグループの説明図である。
【図６】面内補正テーブルの一例を示す表である。
【図７】面内補正テーブルの一例を示すグラフである。
【図８】画像入出力装置による画像処理全体のフロー図である。
【図９】受光信号、面内補正テーブルおよび補正後の受光信号の一例を示すグラフである。
【図１０】本実施の形態の変形例に係る画像入出力装置の構成を表すブロック図である。
【符号の説明】
【００６３】
１，２…画像入出力装置、１０…ディスプレイ、１１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１２…表示信号処理部、１３…受光信号処理部、１３ａ…面内補正テーブル、１４…画像処理部、１５…グループ、１６…画素、２０…電子機器本体、２１…制御部、３０…表示信号処理部、３１…受光信号処理部。
【技術分野】
【０００１】
本発明は、画像表示機能と撮像機能とを備えた画像入出力装置およびこれを用いた画像入力方法、ならびにそのような画像入出力装置における受光レベル補正方法に関する。
【背景技術】
【０００２】
画像表示装置には、タッチパネルを備えたものがある。このタッチパネルには、電気抵抗の変化を利用した抵抗型や、静電容量の変化を利用した静電容量型のほか、光学的に指等を検知する光学型タッチパネルがある。この光学型タッチパネルでは、例えば、バックライトからの光を液晶素子で変調して画像を表示面に表示すると共に、表示面から出射されて指等の近接物体によって反射された光を、表示面に配列された受光素子によって受光し、近接物体の位置等を検出するものである。このような画像表示装置について記載したものには、特許文献１が挙げられる。特許文献１に記載された表示装置は、画像を表示する表示手段と、物体を撮像する撮像手段とを有する表示部を備えたものである。
【特許文献１】特開２００４−１２７２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した画像示装置では、バックライトからの出射光が外部の近接物体で反射されて戻ってきた光を検出するようになっているが、バックライトの輝度は表示面内で均一でないことが多い（例えば、表示面の周辺部に比べて中央部の輝度が強くなる）ので、近接物体によって反射される反射光の強度が中央部と周辺部とで異なる。また、反射光を受光する受光素子は表示面に沿って配列されているが、受光素子毎に受光感度が異なることが一般的である。このため、受光素子から得られる撮像信号は、バックライトが出射する光の表示面内分布と、受光素子間の受光感度の違いとにより強い影響を受けることになる。
【０００４】
このような状況下において、近接物体の位置を判断するために撮像信号を２値化処理した場合には、バックライトの輝度の不均一性と撮像素子毎の受光感度ばらつきとに起因する撮像信号の誤差により、適切でない２値化処理がされる。その結果、近接物体を正確に検出できず、位置検出エラーが生じるおそれがある。すなわち、従来の光学式タッチパネルを備えた画像表示装置では、高い精度で指等を検出することが困難であった。
【０００５】
本発明はかかる問題点に鑑みてなされたもので、その目的は、高い精度で指等の近接物体の検出が可能な画像入出力装置およびこれを用いた画像入力方法、ならびにそのような画像入出力装置における受光レベル補正方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の画像入出力装置は、表示面に沿って配列され、画像信号に基づいて画像を表示する複数の表示要素と、表示面に沿って配列され、表示面から出射されて外部で反射された光を受光する複数の受光要素とを有する入出力パネルと、表示面から出射される光の表示面内強度分布および複数の受光要素の面内受光感度分布の双方に応じた補正係数を表示面上の位置に対応付けて作成された面内補正テーブルを用いて、各受光要素からの受光信号を補正する補正手段と、補正手段により補正された受光信号から得られた撮像画像に基づいて、外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を得る画像処理部とを備えたものである。
【０００７】
画像入出力装置では、入出力パネルは、複数の表示要素による画像表示と、複数の受光要素による外部近接物体検出とを行うことが可能な、いわゆるタッチパネル付き表示面を構成する。ここで、外部近接物体は、例えば指等であり、表示面からの出射光を反射する。この反射光は、受光要素によって受光されて受光信号に変換される。この受光信号は、補正手段により、面内補正テーブルを用いて補正される。この面内補正テーブルは、表示面からの出射光の表示面内強度分布および複数の受光要素の面内受光感度分布の双方に応じた表示面内分布をもつ補正係数を表示面上の位置に対応付けて構成されたものなので、受光信号に対して表示面内での上記強度分布および受光感度分布に応じた補正が行われる。
【０００８】
特に、補正係数の表示面内分布が表示面内強度分布と面内受光感度分布とを合わせた合成分布を反転させた分布となるようにすると共に、各受光要素からの受光信号に対して、対応する補正係数を乗ずる補正を行うようにした場合には、出射光の表示面内強度分布や受光要素の面内受光感度分布の影響がキャンセルされた均一なレベルの受光信号を得ることも可能になる。
【０００９】
本発明の画像入力方法は、表示面から出射されて外部近接物体で反射された光を、表示面に沿って配列された複数の受光要素により受光し、表示面から出射される光の表示面内強度分布および複数の受光要素の面内受光感度分布の双方を合わせた合成分布を反転させた表示面内分布をもつ補正係数を求め、得られた補正係数を用いて各受光要素からの受光信号を補正し、補正された受光信号から得られた撮像画像に基づいて、外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を得るようにしたものである。
【００１０】
本発明の画像入力方法では、出射光の表示面内強度分布と受光要素の面内受光感度分布とを合わせた合成分布を反転させた表示面内分布をもつ補正係数を用いて、各受光要素からの受光信号に対する補正が行われる。その結果、出射光の表示面内強度分布や受光要素の面内受光感度分布の影響が受光信号から取り除かれる。
【発明の効果】
【００１１】
本発明の画像入出力装置によれば、入出力パネルの表示面からの出射光の表示面内強度分布および複数の受光要素の面内受光感度分布の双方に応じた補正係数を表示面上の位置に対応付けておき、この補正係数を用いて各受光要素からの受光信号を補正し、補正された受光信号から得られた撮像画像に基づいて外部近接物体の位置等の情報を得るようにしたので、補正係数を適宜に設定することにより、表示面内での上記強度分布および受光感度分布に応じた適切な補正を受光信号に行うことが可能になる。特に、補正係数の表示面内分布が表示面内強度分布と面内受光感度分布とを合わせた合成分布を反転させた分布となるようにすると共に、各受光要素からの受光信号に対して、対応する補正係数を乗ずる補正を行うようにした場合には、出射光の表示面内強度分布や受光要素の面内受光感度分布の影響がキャンセルされた均一なレベルの受光信号を得ることができ、高い精度で指等の近接物体を検出することが可能になる。
【００１２】
本発明の画像入力方法によれば、出射光の表示面内強度分布と受光要素の面内受光感度分布とを合わせた合成分布を反転させた表示面内分布をもつ補正係数を用いて、各受光要素からの受光信号に対する補正が行われる。その結果、出射光の表示面内強度分布や受光要素の面内受光感度分布の影響がキャンセルされた均一なレベルの受光信号を得ることができ、高い精度で指等の近接物体を検出することが可能になる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
図１は、第１の実施の形態に係る画像入出力装置１の概略構成を表すものである。図２は、第１の実施の形態に係る画像入出力装置１の構成を表すものである。図３は、入出力パネルの一部を拡大した断面を表すものである。本実施の形態に係る画像入出力装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３および画像処理部１４を有し、電子機器本体２０は、制御部２１を有する。
【００１５】
入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライトから出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。
【００１６】
入出力パネル１１は、図２および図３に示したように、１対の透明基板３０，３１の間に、隔壁３２によって互いに分離された構造の複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷ（ＣＷ１，ＣＷ２，ＣＷ３，…）と、これらの発光セルＣＷに内包された複数の受光セルＣＲ（ＣＲ１，ＣＲ２，ＣＲ３，…）とを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子ＰＤを含む。なお、受光セルＣＲにおいては、バックライトから出射された光ＬＢが入射しないように、バックライト側の透明基板３０と受光素子ＰＤとの間に遮蔽層３３が配置され、各受光素子ＰＤはバックライト光ＬＢの影響を受けず、バックライトと反対側の透明基板３１の方向から入射された光のみを検出するようになっている。
【００１７】
図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。
【００１８】
表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持すると共に、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２、および各受光セルＣＲを駆動する受光側スキャナ４３を連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を、受光側スキャナ４３には受光タイミング制御信号を、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。
【００１９】
発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。
【００２０】
表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。
【００２１】
受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の画像表示装置においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。
【００２２】
図１に示す受光信号処理部１３（補正手段）は、入出力パネル１１の後段に接続され、受光要素１１ｂからの受光信号を取り込んで増幅等を行うと共に、バックライトの面内の発光強度（表示面からの出射光の表示面内強度分布）および受光要素１１ｂ毎の受光感度（複数の受光要素の面内受光感度分布）に対して補償を行うための面内補正テーブル１３ａを用いて、受光信号を補正する回路である。すなわち、受光信号処理部１３は、バックライトの表示面内における輝度分布および受光要素１１ｂ毎の受光感度のばらつきの影響が除去された撮像画像を生成するものである。面内補正テーブル１３ａは、受光信号処理部１３に設けられたメモリ（図示せず）に格納されている。但し、他のブロック内に面内補正テーブル１３ａを格納するようにしてもよい。
【００２３】
受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。
【００２４】
受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を１画面ごと（１フィールドの表示ごと）の受光信号に再構成し、例えば、ＳＲＡＭなどから構成されるフィールドメモリに格納して保持する機能を有する。受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。
【００２５】
画像処理部１４（図１）は、受光信号処理部１３の後段に接続され、受光信号処理部１３から補正後の撮像画像を取り込んで、２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報、すなわち外部近接物体の重心や中心座標および外部近接物体の領域（サイズや形状）を示す情報を得る回路である。より具体的には、画像処理部１４の位置検出部４７（図２）が、受光信号保持部４６から出力される受光信号のデータに基づいて信号処理を行い、受光セルＣＲにおいて検出された物体が存在する位置等を特定する。これにより、接触あるいは近接する指等の位置を特定することが可能となる。その際、位置検出部４７は、補正された撮像画像を用いるようにしていることから、外部近接物体の位置等を検出する際の判定エラーが少なくなる。
【００２６】
電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から点情報を入力するようになっている。制御部２１は、点情報を用いて表示画像を変化させるものである。
【００２７】
制御部２１（図１）は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成され、供給された画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。
【００２８】
次に、面内補正テーブル１３ａの作成方法について説明する。図４は、面内補正テーブル１３ａを作成する処理の流れを表すものである。ここでは、図５に示したように、複数（ここでは４つ）の発光受光セルＣＷＲに含まれている複数（４つ）の受光要素１１ｂからなるグループ１５を１つの補正単位として補正を行う場合について説明する。
【００２９】
まず、反射率が面内で一様になっている基準反射板（図示せず）を入出力パネル１１の全面が覆われるように対向させて配置する（Ｓ１０）。この状態で、表示信号生成部 （図２）からの表示信号によって、表示要素１１ａとしての発光セルＣＷ（液晶セル）をすべて白表示状態（すなわち、最高階調状態）にすることにより、バックライトからの出射光のほぼすべてが表示面から出射されるようにする。この表示面からの出射光を基準反射板により反射させ、その反射光を各受光要素１１ｂにより受光する。但し、この場合、発光セルＣＷのうち、Ｒ，Ｇ，Ｂの各色発光セルをすべて最高階調にして文字通りの白表示（狭義の白表示）を行うようにしてもよいし、あるいは特定の１色（例えばＲ色）の発光セルのみを最高階調（広義の白表示）にし、他の２色（例えばＲ色）の発光セルについては最低階調（広義の黒表示）にするようにしてもよい。なお、液晶セルは通常、その液晶の状態（開閉状態）によらず赤外光を透過するので、各受光素子の上に赤外光選択透過フィルタを設けておけば、液晶セルを黒表示状態にしておいても、バックライトに含まれる赤外光を利用して上記のような反射および受光を行うこともできる。
【００３０】
次に、各受光要素１１ｂから出力される受光信号を読み出す（Ｓ１２）。本実施の形態で用いられる受光要素１１ｂは、個々の画素１６毎に配置されているので、面内補正テーブル１３ａを格納するメモリの容量を減らすために、上記のように、隣接して配置された複数の受光要素１１ｂにより１つのグループを構成して、グループ毎に補正係数を求める。一例としては、図５に示すように、列方向および行方向に配列されている画素１６のうち、列方向と行方向とで隣接している２×２の４つの画素１６で１つのグループを構成する。これにより、複数の画素１６にそれぞれ配置されている受光要素１１ｂが複数のグループに分割されて、各グループが受光要素群を形成する。なお、グループは、図５に示す２×２個の受光要素１１ｂ（画素１６）で構成するのではなく、他の個数（例えば、３×３、２×４、４×４等）の受光要素１１ｂで構成するようにしてもよい。
【００３１】
次に、各グループを構成している受光要素１１ｂから出力される受光信号の大きさの平均を演算して求める。すなわち、反射光の受光強度の平均値をグループ毎に求め、これをグループ平均値とする。さらに、得られた複数のグループ平均値のうちの最大値を最大グループ平均値とする（Ｓ１４）。
【００３２】
次に、Ｓ１４で得られた各グループ平均値を最大グループ平均値で除して得られる正規化値の逆数を求める逆数演算を行い（Ｓ１６）、その結果を補正係数とする。この場合、上記の正規化値は必ず１．０以下の値となることから、その逆数である補正係数は必ず１．０以上の値となる。このため、補正係数が１．０以下の範囲にある場合に比べて、記憶に要するメモリの容量が少なくて済む。しかも、通常、バックライトの表示面内輝度分布のばらつきや受光要素１１ｂ毎の受光感度のばらつきが著しく大きいことは少ないと考えられることから、各グループ平均値は最大グループ平均値をやや下回る程度の値となり、必然的に、逆数演算の結果である補正係数の値は、１．０を少し上回る程度の比較的狭い範囲に納まることとなる。このため、この点においても、後述するように、記憶に要するメモリの容量が少なくて済む。このようにして、Ｓ１６の演算をグループ毎に行ってすべてのグループの補正係数を求めることにより、例えば図６に示したような面内補正テーブル１３ａが得られ、これを上記のメモリへ記録する（Ｓ１８）。
【００３３】
図６の面内補正テーブル１３ａは、表示面の行方向および列方向、すなわちＸ軸方向およびＹ軸方向において、Ｘ軸方向にＸ＝１，２，３…Ｎ個、Ｙ軸方向にＹ＝１，２，３…Ｍ個のグループを形成した場合のものであり、グループ毎に補正係数Ｃ１１，Ｃ２１，…，ＣＮＭが求められている。この面内補正テーブル１３ａを立体グラフより例示すると、図７のようになる。この図７の模式図において、底面が入出力パネル１１の表示面に対応し、高さ方向が補正係数を示している。このように、本実施の形態では、各受光要素ごとに補正係数をもつのではなく、複数の受光要素をグループ化して、各グループごとに補正係数をもつようにしたので、補正係数の個数を低減でき、記憶に要するメモリ容量が少なくて済む。
【００３４】
次に、本実施の形態の画像入出力装置１の作用について説明する。図８は画像入出力装置１が面内補正を行うときの処理の流れを表すものである。図９は受光信号、面内補正テーブル１３ａおよび補正後の受光信号を表すものである。ここで図９（Ａ）は、面内の不均一な状態の一例を表すものであり、縦軸は不均一の大きさ、横軸は面内方向を示している。図９（Ｂ）は、表示面から出射される光の表示面内強度分布（曲線Ａ）と、複数の受光要素１１ｂの面内受光感度分布（曲線Ｂ）とを合成した分布（曲線Ｃ）の一例を表すものであり、縦軸は不均一の大きさ、横軸は面内方向を示している。図９（Ｃ）は、曲線Ｃに表される合成分布があるときに、受光要素１１ｂから出力される受光信号の一例を表すものであり、縦軸は不均一の大きさ、横軸は面内方向を示している。図９（Ｄ）は、曲線Ｃに表される合成分布を補償する面内補正テーブル１３ａの一例を表すものであり、縦軸は補正係数、横軸は面内方向を示している。図９（Ｅ）は、受光要素１１ｂから出力される信号強度に、曲線Ｅに表される面内補正テーブルを乗算することにより得られた補償後の信号強度の一例を表すものであり、縦軸は信号強度、横軸は面内方向を示している。
【００３５】
電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。
【００３６】
入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、表示要素１１ａに指等の外部近接物体が接触または近接すると、表示要素１１ａに表示された画像が外部近接物体で反射されて、この反射光が受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される（Ｓ２０）。このときバックライトの面内における輝度の不均一な状態は、図９（Ａ）の曲線Ａに示すようになり、マトリクス状に配列された受光要素１１ｂの面内における受光感度の不均一な状態は、図９（Ａ）の曲線Ｂに示すようになっている。このような曲線Ａと曲線Ｂとの合成分布は、図９（Ｂ）の曲線Ｃに示すようになる。これにより、受光要素１１ｂから出力される受光信号Ｄは、曲線Ｃ（曲線Ａおよび曲線Ｂ）に示される面内の不均一な状態によって、面内において信号強度が異なっている。
【００３７】
受光信号処理部１３は、受光信号を入力して増幅等の処理をすると共に、上記の記憶手段から読み出した面内補正テーブル１３ａを用いて、受光信号を処理する（Ｓ２２）。具体的に、受光信号処理部１３は、入力した受光信号と、図９（Ｄ）に示される面内補正テーブル１３ａとを演算（乗算）して、図９（Ｃ）の受光信号Ｄに示される面内の不均一な状態を、図９（Ｅ）に示されるように、受光信号Ｆの強度を面内で均一に面内補正している。このようにして受光処理部は、面内補正された受光信号Ｄから撮像画像を得ている。
【００３８】
次に、画像処理部１４は、面内補正された撮像画像を入力し、この撮像画像に対し２値化処理を行う（Ｓ２４）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。
【００３９】
そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（Ｓ２６）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。
【００４０】
この後、画像処理部１４は、ラベリング処理を行う（Ｓ２８）。すなわち、画像処理部１４は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、画像処理部１４は、「１」に設定された領域を外部近接物体の領域として検出し、この領域の重心または中心座標を得る。このようなデータは、点情報として制御部２１に出力される。
【００４１】
次に、制御部２１は、画像処理部１４から入力した点情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。
【００４２】
このように、本実施の形態によれば、画像を表示するバックライトの面内輝度分布および受光要素１１ｂ毎の受光感度の違いを補償するための面内補正テーブル１３ａを用いて、バックライトから出射されて外部近接物体により反射された光を受光する受光要素からの受光信号を補正することができる。これにより画像入出力装置１は、補正後の受光信号を基に高精度な画像処理を行うことができ、その結果、外部近接物体を正確に検出することができる。
【００４３】
また、本実施の形態によれば、補正係数が必ず１．０以上の値となるようにしたので、補正係数が１．０以下の範囲にある場合に比べて、記憶に要するメモリの容量が少なくて済む。しかも、補正係数の値は、１．０を少し上回る程度の比較的狭い範囲に納まることから、補正係数を表現するビット数を少なくすることができ、この点においても、記憶に要するメモリの容量の低減に寄与する。
【００４４】
また、本実施の形態によれば、複数の画素１６のうち隣接するもの同士でグループを構成し、各グループに設けられた受光要素１１ｂを用いてグループ毎に補正係数を求めて、面内補正テーブル１３ａを得ている。これにより、画素１６毎に補正係数を求めて面内補正テーブル１３ａを得る場合に比べて、面内補正テーブル１３ａのデータ量を減らすことができ、メモリ容量を小さくすることができる。
【００４５】
なお、面内補正テーブル１３ａの補正係数は、例えば小数点以下３桁程度まで求めて格納するようにしてもよいが、より粗い精度（例えば小数点以下１桁まで）で求めるようにしてもよい。具体的には、通常、面内補正テーブル１３ａを６ビットで設定しているところを、精度を粗くして４ビットで設定すれば、面内補正テーブル１３ａのデータ量を減らすことができ、上記の記憶手段のメモリ容量を小さくすることができる。
【００４６】
さらに、本実施の形態によれば、画像入出力装置１をユーザに出荷する前に面内補正テーブル１３ａを求めてメモリに記録させておくようにすれば、ユーザが面内補正テーブル１３ａを作成する手間を省くことができる。但し、ユーザによっても面内補正テーブル１３ａを作成することができるようになっていれば、入出力パネル１１が経時変化した場合でも、経時変化に合わせて面内補正テーブル１３ａを適宜作成することができ、使用時間が相当経過した後であっても、常に適切に補正された高精度な撮像画像を得ることができる。
【００４７】
なお、上記の実施の形態では、面内補正テーブル１３ａを作成するときに、図４のＳ１４，Ｓ１６に示されるように、グループ平均値とグループ間で検出される最大グループ平均値とを求め、これらの値を用いた演算を行って補正係数を得るようにしたが、補正係数は、この演算よって得られるものに限定されない。例えば、最大グループ平均値の代わりに任意の定数を用いて補正係数を求めるようにしてもよい。この任意の定数は、例えば１という値でもよく、この場合、補正係数はグループ平均値の単なる逆数となる。あるいは、最大グループ平均値の代わりに、最大グループ平均値に近いと予想される値を上記の定数として用いるようにしてもよい。この場合には、この定数を各グループ平均値によって除した結果が補正係数の値となる。また、面内補正テーブル１３ａは、図９（Ａ）の曲線Ａ，Ｂに例示されるような面内の不均一な状態を補償（相殺）できるもの、すなわち面内補正テーブル１３ａが曲線Ｃとは逆の分布（反転分布）をもつものであれば、如何なる値であってもよい。
【００４８】
また、面内補正テーブル１３ａの補正係数の個数を少なく（粗く設定）しておき、受光要素グループに対応する補正係数が面内補正テーブル１３ａ中に存在しないときには、存在するグループの補正係数に基づいてデータ補間を行うことにより、その補正係数が存在していない受光要素グループの補正係数を求め、この補間により求めた補正係数を用いて補正を行うようにしてもよい。例えば、隣接するグループの補正係数によってその間のグループの補正係数を補間するようにしてもよい。これにより、補正係数が隣り合うグループで急激に変化するのを防止して、面内補正テーブル１３ａを緩やかに変化させることができる。また、面内補正テーブル１３ａの記憶に要するメモリ容量を低減することができる。
【００４９】
また、上記の実施の形態では、マトリクス状に配置された受光要素１１ｂのうち隣接している複数の受光要素１１ｂで１つのグループを構成し、グループ毎に補正係数を求めて、面内補正テーブル１３ａを得ているが、画素１６毎に配置されている受光要素１１ｂのそれぞれにおいて補正係数を求めて、複数の補正係数をまとめることにより面内補正テーブル１３ａを得るようにしてもよい。この場合には、グループ毎に補正係数を得る場合に比べて、面内で細かく補正係数を得ることができるので、より高精度に面内補正された画像を得ることができる。
【００５０】
また、以下に示すような変形例も可能である。
【００５１】
［変形例１］
本変形例の画像入出力装置は、ディスプレイ１０に設けられた表示信号処理部１２、入出力パネル１１、受光信号処理部１３および画像処理部１４と、ディスプレイ１０を利用する電子機器の電子機器本体２０に設けられた制御部２１とを備えたものである。
【００５２】
画像入出力装置は、面内補正テーブル１３ａを作成するときに、第１の実施の形態で説明したような全面が同じ色になっている参照画像を用いるのではなく、入出力パネル１１に任意の参照画像を表示して、この任意の参照画像を用いて作成するようになっている。この参照画像は、１フレーム内で模様や複数の色が付いている等の任意のものである。
【００５３】
このような画像入出力装置を構成するために、表示信号処理部１２は、入出力パネル１１および受光信号処理部１３のそれぞれの前段に接続されている。表示信号処理部１２は、入出力パネル１１に対して、表示データに基づいて参照画像を表示するように駆動させる信号を出力すると共に、受光信号処理部１３に対して、入出力パネル１１に表示される参照画像のデータ値を出力するようになっている。
【００５４】
入出力パネル１１では、輝度が徐々に変わっている標準反射板によって参照画像が反射された光を受光要素１１ｂで受光して、受光信号処理部１３に出力するようになっている。受光信号処理部１３は、入出力パネル１１の後段にも接続しており、面内補正テーブル１３ａを作成するときに、入出力パネル１１から受光信号を入力すると、この入力した受光信号が得られたときの参照画像の輝度データから求めた反転輝度テーブルの係数と受光信号とを演算（乗算）して、面内で同色になっていない参照画像の影響を受光信号から取り除いている。
【００５５】
この後、受光信号処理部１３は、図４のＳ１４〜Ｓ１８に示される処理を行って、面内補正テーブル１３ａを得ている。
【００５６】
本実施の形態に係る画像入出力装置の作用は、第１の実施の形態で説明したものと同様になっているので、その説明を省略する。
【００５７】
このような画像入出力装置は、面内補正テーブル１３ａを作成するときに、入出力パネル１１に表示される画像の輝度データを表示信号処理部１２から受光信号処理部１３に出力された参照画像の輝度データの反転輝度テーブルの係数を用いて、入出力パネル１１から得た受光信号の面内で同色になっていない参照画像の影響を補正している。このため画像入出力装置は、第１の実施の形態で説明したような全面が同じ色の参照画像を用いなくとも面内補正テーブル１３ａを得ることができ、面内補正テーブル１３ａを作成するときにのみ必要な全面が同じ色の参照画像を記憶しておく必要がなくなる。
【００５８】
なお、表示信号処理部１２は、入出力パネル１１に表示させる参照画像が連続して変化する場合に、フレーム毎に画像データの逆数テーブルを求めて受光信号処理部１３に出力し、受光信号処理部１３は、入出力パネル１１から入力した受光信号と、この受光信号が入出力パネル１１で得られたときの画像データから求めた逆数テーブルとを用いて補正を行った後、さらに、図４のＳ１４〜Ｓ１８に示される処理を行って、面内補正テーブル１３ａを得ても良い。
【００５９】
［変形例２］
図１０は本変形例に係る画像入出力装置２の構成を表すものである。この画像入出力装置２は、上記実施の形態に係る画像入出力装置１と比較して、画像処理部１４が電子機器本体２０に設けられた点が異なっている。 すなわち、本変形例に係る画像入出力装置２は、表示信号処理部１２、入出力パネル１１および受光信号処理部１３がディスプレイ１０に設けられ、制御部２１および画像処理部１４が電子機器本体２０に設けられたものである。このような画像入出力装置２であっても、上記実施の形態に係る画像入出力装置１と同様の効果を奏することができる。
【００６０】
なお、上記実施の形態で説明した画像入出力装置１，２では、入出力パネル１１として、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の画像入出力装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。入出力パネル１１は、有機ＥＬ素子を画素１６毎に配置することで構成され、表示データに応じて各有機ＥＬ素子に順方向バイアス電圧を印加して発光動作をさせると画像を表示し、他の有機ＥＬ素子に逆方向バイアス電圧を印加して反射光を受光することになる。このとき、順方向バイアスが印加されることによって有機ＥＬ素子が発光動作したときの表示面内強度分布と、逆方向バイアスが印加されることによって有機ＥＬ素子が受光動作をしたときの面内受光感度分布とを、上記実施の形態で説明した面内補正方法を実施すれば、それぞれの分布を面内補正することができる。
【００６１】
以上、いくつかの実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらに限定されるものではなく、種々変形が可能である。例えば、図２および図３に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施の形態に係る画像入出力装置の構成を表すブロック図である。
【図２】図１の画像入出力装置の構成をより詳細に表すブロック図である。
【図３】入出力パネルの一部を拡大した断面である。
【図４】面内補正テーブルを作成するときのフロー図である。
【図５】複数の受光要素を複数のグループに分割した場合のグループの説明図である。
【図６】面内補正テーブルの一例を示す表である。
【図７】面内補正テーブルの一例を示すグラフである。
【図８】画像入出力装置による画像処理全体のフロー図である。
【図９】受光信号、面内補正テーブルおよび補正後の受光信号の一例を示すグラフである。
【図１０】本実施の形態の変形例に係る画像入出力装置の構成を表すブロック図である。
【符号の説明】
【００６３】
１，２…画像入出力装置、１０…ディスプレイ、１１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１２…表示信号処理部、１３…受光信号処理部、１３ａ…面内補正テーブル、１４…画像処理部、１５…グループ、１６…画素、２０…電子機器本体、２１…制御部、３０…表示信号処理部、３１…受光信号処理部。
【特許請求の範囲】
【請求項１】
表示面に沿って配列され、画像信号に基づいて画像を表示する複数の表示要素と、前記表示面に沿って配列され、前記表示面から出射されて外部近接物体で反射された光を受光する複数の受光要素とを有する入出力パネルと、
前記表示面から出射される光の表示面内強度分布および前記複数の受光要素の面内受光感度分布の双方に応じた表示面内分布をもつ補正係数と前記表示面上の位置とを対応付けてなる面内補正テーブルを用いて、各受光要素からの受光信号を補正する補正手段と、
前記補正手段により補正された前記受光信号から得られた撮像画像に基づいて、前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を得る画像処理部と
を備えた画像入出力装置。
【請求項２】
前記補正係数の表示面内分布は、前記表示面内強度分布と面内受光感度分布とを合わせた合成分布を反転させた分布であり、
前記補正手段は、各受光要素からの受光信号に、それぞれ対応する補正係数を乗ずる補正を行う
請求項１に記載の画像入出力装置。
【請求項３】
前記補正係数は、１．０以上である
請求項２に記載の画像入出力装置。
【請求項４】
前記面内補正テーブルは、前記複数の受光要素を複数グループに分割してなるグループ毎に前記補正係数を対応付けて構成されたものである
請求項２に記載の画像入出力装置。
【請求項５】
前記補正係数は、前記表示面に対向させて基準反射板を配置した状態で前記表示面を一様に光らせたときに各受光要素から得られる受光信号を前記グループごとに平均して得られる各グループ平均値を、すべてのグループ平均値のうちの最大値によって正規化することにより得られる正規化値の逆数である
請求項４に記載の画像入出力装置。
【請求項６】
前記面内補正テーブルは、受光要素毎に前記補正係数を対応付けて構成されたものである
請求項２に記載の画像入出力装置。
【請求項７】
前記補正係数は、前記表示面に対向させて基準反射板を配置した状態で前記表示面を一様に光らせたときに各受光要素から得られる受光信号の値を、すべての受光信号のうちの最大値によって正規化することにより得られる正規化値の逆数である
請求項６に記載の画像入出力装置。
【請求項８】
前記補正手段は、前記面内補正テーブルにおいて補正係数が対応付けられていない非対応受光要素について、補正係数が対応付けられている他の複数の受光要素における補正係数を用いて補間処理を行うことにより補間補正係数を求め、得られた補間補正係数を用いて前記非対応受光要素からの受光信号を補正する
請求項１に記載の画像入出力装置。
【請求項９】
表示面から出射されて外部近接物体で反射された光を、前記表示面に沿って配列された複数の受光要素により受光し、
前記表示面から出射される光の表示面内強度分布および前記複数の受光要素の面内受光感度分布の双方を合わせた合成分布を反転させた表示面内分布をもつ補正係数を求め、
得られた補正係数用いて、各受光要素からの受光信号を補正し、
補正された受光信号から得られた撮像画像に基づいて、前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を得る
画像入力方法。
【請求項１０】
表示面から出射されて外部近接物体で反射された光を受光する複数の受光要素を前記表示面に沿って配列し、前記複数の受光要素からの受光信号により得られた撮像画像に基づいて前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を得るようにした画像入出力装置における前記表示面から出射される光の表示面内強度分布および前記複数の受光要素の面内受光感度分布の双方を合わせた合成分布を反転させた表示面内分布をもつ補正係数を求め、
得られた補正係数用いて、各受光要素からの受光信号を補正する
画像入出力装置の受光レベル補正方法。
【請求項１】
表示面に沿って配列され、画像信号に基づいて画像を表示する複数の表示要素と、前記表示面に沿って配列され、前記表示面から出射されて外部近接物体で反射された光を受光する複数の受光要素とを有する入出力パネルと、
前記表示面から出射される光の表示面内強度分布および前記複数の受光要素の面内受光感度分布の双方に応じた表示面内分布をもつ補正係数と前記表示面上の位置とを対応付けてなる面内補正テーブルを用いて、各受光要素からの受光信号を補正する補正手段と、
前記補正手段により補正された前記受光信号から得られた撮像画像に基づいて、前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を得る画像処理部と
を備えた画像入出力装置。
【請求項２】
前記補正係数の表示面内分布は、前記表示面内強度分布と面内受光感度分布とを合わせた合成分布を反転させた分布であり、
前記補正手段は、各受光要素からの受光信号に、それぞれ対応する補正係数を乗ずる補正を行う
請求項１に記載の画像入出力装置。
【請求項３】
前記補正係数は、１．０以上である
請求項２に記載の画像入出力装置。
【請求項４】
前記面内補正テーブルは、前記複数の受光要素を複数グループに分割してなるグループ毎に前記補正係数を対応付けて構成されたものである
請求項２に記載の画像入出力装置。
【請求項５】
前記補正係数は、前記表示面に対向させて基準反射板を配置した状態で前記表示面を一様に光らせたときに各受光要素から得られる受光信号を前記グループごとに平均して得られる各グループ平均値を、すべてのグループ平均値のうちの最大値によって正規化することにより得られる正規化値の逆数である
請求項４に記載の画像入出力装置。
【請求項６】
前記面内補正テーブルは、受光要素毎に前記補正係数を対応付けて構成されたものである
請求項２に記載の画像入出力装置。
【請求項７】
前記補正係数は、前記表示面に対向させて基準反射板を配置した状態で前記表示面を一様に光らせたときに各受光要素から得られる受光信号の値を、すべての受光信号のうちの最大値によって正規化することにより得られる正規化値の逆数である
請求項６に記載の画像入出力装置。
【請求項８】
前記補正手段は、前記面内補正テーブルにおいて補正係数が対応付けられていない非対応受光要素について、補正係数が対応付けられている他の複数の受光要素における補正係数を用いて補間処理を行うことにより補間補正係数を求め、得られた補間補正係数を用いて前記非対応受光要素からの受光信号を補正する
請求項１に記載の画像入出力装置。
【請求項９】
表示面から出射されて外部近接物体で反射された光を、前記表示面に沿って配列された複数の受光要素により受光し、
前記表示面から出射される光の表示面内強度分布および前記複数の受光要素の面内受光感度分布の双方を合わせた合成分布を反転させた表示面内分布をもつ補正係数を求め、
得られた補正係数用いて、各受光要素からの受光信号を補正し、
補正された受光信号から得られた撮像画像に基づいて、前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を得る
画像入力方法。
【請求項１０】
表示面から出射されて外部近接物体で反射された光を受光する複数の受光要素を前記表示面に沿って配列し、前記複数の受光要素からの受光信号により得られた撮像画像に基づいて前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を得るようにした画像入出力装置における前記表示面から出射される光の表示面内強度分布および前記複数の受光要素の面内受光感度分布の双方を合わせた合成分布を反転させた表示面内分布をもつ補正係数を求め、
得られた補正係数用いて、各受光要素からの受光信号を補正する
画像入出力装置の受光レベル補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−１５４８５（Ｐ２０１０−１５４８５Ａ）
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願番号】特願２００８−１７６６８５（Ｐ２００８−１７６６８５）
【出願日】平成２０年７月７日（２００８．７．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願日】平成２０年７月７日（２００８．７．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]