表示撮像装置および電子機器
【課題】使用状況によらず、物体を安定して検出することが可能な表示撮像装置を提供する。
【解決手段】各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応する互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。これにより、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定が回避される（強外光下での誤動作が防止される）。
【解決手段】各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応する互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。これにより、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定が回避される（強外光下での誤動作が防止される）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パネルに接触または近接する物体の位置などの情報を取得する表示撮像装置、およびそのような表示撮像装置を備えた電子機器に関する。
【背景技術】
【０００２】
従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。
【０００３】
このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。
【０００４】
また、本出願人は例えば特許文献１および特許文献２において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。
【０００５】
【特許文献１】特開２００４−１２７２７２号公報
【特許文献２】特開２００６−２７６２２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示撮像パネルからの照射光による反射光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。
【０００７】
しかしながら、上記のように物体で反射された反射光を利用する場合、外光や、受光素子の特性ばらつきなどが問題となることがあった。具体的には、受光する光の輝度が外光の明るさに応じて変化することから、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。また、受光素子の特性ばらつきなどが固定ノイズとなり、やはり撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。
【０００８】
そこで、上記特許文献２では、発光状態で得られた画像（照射光による反射光を利用して得られた画像）と、消灯状態で得られた画像との差分を取ることにより、上記した外光や固定ノイズによる影響が除去されるようにしている。これにより、外光や固定ノイズの影響を受けずに、物体の位置などを検出することが可能となると考えられる。
【０００９】
ところが、実際の使用状況下では、上記の発光状態で得られた画像と消灯状態で得られた画像との間には、時間差が存在する。したがって、例えば表示撮像パネル上で物体が高速に移動している場合などには、この時間差のため、発光状態で得られた画像と消灯状態で得られた画像との間で位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの画像の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう場合があった。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。
【００１０】
このように従来の技術では、そのときの使用状況によらずにパネルに接触または近接する物体を安定して検出するのは困難であり、改善の余地があった。
【００１１】
本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、物体を安定して検出することが可能な表示撮像装置および物体の検出方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の表示撮像装置は、発光素子および受光素子を有する入出力パネルと、この入出力パネルから照射される照射光による反射光が受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部とを備えたものである。ここで、上記受光素子は、互いに波長領域の異なる光を受光可能な複数種類の受光素子により構成されている。また、上記検出部は、各々が複数種類の受光素子に対応した互いに異なる波長領域の光となるように互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、上記物体情報を検出するようになっている。
【００１３】
本発明の電気機器は、上記表示撮像装置を備えたものである。
【００１４】
本発明の表示撮像装置および電子機器では、入出力パネルから照射される照射光による反射光が受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報が検出される。この際、各々が複数種類の受光素子に対応した互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、上記物体情報が検出される。これにより、得られた受光信号に対して、反射光による受光信号であるのかまたは外光による受光信号であるのかの判定が可能となるため、例えば外部近接物体が入出力パネル上で動いているような場合であっても、偽信号による誤判定が回避される。
【発明の効果】
【００１５】
本発明の表示撮像装置および電子機器によれば、各々が複数種類の受光素子に対応した互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、上記物体情報を検出するようにしたので、例えば外部近接物体が入出力パネル上で動いているような場合であっても、偽信号による誤判定を回避することができる。よって、使用状況によらず、物体を安定して検出することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ＲＧＢのＬＥＤを用いた場合の基本構成例）
２．第２の実施の形態（表示領域にカラーフィルタを配置した場合の例）
３．第３の実施の形態（赤外ＬＥＤおよびＩＲフィルタを用いた場合の例）
４．第４の実施の形態（青色，黄色，赤外ＬＥＤを用いた場合の例）
５．第５の実施の形態（白色，赤外ＬＥＤを用いた場合の例）
６．第６の実施の形態（ＩＲ吸収フィルタを用いた場合の例）
７．適用例（電子機器への適用例）
８．変形例
【００１７】
＜１．第１の実施の形態＞
［表示撮像装置全体の概略構成例］
図１は、本発明の第１の実施の形態に係る表示撮像装置（表示撮像装置１）の概略構成を表すものである。また、図２は、本実施の形態に係る表示撮像装置１の詳細構成を表すものである。本実施の形態に係る表示撮像装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３および画像処理部１４を有し、電子機器本体２０は、制御部２１を有する。
【００１８】
入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライト（後述するバックライト１１０）から出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子（後述する受光センサ１１５）である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号（検出信号）を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。
【００１９】
入出力パネル１１は、図２に示したように、複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷと、これらの発光セルＣＷに内包された複数の受光セルＣＲとを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子を含む。なお、この入出力パネル１１の詳細構成については、後述する（図３および図４）。
【００２０】
図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。
【００２１】
表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持すると共に、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２、および各受光セルＣＲを駆動する受光側スキャナ４３を連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を、受光側スキャナ４３には受光タイミング制御信号を、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。
【００２２】
発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。
【００２３】
表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。
【００２４】
受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の表示撮像装置１においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。
【００２５】
図１に示す受光信号処理部１３は、入出力パネル１１の後段に接続され、受光要素１１ｂからの受光信号を取り込んで増幅等を行うものである。この受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。
【００２６】
受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。
【００２７】
受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を１画面ごと（１フィールドの表示ごと）の受光信号に再構成し、例えば、ＳＲＡＭなどから構成されるフィールドメモリに格納して保持する機能を有する。受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。
【００２８】
画像処理部１４（図１）は、検出信号処理部１３の後段に接続され、検出信号処理部１３から検出画像を取り込んで、２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報、すなわち外部近接物体の重心や中心座標、および外部近接物体の領域（サイズや形状）を示す情報を得る回路である。具体的には、画像処理部１４におけるラベリング処理部（図示せず）は、ラベリング処理を行うことにより、検出画像全体についてのラベル情報（検出画像内における連結領域ごとの識別番号を示す情報）、連結領域ごとの位置情報および面積情報をそれぞれ取得するようになっている。
【００２９】
また、画像処理部１４における位置検出部４７（図２）は、ラベリング処理部より得られた上記ラベル情報、位置情報および面積情報に基づいて信号処理を行い、検出された物体が存在する位置等を特定するようになっている。これにより、接触あるいは近接する指等の位置を特定することが可能となる。
【００３０】
電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から点情報を入力するようになっている。制御部２１は、点情報を用いて表示画像を変化させるものである。
【００３１】
制御部２１（図１）は、点情報を用いて表示画像を変化させるものであり、例えばＣＰＵ（Central Processing Unit）などにより構成されている。制御部２１は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成され、供給された画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。
【００３２】
［入出力パネルの詳細構成例］
次に、図３および図４を参照して、本実施の形態の入出力パネル１１の詳細構成について説明する。図３は、入出力パネル１１の概略構成例を平面図で表したものであり、図４は、入出力パネル１１の概略構成例を断面図で表したものである。
【００３３】
この入出力パネル１１では、例えば図３に示したように、表示領域３１上には、ＲＧＢのカラーフィルタが配置されず、受光領域３２上にのみ、ＲＧＢのカラーフィルタがそれぞれ配置されるようになっている。これにより、受光領域３２は、赤色光を受光可能な赤色受光領域３２Ｒと、緑色光を受光可能な緑色受光領域３２Ｇと、青色光を受光可能な青色受光領域３２Ｂとにより構成されている。
【００３４】
また、例えば図４に示したように、入出力パネル１１は、バックライト１１０と、一対の偏光板１１１Ａ，１１１Ｂと、一対の透明基板１１１Ａ，１１１Ｂと、平坦化膜１１３Ａ，１１１３Ｂと、液晶層１１４とを含んで構成されている。バックライト１１０は、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを含んでいる。また、液晶層１１４は、平坦化膜１１３Ａ，１１１３Ｂの間に設けられている。また、透明基板１１２Ａと平坦化膜１１３Ａとの間には、受光センサ１１５が配置され、透明基板１１２Ｂと平坦化膜１１３Ｂとの間には、カラーフィルタ１１６およびブラックマトリクスＢＭが配置されている。このカラーフィルタ１１６は、赤色用のカラーフィルタ１１６Ｒと、緑色用のカラーフィルタ１１６Ｇと、青色用のカラーフィルタ１１６Ｂとにより構成されている。これにより、受光センサ１１５は、互いに波長領域の異なる光を受光可能な複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂを含んで構成されている。具体的には、受光センサ１１５Ｒは、赤色光を受光可能であり、受光センサ１１５Ｇは、緑色光を受光可能であり、受光センサ１１５Ｂは、青色光を受光可能である。なお、受光センサ１１５Ｄは、ダミーセンサである。このような構成により、詳細は後述するが、入出力パネル１１においてフィールドシーケンシャル駆動が行われることにより、複数種類の照射光が照射されるようになっている。
【００３５】
なお、バックライト１１０における赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤはそれぞれ、例えば図５（Ａ）〜図５（Ｃ）に示したような、発光スペクトルとなっている。
【００３６】
また、カラーフィルタ１１６Ｒ，１１６Ｇ，１１６Ｂはそれぞれ、例えば図６に示したような、分光透過特性となっている。
【００３７】
［表示撮像装置の動作説明］
次に、図１〜図６に加えて図７〜図１２を参照して、本実施の形態の表示撮像装置１の作用および効果について説明する。
【００３８】
まず、図７および図８を参照して、表示撮像装置１の基本動作（物体検出の基本動作）について説明する。図７は、表示撮像装置１における物体検出の基本動作について説明するための概略断面図である。また、図８は、表示撮像装置１による画像処理全体の流れを表すものである。
【００３９】
電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。
【００４０】
入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、例えば図７に示したように、表示要素１１ａに指等の外部近接物体８が接触または近接すると、表示要素１１ａに表示された画像による光（表示光Ｌout）が外部近接物体８で反射されて、この反射光（検出光）Ｌｒが受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される。そして受光信号処理部１３は、この受光信号を入力して増幅等の処理を行い、受光信号を処理する（図８のステップＳ１０）。このようにして、受光信号処理部１３において、撮像画像が得られる。
【００４１】
次に、画像処理部１４は、受光信号処理部１３から撮像画像を入力し、この撮像画像に対し２値化処理を行う（ステップＳ１１）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。
【００４２】
そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（ステップＳ１２）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。
【００４３】
この後、画像処理部１４は、ラベリング処理部（図示せず）において、ラベリング処理を行う（ステップＳ１３）。すなわち、ラベリング処理部は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、ラベリング処理部は、「１」に設定された領域を外部近接物体の領域として検出し、上記ラベル情報、位置情報および面積情報をそれぞれ取得する。そしてこのようなデータは、点情報として制御部２１に出力される。
【００４４】
次に、制御部２１は、画像処理部１４から入力した点情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。以上により、表示撮像装置１における基本動作（物体検出の基本動作）が終了となる。
【００４５】
次に、図９〜図１２を参照して、本発明の特徴的部分の動作について、比較例と比較しつつ詳細に説明する。ここで、図９は、比較例に係る従来の表示撮像装置における偽信号の発生現象についてタイミング図で表したものである。また、図１０は、本実施の形態に係る物体の検出動作の一例をタイミング図で表したものである。また、図１１は、本実施の形態に係る物体の検出動作の際の受光信号の一覧を表したものである。また、図１２は、本実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を流れ図で表したものである。
【００４６】
まず、図９に示した比較例では、図中の符号Ｐ１００で示したように、発光状態で得られた画像（照射光による反射光を利用して得られた受光信号；図中の「ＯＮ」）と、消灯状態で得られた画像（図中の「ＯＦＦ」）との差分を取ることにより、外光ＬＯや固定ノイズによる影響が除去されるようにしている。これにより、外光ＬＯや固定ノイズの影響を受けずに、物体の位置などを検出することが可能となる。
【００４７】
しかしながら、例えば図中の符号Ｐ１０１，Ｐ１０２で示したように、入出力パネル１１上で外部近接物体（ここでは、指）８が高速に移動している場合などには、時間差のため、「ＯＮ」のときの受光信号と、「ＯＦＦ」のときの受光信号との間で、位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの受光信号の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう（図中の符号Ｐ１０１，Ｐ１０２参照）。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。
【００４８】
これに対し、本実施の形態では、例えば図１０に示したようにして、入出力パネル１１においてフィールドシーケンシャル駆動が行われることにより、複数種類の照射光が照射されるようになっている。具体的には、図中の発光期間（点灯期間）ΔＴＲ，ΔＴＧ，ΔＴＢで示したように、各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応した互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて複数種類の照射光が照射される。なお、表示のためには、バックライト１１０が発光していないタイミングに、表示の書き込みが行われる。そして、複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂではそれぞれ、同じタイミングで受光動作が行われる（図中の各撮像期間）。なお、図中のΔＴは、駆動動作の１周期期間を示している。
【００４９】
これにより、例えば図１１に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂにおいて図中に示したような受光信号が得られることとなる。ここで、図１１（Ａ），（Ｂ）に示した表において、一番左側の「外光」の欄は、外光ＬＯの有無や色の種類を示している。また、「表示」の欄は、入出力パネル１１における表示光の色の種類を示している。また、「ＬＥＤ」の欄は、バックライト１１０に含まれるＬＥＤの種類を示している。また、「Ｒ sensor」，「Ｇ sensor」，「Ｂ sensor」の欄は、各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂにおいて受光信号が得られるか否かを示している。また、「判定」の欄は、判定結果を示しており、「なし」は検出動作を行わないと判定する場合を、「あり」は検出動作を行うと判定する場合を示している。これらの欄により示される内容については、以下同様である。なお、本実施の形態では、照射光として可視光を用いると共に、可視光のみを受光しているため、黒表示時には、以下説明する判定処理が実行されないようになっている。
【００５０】
そして、位置検出部４７は、例えば図１２に示したような、外光ＬＯおよび検出光（反射光）Ｌｒの判定処理（ステップＳ２０〜Ｓ２５）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。具体的には、複数種類の照射光を利用した受光信号に基づいて、その受光信号が、反射光Ｌｒによる受光信号であるのか、または外光ＬＯによる受光信号であるのか、を判定することにより、物体情報を検出する。より具体的には、時分割でＲＧＢの各ＬＥＤ１１０Ｒ，１１０Ｇ，１１０Ｂを点灯させて各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂで受光することにより得られた受光信号（ステップＳ２０）において、以下の判定処理を行う。すなわち、各ＬＥＤ１１０Ｒ，１１０Ｇ，１１０Ｂの点灯時に、その色に対応する受光センサ１１５において受光信号が得られると共に他の色に対応する受光センサ１１５において受光信号が得られなかった場合（ステップＳ２１〜Ｓ２３：Ｙ）、検出動作を行う。これは、その受光信号が反射光Ｌｒによる受光信号であると判定し、検出動作を行うというものである（ステップＳ２５）。一方、それ以外の場合（ステップＳ２１〜Ｓ２３：Ｎ）、その受光信号が外光ＬＯによる受光信号であると判定し、検出動作を行わない（ステップＳ２４）。言い換えると、各波長領域の光の点灯時に、対応する波長領域の光のみからなる受光信号が得られた場合には、その受光信号が反射光Ｌｒによる受光信号であると判定し、検出動作を行う。一方、各波長領域の光の点灯時に、対応する波長領域以外の光を含む受光信号が得られた場合には、その受光信号が外光ＬＯによる受光信号であると判定し、検出動作を行わない。これは、検出用の照射光を照射しているときに、外光ＬＯの場合には、検出対象の受光センサおよび他の受光センサの両方から受光信号が得られる一方、反射光Ｌｒの場合には、検出対象の受光センサのみから受光信号が得られるためである。
【００５１】
このようにして、本実施の形態では、各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応する互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、物体情報が検出される。これにより、得られた受光信号に対して、反射光Ｌｒによる受光信号であるのかまたは外光ＬＯによる受光信号であるのかの判定が可能となるため、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定が回避される。
【００５２】
以上のように本実施の形態では、以下の効果が得られる。すなわち、本実施の形態では、各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応する互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、物体情報を検出している。これにより、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定を回避することができる（強外光下での誤動作を防ぐことができる。）。よって、使用状況によらず、物体を安定して検出することが可能となる。
【００５３】
また、受光センサ１１５のダイナミックレンジを強外光（例えば太陽）で飽和しないように設計する必要がなく、外部近接物体８からの反射光Ｌｒで受光センサ１１５が飽和しない限り、検出することが可能である。
【００５４】
＜２．第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。なお、上記第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００５５】
［入出力パネルの概略構成例］
図１３は、本実施の形態に係る入出力パネルの概略構成例を平面図で表したものであり、図１４は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。
【００５６】
本実施の形態の入出力パネルでは、例えば図１３（Ａ），図１３（Ｂ）および図１４に示したように、第１の実施の形態とは異なり、入出力パネルにおいて、表示領域３１において、各画素に対応してカラーフィルタ１１６Ｒ，１１６Ｇ，１１６Ｂが設けられている。これにより、表示領域３１は、赤色光を照射可能な赤色表示領域３１Ｒと、緑色光を照射可能な緑色表示領域３１Ｇと、青色光を照射可能な青色表示領域３１Ｂとにより構成されている。
【００５７】
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図１５（Ａ）〜図１５（Ｄ）に示したようにして、物体の検出動作が行われる。なお、ここでは、表示輝度を稼ぐため、表示のみを行う期間が設けられている。
【００５８】
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。
【００５９】
また、第１の実施の形態で説明したフィールドシーケンシャル駆動とは異なるため、表示の書き込みを高速で行う必要がなくなり、液晶の応答の追従性の問題を回避することができる。また、発光期間を長くすることができるため、表示の輝度を上げるためにＬＥＤのパワーを挙げる必要もなくなる。
【００６０】
なお、例えば図１６（Ａ）〜図１６（Ｄ）に示したように、表示期間を変更することにより、応答速度が速くない液晶モードを用いることが可能となる。また、例えば図１７（Ａ）〜図１７（Ｄ）に示したように、表示輝度を上げるため、各色ＬＥＤが全て発光している期間を、最大限にとるようにしてもよい。
【００６１】
＜３．第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。なお、上記第１，第２の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００６２】
［入出力パネルの概略構成例］
図１８は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、バックライト１１０−１に、非可視光である赤外光を発する赤外ＬＥＤ１１０ＩＲを含んでいると共に、非可視光である赤外光を受光する受光センサ１１５ＩＲを含んでいる。また、この受光センサ１１５ＩＲ上には、可視光をカットすると共に赤外光のみを透過するＩＲフィルタ１１６ＩＲが配置されている。
【００６３】
赤外ＬＥＤ１１０ＩＲは、例えば図１９に示したような発光スペクトル特性となっている。また、ＩＲフィルタ１１６ＩＲは、例えば図２０（Ａ），図２０（Ｂ）に示したような分光透過特性となっている。ここで、ＩＲフィルタ１１６ＩＲは、カラーフィルタのＲＢもしくはＲＧＢを積層することにより実現することが可能である。ここでは、ＲＢ積層よりもＲＧＢ積層のほうが可視光をカットする性能が高く、本実施例ではＲＧＢフィルタを用いている。
【００６４】
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図２１（Ａ）〜図２１（Ｅ）に示したようにして、物体の検出動作が行われる。そして、第１の実施の形態と同様に、例えば図２２に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂ，１１５ＩＲにおいて、図中に示したような受光信号が得られることとなる。
【００６５】
これにより、位置検出部４７は、第１の実施の形態と同様に、例えば図２３に示したような判定処理（ステップＳ３０〜Ｓ３４）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。
【００６６】
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。
【００６７】
また、黒表示した際にも、赤外線を出射することにより、外部近接物体８からの反射光Ｌｒを得ることができ、検出することが可能となる。
【００６８】
なお、図２３に示したステップＳ３２において、受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂのうちの１つだけで判定するようにしてもよい。
【００６９】
＜４．第４の実施の形態＞
次に、本発明の第４の実施の形態について説明する。なお、上記第１〜第３の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００７０】
［入出力パネルの概略構成例］
図２４は、本実施の形態に係る入出力パネルの概略構成例を平面図で表したものであり、図２５は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、本実施の形態では、バックライト１１０−２に、ＬＥＤ１１０Ｒ，１１０Ｇ，１１０Ｂ，１１０ＩＲの代わりに、青色および黄色のＬＥＤ１１０Ｂ，１１０Ｙと、赤外ＬＥＤ１１０ＩＲとが含まれている。また、受光センサ１１５として、受光センサ１１５Ｂ，１１５ＩＲ，１１５Ｄが設けられている。
【００７１】
なお、青色ＬＥＤ１１０Ｂおよび黄色ＬＥＤ１１０Ｙはそれぞれ、例えば図２６（Ａ），図２６（Ｂ）に示したような発光スペクトル特性となっている。
【００７２】
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図２７（Ａ）〜図２７（Ｄ）に示したようにして、物体の検出動作が行われる。なお、ここでは、黄色のＬＥＤ１１０Ｙの発光時は、撮像しておらず、ＬＥＤ１１０Ｂ，１１０ＩＲの発光時のみ撮像している。そして、第１の実施の形態と同様に、例えば図２８に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、図中に示したような受光信号が得られる。すなわち、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｂ，１１５ＩＲにおいて、図中に示したような受光信号が得られることとなる。
【００７３】
これにより、位置検出部４７は、第１の実施の形態と同様に、例えば図２９に示したような判定処理（ステップＳ４０〜Ｓ４４）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。
【００７４】
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。
【００７５】
なお、例えば図３０（Ａ）〜図３０（Ｄ）に示したように、表示のタイミングを変更するようにしてもよい。
【００７６】
＜５．第５の実施の形態＞
次に、本発明の第５の実施の形態について説明する。なお、上記第１〜第４の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００７７】
［入出力パネルの概略構成例］
図３１は、本実施の形態に係る入出力パネルの概略構成例を平面図で表したものであり、図３２は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、白色ＬＥＤによる白色表示領域３２Ｗが設けられると共に、白色光を受光可能な受光センサ１１５Ｗが設けられている。
【００７８】
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図３３（Ａ）〜図３３（Ｃ）に示したようにして、物体の検出動作が行われる。
【００７９】
なお、表示のタイミングを変更することにより、例えば図３３（Ｄ）〜図３３（Ｆ）に示したように、白色ＬＥＤの消灯時に書き込むようにし、残像感の少ない表示を得ることができる。また、例えば図３４（Ａ）〜図３３（Ｃ）に示したようにしてもよい。また、例えば図３５（Ａ）〜図３３（Ｃ）および図３５（Ｄ）〜図３５（Ｆ）に示したように、撮像期間を短くして、表示輝度を上げるため、白色ＬＥＤが発光している期間を最大限にとるようにしてもよい。
【００８０】
そして、第１の実施の形態と同様に、例えば図３６に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｗ，１１５ＩＲにおいて、図中に示したような受光信号が得られることとなる。
【００８１】
これにより、位置検出部４７は、第１の実施の形態と同様に、例えば図３７に示したような判定処理（ステップＳ５０〜Ｓ５４）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。
【００８２】
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。
【００８３】
＜６．第６の実施の形態＞
次に、本発明の第６の実施の形態について説明する。なお、上記第１〜第５の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００８４】
［入出力パネルの概略構成例］
図３８は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、受光センサ１１５Ｗ上に、ＩＲ吸収材料からなるＩＲ吸収フィルタ１１７ＩＲが配置されている。
【００８５】
なお、このＩＲ吸収フィルタ１１７ＩＲは、例えば図３９に示したような分光透過スペクトルとなっている。
【００８６】
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、ＬＥＤ１１０ＩＲの発光時に、受光センサ１１５Ｗに、赤外光が入射することが回避される。
【００８７】
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。
【００８８】
また、ＬＥＤ１１０ＩＲの発光時に、受光センサ１１５Ｗに、赤外光が入射することが回避されるため、上記第５の実施の形態における以下の問題を回避することができる。すなわち、受光センサ１１５Ｗの閾値を高く設定する必要がなくなり、受光センサ１１５Ｗのみで検出する外光環境範囲を小さくし、ＬＥＤ１１０ＩＲのパワーを高くする必要がなくなる。
【００８９】
＜７．適用例＞
（モジュールおよび適用例）
次に、図４０〜図４４を参照して、上記実施の形態で説明した表示撮像装置の適用例について説明する。上記実施の形態の表示撮像装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなどのあらゆる分野の電子機器に適用することが可能である。言い換えると、上記実施の形態の表示撮像装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。
【００９０】
（適用例１）
図４０は、上記実施の形態の表示撮像装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態に係る表示撮像装置により構成されている。
【００９１】
（適用例２）
図４１は、上記実施の形態の表示撮像装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態に係る表示撮像装置により構成されている。
【００９２】
（適用例３）
図４２は、上記実施の形態の表示撮像装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態に係る表示撮像装置により構成されている。
【００９３】
（適用例４）
図４３は、上記実施の形態の表示撮像装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有しており、その表示部５４４は、上記実施の形態に係る表示撮像装置により構成されている。
【００９４】
（適用例５）
図４４は、上記実施の形態の表示撮像装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態に係る表示撮像装置により構成されている。
【００９５】
＜８．変形例＞
以上、第１〜第６の実施の形態および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
【００９６】
例えば、図２に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。
【００９７】
また、上記実施の形態等で説明した表示撮像装置では、入出力パネルとして、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の表示撮像装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。
【００９８】
具体的には、例えば図４５（断面構成例）および図４６（平面構成例）に示した入出力パネル６１のように、トップエミッション構造であると共に、カラーフィルタ１１６が配置されたものが挙げられる。ここでは、ＩＲ発光層６１３ＩＲ上にもＩＲフィルタ１１６ＩＲが配置され、外光ＬＯによる駆動配線などの反射が抑えられるようになっている。なお、発光層６１３Ｒ，６１３Ｇ，６１３Ｂ，６１３ＩＲ、受光センサ１１５Ｗ，１１５ＩＲ，１１５Ｄ等の配置位置については、特に限定されない。
【００９９】
また、本発明の表示撮像装置は、上記実施の形態等で説明した表示撮像装置１だけでなく、例えば図４７に示したような表示撮像装置２にも適用することが可能である。この表示撮像装置２は、上記実施の形態等に係る表示撮像装置１と比較して、画像処理部１４が電子機器本体２０に設けられた点が異なっている。すなわち、この表示撮像装置２は、表示信号処理部１２、入出力パネル１１および受光信号処理部１３がディスプレイ１０に設けられ、制御部２１および画像処理部１４が電子機器本体２０に設けられたものである。このような表示撮像装置２であっても、上記実施の形態に係る表示撮像装置１と同様の効果を奏することができる。
【０１００】
また、これまでは、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。
【０１０１】
さらに、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。
【図面の簡単な説明】
【０１０２】
【図１】本発明の第１の実施の形態に係る表示撮像装置の構成を表すブロック図である。
【図２】図１の表示撮像装置の構成をより詳細に表すブロック図である。
【図３】第１の実施の形態に係る入出力パネルの概略構成例を表す平面図である。
【図４】図３に示した入出力パネルの概略構成例を表す断面図である。
【図５】各色ＬＥＤの発光スペクトル特性の一例を表す特性図である。
【図６】カラーフィルタの分光透過率特性の一例を表す特性図である。
【図７】表示撮像装置における物体検出の基本動作について説明するための概略断面図である。
【図８】表示撮像装置による画像処理全体の流れ図である。
【図９】比較例に係る表示撮像装置における偽信号の発生現象について説明するためのタイミング図である。
【図１０】第１の実施の形態に係る物体の検出動作の一例を表すタイミング図である。
【図１１】第１の実施の形態に係る物体の検出動作の際の受光信号の一覧を表す図である。
【図１２】第１の実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を表す流れ図である。
【図１３】第２の実施の形態に係る入出力パネルの概略構成例を表す平面図である。
【図１４】図１３に示した入出力パネルの概略構成例を表す断面図である。
【図１５】第２の実施の形態に係る物体の検出動作の一例を表すタイミング図である。
【図１６】第２の実施の形態に係る物体の検出動作の他の例を表すタイミング図である。
【図１７】第２の実施の形態に係る物体の検出動作の他の例を表すタイミング図である。
【図１８】第３の実施の形態に係る入出力パネルの概略構成例を表す断面図である。
【図１９】赤外線ＬＥＤの発光スペクトル特性の一例を表す特性図である。
【図２０】ＩＲフィルタの分光透過率特性の一例を表す特性図である。
【図２１】第３の実施の形態に係る物体の検出動作の一例を表すタイミング図である。
【図２２】第３の実施の形態に係る物体の検出動作の際の受光信号の一覧を表す図である。
【図２３】第３の実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を表す流れ図である。
【図２４】第４の実施の形態に係る入出力パネルの概略構成例を表す平面図である。
【図２５】図２４に示した入出力パネルの概略構成例を表す断面図である。
【図２６】青色ＬＥＤおよび黄色ＬＥＤの発光スペクトル特性の一例を表す特性図である。
【図２７】第４の実施の形態に係る物体の検出動作の一例を表すタイミング図である。
【図２８】第４の実施の形態に係る物体の検出動作の際の受光信号の一覧を表す図である。
【図２９】第４の実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を表す流れ図である。
【図３０】第４の実施の形態に係る物体の検出動作の他の例を表すタイミング図である。
【図３１】第５の実施の形態に係る入出力パネルの概略構成例を表す平面図である。
【図３２】図３１に示した入出力パネルの概略構成例を表す断面図である。
【図３３】第５の実施の形態に係る物体の検出動作の一例を表すタイミング図である。
【図３４】第５の実施の形態に係る物体の検出動作の他の例を表すタイミング図である。
【図３５】第５の実施の形態に係る物体の検出動作の他の例を表すタイミング図である。
【図３６】第５の実施の形態に係る物体の検出動作の際の受光信号の一覧を表す図である。
【図３７】第５の実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を表す流れ図である。
【図３８】第６の実施の形態に係る入出力パネルの概略構成例を表す断面図である。
【図３９】ＩＲ吸収フィルタの分光透過率特性の一例を表す特性図である。
【図４０】本発明の表示撮像装置の適用例１の外観を表す斜視図である。
【図４１】（Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。
【図４２】適用例３の外観を表す斜視図である。
【図４３】適用例４の外観を表す斜視図である。
【図４４】（Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。
【図４５】本発明の変形例に係る入出力パネルの概略構成例を表す断面図である。
【図４６】図４５に示した入出力パネルの概略構成例を表す平面図である。
【図４７】本発明の変形例に係る表示撮像装置の構成を表すブロック図である。
【符号の説明】
【０１０３】
１，２…表示撮像装置、１０…ディスプレイ、１１，６１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１１０，１１０−１，１１０−２…バックライト、１１０Ｒ，１１０Ｇ，１１０Ｂ，１１０ＩＲ，１１０Ｙ…ＬＥＤ、１１５…受光センサ、１１６…カラーフィルタ、１１６ＩＲ…ＩＲフィルタ、１１７ＩＲ…ＩＲ吸収フィルタ、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１６…画素、２０…電子機器本体、２１…制御部、３１…表示領域、３２…受光領域、５１０…映像表示画面部、５１１…フロントパネル、５１２…フィルターガラス、５２１…発光部、５２２…表示部、５２３…メニュースイッチ、５２４…シャッターボタン、５３１…本体、５３２…キーボード、５３３…表示部、５４１…本体部、５４２…レンズ、５４３…スタート／ストップスイッチ、５４４…表示部、７１０…上部筐体、７２０…下部筐体、７３０…連結部、７４０…ディスプレイ、７５０…サブディスプレイ、７６０…ピクチャーライト、７７０…カメラ、６１３Ｒ，６１３Ｇ，６１３Ｂ，６１３ＩＲ…発光層、８…外部近接物体（指）、ＢＭ…ブラックマトリクス、Ｌout…表示光、Ｌｒ…反射光（検出光）、ＬＯ…外光、ＬＲ，ＬＧ，ＬＢ…各色光、ΔＴ…動作周期、ΔＴＲ，ΔＴＧ，ΔＴＢ，ΔＴＩＲ，ΔＴＷ…発光期間（点灯期間）。
【技術分野】
【０００１】
本発明は、パネルに接触または近接する物体の位置などの情報を取得する表示撮像装置、およびそのような表示撮像装置を備えた電子機器に関する。
【背景技術】
【０００２】
従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。
【０００３】
このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。
【０００４】
また、本出願人は例えば特許文献１および特許文献２において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。
【０００５】
【特許文献１】特開２００４−１２７２７２号公報
【特許文献２】特開２００６−２７６２２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示撮像パネルからの照射光による反射光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。
【０００７】
しかしながら、上記のように物体で反射された反射光を利用する場合、外光や、受光素子の特性ばらつきなどが問題となることがあった。具体的には、受光する光の輝度が外光の明るさに応じて変化することから、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。また、受光素子の特性ばらつきなどが固定ノイズとなり、やはり撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。
【０００８】
そこで、上記特許文献２では、発光状態で得られた画像（照射光による反射光を利用して得られた画像）と、消灯状態で得られた画像との差分を取ることにより、上記した外光や固定ノイズによる影響が除去されるようにしている。これにより、外光や固定ノイズの影響を受けずに、物体の位置などを検出することが可能となると考えられる。
【０００９】
ところが、実際の使用状況下では、上記の発光状態で得られた画像と消灯状態で得られた画像との間には、時間差が存在する。したがって、例えば表示撮像パネル上で物体が高速に移動している場合などには、この時間差のため、発光状態で得られた画像と消灯状態で得られた画像との間で位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの画像の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう場合があった。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。
【００１０】
このように従来の技術では、そのときの使用状況によらずにパネルに接触または近接する物体を安定して検出するのは困難であり、改善の余地があった。
【００１１】
本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、物体を安定して検出することが可能な表示撮像装置および物体の検出方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の表示撮像装置は、発光素子および受光素子を有する入出力パネルと、この入出力パネルから照射される照射光による反射光が受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部とを備えたものである。ここで、上記受光素子は、互いに波長領域の異なる光を受光可能な複数種類の受光素子により構成されている。また、上記検出部は、各々が複数種類の受光素子に対応した互いに異なる波長領域の光となるように互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、上記物体情報を検出するようになっている。
【００１３】
本発明の電気機器は、上記表示撮像装置を備えたものである。
【００１４】
本発明の表示撮像装置および電子機器では、入出力パネルから照射される照射光による反射光が受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報が検出される。この際、各々が複数種類の受光素子に対応した互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、上記物体情報が検出される。これにより、得られた受光信号に対して、反射光による受光信号であるのかまたは外光による受光信号であるのかの判定が可能となるため、例えば外部近接物体が入出力パネル上で動いているような場合であっても、偽信号による誤判定が回避される。
【発明の効果】
【００１５】
本発明の表示撮像装置および電子機器によれば、各々が複数種類の受光素子に対応した互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、上記物体情報を検出するようにしたので、例えば外部近接物体が入出力パネル上で動いているような場合であっても、偽信号による誤判定を回避することができる。よって、使用状況によらず、物体を安定して検出することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ＲＧＢのＬＥＤを用いた場合の基本構成例）
２．第２の実施の形態（表示領域にカラーフィルタを配置した場合の例）
３．第３の実施の形態（赤外ＬＥＤおよびＩＲフィルタを用いた場合の例）
４．第４の実施の形態（青色，黄色，赤外ＬＥＤを用いた場合の例）
５．第５の実施の形態（白色，赤外ＬＥＤを用いた場合の例）
６．第６の実施の形態（ＩＲ吸収フィルタを用いた場合の例）
７．適用例（電子機器への適用例）
８．変形例
【００１７】
＜１．第１の実施の形態＞
［表示撮像装置全体の概略構成例］
図１は、本発明の第１の実施の形態に係る表示撮像装置（表示撮像装置１）の概略構成を表すものである。また、図２は、本実施の形態に係る表示撮像装置１の詳細構成を表すものである。本実施の形態に係る表示撮像装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３および画像処理部１４を有し、電子機器本体２０は、制御部２１を有する。
【００１８】
入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライト（後述するバックライト１１０）から出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子（後述する受光センサ１１５）である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号（検出信号）を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。
【００１９】
入出力パネル１１は、図２に示したように、複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷと、これらの発光セルＣＷに内包された複数の受光セルＣＲとを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子を含む。なお、この入出力パネル１１の詳細構成については、後述する（図３および図４）。
【００２０】
図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。
【００２１】
表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持すると共に、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２、および各受光セルＣＲを駆動する受光側スキャナ４３を連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を、受光側スキャナ４３には受光タイミング制御信号を、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。
【００２２】
発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。
【００２３】
表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。
【００２４】
受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の表示撮像装置１においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。
【００２５】
図１に示す受光信号処理部１３は、入出力パネル１１の後段に接続され、受光要素１１ｂからの受光信号を取り込んで増幅等を行うものである。この受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。
【００２６】
受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。
【００２７】
受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を１画面ごと（１フィールドの表示ごと）の受光信号に再構成し、例えば、ＳＲＡＭなどから構成されるフィールドメモリに格納して保持する機能を有する。受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。
【００２８】
画像処理部１４（図１）は、検出信号処理部１３の後段に接続され、検出信号処理部１３から検出画像を取り込んで、２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報、すなわち外部近接物体の重心や中心座標、および外部近接物体の領域（サイズや形状）を示す情報を得る回路である。具体的には、画像処理部１４におけるラベリング処理部（図示せず）は、ラベリング処理を行うことにより、検出画像全体についてのラベル情報（検出画像内における連結領域ごとの識別番号を示す情報）、連結領域ごとの位置情報および面積情報をそれぞれ取得するようになっている。
【００２９】
また、画像処理部１４における位置検出部４７（図２）は、ラベリング処理部より得られた上記ラベル情報、位置情報および面積情報に基づいて信号処理を行い、検出された物体が存在する位置等を特定するようになっている。これにより、接触あるいは近接する指等の位置を特定することが可能となる。
【００３０】
電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から点情報を入力するようになっている。制御部２１は、点情報を用いて表示画像を変化させるものである。
【００３１】
制御部２１（図１）は、点情報を用いて表示画像を変化させるものであり、例えばＣＰＵ（Central Processing Unit）などにより構成されている。制御部２１は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成され、供給された画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。
【００３２】
［入出力パネルの詳細構成例］
次に、図３および図４を参照して、本実施の形態の入出力パネル１１の詳細構成について説明する。図３は、入出力パネル１１の概略構成例を平面図で表したものであり、図４は、入出力パネル１１の概略構成例を断面図で表したものである。
【００３３】
この入出力パネル１１では、例えば図３に示したように、表示領域３１上には、ＲＧＢのカラーフィルタが配置されず、受光領域３２上にのみ、ＲＧＢのカラーフィルタがそれぞれ配置されるようになっている。これにより、受光領域３２は、赤色光を受光可能な赤色受光領域３２Ｒと、緑色光を受光可能な緑色受光領域３２Ｇと、青色光を受光可能な青色受光領域３２Ｂとにより構成されている。
【００３４】
また、例えば図４に示したように、入出力パネル１１は、バックライト１１０と、一対の偏光板１１１Ａ，１１１Ｂと、一対の透明基板１１１Ａ，１１１Ｂと、平坦化膜１１３Ａ，１１１３Ｂと、液晶層１１４とを含んで構成されている。バックライト１１０は、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを含んでいる。また、液晶層１１４は、平坦化膜１１３Ａ，１１１３Ｂの間に設けられている。また、透明基板１１２Ａと平坦化膜１１３Ａとの間には、受光センサ１１５が配置され、透明基板１１２Ｂと平坦化膜１１３Ｂとの間には、カラーフィルタ１１６およびブラックマトリクスＢＭが配置されている。このカラーフィルタ１１６は、赤色用のカラーフィルタ１１６Ｒと、緑色用のカラーフィルタ１１６Ｇと、青色用のカラーフィルタ１１６Ｂとにより構成されている。これにより、受光センサ１１５は、互いに波長領域の異なる光を受光可能な複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂを含んで構成されている。具体的には、受光センサ１１５Ｒは、赤色光を受光可能であり、受光センサ１１５Ｇは、緑色光を受光可能であり、受光センサ１１５Ｂは、青色光を受光可能である。なお、受光センサ１１５Ｄは、ダミーセンサである。このような構成により、詳細は後述するが、入出力パネル１１においてフィールドシーケンシャル駆動が行われることにより、複数種類の照射光が照射されるようになっている。
【００３５】
なお、バックライト１１０における赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤはそれぞれ、例えば図５（Ａ）〜図５（Ｃ）に示したような、発光スペクトルとなっている。
【００３６】
また、カラーフィルタ１１６Ｒ，１１６Ｇ，１１６Ｂはそれぞれ、例えば図６に示したような、分光透過特性となっている。
【００３７】
［表示撮像装置の動作説明］
次に、図１〜図６に加えて図７〜図１２を参照して、本実施の形態の表示撮像装置１の作用および効果について説明する。
【００３８】
まず、図７および図８を参照して、表示撮像装置１の基本動作（物体検出の基本動作）について説明する。図７は、表示撮像装置１における物体検出の基本動作について説明するための概略断面図である。また、図８は、表示撮像装置１による画像処理全体の流れを表すものである。
【００３９】
電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。
【００４０】
入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、例えば図７に示したように、表示要素１１ａに指等の外部近接物体８が接触または近接すると、表示要素１１ａに表示された画像による光（表示光Ｌout）が外部近接物体８で反射されて、この反射光（検出光）Ｌｒが受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される。そして受光信号処理部１３は、この受光信号を入力して増幅等の処理を行い、受光信号を処理する（図８のステップＳ１０）。このようにして、受光信号処理部１３において、撮像画像が得られる。
【００４１】
次に、画像処理部１４は、受光信号処理部１３から撮像画像を入力し、この撮像画像に対し２値化処理を行う（ステップＳ１１）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。
【００４２】
そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（ステップＳ１２）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。
【００４３】
この後、画像処理部１４は、ラベリング処理部（図示せず）において、ラベリング処理を行う（ステップＳ１３）。すなわち、ラベリング処理部は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、ラベリング処理部は、「１」に設定された領域を外部近接物体の領域として検出し、上記ラベル情報、位置情報および面積情報をそれぞれ取得する。そしてこのようなデータは、点情報として制御部２１に出力される。
【００４４】
次に、制御部２１は、画像処理部１４から入力した点情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。以上により、表示撮像装置１における基本動作（物体検出の基本動作）が終了となる。
【００４５】
次に、図９〜図１２を参照して、本発明の特徴的部分の動作について、比較例と比較しつつ詳細に説明する。ここで、図９は、比較例に係る従来の表示撮像装置における偽信号の発生現象についてタイミング図で表したものである。また、図１０は、本実施の形態に係る物体の検出動作の一例をタイミング図で表したものである。また、図１１は、本実施の形態に係る物体の検出動作の際の受光信号の一覧を表したものである。また、図１２は、本実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を流れ図で表したものである。
【００４６】
まず、図９に示した比較例では、図中の符号Ｐ１００で示したように、発光状態で得られた画像（照射光による反射光を利用して得られた受光信号；図中の「ＯＮ」）と、消灯状態で得られた画像（図中の「ＯＦＦ」）との差分を取ることにより、外光ＬＯや固定ノイズによる影響が除去されるようにしている。これにより、外光ＬＯや固定ノイズの影響を受けずに、物体の位置などを検出することが可能となる。
【００４７】
しかしながら、例えば図中の符号Ｐ１０１，Ｐ１０２で示したように、入出力パネル１１上で外部近接物体（ここでは、指）８が高速に移動している場合などには、時間差のため、「ＯＮ」のときの受光信号と、「ＯＦＦ」のときの受光信号との間で、位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの受光信号の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう（図中の符号Ｐ１０１，Ｐ１０２参照）。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。
【００４８】
これに対し、本実施の形態では、例えば図１０に示したようにして、入出力パネル１１においてフィールドシーケンシャル駆動が行われることにより、複数種類の照射光が照射されるようになっている。具体的には、図中の発光期間（点灯期間）ΔＴＲ，ΔＴＧ，ΔＴＢで示したように、各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応した互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて複数種類の照射光が照射される。なお、表示のためには、バックライト１１０が発光していないタイミングに、表示の書き込みが行われる。そして、複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂではそれぞれ、同じタイミングで受光動作が行われる（図中の各撮像期間）。なお、図中のΔＴは、駆動動作の１周期期間を示している。
【００４９】
これにより、例えば図１１に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂにおいて図中に示したような受光信号が得られることとなる。ここで、図１１（Ａ），（Ｂ）に示した表において、一番左側の「外光」の欄は、外光ＬＯの有無や色の種類を示している。また、「表示」の欄は、入出力パネル１１における表示光の色の種類を示している。また、「ＬＥＤ」の欄は、バックライト１１０に含まれるＬＥＤの種類を示している。また、「Ｒ sensor」，「Ｇ sensor」，「Ｂ sensor」の欄は、各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂにおいて受光信号が得られるか否かを示している。また、「判定」の欄は、判定結果を示しており、「なし」は検出動作を行わないと判定する場合を、「あり」は検出動作を行うと判定する場合を示している。これらの欄により示される内容については、以下同様である。なお、本実施の形態では、照射光として可視光を用いると共に、可視光のみを受光しているため、黒表示時には、以下説明する判定処理が実行されないようになっている。
【００５０】
そして、位置検出部４７は、例えば図１２に示したような、外光ＬＯおよび検出光（反射光）Ｌｒの判定処理（ステップＳ２０〜Ｓ２５）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。具体的には、複数種類の照射光を利用した受光信号に基づいて、その受光信号が、反射光Ｌｒによる受光信号であるのか、または外光ＬＯによる受光信号であるのか、を判定することにより、物体情報を検出する。より具体的には、時分割でＲＧＢの各ＬＥＤ１１０Ｒ，１１０Ｇ，１１０Ｂを点灯させて各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂで受光することにより得られた受光信号（ステップＳ２０）において、以下の判定処理を行う。すなわち、各ＬＥＤ１１０Ｒ，１１０Ｇ，１１０Ｂの点灯時に、その色に対応する受光センサ１１５において受光信号が得られると共に他の色に対応する受光センサ１１５において受光信号が得られなかった場合（ステップＳ２１〜Ｓ２３：Ｙ）、検出動作を行う。これは、その受光信号が反射光Ｌｒによる受光信号であると判定し、検出動作を行うというものである（ステップＳ２５）。一方、それ以外の場合（ステップＳ２１〜Ｓ２３：Ｎ）、その受光信号が外光ＬＯによる受光信号であると判定し、検出動作を行わない（ステップＳ２４）。言い換えると、各波長領域の光の点灯時に、対応する波長領域の光のみからなる受光信号が得られた場合には、その受光信号が反射光Ｌｒによる受光信号であると判定し、検出動作を行う。一方、各波長領域の光の点灯時に、対応する波長領域以外の光を含む受光信号が得られた場合には、その受光信号が外光ＬＯによる受光信号であると判定し、検出動作を行わない。これは、検出用の照射光を照射しているときに、外光ＬＯの場合には、検出対象の受光センサおよび他の受光センサの両方から受光信号が得られる一方、反射光Ｌｒの場合には、検出対象の受光センサのみから受光信号が得られるためである。
【００５１】
このようにして、本実施の形態では、各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応する互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、物体情報が検出される。これにより、得られた受光信号に対して、反射光Ｌｒによる受光信号であるのかまたは外光ＬＯによる受光信号であるのかの判定が可能となるため、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定が回避される。
【００５２】
以上のように本実施の形態では、以下の効果が得られる。すなわち、本実施の形態では、各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応する互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、物体情報を検出している。これにより、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定を回避することができる（強外光下での誤動作を防ぐことができる。）。よって、使用状況によらず、物体を安定して検出することが可能となる。
【００５３】
また、受光センサ１１５のダイナミックレンジを強外光（例えば太陽）で飽和しないように設計する必要がなく、外部近接物体８からの反射光Ｌｒで受光センサ１１５が飽和しない限り、検出することが可能である。
【００５４】
＜２．第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。なお、上記第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００５５】
［入出力パネルの概略構成例］
図１３は、本実施の形態に係る入出力パネルの概略構成例を平面図で表したものであり、図１４は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。
【００５６】
本実施の形態の入出力パネルでは、例えば図１３（Ａ），図１３（Ｂ）および図１４に示したように、第１の実施の形態とは異なり、入出力パネルにおいて、表示領域３１において、各画素に対応してカラーフィルタ１１６Ｒ，１１６Ｇ，１１６Ｂが設けられている。これにより、表示領域３１は、赤色光を照射可能な赤色表示領域３１Ｒと、緑色光を照射可能な緑色表示領域３１Ｇと、青色光を照射可能な青色表示領域３１Ｂとにより構成されている。
【００５７】
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図１５（Ａ）〜図１５（Ｄ）に示したようにして、物体の検出動作が行われる。なお、ここでは、表示輝度を稼ぐため、表示のみを行う期間が設けられている。
【００５８】
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。
【００５９】
また、第１の実施の形態で説明したフィールドシーケンシャル駆動とは異なるため、表示の書き込みを高速で行う必要がなくなり、液晶の応答の追従性の問題を回避することができる。また、発光期間を長くすることができるため、表示の輝度を上げるためにＬＥＤのパワーを挙げる必要もなくなる。
【００６０】
なお、例えば図１６（Ａ）〜図１６（Ｄ）に示したように、表示期間を変更することにより、応答速度が速くない液晶モードを用いることが可能となる。また、例えば図１７（Ａ）〜図１７（Ｄ）に示したように、表示輝度を上げるため、各色ＬＥＤが全て発光している期間を、最大限にとるようにしてもよい。
【００６１】
＜３．第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。なお、上記第１，第２の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００６２】
［入出力パネルの概略構成例］
図１８は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、バックライト１１０−１に、非可視光である赤外光を発する赤外ＬＥＤ１１０ＩＲを含んでいると共に、非可視光である赤外光を受光する受光センサ１１５ＩＲを含んでいる。また、この受光センサ１１５ＩＲ上には、可視光をカットすると共に赤外光のみを透過するＩＲフィルタ１１６ＩＲが配置されている。
【００６３】
赤外ＬＥＤ１１０ＩＲは、例えば図１９に示したような発光スペクトル特性となっている。また、ＩＲフィルタ１１６ＩＲは、例えば図２０（Ａ），図２０（Ｂ）に示したような分光透過特性となっている。ここで、ＩＲフィルタ１１６ＩＲは、カラーフィルタのＲＢもしくはＲＧＢを積層することにより実現することが可能である。ここでは、ＲＢ積層よりもＲＧＢ積層のほうが可視光をカットする性能が高く、本実施例ではＲＧＢフィルタを用いている。
【００６４】
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図２１（Ａ）〜図２１（Ｅ）に示したようにして、物体の検出動作が行われる。そして、第１の実施の形態と同様に、例えば図２２に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂ，１１５ＩＲにおいて、図中に示したような受光信号が得られることとなる。
【００６５】
これにより、位置検出部４７は、第１の実施の形態と同様に、例えば図２３に示したような判定処理（ステップＳ３０〜Ｓ３４）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。
【００６６】
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。
【００６７】
また、黒表示した際にも、赤外線を出射することにより、外部近接物体８からの反射光Ｌｒを得ることができ、検出することが可能となる。
【００６８】
なお、図２３に示したステップＳ３２において、受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂのうちの１つだけで判定するようにしてもよい。
【００６９】
＜４．第４の実施の形態＞
次に、本発明の第４の実施の形態について説明する。なお、上記第１〜第３の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００７０】
［入出力パネルの概略構成例］
図２４は、本実施の形態に係る入出力パネルの概略構成例を平面図で表したものであり、図２５は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、本実施の形態では、バックライト１１０−２に、ＬＥＤ１１０Ｒ，１１０Ｇ，１１０Ｂ，１１０ＩＲの代わりに、青色および黄色のＬＥＤ１１０Ｂ，１１０Ｙと、赤外ＬＥＤ１１０ＩＲとが含まれている。また、受光センサ１１５として、受光センサ１１５Ｂ，１１５ＩＲ，１１５Ｄが設けられている。
【００７１】
なお、青色ＬＥＤ１１０Ｂおよび黄色ＬＥＤ１１０Ｙはそれぞれ、例えば図２６（Ａ），図２６（Ｂ）に示したような発光スペクトル特性となっている。
【００７２】
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図２７（Ａ）〜図２７（Ｄ）に示したようにして、物体の検出動作が行われる。なお、ここでは、黄色のＬＥＤ１１０Ｙの発光時は、撮像しておらず、ＬＥＤ１１０Ｂ，１１０ＩＲの発光時のみ撮像している。そして、第１の実施の形態と同様に、例えば図２８に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、図中に示したような受光信号が得られる。すなわち、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｂ，１１５ＩＲにおいて、図中に示したような受光信号が得られることとなる。
【００７３】
これにより、位置検出部４７は、第１の実施の形態と同様に、例えば図２９に示したような判定処理（ステップＳ４０〜Ｓ４４）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。
【００７４】
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。
【００７５】
なお、例えば図３０（Ａ）〜図３０（Ｄ）に示したように、表示のタイミングを変更するようにしてもよい。
【００７６】
＜５．第５の実施の形態＞
次に、本発明の第５の実施の形態について説明する。なお、上記第１〜第４の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００７７】
［入出力パネルの概略構成例］
図３１は、本実施の形態に係る入出力パネルの概略構成例を平面図で表したものであり、図３２は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、白色ＬＥＤによる白色表示領域３２Ｗが設けられると共に、白色光を受光可能な受光センサ１１５Ｗが設けられている。
【００７８】
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図３３（Ａ）〜図３３（Ｃ）に示したようにして、物体の検出動作が行われる。
【００７９】
なお、表示のタイミングを変更することにより、例えば図３３（Ｄ）〜図３３（Ｆ）に示したように、白色ＬＥＤの消灯時に書き込むようにし、残像感の少ない表示を得ることができる。また、例えば図３４（Ａ）〜図３３（Ｃ）に示したようにしてもよい。また、例えば図３５（Ａ）〜図３３（Ｃ）および図３５（Ｄ）〜図３５（Ｆ）に示したように、撮像期間を短くして、表示輝度を上げるため、白色ＬＥＤが発光している期間を最大限にとるようにしてもよい。
【００８０】
そして、第１の実施の形態と同様に、例えば図３６に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｗ，１１５ＩＲにおいて、図中に示したような受光信号が得られることとなる。
【００８１】
これにより、位置検出部４７は、第１の実施の形態と同様に、例えば図３７に示したような判定処理（ステップＳ５０〜Ｓ５４）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。
【００８２】
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。
【００８３】
＜６．第６の実施の形態＞
次に、本発明の第６の実施の形態について説明する。なお、上記第１〜第５の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００８４】
［入出力パネルの概略構成例］
図３８は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、受光センサ１１５Ｗ上に、ＩＲ吸収材料からなるＩＲ吸収フィルタ１１７ＩＲが配置されている。
【００８５】
なお、このＩＲ吸収フィルタ１１７ＩＲは、例えば図３９に示したような分光透過スペクトルとなっている。
【００８６】
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、ＬＥＤ１１０ＩＲの発光時に、受光センサ１１５Ｗに、赤外光が入射することが回避される。
【００８７】
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。
【００８８】
また、ＬＥＤ１１０ＩＲの発光時に、受光センサ１１５Ｗに、赤外光が入射することが回避されるため、上記第５の実施の形態における以下の問題を回避することができる。すなわち、受光センサ１１５Ｗの閾値を高く設定する必要がなくなり、受光センサ１１５Ｗのみで検出する外光環境範囲を小さくし、ＬＥＤ１１０ＩＲのパワーを高くする必要がなくなる。
【００８９】
＜７．適用例＞
（モジュールおよび適用例）
次に、図４０〜図４４を参照して、上記実施の形態で説明した表示撮像装置の適用例について説明する。上記実施の形態の表示撮像装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなどのあらゆる分野の電子機器に適用することが可能である。言い換えると、上記実施の形態の表示撮像装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。
【００９０】
（適用例１）
図４０は、上記実施の形態の表示撮像装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態に係る表示撮像装置により構成されている。
【００９１】
（適用例２）
図４１は、上記実施の形態の表示撮像装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態に係る表示撮像装置により構成されている。
【００９２】
（適用例３）
図４２は、上記実施の形態の表示撮像装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態に係る表示撮像装置により構成されている。
【００９３】
（適用例４）
図４３は、上記実施の形態の表示撮像装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有しており、その表示部５４４は、上記実施の形態に係る表示撮像装置により構成されている。
【００９４】
（適用例５）
図４４は、上記実施の形態の表示撮像装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態に係る表示撮像装置により構成されている。
【００９５】
＜８．変形例＞
以上、第１〜第６の実施の形態および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
【００９６】
例えば、図２に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。
【００９７】
また、上記実施の形態等で説明した表示撮像装置では、入出力パネルとして、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の表示撮像装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。
【００９８】
具体的には、例えば図４５（断面構成例）および図４６（平面構成例）に示した入出力パネル６１のように、トップエミッション構造であると共に、カラーフィルタ１１６が配置されたものが挙げられる。ここでは、ＩＲ発光層６１３ＩＲ上にもＩＲフィルタ１１６ＩＲが配置され、外光ＬＯによる駆動配線などの反射が抑えられるようになっている。なお、発光層６１３Ｒ，６１３Ｇ，６１３Ｂ，６１３ＩＲ、受光センサ１１５Ｗ，１１５ＩＲ，１１５Ｄ等の配置位置については、特に限定されない。
【００９９】
また、本発明の表示撮像装置は、上記実施の形態等で説明した表示撮像装置１だけでなく、例えば図４７に示したような表示撮像装置２にも適用することが可能である。この表示撮像装置２は、上記実施の形態等に係る表示撮像装置１と比較して、画像処理部１４が電子機器本体２０に設けられた点が異なっている。すなわち、この表示撮像装置２は、表示信号処理部１２、入出力パネル１１および受光信号処理部１３がディスプレイ１０に設けられ、制御部２１および画像処理部１４が電子機器本体２０に設けられたものである。このような表示撮像装置２であっても、上記実施の形態に係る表示撮像装置１と同様の効果を奏することができる。
【０１００】
また、これまでは、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。
【０１０１】
さらに、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。
【図面の簡単な説明】
【０１０２】
【図１】本発明の第１の実施の形態に係る表示撮像装置の構成を表すブロック図である。
【図２】図１の表示撮像装置の構成をより詳細に表すブロック図である。
【図３】第１の実施の形態に係る入出力パネルの概略構成例を表す平面図である。
【図４】図３に示した入出力パネルの概略構成例を表す断面図である。
【図５】各色ＬＥＤの発光スペクトル特性の一例を表す特性図である。
【図６】カラーフィルタの分光透過率特性の一例を表す特性図である。
【図７】表示撮像装置における物体検出の基本動作について説明するための概略断面図である。
【図８】表示撮像装置による画像処理全体の流れ図である。
【図９】比較例に係る表示撮像装置における偽信号の発生現象について説明するためのタイミング図である。
【図１０】第１の実施の形態に係る物体の検出動作の一例を表すタイミング図である。
【図１１】第１の実施の形態に係る物体の検出動作の際の受光信号の一覧を表す図である。
【図１２】第１の実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を表す流れ図である。
【図１３】第２の実施の形態に係る入出力パネルの概略構成例を表す平面図である。
【図１４】図１３に示した入出力パネルの概略構成例を表す断面図である。
【図１５】第２の実施の形態に係る物体の検出動作の一例を表すタイミング図である。
【図１６】第２の実施の形態に係る物体の検出動作の他の例を表すタイミング図である。
【図１７】第２の実施の形態に係る物体の検出動作の他の例を表すタイミング図である。
【図１８】第３の実施の形態に係る入出力パネルの概略構成例を表す断面図である。
【図１９】赤外線ＬＥＤの発光スペクトル特性の一例を表す特性図である。
【図２０】ＩＲフィルタの分光透過率特性の一例を表す特性図である。
【図２１】第３の実施の形態に係る物体の検出動作の一例を表すタイミング図である。
【図２２】第３の実施の形態に係る物体の検出動作の際の受光信号の一覧を表す図である。
【図２３】第３の実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を表す流れ図である。
【図２４】第４の実施の形態に係る入出力パネルの概略構成例を表す平面図である。
【図２５】図２４に示した入出力パネルの概略構成例を表す断面図である。
【図２６】青色ＬＥＤおよび黄色ＬＥＤの発光スペクトル特性の一例を表す特性図である。
【図２７】第４の実施の形態に係る物体の検出動作の一例を表すタイミング図である。
【図２８】第４の実施の形態に係る物体の検出動作の際の受光信号の一覧を表す図である。
【図２９】第４の実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を表す流れ図である。
【図３０】第４の実施の形態に係る物体の検出動作の他の例を表すタイミング図である。
【図３１】第５の実施の形態に係る入出力パネルの概略構成例を表す平面図である。
【図３２】図３１に示した入出力パネルの概略構成例を表す断面図である。
【図３３】第５の実施の形態に係る物体の検出動作の一例を表すタイミング図である。
【図３４】第５の実施の形態に係る物体の検出動作の他の例を表すタイミング図である。
【図３５】第５の実施の形態に係る物体の検出動作の他の例を表すタイミング図である。
【図３６】第５の実施の形態に係る物体の検出動作の際の受光信号の一覧を表す図である。
【図３７】第５の実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を表す流れ図である。
【図３８】第６の実施の形態に係る入出力パネルの概略構成例を表す断面図である。
【図３９】ＩＲ吸収フィルタの分光透過率特性の一例を表す特性図である。
【図４０】本発明の表示撮像装置の適用例１の外観を表す斜視図である。
【図４１】（Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。
【図４２】適用例３の外観を表す斜視図である。
【図４３】適用例４の外観を表す斜視図である。
【図４４】（Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。
【図４５】本発明の変形例に係る入出力パネルの概略構成例を表す断面図である。
【図４６】図４５に示した入出力パネルの概略構成例を表す平面図である。
【図４７】本発明の変形例に係る表示撮像装置の構成を表すブロック図である。
【符号の説明】
【０１０３】
１，２…表示撮像装置、１０…ディスプレイ、１１，６１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１１０，１１０−１，１１０−２…バックライト、１１０Ｒ，１１０Ｇ，１１０Ｂ，１１０ＩＲ，１１０Ｙ…ＬＥＤ、１１５…受光センサ、１１６…カラーフィルタ、１１６ＩＲ…ＩＲフィルタ、１１７ＩＲ…ＩＲ吸収フィルタ、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１６…画素、２０…電子機器本体、２１…制御部、３１…表示領域、３２…受光領域、５１０…映像表示画面部、５１１…フロントパネル、５１２…フィルターガラス、５２１…発光部、５２２…表示部、５２３…メニュースイッチ、５２４…シャッターボタン、５３１…本体、５３２…キーボード、５３３…表示部、５４１…本体部、５４２…レンズ、５４３…スタート／ストップスイッチ、５４４…表示部、７１０…上部筐体、７２０…下部筐体、７３０…連結部、７４０…ディスプレイ、７５０…サブディスプレイ、７６０…ピクチャーライト、７７０…カメラ、６１３Ｒ，６１３Ｇ，６１３Ｂ，６１３ＩＲ…発光層、８…外部近接物体（指）、ＢＭ…ブラックマトリクス、Ｌout…表示光、Ｌｒ…反射光（検出光）、ＬＯ…外光、ＬＲ，ＬＧ，ＬＢ…各色光、ΔＴ…動作周期、ΔＴＲ，ΔＴＧ，ΔＴＢ，ΔＴＩＲ，ΔＴＷ…発光期間（点灯期間）。
【特許請求の範囲】
【請求項１】
発光素子および受光素子を有する入出力パネルと、
前記入出力パネルから照射される照射光による反射光が前記受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部と
を備え、
前記受光素子は、互いに波長領域の異なる光を受光可能な複数種類の受光素子により構成され、
前記検出部は、各々が前記複数種類の受光素子に対応した互いに異なる波長領域の光となるように互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、前記物体情報を検出する
表示撮像装置。
【請求項２】
前記複数種類の受光素子はそれぞれ、前記照射光よる反射光を、同じタイミングにおいて受光する
請求項１に記載の表示撮像装置。
【請求項３】
前記検出部は、前記複数種類の照射光を利用した受光信号に基づいて、その受光信号が、前記反射光による受光信号であるのか、または外光による受光信号であるのか、を判定することにより、前記物体情報を検出する
請求項１に記載の表示撮像装置。
【請求項４】
前記検出部は、
各波長領域の照射光の照射時に、対応する波長領域の光のみからなる受光信号が得られた場合には、その受光信号が前記反射光による受光信号であると判定し、
各波長領域の照射光の照射時に、対応する波長領域以外の光を含む受光信号が得られた場合には、その受光信号が外光による受光信号であると判定する
請求項３に記載の表示撮像装置。
【請求項５】
前記発光素子が、可視光を発する発光素子と、非可視光である赤外光を発する発光素子とを含み、
前記受光素子が、可視光を受光する受光素子と、非可視光である赤外光を受光する受光素子とを含む
請求項１ないし請求項４のいずれか１項に記載の表示撮像装置。
【請求項６】
前記入出力パネルにおいて、各発光素子に対応してカラーフィルタが設けられている
請求項１に記載の表示撮像装置。
【請求項７】
前記入出力パネルにおいて、前記発光素子に対してフィールドシーケンシャル駆動が行われることにより、前記複数種類の照射光が照射されるようになっている
請求項１に記載の表示撮像装置。
【請求項８】
前記発光素子が、液晶素子を用いて構成されている
請求項１に記載の表示撮像装置。
【請求項９】
前記発光素子が、有機ＥＬ素子を用いて構成されている
請求項１に記載の表示撮像装置。
【請求項１０】
画像表示機能および撮像機能を有する表示撮像装置を備え、
前記表示撮像装置は、
表示素子および受光素子を有する入出力パネルと、
前記入出力パネルから照射される照射光による反射光が前記受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部と
を有し、
前記受光素子は、互いに波長領域の異なる光を受光可能な複数種類の受光素子により構成され、
前記検出部は、各々が前記複数種類の受光素子に対応した互いに異なる波長領域の光となるように互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、前記物体情報を検出する
電子機器。
【請求項１】
発光素子および受光素子を有する入出力パネルと、
前記入出力パネルから照射される照射光による反射光が前記受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部と
を備え、
前記受光素子は、互いに波長領域の異なる光を受光可能な複数種類の受光素子により構成され、
前記検出部は、各々が前記複数種類の受光素子に対応した互いに異なる波長領域の光となるように互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、前記物体情報を検出する
表示撮像装置。
【請求項２】
前記複数種類の受光素子はそれぞれ、前記照射光よる反射光を、同じタイミングにおいて受光する
請求項１に記載の表示撮像装置。
【請求項３】
前記検出部は、前記複数種類の照射光を利用した受光信号に基づいて、その受光信号が、前記反射光による受光信号であるのか、または外光による受光信号であるのか、を判定することにより、前記物体情報を検出する
請求項１に記載の表示撮像装置。
【請求項４】
前記検出部は、
各波長領域の照射光の照射時に、対応する波長領域の光のみからなる受光信号が得られた場合には、その受光信号が前記反射光による受光信号であると判定し、
各波長領域の照射光の照射時に、対応する波長領域以外の光を含む受光信号が得られた場合には、その受光信号が外光による受光信号であると判定する
請求項３に記載の表示撮像装置。
【請求項５】
前記発光素子が、可視光を発する発光素子と、非可視光である赤外光を発する発光素子とを含み、
前記受光素子が、可視光を受光する受光素子と、非可視光である赤外光を受光する受光素子とを含む
請求項１ないし請求項４のいずれか１項に記載の表示撮像装置。
【請求項６】
前記入出力パネルにおいて、各発光素子に対応してカラーフィルタが設けられている
請求項１に記載の表示撮像装置。
【請求項７】
前記入出力パネルにおいて、前記発光素子に対してフィールドシーケンシャル駆動が行われることにより、前記複数種類の照射光が照射されるようになっている
請求項１に記載の表示撮像装置。
【請求項８】
前記発光素子が、液晶素子を用いて構成されている
請求項１に記載の表示撮像装置。
【請求項９】
前記発光素子が、有機ＥＬ素子を用いて構成されている
請求項１に記載の表示撮像装置。
【請求項１０】
画像表示機能および撮像機能を有する表示撮像装置を備え、
前記表示撮像装置は、
表示素子および受光素子を有する入出力パネルと、
前記入出力パネルから照射される照射光による反射光が前記受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部と
を有し、
前記受光素子は、互いに波長領域の異なる光を受光可能な複数種類の受光素子により構成され、
前記検出部は、各々が前記複数種類の受光素子に対応した互いに異なる波長領域の光となるように互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、前記物体情報を検出する
電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【公開番号】特開２０１０−９７４２０（Ｐ２０１０−９７４２０Ａ）
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願番号】特願２００８−２６７７８４（Ｐ２００８−２６７７８４）
【出願日】平成２０年１０月１６日（２００８．１０．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願日】平成２０年１０月１６日（２００８．１０．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]