画像入出力装置、マスク制御装置およびマスク制御方法
【課題】表示機能と撮像機能とを有する入出力パネルから得られる撮像画像に対する後処理の負担を軽減することを可能とする画像入出力装置およびマスク制御装置を提供する。
【解決手段】表示機能と撮像機能とを有する入出力パネル１０の撮像機能を実行する際に、撮像画像（撮像データＤout１）の一部分（マスクデータＤｍのうちのマスク対象外部分７１）以外をマスクするようにする。また、この入出力パネルの各画素ごとに、撮像機能による撮像予定画像のうちの一部分以外をマスクするようにしてもよい。
【解決手段】表示機能と撮像機能とを有する入出力パネル１０の撮像機能を実行する際に、撮像画像（撮像データＤout１）の一部分（マスクデータＤｍのうちのマスク対象外部分７１）以外をマスクするようにする。また、この入出力パネルの各画素ごとに、撮像機能による撮像予定画像のうちの一部分以外をマスクするようにしてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入出力パネルを備えた画像入出力装置、ならびにこれに適用されるマスク制御装置およびマスク制御方法に関する。
【背景技術】
【０００２】
従来より、物体の撮像機能を備えた撮像装置として、様々な技術が提案されている。例えば、本出願人は特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部を備えた表示装置を提案している。
【０００３】
【特許文献１】特開２００４−１２７２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記表示装置を撮像装置として利用すれば、撮像画像を得ることが可能となる。しかしながら、上記特許文献１では、取り込んだ画像のすべてを後段の処理部へ送るようになっていた。
【０００５】
したがって、後段の装置において全ての画像領域のデータを処理しなければならず、処理が重くなってしまっていた。
【０００６】
本発明はかかる問題点に鑑みてなされたもので、その目的は、表示機能と撮像機能とを有する入出力パネルから得られる撮像画像に対する後処理の負担を軽減することを可能とする画像入出力装置、マスク制御装置およびマスク制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の画像入出力装置は、画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルと、この入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするマスク制御手段とを備えたものである。
【０００８】
ここで、「マスク」とは、その部分を覆う、無効にする、無視する、またはなかったものとして処理対象としない、といったことを意味する。また、「撮像画像」とは、現に撮像された（取り込まれた）画面全体画像のことを意味する一方、「撮像予定画像」とは、何らの措置を講じなければ撮像されるはずであろう画面全体画像のことを意味する。
【０００９】
また、本発明の画像入力装置では、上記マスク制御手段が、画像データの内容に基づいて上記マスク情報を生成するようにしてもよく、さらに、上記マスク情報を、入出力パネルに表示される画像の輝度、色相および色明度のうちの少なくとも１つに基づいて生成するようにしてもよい。なお、「輝度」とは、例えば赤、緑、青などの各色成分を総合した明るさのことを意味し、「色相」とは、例えば赤、緑、青などで表される色感覚の属性、およびそれを尺度化したものを意味し、「色明度」とは、例えば赤、緑、青などの各色ごとの明るさを意味する。
【００１０】
本発明のマスク制御装置は、画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを備えた画像入出力装置に適用されるものであって、上記入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするマスク制御手段を備えたものである。
【００１１】
本発明のマスク制御方法は、画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを用いたものであって、上記入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするようにしたものである。
【００１２】
本発明の画像入出力装置、マスク制御装置およびマスク制御方法では、表示機能とこの表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより、物体が撮像される。また、この入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外がマスクされる。
【発明の効果】
【００１３】
本発明の画像入出力装置、マスク制御装置またはマスク制御方法によれば、表示機能と撮像機能とを有する入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするようにしたので、表示機能と撮像機能とを有する入出力パネル入出力パネルから得られる撮像画像に対する後処理の負担を軽減することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１５】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像入出力装置（画像入出力装置１）の構成を表すものである。
【００１６】
この画像入出力装置１は、入出力パネル１０と、表示信号保持制御部２２と、表示信号ドライバ２３と、表示側スキャナ２４と、撮像信号選択スキャナ３１と、撮像信号レシーバ３２と、マスク制御部５とを備えており、画像データに基づく画像を入出力パネル１０に表示すると共に、表示画像からの光を利用して入出力パネル１０に接触または近接する物体（後述する撮像対象物体１５Ａ，１５Ｂ）を撮像し、撮像して得られた撮像画像の補正を行うものである。
【００１７】
入出力パネル１０は、複数の画素１１が全面に渡ってマトリクス状に配置された、例えば有機または無機のＥＬ（ElectroLuminescence）ディスプレイやＬＣＤ（Liquid Crystal Display）からなり、後述するように線順次動作をしながら所定の図形や文字などの画像を表示するものである。また、各画素１１は、例えば１つの表示撮像素子を含む表示撮像セルＣＷＲから構成され、後述するように各画素が表示機能と撮像機能とを併有するようになっている。
【００１８】
ここで、図２〜図４を参照して、入出力パネル１０の構成の詳細について説明する。
【００１９】
図２は、入出力パネル１０の平面構成の一例を表すものであり、水平ライン方向にｍ個、垂直ライン方向にｎ個、合計で（ｍ×ｎ）個からなる画素１１がマトリクス状に配置されているものとする。この入出力パネル１０は、合計で（ｍ×ｎ）個からなる画素１１および各画素に含まれる表示撮像セルＣＷＲ11〜ＣＷＲmnと、その画素１１の数に応じて接続された、ｍ本のデータ供給線ＤＷ（ＤＷ1〜ＤＷm）およびデータ読出線ＤＲ（ＤＲ1〜ＤＲm）、ならびにｎ本の表示用ゲート線Ｇ（Ｇ1〜Ｇn）および切換線Ｓ（Ｓ1〜Ｓn）とを有している。
【００２０】
データ供給線ＤＷは表示信号ドライバ２３に接続され、データ読出線ＤＲは撮像信号レシーバ３２に接続され、表示用ゲート線Ｇは表示側スキャナ２４に接続され、切換線Ｓは撮像信号選択スキャナ３１に接続されている。また、各表示撮像セルＣＷＲに対してそれぞれ１本ずつのデータ供給線ＤＷ、データ読出線ＤＲ、表示用ゲート線Ｇおよび切換線Ｓが接続されている。また、例えば１垂直ラインの表示撮像セルＣＷＲ11，ＣＷＲ12，…，ＣＷＲ1nに対しては、１本ずつのデータ供給線ＤＷ1およびデータ読出線ＤＲ1が共通に接続され、例えば１水平ラインの表示撮像セルＣＷＲ11，ＣＷＲ21，…，ＣＷＲm1に対しては、１本ずつの表示用ゲート線Ｇおよび切換線Ｓが共通に接続されている。なお、図中の矢印Ｙは、表示用ゲート線Ｇおよび切換線Ｓのスキャン方向を示している。
【００２１】
図３は、入出力パネル１０における表示撮像セルＣＷＲの配置構成の一例を断面図で模式的に表したものであり、図２におけるＡ−Ａ部分の矢視断面に対応するものである。
【００２２】
この入出力パネル１０は、１対の透明基板１２Ａ，１２Ｂと、これらの透明基板１２Ａ，１２Ｂの間に配置され、隔壁１３によって互いに分離された複数の表示撮像セルＣＷＲ（ＣＷ21，ＣＷ22，ＣＷ23，ＣＷ24，ＣＷ25，…）とを有している。また、各表示撮像セルＣＷＲは、表示撮像素子ＥＬとして例えば有機ＥＬ素子を含んでおり、表示光ＬＷを出射するようになっている。なお、一般的な有機ＥＬ表示部におけるその他の層については図示せず、説明を省略している。
【００２３】
図４は、入出力パネル１０における表示撮像セルＣＷＲの回路構成を表すものである。
【００２４】
この表示撮像セルＣＷＲは、１つの表示撮像素子ＥＬと、キャパシタＣと、抵抗Ｒと、表示用ゲート線Ｇから供給される選択信号に応じてデータ供給線ＤＷとキャパシタＣの一端との間を選択的に導通させるスイッチＳＷ１と、切換線Ｓから供給される切換信号に応じてキャパシタの他端と表示撮像素子ＥＬの一端との間を選択的に導通させるスイッチＳＷ２と、同じく切換線Ｓから供給される切換信号に応じて表示撮像素子ＥＬの一端とデータ読出線ＤＲとの間を選択的に導通させるスイッチＳＷ３とを有し、表示撮像素子ＥＬの他端は接地されている。なお、抵抗Ｒの一端はデータ読出線ＤＲに接続され、抵抗Ｒの他端は接地、または負バイアス点（図示せず）に接続されるようになっている。
【００２５】
ここで、具体的に表示動作時および撮像動作時における各構成要素の動作を説明する。まず、表示動作および撮像動作は、以下のような表示撮像素子ＥＬの性質を利用して行う。つまり、本実施の形態において表示撮像素子ＥＬとして構成する、例えば有機ＥＬ素子やＬＥＤ素子などは、順方向バイアス電圧を印加すると発光動作をするが、逆方向バイアス電圧を印加すると、受光して電流を発生する性質を有する。
【００２６】
したがって、表示動作時には、表示用ゲート線Ｇから供給される選択信号および切換線Ｓから供給される切換信号に従って、スイッチＳＷ１，ＳＷ２をオン状態とすると共に、スイッチＳＷ３をオフ状態とすることで、表示撮像素子ＥＬには順方向バイアス電圧が印加される。そして表示信号に応じた輝度の発光となるよう、データ供給線ＤＷからＩ１の経路にてキャパシタＣが充電され、充電された電荷に基づいてＩ２の経路にて表示撮像素子ＥＬに電流が流れることで、表示動作がなされる。
【００２７】
一方、撮像動作時には、切換線Ｓから供給される切換信号に従って、スイッチＳＷ２，ＳＷ３をオフ状態とすると共に、スイッチＳＷ２をオン状態とすることで、表示撮像素子ＥＬに逆方向バイアス電圧が印加される。そして表示撮像素子ＥＬにおいて、受光した光量に応じた電流がＩ３の経路にてデータ読出線ＤＲへ供給されることで、撮像動作がなされる。
【００２８】
なお、表示動作および撮像動作のいずれの動作も行っていない時には、スイッチＳＷ１〜ＳＷ３はいずれもオフ状態となっており、データ供給線ＤＷおよびデータ読出線ＤＲはそれぞれ、表示撮像素子ＥＬとは切断されるようになっている。また、データ読出線ＤＲに接続されている抵抗Ｒは、Ｉ３の経路でデータ読出線ＤＲに供給される電流に基づいてその両端に電位差を生じさせ、これを撮像信号として出力するためのものである。
【００２９】
表示信号保持制御部２２は、画像入出力装置１の外部（例えば、図示しないＣＰＵ（Central Processing Unit））から供給される表示信号（表示画像データＤin１）を、１画面ごと（１フレームの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）などから構成されるフレームメモリに格納して保持するものである。この表示信号保持制御部２２はまた、表示信号ドライバ２３、表示側スキャナ２４および撮像信号選択スキャナ３１が連動して動作するように制御する役割も果たしている。具体的には、表示側スキャナ２４に対しては表示タイミング制御信号４１を、撮像信号選択スキャナ３１に対しては撮像タイミング制御信号４２を、表示信号ドライバ２３に対しては、制御信号、およびフレームメモリに保持されている１画面分の表示信号に基づく１水平ライン分の表示信号を、それぞれ出力するようになっている。
【００３０】
表示側スキャナ２４は、表示信号保持制御部２２から出力される表示タイミング制御信号４１に応じて、表示駆動対象の表示撮像セルＣＷＲを選択するものである。また、表示信号ドライバ２３は、表示信号保持制御部２２から出力される１水平ライン分の表示信号に応じて、表示駆動対象の表示撮像セルＣＷＲへ表示データを供給するものである。
【００３１】
撮像信号選択スキャナ３１は、表示信号保持制御部２２から出力される撮像タイミング制御信号４２に応じて、撮像駆動対象の表示撮像セルＣＷＲを選択するものである。なお、この撮像信号選択スキャナ３１は、撮像信号レシーバ３２に対して撮像ブロック制御信号４３を出力し、これら撮像動作に寄与する部分の動作を制御する役割も果たしている。
【００３２】
撮像信号レシーバ３２は、撮像信号選択スキャナ３１から出力される撮像ブロック制御信号４３に応じて、各表示撮像セルＣＷＲから出力された１水平ライン分の撮像信号を取得するものである。
【００３３】
ここで、図５および図６を参照して、このような構成の画像入出力装置１において、接触あるいは近接した物体を撮像する動作について説明する。
【００３４】
図５は、図１の画像入出力装置１において撮像対象物体を撮像する処理の一例を断面図で表したものであり、図３に示した構成要素と同一の構成要素には同一の符号を付し、説明を適宜省略する。
【００３５】
入出力パネル１０上に、例えば指などの撮像対象物体１５Ａを接触あるいは近接させると、表示撮像セルＣＷＲ（ここでは、表示撮像セルＣＷＲ23）からの表示光ＬＷ１が、この撮像対象物体１５Ａで反射する。ここで、表示撮像素子ＥＬでは、表示動作と撮像動作を時分割で行う必要があり、ある表示撮像素子で表示光を発光させながらその表示撮像素子で反射光を受光することができない。そこで、ある水平ラインの表示撮像素子から出射した表示光を、逆方向バイアス電圧が印加された他の水平ラインの表示撮像素子が受光することにより、撮像対象物体１５Ａの撮像が可能になる。例えば、図５に示したように、表示撮像セルＣＷＲ23から位置が近い水平ライン上の表示撮像セル、例えばＣＷＲ24やＣＷＲ25などには反射光ＬＲ１が入射するが、この表示撮像セルＣＷＲ23から位置が遠い水平ライン上の表示撮像セルには、反射光が入射しない。したがって、ある撮像対象物体１５Ａから位置が近い表示撮像セルＣＷＲのみから撮像信号が得られるので、この画像入出力装置１では、表示駆動されている水平ライン上の表示撮像セルＣＷＲから発せられて撮像対象物体１５Ａで反射された光が、その水平ラインに隣接する水平ライン上の表示撮像セルＣＷＲによって受光されるように、タイミング駆動がなされるようになっている。このようにすれば、撮像対象物体１５Ａ近傍の表示撮像セルＣＷＲからは撮像信号が出力される一方、それ以外の領域からは撮像信号が出力されないので、撮像対象物体１５Ａが入出力パネル１０上のどの領域に位置するのかが検知され、撮像動作が可能となる。
【００３６】
また、図６に示したように、このような表示駆動と撮像駆動とを各水平ラインについて順次行う（線順次駆動）ことにより、入出力パネル１０全体で画像を表示しながら、撮像対象物体１５Ａを撮像することが可能となる。なお、図６において、符号Ｐ２，Ｐ３，Ｐ８，Ｐ９はそれぞれ、スキャン中のラインの位置を表しており、符号６１，６１Ａ，６１Ｂは表示領域を、符号６３は撮像領域を表している。
【００３７】
図１の説明に戻り、マスク制御部５は、撮像信号レシーバ３２から出力される撮像信号（撮像データＤout１）のうちの一部分以外をマスクする（マスク処理を行う）ものであり、実際のこのマスク処理を行うマスク処理部５１を有している。
【００３８】
このマスク処理部５１は、画像入出力装置１の外部から表示画像データＤin１とは別個に、上記マスク処理の対象から外されるマスク対象外部分を示すマスクデータＤｍ（マスク情報）を入力すると共に、このマスクデータＤｍを用いて撮像データＤout１のマスク処理を行い、マスク済撮像データＤout２を画像入出力装置１の外部（例えば、図示しない後段の画像処理装置）へ出力するものである。また、この外部から入力されるマスクデータＤｍの内容は、あらかじめ入出力パネル１０で表示されている表示画像データＤin１と関連づけられるようになっている。なお、このマスク処理の詳細については、後述する。
【００３９】
次に、図７および図８を参照して、本実施の形態のマスク制御部５（具体的には、マスク処理部５１）によるマスク処理について説明する。ここで、図７は、本実施の形態に係るマスク処理を流れ図で表したものであり、図８は、このマスク処理の態様を表したものである。
【００４０】
ここでは、例えば図８（Ａ）に示したような状況、すなわち、この画像入出力装置１の入出力パネル１０上に表示画像データＤin１に基づく表示画像が表示されている場合において、その表示画像のうちの「３」というボタンの部分に、ユーザの指先（撮像対象物体１５Ｂ）が置かれている状況のもとで説明する。
【００４１】
まず、マスク処理部５１は、あらかじめこの入出力パネル１０で表示されている表示画像データＤin１とその内容、具体的にはマスク処理の対象から外されるマスク対象外部分が関連づけられているマスクデータＤｍ（例えば、図８（Ｂ）参照）を、画像入出力装置１の外部から入力する（図７のステップＳ１０１）。
【００４２】
次に、マスク処理部５１は、入出力パネル１０で表示されている表示画像データＤin１に基づいてこの入出力パネル１０の撮像機能により撮像された撮像データＤout１を、撮像信号レシーバ３２から入力する（ステップＳ１０２）。
【００４３】
次に、マスク処理部５１は、この撮像データＤout１のうち、図８（Ｂ）に示したマスクデータＤｍのマスク対象外部分７１以外をマスクする（ステップＳ１０３）。すると、上記のようにこのマスク対象外部分は、あらかじめ入出力パネル１０で表示されている表示画像データＤin１と関連付けられていることから、マスク処理後の撮像データ（マスク済撮像データＤout２）による画像（マスク済撮像画像７２）は、例えば図８（Ｃ）に示したようになる。すなわち、撮像画像のうちのマスク対象外部分７１だけが有効となる（図８（Ｃ）の符号７２Ａで示した部分）一方、それ以外の部分はマスクされ、無効データとなっている。また、図８（Ａ）に示したように、入出力パネル１０の表示画面上において、撮像対象物体１５Ｂ（この場合、ユーザの指先）が「３」というボタンの部分に位置していることから、この撮像対象物体１５Ｂの部分が撮像されている。このようにして撮像データＤout１のマスク処理がなされ、マスク処理後の撮像データ（マスク済撮像データＤout２）が、画像入出力装置１の外部（例えば、図示しない後段の画像処理装置）へ出力される（ステップＳ１０４）。
【００４４】
そして最後に、マスク処理部５１は、このようなマスク処理を終了するか否かを、例えばユーザによる制御などにより判断する（ステップＳ１０５）。まだマスク処理を終了しないと判断した場合には（ステップＳ１０５：Ｎ）、ステップＳ１０２へと戻り、ステップＳ１０２〜Ｓ１０４の処理を繰り返すことになる。一方、マスク処理を終了すると判断した場合には（ステップＳ１０５：Ｙ）、全体のマスク処理が終了となる。
【００４５】
以上のように、本実施の形態では、表示機能と撮像機能とを有する入出力パネル１０の撮像機能を実行する際に、撮像画像（撮像データＤout１）の一部分、すなわちマスクデータＤｍのうちのマスク対象外部分７１以外をマスクするようにしたので、表示機能と撮像機能とを有する入出力パネルから得られる撮像の際の画像に対して、適切なマスク制御を行うことが可能となる。よって、撮像データＤout１に対してマスク処理を施し、マスク済撮像データＤout２として出力することができるので、例えば後段に画像処理装置を接続するような場合には、供給する撮像データのデータ量を、マスク対象外部分７１だけのデータ量に削減することができ、後段における処理負担を軽減させることが可能となる。
【００４６】
また、このマスクデータＤｍのうちのマスク対象外部分７１が、あらかじめ入出力パネル１０で表示されている表示画像データＤin１と関連付けられているので、この表示画像データＤin１による表示画像に応じてマスク処理を行うことができる。
【００４７】
さらに、このマスクデータＤｍを、画像入出力装置１の外部から取得するようにしたので、後述するようにマスクデータＤｍを画像入出力装置１内で作成している第２の実施の形態と比べて、マスク処理の負担を軽減することができる。
【００４８】
次に、本実施の形態の変形例について、いくつか説明する。なお、説明の簡潔化を図るため、以下、第１の実施の形態と同様の部位については、同じ符号を付して説明する。
【００４９】
［変形例１］
上記第１の実施の形態においては、画像入出力装置１が、表示画像データＤin１とマスクデータＤｍとをそれぞれ別個に外部から入力する場合について説明したが、本変形例では、これら表示画像データＤin１とマスクデータＤｍとを一体として入力する場合について説明する。
【００５０】
図９は、本変形例に係る画像入出力装置１の全体構成を表すものである。この画像入出力装置１は、図１に示した第１の実施の形態に係る画像入出力装置１において、表示信号保持制御部２２の入力側に、データ入力部５２を設けたものである。
【００５１】
このデータ入力部５２は、画像入出力装置１の外部から、表示画像データＤin１とマスクデータＤｍとが一体となった入力データＤinを入力すると共に、この入力データＤinを表示画像データＤin１とマスクデータＤｍとに分離し、それぞれ表示信号保持制御部２２またはマスク処理部５１へ出力するものである。
【００５２】
ここで、この入力データＤinの入力転送速度は、例えば第１の実施の形態で説明した表示画像データＤin１の入力転送速度の２倍となっている。したがって、入力データＤinが、表示画像データＤin１とマスクデータＤｍとの両データを含むためにそのデータ量が例えば２倍となっている場合でも、結果として、第１の実施の形態の場合と同等の転送時間で入力データＤinを入力することができるようになっている。
【００５３】
以上のように本変形例では、データ入力部５２が表示画像データＤin１とマスクデータＤｍとが一体となった入力データＤinを、例えば第１の実施の形態の場合の２倍の転送速度で入力するようにすると共に、この入力データＤinを表示画像データＤin１とマスクデータＤｍとに分離して、それぞれ表示信号保持制御部２２またはマスク処理部５１へ出力するようにしたので、この画像入出力装置１と外部とのデータ配線数を削減することができ、上記第１の実施の形態における効果に加え、装置構成をより簡素化することが可能となる。
【００５４】
［変形例２］
上記第１の実施の形態においては、マスク処理を行うマスク制御部５を、画像入出力装置１内に設けた場合について説明したが、本変形例では、このマスク制御部５を、画像入出力装置１とは別個に（画像入出力装置１の外部に）設けた場合について説明する。
【００５５】
図１０は、本変形例に係る画像入出力装置１の全体構成を表すものである。この画像入出力装置１は、図１に示した第１の実施の形態に係る画像入出力装置１において、マスク制御部５を、画像入出力装置１とは別個に設けるようにしたものである。
【００５６】
具体的には、本実施の形態のマスク制御部５は、画像入出力装置１（具体的には、撮像信号レシーバ３２）から撮像データＤout１を入力すると共に、画像入出力装置１およびマスク制御部５の外部から、マスクデータＤｍを入力するようになっている。なお、この場合のマスク制御部５が、本発明における「マスク制御装置」の一具体例に対応する。
【００５７】
以上のように本変形例では、マスク制御部５を、画像入出力装置１とは別個に設けるようにしたので、第１の実施の形態で説明したマスク制御部５内蔵の画像入出力装置１を新たに開発することなく（ユーザにとっては新たに購入することなく）、従来の入出力パネルに対しても、第１の実施の形態と同様の効果を得ることが可能となる。
【００５８】
［変形例３］
上記変形例２では、マスク制御部５を画像入出力装置１とは別個に設けるようにした場合で説明したが、本変形例では、この場合のマスク制御部５内に、上記変形例１で説明したデータ入力部５２を設けるようにした場合について説明する。
【００５９】
図１１は、本変形例に係る画像入出力装置１の全体構成を表すものである。この画像入出力装置１は、図１に示した第１の実施の形態に係る画像入出力装置１において、マスク制御部５を画像入出力装置１とは別個に設けるようにすると共に、このマスク制御部５内において、マスク処理部５１の入力側にデータ入力部５２を設けるようにしたものである。
【００６０】
具体的には、マスク制御部５内のデータ処理部５２は、画像入出力装置１およびマスク制御部５の外部から前述の入力データＤinを入力すると共に、この入力データＤinを表示画像データＤin１とマスクデータＤｍとに分離して、それぞれ画像入出力装置１内の表示信号保持制御部２２またはマスク制御部５内のマスク処理部５１へ出力するようになっている。
【００６１】
以上のように本変形例では、マスク制御部５を画像入出力装置１とは別個に設けるようにすると共に、このマスク制御部５内において、マスク処理部５１の入力側にデータ入力部５２を設けるようにしたので、第１の実施の形態における効果に加え、上記変形例１および変形例２両者の効果をさらに得ることが可能となる。
【００６２】
［変形例４］
上記第１の実施の形態および変形例１〜３においては、入出力パネル１０の撮像機能により撮像された撮像データＤout１に対して、マスク制御部５がマスク処理を行う場合について説明したが、本変形例では、この入出力パネルで撮像機能を実行する際の撮像予定画像に対して、マスク処理を行うようにした場合について説明する。
【００６３】
図１２は、本変形例に係る画像入出力装置１の全体構成を表すものである。この画像入出力装置１は、入出力パネル１０の代わりに、各画素ごとにこれまで説明したようなマスク処理を行うことが可能なマスク機能付画素１１Ａを有するマスク機能付入出力パネル１０Ａを備えている。なお、このマスク機能付き入出力パネル１０Ａは、各画素ごとにマスク処理を行うことができるように構成されていることの他は、入出力パネル１０と同様の構成となっている。
【００６４】
このマスク機能付き入出力パネル１０Ａでは、画像入出力装置１の外部から、各マスク機能付画素１１ＡごとにマスクデータＤｍを入力すると共に、その撮像機能を実行する際の撮像予定画像に対して、マスク制御部５と同様のマスク処理を行うようになっている。具体的には、そのマスク機能付画素１１Ａがマスク対象外部分７１である場合には、その画素における撮像予定画像のデータをそのまま撮像画像として出力する一方、そのマスク機能付画素１１Ａがマスク対象外部分７１ではない場合、すなわちマスク対象となる部分である場合には、その画素における撮像予定画像のデータを無効化（例えば、データを協定的に「０」にする）して出力するようになっている。
【００６５】
以上のように本変形例では、各画素ごとにマスク処理を行うことが可能なマスク機能付画素１１Ａを有するマスク機能付入出力パネル１０Ａを設けると共に、各マスク機能付画素１１Ａごとに、撮像機能を実行する際の撮像予定画像のマスク処理を行うようにしたので、マスク機能付入出力パネル１０Ａから出力される撮像画像データの時点で、すでにマスク済撮像データとすることができる。
【００６６】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。
【００６７】
上記第１の実施の形態およびその変形例においては、マスク処理を行うためのマスクデータＤｍを、画像入出力装置１の外部から入力する場合について説明したが、本変形例では、このマスクデータＤｍを、画像入出力装置１内で生成するようにした場合について説明する。
【００６８】
図１３は、本実施の形態に係る画像入出力装置１の全体構成を表すものである。この画像入出力装置１は、図１に示した第１の実施の形態に係る画像入出力装置１において、マスク制御部５内に、マスク生成部５３を設けるようにしたものである。
【００６９】
マスク生成部５３は、画像入出力装置１の外部から入力される表示画像データＤin１の内容に基づいてマスクデータＤｍを生成し、このマスクデータＤｍをマスク処理部５１へ出力するものである。具体的には、マスク生成部５３は、入出力パネル１０に表示されている画像の輝度、色相および色明度のうちの少なくとも１つに基づいて、マスクデータＤｍを生成するようになっている。なお、輝度とは、例えば赤、緑、青などの各色成分を総合した明るさのことを意味し、色相とは、例えば赤、緑、青などで表される色感覚の属性、およびそれを尺度化したものを意味し、色明度とは、例えば赤、緑、青などの各色ごとの明るさを意味する。
【００７０】
例えば、表示画像データＤin１に基づいて、入出力パネル１０に、図１４に示したような画像が表示されている場合について説明する。
【００７１】
このとき、例えばこの画像の輝度に基づいてマスクデータをＤｍを作成した場合、作成されたマスクデータＤｍは、例えば図１５に示したようになる。
【００７２】
一方、例えばこの画像の色相（白色）に基づいてマスクデータをＤｍを作成した場合、作成されたマスクデータＤｍは、例えば図１６（Ａ）に示したようになる。また、この画像の色相（桃色）に基づいてマスクデータをＤｍを作成した場合、作成されたマスクデータＤｍは、例えば図１６（Ｂ）に示したようになる。
【００７３】
このようにして、マスク生成部５３では、画像入出力装置１の外部から入力される表示画像データＤin１の内容に基づいて、表示画像の輝度や色相、色明度などの様々な指標に応じて、随時マスクデータＤｍが作成されるようになっている。
【００７４】
以上のように、本実施の形態では、マスク生成部５３が、画像入出力装置１の外部から入力される表示画像データＤin１の内容に基づいてマスクデータを作成するようにしたので、例えば表示画像データＤin１の内容が逐一変化するような場合であっても対応することができ、第１の実施の形態における効果に加え、マスク対象外部分７１のようなマスクデータＤｍの内容を、常にこの表示画像データＤin１と関連付けたものとすることが可能となる。
【００７５】
また、表示画像の輝度や色相、色明度などの様々な指標に応じてマスクデータＤｍを作成するようにしたので、マスク処理済撮像データＤout２の用途などに応じて、１つの表示画像から様々なマスクデータＤｍを作成することができる。
【００７６】
さらに、画像入出力装置１内でマスクデータＤｍを作成するようにしたので、画像入出力装置１と外部とのデータ配線数を削減することができ、第１の実施の形態における効果に加え、装置構成をより簡素化することが可能となる。
【００７７】
以上、第１および第２の実施の形態およびその変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
【００７８】
例えば、上記実施の形態等で説明した構成を、それぞれ組み合わせるようにしてもよい。また、上記実施の形態等では、表示機能と撮像機能とを併有する表示撮像素子ＥＬによって入出力パネル１０を構成した場合で説明したが、表示機能を有する表示素子（例えば、液晶素子やＬＥＤ（Light Emitting Diode）など）と、撮像機能を有する素子（例えば、フォトダイオードやＣＣＤ（Charge Coupled Device）など）とを別々に設けて入出力パネルを構成するようにしてもよい。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施の形態に係る画像入出力装置の全体構成を表すブロック図である。
【図２】図１に示した入出力パネルの構成を表す平面図である。
【図３】入出力パネルにおける表示撮像セルの配置構成の一例を模式的に表す断面図である。
【図４】図１に示した表示撮像セルの構成を表す回路図である。
【図５】図１に示した画像入出力装置において撮像対象物体を撮像する処理の一例を表す模式断面図である。
【図６】入出力パネルにおける線順次表示動作および線順次撮像動作の一例を表す模式図である。
【図７】第１の実施の形態に係るマスク制御部による補正処理を表す流れ図である。
【図８】第１の実施の形態に係るマスク処理を説明するための模式図である。
【図９】第１の実施の形態の変形例１に係る画像入出力装置の全体構成を表すブロック図である。
【図１０】第１の実施の形態の変形例２に係る画像入出力装置およびマスク制御装置の全体構成を表すブロック図である。
【図１１】第１の実施の形態の変形例３に係る画像入出力装置およびマスク制御装置の全体構成を表すブロック図である。
【図１２】第１の実施の形態の変形例４に係る画像入出力装置の全体構成を表すブロック図である。
【図１３】第２の実施の形態に係る画像入出力装置の全体構成を表すブロック図である。
【図１４】第２の実施の形態に係るマスク処理を説明するための模式図である。
【図１５】第２の実施の形態に係るマスク処理を説明するための模式図である。
【図１６】第２の実施の形態に係るマスク処理を説明するための模式図である。
【符号の説明】
【００８０】
１…画像入出力装置、１０，１０Ａ…入出力パネル、１１…画素、１２Ａ，１２Ｂ…透明基板、１３…隔壁、１５Ａ，１５Ｂ…撮像対象物体、２２…表示信号保持制御部、２３…表示信号ドライバ、２４…表示側スキャナ、３１…撮像信号選択スキャナ、３２…撮像信号レシーバ、４１…表示タイミング制御信号、４２…撮像タイミング制御信号、４３…撮像ブロック制御信号、５…マスク制御部、５１…マスク処理部、５２…データ入力部、５３…マスク生成部、６１，６１Ａ，６１Ｂ…表示領域、６３…撮像領域、７１…マスク対象外部分、７２…マスク済撮像画像、ＣＷＲ…表示撮像セル、ＤＷ…データ供給線、ＤＲ…データ読出線、Ｇ…表示用ゲート線、Ｓ…切換線、ＬＷ，ＬＷ１〜Ｗ４…表示光、ＬＲ１〜ＬＲ４…反射光、ＥＬ…表示撮像素子、Ｃ…キャパシタ、Ｒ…抵抗、ＳＷ１，ＳＷ２，ＳＷ３…スイッチ、Ｉ１…表示信号電流路、Ｉ２…撮像信号電流路、Ｙ…スキャン方向、Ｐ２，Ｐ３，Ｐ８，Ｐ９…スキャン中の水平ラインの位置。
【技術分野】
【０００１】
本発明は、入出力パネルを備えた画像入出力装置、ならびにこれに適用されるマスク制御装置およびマスク制御方法に関する。
【背景技術】
【０００２】
従来より、物体の撮像機能を備えた撮像装置として、様々な技術が提案されている。例えば、本出願人は特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部を備えた表示装置を提案している。
【０００３】
【特許文献１】特開２００４−１２７２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記表示装置を撮像装置として利用すれば、撮像画像を得ることが可能となる。しかしながら、上記特許文献１では、取り込んだ画像のすべてを後段の処理部へ送るようになっていた。
【０００５】
したがって、後段の装置において全ての画像領域のデータを処理しなければならず、処理が重くなってしまっていた。
【０００６】
本発明はかかる問題点に鑑みてなされたもので、その目的は、表示機能と撮像機能とを有する入出力パネルから得られる撮像画像に対する後処理の負担を軽減することを可能とする画像入出力装置、マスク制御装置およびマスク制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の画像入出力装置は、画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルと、この入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするマスク制御手段とを備えたものである。
【０００８】
ここで、「マスク」とは、その部分を覆う、無効にする、無視する、またはなかったものとして処理対象としない、といったことを意味する。また、「撮像画像」とは、現に撮像された（取り込まれた）画面全体画像のことを意味する一方、「撮像予定画像」とは、何らの措置を講じなければ撮像されるはずであろう画面全体画像のことを意味する。
【０００９】
また、本発明の画像入力装置では、上記マスク制御手段が、画像データの内容に基づいて上記マスク情報を生成するようにしてもよく、さらに、上記マスク情報を、入出力パネルに表示される画像の輝度、色相および色明度のうちの少なくとも１つに基づいて生成するようにしてもよい。なお、「輝度」とは、例えば赤、緑、青などの各色成分を総合した明るさのことを意味し、「色相」とは、例えば赤、緑、青などで表される色感覚の属性、およびそれを尺度化したものを意味し、「色明度」とは、例えば赤、緑、青などの各色ごとの明るさを意味する。
【００１０】
本発明のマスク制御装置は、画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを備えた画像入出力装置に適用されるものであって、上記入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするマスク制御手段を備えたものである。
【００１１】
本発明のマスク制御方法は、画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを用いたものであって、上記入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするようにしたものである。
【００１２】
本発明の画像入出力装置、マスク制御装置およびマスク制御方法では、表示機能とこの表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより、物体が撮像される。また、この入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外がマスクされる。
【発明の効果】
【００１３】
本発明の画像入出力装置、マスク制御装置またはマスク制御方法によれば、表示機能と撮像機能とを有する入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするようにしたので、表示機能と撮像機能とを有する入出力パネル入出力パネルから得られる撮像画像に対する後処理の負担を軽減することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１５】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像入出力装置（画像入出力装置１）の構成を表すものである。
【００１６】
この画像入出力装置１は、入出力パネル１０と、表示信号保持制御部２２と、表示信号ドライバ２３と、表示側スキャナ２４と、撮像信号選択スキャナ３１と、撮像信号レシーバ３２と、マスク制御部５とを備えており、画像データに基づく画像を入出力パネル１０に表示すると共に、表示画像からの光を利用して入出力パネル１０に接触または近接する物体（後述する撮像対象物体１５Ａ，１５Ｂ）を撮像し、撮像して得られた撮像画像の補正を行うものである。
【００１７】
入出力パネル１０は、複数の画素１１が全面に渡ってマトリクス状に配置された、例えば有機または無機のＥＬ（ElectroLuminescence）ディスプレイやＬＣＤ（Liquid Crystal Display）からなり、後述するように線順次動作をしながら所定の図形や文字などの画像を表示するものである。また、各画素１１は、例えば１つの表示撮像素子を含む表示撮像セルＣＷＲから構成され、後述するように各画素が表示機能と撮像機能とを併有するようになっている。
【００１８】
ここで、図２〜図４を参照して、入出力パネル１０の構成の詳細について説明する。
【００１９】
図２は、入出力パネル１０の平面構成の一例を表すものであり、水平ライン方向にｍ個、垂直ライン方向にｎ個、合計で（ｍ×ｎ）個からなる画素１１がマトリクス状に配置されているものとする。この入出力パネル１０は、合計で（ｍ×ｎ）個からなる画素１１および各画素に含まれる表示撮像セルＣＷＲ11〜ＣＷＲmnと、その画素１１の数に応じて接続された、ｍ本のデータ供給線ＤＷ（ＤＷ1〜ＤＷm）およびデータ読出線ＤＲ（ＤＲ1〜ＤＲm）、ならびにｎ本の表示用ゲート線Ｇ（Ｇ1〜Ｇn）および切換線Ｓ（Ｓ1〜Ｓn）とを有している。
【００２０】
データ供給線ＤＷは表示信号ドライバ２３に接続され、データ読出線ＤＲは撮像信号レシーバ３２に接続され、表示用ゲート線Ｇは表示側スキャナ２４に接続され、切換線Ｓは撮像信号選択スキャナ３１に接続されている。また、各表示撮像セルＣＷＲに対してそれぞれ１本ずつのデータ供給線ＤＷ、データ読出線ＤＲ、表示用ゲート線Ｇおよび切換線Ｓが接続されている。また、例えば１垂直ラインの表示撮像セルＣＷＲ11，ＣＷＲ12，…，ＣＷＲ1nに対しては、１本ずつのデータ供給線ＤＷ1およびデータ読出線ＤＲ1が共通に接続され、例えば１水平ラインの表示撮像セルＣＷＲ11，ＣＷＲ21，…，ＣＷＲm1に対しては、１本ずつの表示用ゲート線Ｇおよび切換線Ｓが共通に接続されている。なお、図中の矢印Ｙは、表示用ゲート線Ｇおよび切換線Ｓのスキャン方向を示している。
【００２１】
図３は、入出力パネル１０における表示撮像セルＣＷＲの配置構成の一例を断面図で模式的に表したものであり、図２におけるＡ−Ａ部分の矢視断面に対応するものである。
【００２２】
この入出力パネル１０は、１対の透明基板１２Ａ，１２Ｂと、これらの透明基板１２Ａ，１２Ｂの間に配置され、隔壁１３によって互いに分離された複数の表示撮像セルＣＷＲ（ＣＷ21，ＣＷ22，ＣＷ23，ＣＷ24，ＣＷ25，…）とを有している。また、各表示撮像セルＣＷＲは、表示撮像素子ＥＬとして例えば有機ＥＬ素子を含んでおり、表示光ＬＷを出射するようになっている。なお、一般的な有機ＥＬ表示部におけるその他の層については図示せず、説明を省略している。
【００２３】
図４は、入出力パネル１０における表示撮像セルＣＷＲの回路構成を表すものである。
【００２４】
この表示撮像セルＣＷＲは、１つの表示撮像素子ＥＬと、キャパシタＣと、抵抗Ｒと、表示用ゲート線Ｇから供給される選択信号に応じてデータ供給線ＤＷとキャパシタＣの一端との間を選択的に導通させるスイッチＳＷ１と、切換線Ｓから供給される切換信号に応じてキャパシタの他端と表示撮像素子ＥＬの一端との間を選択的に導通させるスイッチＳＷ２と、同じく切換線Ｓから供給される切換信号に応じて表示撮像素子ＥＬの一端とデータ読出線ＤＲとの間を選択的に導通させるスイッチＳＷ３とを有し、表示撮像素子ＥＬの他端は接地されている。なお、抵抗Ｒの一端はデータ読出線ＤＲに接続され、抵抗Ｒの他端は接地、または負バイアス点（図示せず）に接続されるようになっている。
【００２５】
ここで、具体的に表示動作時および撮像動作時における各構成要素の動作を説明する。まず、表示動作および撮像動作は、以下のような表示撮像素子ＥＬの性質を利用して行う。つまり、本実施の形態において表示撮像素子ＥＬとして構成する、例えば有機ＥＬ素子やＬＥＤ素子などは、順方向バイアス電圧を印加すると発光動作をするが、逆方向バイアス電圧を印加すると、受光して電流を発生する性質を有する。
【００２６】
したがって、表示動作時には、表示用ゲート線Ｇから供給される選択信号および切換線Ｓから供給される切換信号に従って、スイッチＳＷ１，ＳＷ２をオン状態とすると共に、スイッチＳＷ３をオフ状態とすることで、表示撮像素子ＥＬには順方向バイアス電圧が印加される。そして表示信号に応じた輝度の発光となるよう、データ供給線ＤＷからＩ１の経路にてキャパシタＣが充電され、充電された電荷に基づいてＩ２の経路にて表示撮像素子ＥＬに電流が流れることで、表示動作がなされる。
【００２７】
一方、撮像動作時には、切換線Ｓから供給される切換信号に従って、スイッチＳＷ２，ＳＷ３をオフ状態とすると共に、スイッチＳＷ２をオン状態とすることで、表示撮像素子ＥＬに逆方向バイアス電圧が印加される。そして表示撮像素子ＥＬにおいて、受光した光量に応じた電流がＩ３の経路にてデータ読出線ＤＲへ供給されることで、撮像動作がなされる。
【００２８】
なお、表示動作および撮像動作のいずれの動作も行っていない時には、スイッチＳＷ１〜ＳＷ３はいずれもオフ状態となっており、データ供給線ＤＷおよびデータ読出線ＤＲはそれぞれ、表示撮像素子ＥＬとは切断されるようになっている。また、データ読出線ＤＲに接続されている抵抗Ｒは、Ｉ３の経路でデータ読出線ＤＲに供給される電流に基づいてその両端に電位差を生じさせ、これを撮像信号として出力するためのものである。
【００２９】
表示信号保持制御部２２は、画像入出力装置１の外部（例えば、図示しないＣＰＵ（Central Processing Unit））から供給される表示信号（表示画像データＤin１）を、１画面ごと（１フレームの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）などから構成されるフレームメモリに格納して保持するものである。この表示信号保持制御部２２はまた、表示信号ドライバ２３、表示側スキャナ２４および撮像信号選択スキャナ３１が連動して動作するように制御する役割も果たしている。具体的には、表示側スキャナ２４に対しては表示タイミング制御信号４１を、撮像信号選択スキャナ３１に対しては撮像タイミング制御信号４２を、表示信号ドライバ２３に対しては、制御信号、およびフレームメモリに保持されている１画面分の表示信号に基づく１水平ライン分の表示信号を、それぞれ出力するようになっている。
【００３０】
表示側スキャナ２４は、表示信号保持制御部２２から出力される表示タイミング制御信号４１に応じて、表示駆動対象の表示撮像セルＣＷＲを選択するものである。また、表示信号ドライバ２３は、表示信号保持制御部２２から出力される１水平ライン分の表示信号に応じて、表示駆動対象の表示撮像セルＣＷＲへ表示データを供給するものである。
【００３１】
撮像信号選択スキャナ３１は、表示信号保持制御部２２から出力される撮像タイミング制御信号４２に応じて、撮像駆動対象の表示撮像セルＣＷＲを選択するものである。なお、この撮像信号選択スキャナ３１は、撮像信号レシーバ３２に対して撮像ブロック制御信号４３を出力し、これら撮像動作に寄与する部分の動作を制御する役割も果たしている。
【００３２】
撮像信号レシーバ３２は、撮像信号選択スキャナ３１から出力される撮像ブロック制御信号４３に応じて、各表示撮像セルＣＷＲから出力された１水平ライン分の撮像信号を取得するものである。
【００３３】
ここで、図５および図６を参照して、このような構成の画像入出力装置１において、接触あるいは近接した物体を撮像する動作について説明する。
【００３４】
図５は、図１の画像入出力装置１において撮像対象物体を撮像する処理の一例を断面図で表したものであり、図３に示した構成要素と同一の構成要素には同一の符号を付し、説明を適宜省略する。
【００３５】
入出力パネル１０上に、例えば指などの撮像対象物体１５Ａを接触あるいは近接させると、表示撮像セルＣＷＲ（ここでは、表示撮像セルＣＷＲ23）からの表示光ＬＷ１が、この撮像対象物体１５Ａで反射する。ここで、表示撮像素子ＥＬでは、表示動作と撮像動作を時分割で行う必要があり、ある表示撮像素子で表示光を発光させながらその表示撮像素子で反射光を受光することができない。そこで、ある水平ラインの表示撮像素子から出射した表示光を、逆方向バイアス電圧が印加された他の水平ラインの表示撮像素子が受光することにより、撮像対象物体１５Ａの撮像が可能になる。例えば、図５に示したように、表示撮像セルＣＷＲ23から位置が近い水平ライン上の表示撮像セル、例えばＣＷＲ24やＣＷＲ25などには反射光ＬＲ１が入射するが、この表示撮像セルＣＷＲ23から位置が遠い水平ライン上の表示撮像セルには、反射光が入射しない。したがって、ある撮像対象物体１５Ａから位置が近い表示撮像セルＣＷＲのみから撮像信号が得られるので、この画像入出力装置１では、表示駆動されている水平ライン上の表示撮像セルＣＷＲから発せられて撮像対象物体１５Ａで反射された光が、その水平ラインに隣接する水平ライン上の表示撮像セルＣＷＲによって受光されるように、タイミング駆動がなされるようになっている。このようにすれば、撮像対象物体１５Ａ近傍の表示撮像セルＣＷＲからは撮像信号が出力される一方、それ以外の領域からは撮像信号が出力されないので、撮像対象物体１５Ａが入出力パネル１０上のどの領域に位置するのかが検知され、撮像動作が可能となる。
【００３６】
また、図６に示したように、このような表示駆動と撮像駆動とを各水平ラインについて順次行う（線順次駆動）ことにより、入出力パネル１０全体で画像を表示しながら、撮像対象物体１５Ａを撮像することが可能となる。なお、図６において、符号Ｐ２，Ｐ３，Ｐ８，Ｐ９はそれぞれ、スキャン中のラインの位置を表しており、符号６１，６１Ａ，６１Ｂは表示領域を、符号６３は撮像領域を表している。
【００３７】
図１の説明に戻り、マスク制御部５は、撮像信号レシーバ３２から出力される撮像信号（撮像データＤout１）のうちの一部分以外をマスクする（マスク処理を行う）ものであり、実際のこのマスク処理を行うマスク処理部５１を有している。
【００３８】
このマスク処理部５１は、画像入出力装置１の外部から表示画像データＤin１とは別個に、上記マスク処理の対象から外されるマスク対象外部分を示すマスクデータＤｍ（マスク情報）を入力すると共に、このマスクデータＤｍを用いて撮像データＤout１のマスク処理を行い、マスク済撮像データＤout２を画像入出力装置１の外部（例えば、図示しない後段の画像処理装置）へ出力するものである。また、この外部から入力されるマスクデータＤｍの内容は、あらかじめ入出力パネル１０で表示されている表示画像データＤin１と関連づけられるようになっている。なお、このマスク処理の詳細については、後述する。
【００３９】
次に、図７および図８を参照して、本実施の形態のマスク制御部５（具体的には、マスク処理部５１）によるマスク処理について説明する。ここで、図７は、本実施の形態に係るマスク処理を流れ図で表したものであり、図８は、このマスク処理の態様を表したものである。
【００４０】
ここでは、例えば図８（Ａ）に示したような状況、すなわち、この画像入出力装置１の入出力パネル１０上に表示画像データＤin１に基づく表示画像が表示されている場合において、その表示画像のうちの「３」というボタンの部分に、ユーザの指先（撮像対象物体１５Ｂ）が置かれている状況のもとで説明する。
【００４１】
まず、マスク処理部５１は、あらかじめこの入出力パネル１０で表示されている表示画像データＤin１とその内容、具体的にはマスク処理の対象から外されるマスク対象外部分が関連づけられているマスクデータＤｍ（例えば、図８（Ｂ）参照）を、画像入出力装置１の外部から入力する（図７のステップＳ１０１）。
【００４２】
次に、マスク処理部５１は、入出力パネル１０で表示されている表示画像データＤin１に基づいてこの入出力パネル１０の撮像機能により撮像された撮像データＤout１を、撮像信号レシーバ３２から入力する（ステップＳ１０２）。
【００４３】
次に、マスク処理部５１は、この撮像データＤout１のうち、図８（Ｂ）に示したマスクデータＤｍのマスク対象外部分７１以外をマスクする（ステップＳ１０３）。すると、上記のようにこのマスク対象外部分は、あらかじめ入出力パネル１０で表示されている表示画像データＤin１と関連付けられていることから、マスク処理後の撮像データ（マスク済撮像データＤout２）による画像（マスク済撮像画像７２）は、例えば図８（Ｃ）に示したようになる。すなわち、撮像画像のうちのマスク対象外部分７１だけが有効となる（図８（Ｃ）の符号７２Ａで示した部分）一方、それ以外の部分はマスクされ、無効データとなっている。また、図８（Ａ）に示したように、入出力パネル１０の表示画面上において、撮像対象物体１５Ｂ（この場合、ユーザの指先）が「３」というボタンの部分に位置していることから、この撮像対象物体１５Ｂの部分が撮像されている。このようにして撮像データＤout１のマスク処理がなされ、マスク処理後の撮像データ（マスク済撮像データＤout２）が、画像入出力装置１の外部（例えば、図示しない後段の画像処理装置）へ出力される（ステップＳ１０４）。
【００４４】
そして最後に、マスク処理部５１は、このようなマスク処理を終了するか否かを、例えばユーザによる制御などにより判断する（ステップＳ１０５）。まだマスク処理を終了しないと判断した場合には（ステップＳ１０５：Ｎ）、ステップＳ１０２へと戻り、ステップＳ１０２〜Ｓ１０４の処理を繰り返すことになる。一方、マスク処理を終了すると判断した場合には（ステップＳ１０５：Ｙ）、全体のマスク処理が終了となる。
【００４５】
以上のように、本実施の形態では、表示機能と撮像機能とを有する入出力パネル１０の撮像機能を実行する際に、撮像画像（撮像データＤout１）の一部分、すなわちマスクデータＤｍのうちのマスク対象外部分７１以外をマスクするようにしたので、表示機能と撮像機能とを有する入出力パネルから得られる撮像の際の画像に対して、適切なマスク制御を行うことが可能となる。よって、撮像データＤout１に対してマスク処理を施し、マスク済撮像データＤout２として出力することができるので、例えば後段に画像処理装置を接続するような場合には、供給する撮像データのデータ量を、マスク対象外部分７１だけのデータ量に削減することができ、後段における処理負担を軽減させることが可能となる。
【００４６】
また、このマスクデータＤｍのうちのマスク対象外部分７１が、あらかじめ入出力パネル１０で表示されている表示画像データＤin１と関連付けられているので、この表示画像データＤin１による表示画像に応じてマスク処理を行うことができる。
【００４７】
さらに、このマスクデータＤｍを、画像入出力装置１の外部から取得するようにしたので、後述するようにマスクデータＤｍを画像入出力装置１内で作成している第２の実施の形態と比べて、マスク処理の負担を軽減することができる。
【００４８】
次に、本実施の形態の変形例について、いくつか説明する。なお、説明の簡潔化を図るため、以下、第１の実施の形態と同様の部位については、同じ符号を付して説明する。
【００４９】
［変形例１］
上記第１の実施の形態においては、画像入出力装置１が、表示画像データＤin１とマスクデータＤｍとをそれぞれ別個に外部から入力する場合について説明したが、本変形例では、これら表示画像データＤin１とマスクデータＤｍとを一体として入力する場合について説明する。
【００５０】
図９は、本変形例に係る画像入出力装置１の全体構成を表すものである。この画像入出力装置１は、図１に示した第１の実施の形態に係る画像入出力装置１において、表示信号保持制御部２２の入力側に、データ入力部５２を設けたものである。
【００５１】
このデータ入力部５２は、画像入出力装置１の外部から、表示画像データＤin１とマスクデータＤｍとが一体となった入力データＤinを入力すると共に、この入力データＤinを表示画像データＤin１とマスクデータＤｍとに分離し、それぞれ表示信号保持制御部２２またはマスク処理部５１へ出力するものである。
【００５２】
ここで、この入力データＤinの入力転送速度は、例えば第１の実施の形態で説明した表示画像データＤin１の入力転送速度の２倍となっている。したがって、入力データＤinが、表示画像データＤin１とマスクデータＤｍとの両データを含むためにそのデータ量が例えば２倍となっている場合でも、結果として、第１の実施の形態の場合と同等の転送時間で入力データＤinを入力することができるようになっている。
【００５３】
以上のように本変形例では、データ入力部５２が表示画像データＤin１とマスクデータＤｍとが一体となった入力データＤinを、例えば第１の実施の形態の場合の２倍の転送速度で入力するようにすると共に、この入力データＤinを表示画像データＤin１とマスクデータＤｍとに分離して、それぞれ表示信号保持制御部２２またはマスク処理部５１へ出力するようにしたので、この画像入出力装置１と外部とのデータ配線数を削減することができ、上記第１の実施の形態における効果に加え、装置構成をより簡素化することが可能となる。
【００５４】
［変形例２］
上記第１の実施の形態においては、マスク処理を行うマスク制御部５を、画像入出力装置１内に設けた場合について説明したが、本変形例では、このマスク制御部５を、画像入出力装置１とは別個に（画像入出力装置１の外部に）設けた場合について説明する。
【００５５】
図１０は、本変形例に係る画像入出力装置１の全体構成を表すものである。この画像入出力装置１は、図１に示した第１の実施の形態に係る画像入出力装置１において、マスク制御部５を、画像入出力装置１とは別個に設けるようにしたものである。
【００５６】
具体的には、本実施の形態のマスク制御部５は、画像入出力装置１（具体的には、撮像信号レシーバ３２）から撮像データＤout１を入力すると共に、画像入出力装置１およびマスク制御部５の外部から、マスクデータＤｍを入力するようになっている。なお、この場合のマスク制御部５が、本発明における「マスク制御装置」の一具体例に対応する。
【００５７】
以上のように本変形例では、マスク制御部５を、画像入出力装置１とは別個に設けるようにしたので、第１の実施の形態で説明したマスク制御部５内蔵の画像入出力装置１を新たに開発することなく（ユーザにとっては新たに購入することなく）、従来の入出力パネルに対しても、第１の実施の形態と同様の効果を得ることが可能となる。
【００５８】
［変形例３］
上記変形例２では、マスク制御部５を画像入出力装置１とは別個に設けるようにした場合で説明したが、本変形例では、この場合のマスク制御部５内に、上記変形例１で説明したデータ入力部５２を設けるようにした場合について説明する。
【００５９】
図１１は、本変形例に係る画像入出力装置１の全体構成を表すものである。この画像入出力装置１は、図１に示した第１の実施の形態に係る画像入出力装置１において、マスク制御部５を画像入出力装置１とは別個に設けるようにすると共に、このマスク制御部５内において、マスク処理部５１の入力側にデータ入力部５２を設けるようにしたものである。
【００６０】
具体的には、マスク制御部５内のデータ処理部５２は、画像入出力装置１およびマスク制御部５の外部から前述の入力データＤinを入力すると共に、この入力データＤinを表示画像データＤin１とマスクデータＤｍとに分離して、それぞれ画像入出力装置１内の表示信号保持制御部２２またはマスク制御部５内のマスク処理部５１へ出力するようになっている。
【００６１】
以上のように本変形例では、マスク制御部５を画像入出力装置１とは別個に設けるようにすると共に、このマスク制御部５内において、マスク処理部５１の入力側にデータ入力部５２を設けるようにしたので、第１の実施の形態における効果に加え、上記変形例１および変形例２両者の効果をさらに得ることが可能となる。
【００６２】
［変形例４］
上記第１の実施の形態および変形例１〜３においては、入出力パネル１０の撮像機能により撮像された撮像データＤout１に対して、マスク制御部５がマスク処理を行う場合について説明したが、本変形例では、この入出力パネルで撮像機能を実行する際の撮像予定画像に対して、マスク処理を行うようにした場合について説明する。
【００６３】
図１２は、本変形例に係る画像入出力装置１の全体構成を表すものである。この画像入出力装置１は、入出力パネル１０の代わりに、各画素ごとにこれまで説明したようなマスク処理を行うことが可能なマスク機能付画素１１Ａを有するマスク機能付入出力パネル１０Ａを備えている。なお、このマスク機能付き入出力パネル１０Ａは、各画素ごとにマスク処理を行うことができるように構成されていることの他は、入出力パネル１０と同様の構成となっている。
【００６４】
このマスク機能付き入出力パネル１０Ａでは、画像入出力装置１の外部から、各マスク機能付画素１１ＡごとにマスクデータＤｍを入力すると共に、その撮像機能を実行する際の撮像予定画像に対して、マスク制御部５と同様のマスク処理を行うようになっている。具体的には、そのマスク機能付画素１１Ａがマスク対象外部分７１である場合には、その画素における撮像予定画像のデータをそのまま撮像画像として出力する一方、そのマスク機能付画素１１Ａがマスク対象外部分７１ではない場合、すなわちマスク対象となる部分である場合には、その画素における撮像予定画像のデータを無効化（例えば、データを協定的に「０」にする）して出力するようになっている。
【００６５】
以上のように本変形例では、各画素ごとにマスク処理を行うことが可能なマスク機能付画素１１Ａを有するマスク機能付入出力パネル１０Ａを設けると共に、各マスク機能付画素１１Ａごとに、撮像機能を実行する際の撮像予定画像のマスク処理を行うようにしたので、マスク機能付入出力パネル１０Ａから出力される撮像画像データの時点で、すでにマスク済撮像データとすることができる。
【００６６】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。
【００６７】
上記第１の実施の形態およびその変形例においては、マスク処理を行うためのマスクデータＤｍを、画像入出力装置１の外部から入力する場合について説明したが、本変形例では、このマスクデータＤｍを、画像入出力装置１内で生成するようにした場合について説明する。
【００６８】
図１３は、本実施の形態に係る画像入出力装置１の全体構成を表すものである。この画像入出力装置１は、図１に示した第１の実施の形態に係る画像入出力装置１において、マスク制御部５内に、マスク生成部５３を設けるようにしたものである。
【００６９】
マスク生成部５３は、画像入出力装置１の外部から入力される表示画像データＤin１の内容に基づいてマスクデータＤｍを生成し、このマスクデータＤｍをマスク処理部５１へ出力するものである。具体的には、マスク生成部５３は、入出力パネル１０に表示されている画像の輝度、色相および色明度のうちの少なくとも１つに基づいて、マスクデータＤｍを生成するようになっている。なお、輝度とは、例えば赤、緑、青などの各色成分を総合した明るさのことを意味し、色相とは、例えば赤、緑、青などで表される色感覚の属性、およびそれを尺度化したものを意味し、色明度とは、例えば赤、緑、青などの各色ごとの明るさを意味する。
【００７０】
例えば、表示画像データＤin１に基づいて、入出力パネル１０に、図１４に示したような画像が表示されている場合について説明する。
【００７１】
このとき、例えばこの画像の輝度に基づいてマスクデータをＤｍを作成した場合、作成されたマスクデータＤｍは、例えば図１５に示したようになる。
【００７２】
一方、例えばこの画像の色相（白色）に基づいてマスクデータをＤｍを作成した場合、作成されたマスクデータＤｍは、例えば図１６（Ａ）に示したようになる。また、この画像の色相（桃色）に基づいてマスクデータをＤｍを作成した場合、作成されたマスクデータＤｍは、例えば図１６（Ｂ）に示したようになる。
【００７３】
このようにして、マスク生成部５３では、画像入出力装置１の外部から入力される表示画像データＤin１の内容に基づいて、表示画像の輝度や色相、色明度などの様々な指標に応じて、随時マスクデータＤｍが作成されるようになっている。
【００７４】
以上のように、本実施の形態では、マスク生成部５３が、画像入出力装置１の外部から入力される表示画像データＤin１の内容に基づいてマスクデータを作成するようにしたので、例えば表示画像データＤin１の内容が逐一変化するような場合であっても対応することができ、第１の実施の形態における効果に加え、マスク対象外部分７１のようなマスクデータＤｍの内容を、常にこの表示画像データＤin１と関連付けたものとすることが可能となる。
【００７５】
また、表示画像の輝度や色相、色明度などの様々な指標に応じてマスクデータＤｍを作成するようにしたので、マスク処理済撮像データＤout２の用途などに応じて、１つの表示画像から様々なマスクデータＤｍを作成することができる。
【００７６】
さらに、画像入出力装置１内でマスクデータＤｍを作成するようにしたので、画像入出力装置１と外部とのデータ配線数を削減することができ、第１の実施の形態における効果に加え、装置構成をより簡素化することが可能となる。
【００７７】
以上、第１および第２の実施の形態およびその変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
【００７８】
例えば、上記実施の形態等で説明した構成を、それぞれ組み合わせるようにしてもよい。また、上記実施の形態等では、表示機能と撮像機能とを併有する表示撮像素子ＥＬによって入出力パネル１０を構成した場合で説明したが、表示機能を有する表示素子（例えば、液晶素子やＬＥＤ（Light Emitting Diode）など）と、撮像機能を有する素子（例えば、フォトダイオードやＣＣＤ（Charge Coupled Device）など）とを別々に設けて入出力パネルを構成するようにしてもよい。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施の形態に係る画像入出力装置の全体構成を表すブロック図である。
【図２】図１に示した入出力パネルの構成を表す平面図である。
【図３】入出力パネルにおける表示撮像セルの配置構成の一例を模式的に表す断面図である。
【図４】図１に示した表示撮像セルの構成を表す回路図である。
【図５】図１に示した画像入出力装置において撮像対象物体を撮像する処理の一例を表す模式断面図である。
【図６】入出力パネルにおける線順次表示動作および線順次撮像動作の一例を表す模式図である。
【図７】第１の実施の形態に係るマスク制御部による補正処理を表す流れ図である。
【図８】第１の実施の形態に係るマスク処理を説明するための模式図である。
【図９】第１の実施の形態の変形例１に係る画像入出力装置の全体構成を表すブロック図である。
【図１０】第１の実施の形態の変形例２に係る画像入出力装置およびマスク制御装置の全体構成を表すブロック図である。
【図１１】第１の実施の形態の変形例３に係る画像入出力装置およびマスク制御装置の全体構成を表すブロック図である。
【図１２】第１の実施の形態の変形例４に係る画像入出力装置の全体構成を表すブロック図である。
【図１３】第２の実施の形態に係る画像入出力装置の全体構成を表すブロック図である。
【図１４】第２の実施の形態に係るマスク処理を説明するための模式図である。
【図１５】第２の実施の形態に係るマスク処理を説明するための模式図である。
【図１６】第２の実施の形態に係るマスク処理を説明するための模式図である。
【符号の説明】
【００８０】
１…画像入出力装置、１０，１０Ａ…入出力パネル、１１…画素、１２Ａ，１２Ｂ…透明基板、１３…隔壁、１５Ａ，１５Ｂ…撮像対象物体、２２…表示信号保持制御部、２３…表示信号ドライバ、２４…表示側スキャナ、３１…撮像信号選択スキャナ、３２…撮像信号レシーバ、４１…表示タイミング制御信号、４２…撮像タイミング制御信号、４３…撮像ブロック制御信号、５…マスク制御部、５１…マスク処理部、５２…データ入力部、５３…マスク生成部、６１，６１Ａ，６１Ｂ…表示領域、６３…撮像領域、７１…マスク対象外部分、７２…マスク済撮像画像、ＣＷＲ…表示撮像セル、ＤＷ…データ供給線、ＤＲ…データ読出線、Ｇ…表示用ゲート線、Ｓ…切換線、ＬＷ，ＬＷ１〜Ｗ４…表示光、ＬＲ１〜ＬＲ４…反射光、ＥＬ…表示撮像素子、Ｃ…キャパシタ、Ｒ…抵抗、ＳＷ１，ＳＷ２，ＳＷ３…スイッチ、Ｉ１…表示信号電流路、Ｉ２…撮像信号電流路、Ｙ…スキャン方向、Ｐ２，Ｐ３，Ｐ８，Ｐ９…スキャン中の水平ラインの位置。
【特許請求の範囲】
【請求項１】
画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルと、
前記入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするマスク制御手段と
を備えたことを特徴とする画像入出力装置。
【請求項２】
前記マスク制御手段によるマスク処理の対象から外されるマスク対象外部分は、前記入出力パネルに表示される画像の画像データと関連したものである
ことを特徴とする請求項１に記載の画像入出力装置。
【請求項３】
前記マスク制御手段は、前記マスク対象外部分を示すマスク情報を外部から取得する
ことを特徴とする請求項２に記載の画像入出力装置。
【請求項４】
前記マスク制御手段は、前記画像データとは別個に入力される前記マスク情報を取得する
ことを特徴とする請求項３に記載の画像入出力装置。
【請求項５】
前記マスク制御手段は、前記画像データと一体に入力される前記マスク情報を分離して取得する
ことを特徴とする請求項３に記載の画像入出力装置。
【請求項６】
前記マスク制御手段は、前記画像データの内容に基づいて前記マスク情報を生成する
ことを特徴とする請求項２に記載の画像入出力装置。
【請求項７】
前記マスク制御手段は、前記マスク情報を、前記入出力パネルに表示される画像の輝度、色相および色明度のうちの少なくとも１つに基づいて生成する
ことを特徴とする請求項６に記載の画像入出力装置。
【請求項８】
前記マスク制御手段は、前記入出力パネルの各画素ごとに、前記撮像予定画像のうちの一部分以外をマスクする
ことを特徴とする請求項１に記載の画像入出力装置。
【請求項９】
画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを備えた画像入出力装置に適用されるマスク制御装置であって、
前記入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするマスク制御手段を備えた
ことを特徴とするマスク制御装置。
【請求項１０】
画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを用いたマスク制御方法であって、
前記入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクする
ことを特徴とするマスク制御方法。
【請求項１】
画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルと、
前記入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするマスク制御手段と
を備えたことを特徴とする画像入出力装置。
【請求項２】
前記マスク制御手段によるマスク処理の対象から外されるマスク対象外部分は、前記入出力パネルに表示される画像の画像データと関連したものである
ことを特徴とする請求項１に記載の画像入出力装置。
【請求項３】
前記マスク制御手段は、前記マスク対象外部分を示すマスク情報を外部から取得する
ことを特徴とする請求項２に記載の画像入出力装置。
【請求項４】
前記マスク制御手段は、前記画像データとは別個に入力される前記マスク情報を取得する
ことを特徴とする請求項３に記載の画像入出力装置。
【請求項５】
前記マスク制御手段は、前記画像データと一体に入力される前記マスク情報を分離して取得する
ことを特徴とする請求項３に記載の画像入出力装置。
【請求項６】
前記マスク制御手段は、前記画像データの内容に基づいて前記マスク情報を生成する
ことを特徴とする請求項２に記載の画像入出力装置。
【請求項７】
前記マスク制御手段は、前記マスク情報を、前記入出力パネルに表示される画像の輝度、色相および色明度のうちの少なくとも１つに基づいて生成する
ことを特徴とする請求項６に記載の画像入出力装置。
【請求項８】
前記マスク制御手段は、前記入出力パネルの各画素ごとに、前記撮像予定画像のうちの一部分以外をマスクする
ことを特徴とする請求項１に記載の画像入出力装置。
【請求項９】
画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを備えた画像入出力装置に適用されるマスク制御装置であって、
前記入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクするマスク制御手段を備えた
ことを特徴とするマスク制御装置。
【請求項１０】
画像を表示する画像表示機能と、この表示機能により表示された画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを用いたマスク制御方法であって、
前記入出力パネルの撮像機能を実行する際に、撮像画像または撮像予定画像のうちの一部分以外をマスクする
ことを特徴とするマスク制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００７−１０２７２７（Ｐ２００７−１０２７２７Ａ）
【公開日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願番号】特願２００５−２９５５７１（Ｐ２００５−２９５５７１）
【出願日】平成１７年１０月７日（２００５．１０．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願日】平成１７年１０月７日（２００５．１０．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]