画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム
【課題】表示部の微小な光透過部を通して裏面に配置した撮像装置で表示面側の被写体を撮像するとき、光透過部で回折現象が生じることにより画像に現われる影響を抑制する。
【解決手段】画像表示装置１Ａは、画像表示部１０の複数の光透過部を通して撮像装置２０により取得された画像情報に対して、光透過部による回折効果によって画像情報に現われる影響を信号処理の側面からの対処により抑制する回折補正部１００を備える。回折補正部１００は、画像を構成する信号成分の一部のみを処理対象とすることで全信号成分を対象として処理するよりも高速処理にする。たとえば、特定領域の画像情報のみを対象とする。さらには、画像情報を表す複数の信号の内の１つのみを処理対象とする。輝度情報との相関が強い信号成分（典型的には緑色成分）のみや輝度情報のみを処理対象とすることで、補正効果の低減を回避しつつ補正処理の高速化を図る。
【解決手段】画像表示装置１Ａは、画像表示部１０の複数の光透過部を通して撮像装置２０により取得された画像情報に対して、光透過部による回折効果によって画像情報に現われる影響を信号処理の側面からの対処により抑制する回折補正部１００を備える。回折補正部１００は、画像を構成する信号成分の一部のみを処理対象とすることで全信号成分を対象として処理するよりも高速処理にする。たとえば、特定領域の画像情報のみを対象とする。さらには、画像情報を表す複数の信号の内の１つのみを処理対象とする。輝度情報との相関が強い信号成分（典型的には緑色成分）のみや輝度情報のみを処理対象とすることで、補正効果の低減を回避しつつ補正処理の高速化を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、電子機器、画像表示システム、画像取得方法、プログラムに関する。より詳細には、画像表示部の背面側に撮像装置を配置して表示面側の被写体を撮像する仕組みに関する。
【背景技術】
【０００２】
画像表示装置と撮像装置を組み合わせることで、画像表示装置に画像表示以外の機能を付加する試みが盛んに行なわれている（たとえば特許文献１，２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１７６１５１号公報
【特許文献２】特開２００５−０１０４０７号公報
【０００４】
特許文献１に開示されている技術では、画像表示装置の画像表示部を構成する画素の間に微小レンズを有する開口部を複数設け、これら複数の開口部を通過した光を複数のカメラで撮像する。ここで、画像表示装置を見る使用者の顔を複数の異なる角度から撮像し、得られた複数の画像を処理して使用者を正面から捉えた像を生成する。
【０００５】
特許文献２に開示されている技術では、たとえば、その図１５、図１６に示されているように、複数の画素内に設けられた１つ光透過部を通過した光に基づき撮像装置において撮像する。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている技術では、光透過部が微小な場合、光透過部において回折現象が生じる結果、撮像装置に結像する像にボケが生じ、その影響で撮像画像は鮮明さに欠ける場合がある。
【０００７】
また、特許文献１に開示された技術にあっては、微小レンズを開口部に設ける必要があり、しかも、正確に像を撮像装置に結ぶためには高精度の微小レンズが必要とされるため、画像表示装置の製造コストの増加を招く。しかも、使用者の正面の顔を撮像しているわけではなく、異なる角度から撮像した複数の画像から正面の画像を作り出すため、実写ではなく、いわゆるＣＧ（コンピュータグラフィックス）画像を相手側に提供するため、実際には違和感が大きい。
【０００８】
特許文献２に開示されている技術も、特許文献１に開示されている技術と同様に、光透過部が微小な場合、光透過部において回折現象が生じる結果、撮像装置に結像する像にボケが生じ、その影響で撮像画像は鮮明さに欠ける場合がある。加えて、複数の画素内に設けられた１つ光透過部を通過した光に基づき撮像装置において撮像するので、撮像装置に十分な光量の光を集光させることが困難である。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、表示部の微小な光透過部を通して裏面に配置した撮像装置で表示面側の被写体を撮像するときに、光透過部で回折現象が生じることにより画像に現われる影響を抑制できる仕組みを提供することを主の目的とする。
【００１０】
また、本発明は、好ましくは、低コストで製造することができ、画像表示部に正対する使用者の画像を容易に取得し得る仕組みを提供することを目的とする。
【００１１】
また、本発明は、好ましくは、撮像装置に十分な光量の光を集光させることができる仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一態様は、表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部（あるいは撮像装置：以下この項において同様）が配置可能になっているとともに、撮像部と対応する領域に複数の光透過部が設けられている画像表示部と、複数の光透過部を通して撮像部により取得された画像情報に対して、光透過部による回折効果によって画像情報に現われる影響を抑制する回折補正処理を行なう回折補正部と、を備えるものとした。光透過部において回折現象が生じることにより画像に与える影響を信号処理の側面からの対処により抑制するものである。
【００１３】
ここで、回折補正部は、画像を構成する信号成分の一部のみを回折補正処理の対象とすることで、全信号成分を対象として処理する場合よりも処理の高速化を図る。「信号成分の一部」を如何様に決めるかは種々の態様を採り得るが、本発明では、先ず、撮像部により取得された画像情報から抽出した特定領域の画像情報のみを対象とする手法を採り、処理対象面積を削減することで、処理の高速化を図る。この際には、予め定められている特定の対象物（人物、人物の顔、人物の顔の特注部位など）の領域を特定領域として処理することで、感覚的な補正効果を劣化させずに、処理の高速化を図るとよい。
【００１４】
さらに好ましくは、撮像部により取得された画像情報を表す複数の信号の内の少なくとも１つ（ただし全てではない）について回折補正処理を行なうとよい。この際には、輝度情報との相関が強い信号成分（典型的には緑色成分）のみや、輝度情報のみについて回折補正処理を行なうことで、補正効果の低減を回避しつつ補正処理の高速化を図るとよい。
【００１５】
好ましくは、外光の波長分布を測定する波長分布測定部をさらに設け、波長分布測定部により測定された外光の波長分布を参照して回折補正処理を行なうようにするとよい。
【００１６】
好ましくは、光透過部そのものの側面から回折現象を抑制するようにするとよい。たとえば、撮像部と対応する光透過領域における光透過部の配置状態（光透過部の大きさ、形状、分布（配置ピッチ）など）を不均一にするのとよい。あるいは、光透過部を第１光透過部および第２光透過部で構成し、第１光透過部を取り囲むように第２光透過部を配置してもよい。
【００１７】
さらに好ましくは、光透過部を通過した光を撮像部に集光する集光部を画像表示部と撮像部との間に配置することで、光透過部を通過した光が撮像部に確実に集光するようにするとよい。
【発明の効果】
【００１８】
本発明の一態様によれば、画像表示部の背面側に撮像部（あるいは撮像装置：以下この項において同様）を配置し、光透過部を通して表示面側の被写体を撮像するので、ディスプレイに正対している使用者の画像を容易に取得できる。
【００１９】
この際に、光透過部において回折現象が生じることにより画像に与える影響を信号処理の側面からの対処により抑制できる。このとき、画像の全領域ではなく特定領域の画像情報のみを処理対象とすることで、全信号成分を対象として処理する場合よりも処理時間を短縮できる。
【００２０】
また、好ましくは、画像を構成する複数の信号成分の一部のみを回折補正処理の対象とすれば、全信号成分を対象として処理する場合よりも処理時間を短縮できる。この際に、輝度信号成分や輝度との相関が強い信号成分（たとえば緑色成分）のみを回折補正処理の対象とすれば、処理時間を短縮できることに加えて、全信号成分を対象として処理する場合と遜色のない（同等の）精度で補正処理ができる。
【００２１】
さらに好ましくは、光透過領域に配置する光透過部そのものの側面からの対処も行なうようにすれば、光透過部において回折現象が生じることを予め抑制しておくことができる。その結果、回折現象が生じることにより画像に与える影響をより確実に抑制できる。
【００２２】
好ましくは、画像表示部と撮像部との間に集光部を配置するようにすれば、光透過部を通過した光が撮像部に確実に集光されるので撮像部に十分な光量の光を集光させることができる。正確に像を撮像部の撮像面に結ぶために高精度の微小レンズを必要とせず、画像表示装置の製造コストの増加を招くことがなく、低コストで製造することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、第１実施形態の画像表示装置および画像表示システムの概念図である。
【図２】図２は、画像表示部を構成する複数の画素の最も典型的な配置の模式図である。
【図３】図３は、撮像装置の配置位置と表示される画像との関係を説明する概念図である。
【図４】図４は、画像表示装置による撮像イメージを表す図である。
【図５】図５は、画像表示部の詳細を説明する図である。
【図６】図６は、回折現象による撮像画像への影響を説明する模式図である。
【図７】図７は、撮像装置の手前にガラス板を配置して撮像した画像例を示す図である。
【図８】図８は、第１実施形態の画像表示装置のブロック図である。
【図９】図９は、第１実施形態の画像表示システムのブロック図である。
【図１０】図１０は、光透過部（開口部）から回折光強度とＭＴＦを求める概念図である。
【図１１】図１１は、光透過部の形状の一例を模式的に示す図（その１）である。
【図１２】図１２は、光透過部の形状の一例を模式的に示す図（その２）である。
【図１３】図１３は、第２実施形態の画像表示装置および画像表示システムの概念図である。
【図１４】図１４は、第２実施形態の画像表示装置のブロック図である。
【図１５】図１５は、第２実施形態の画像表示システムのブロック図である。
【図１６】図１６は、回折補正処理の第１例を説明する図である。
【図１７】図１７は、回折補正処理の第２例を説明する図である。
【図１８】図１８は、回折補正処理の第３例を説明する図である。
【図１９】図１９は、回折補正処理の第４例を説明する図である。
【図２０】図２０は、回折補正処理の第５例を説明する図である。
【図２１】図２１は、光透過部の第１変形例（その１＆２）を示す図である。
【図２２】図２２は、光透過部の第１変形例（その３）と第２変形例を示す図である。
【図２３】図２３は、光透過部の第３変形例（その１＆２）を示す図である。
【図２４】図２４は、本実施形態の画像表示装置が適用される電子機器の一例を示す図である。
【図２５】図２５は、画像表示装置の第１変形例を示す図である。
【図２６】図２６は、画像表示システムの第１変形例を示す図である。
【図２７】図２７は、画像表示装置の第２変形例を示す図である。
【図２８】図２８は、画像表示システムの第２変形例を示す図である。
【図２９】図２９は、画像表示装置およびシステムの第３変形例（その１）を示す図である。
【図３０】図３０は、画像表示装置およびシステムの第３変形例（その２）を示す図である。
【図３１】図３１は、画像表示装置の第４変形例を示す図である。
【図３２】図３２は、画像表示システムの第４変形例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施形態について詳細に説明する。各機能要素について実施形態別に区別する際には、Ａ，Ｂ，…などのように大文字の英語の参照子を付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。図面においても同様である。各実施形態における種々の数値や材料は例示であり、それらに限定されるものではない。
【００２５】
説明は以下の順序で行なう。
１．基本概念（全体概要、回折補正処理、波長分布測定、光透過領域、撮像装置、画像表示部）
２．第１実施形態（全体概要、撮像装置の配置位置、画像表示部の断面構造、回折補正に対応した構成、回折現象の対策原理）
３．第２実施形態（第１実施形態＋波長分布測定処理）
４．回折補正処理（第１例：処理面積縮小の手法）
５．回折補正処理（第２例：第１例＋全信号）
６．回折補正処理（第３例：第１例＋全信号＋色変換）
７．回折補正処理（第４例：第１例＋特定の色信号→輝度情報と相関ある信号）
８．回折補正処理（第５例：第１例＋輝度情報、第１例〜第５例の纏め）
９．光透過部の変形例
第１変形例（ランダム配置）
第２変形例（二重環状構造）
第３変形例（井桁状やＬ字状など）
10．電子機器のモニタ装置の代替
11．総括（第１変形例：位置検出、第２変形例：３次元画像表示＋位置検出、第３変形例：ＴＶ会議システム、第４変形例：デジタルミラー）
【００２６】
＜基本概念＞
［全体概要］
本実施形態の撮像装置付き画像表示装置（以下単に「画像表示装置」と記す）にあっては、画像表示部の背面に撮像装置（あるいは撮像部：以下同様）を配置し、画像表示部の撮像装置と対応する光透過領域部分に、微小な光透過部を複数設ける。そして、各光透過部を通して表示面側の被写体を撮像する。
【００２７】
光透過部を通過した光が撮像装置に集光される。画像表示部の背面側に撮像装置が配置されているので、ディスプレイに正対している使用者の顔、目、動作などを撮像装置によって正確に撮像することができる。画像表示部（表示装置の表示パネル）に裏面まで光が到達するような光透過部を設けて、対応する位置に撮像装置を設置することにより、ディスプレイに正対している使用者の顔、目、動作などを撮像装置で撮像することで正確に把握することができるので、表示装置の付加価値を簡便かつ安価に高めることができる。
【００２８】
必須ではないが、画像表示部と撮像装置との間に集光部を配置することで、光透過部を通過した光が撮像装置に確実に集光されるようにする。集光部を配置することで、正確に像を撮像装置に結ぶために高精度の微小レンズを必要とせず、画像表示装置の製造コストの増加を招くことがないし、撮像装置に十分な光量の光を集光させることができる。
【００２９】
ここで、本実施形態の画像表示装置では、光透過領域を構成する光透過部の開口が小さい場合、開口を通して画像を撮像すると、いわゆる回折現象が生じる結果、撮像装置に結像する像にボケが生じる場合や鮮明さに欠ける場合がある。
【００３０】
この対策として、本実施形態では、先ず、信号処理の側面から、光透過部において生じた回折現象が撮像画像に与える影響を補正する。好ましくは、光透過部そのものの側面（たとえば形状、大きさ、分布など）から、回折現象が生じることを抑制する。
【００３１】
［回折補正処理］
信号処理の側面から、光透過部において生じた回折現象による影響を補正するべく、本実施形態の画像表示装置および画像表示システムは、回折補正部を備えた構成とする。なお、このような構成のものを「第１実施形態の構成」と称する。
【００３２】
回折補正部は、撮像装置を介して取得された撮像画像情報やその他の画像データに対して、光透過領域を構成する光透過部において生じる回折の補正を施す。因みに「その他の画像データ」は、たとえば、撮像装置によって使用者などを撮像して得られた画像表示部に表示すべき画像データである。以下では、撮像画像情報と「その他の画像データ」を纏めて、単に「画像データ」と称することもある。
【００３３】
たとえば、光透過部（の開口）の一部または全部を、画像表示部の第１の方向および第２の方向に沿って周期的に設ける。このとき、第１の方向に沿った光透過部の長さをＬtr-1、第１の方向に沿った画素のピッチをＰpx-1としたとき、第１の方向の線開口率Ｌtr-1／Ｐpx-1は、「Ｌtr-1／Ｐpx-1≧０．５」を満足するようにするのがよく、さらに好ましくは、「Ｌtr-1／Ｐpx-1≧０．８」を満足するようにするのがよい。線開口率Ｌtr-1／Ｐpx-1の上限値には、光透過部が形成できる限りにおいて、特段の制約はない。ここで、第１の方向に沿った光透過部の長さＬtr-1は、第１の方向に光透過部を射影したときの、その形状に対応する線分の１周期当たりの長さを意味し、第１の方向に沿った画素のピッチＰpx-1は、第１の方向に沿った画素の１周期当たりの長さを意味する。
【００３４】
また、第２の方向に沿った光透過部の長さをＬtr-2、第２の方向に沿った画素のピッチをＰpx-2としたとき、第２の方向の線開口率Ｌtr-2／Ｐpx-2は、「Ｌtr-2／Ｐpx-2≧０．５」を満足するようにするのがよく、さらに好ましくは、「Ｌtr-2／Ｐpx-2≧０．８」を満足するようにするのがよい。線開口率Ｌtr-2／Ｐpx-2の上限値には、光透過部が形成できる限りにおいて、特段の制約はない。ここで、第２の方向に沿った光透過部の長さＬtr-2は、第２の方向に光透過部を射影したときの、その形状に対応する線分の１周期当たりの長さを意味し、第２の方向に沿った画素のピッチＰpx-2は、第２の方向に沿った画素の１周期当たりの長さを意味する。
【００３５】
第１の方向と第２の方向とは、直交している場合もあるし、場合によっては、９０度以外の角度で交わっている場合もある。後者の場合、光透過部の一部または全部は、画像表示部の第１の方向および第２の方向だけでなく、第３の方向、第４の方向、…に沿って周期的に設けられている場合もあり、このような場合には、各方向の内の少なくとも２方向に沿った光透過部の長さと、これらの少なくとも２方向に沿った画素のピッチとが、前記の関係（具体的には０．５倍以上、より好ましくは０．８倍以上）を満足していることが好ましい。
【００３６】
回折補正部における回折補正処理としては、撮像装置で取得された画像の鮮鋭度（解像度）を評価するレスポンス関数（空間周波数特性を示すもの）を用いて、その振幅（絶対値）であるＭＴＦ（modulation transfer function）を指標値とする処理にするとよい。公知のようにレスポンス関数は点像または線像強度分布をフーリエ変換して求められるものである。光透過部を通して撮像装置で撮像することにより画像に現れる解像度低下の影響（画像のボケの程度）は光透過部（微小開口部）の配置パターンと対応している。たとえば、ＭＴＦにおける高周波成分の大小により解像度低下の影響（画像のボケの程度）を評価できる。
【００３７】
したがって、光透過部の配置パターンを参照して撮像画像に対して逆フーリエ変換を施せば、光透過部を通して撮像装置で撮像することにより画像に現れる解像度低下の影響が排除された画像を復元できる。つまり、撮像装置により取得された画像情報をフーリエ変換し、フーリエ変換した情報を、光透過部の配置状態と対応したレスポンス関数（ここではＭＴＦ）を用いて、逆フーリエ変換することで、回折補正処理を行なうとよい。
【００３８】
たとえば、光透過部の配置パターン（形状、大きさ、分布など）に基づき算出されるＭＴＦ逆変換処理（画像復元処理）を画像情報に対して施すことが好ましい。ＭＴＦ逆変換処理では、撮像画像の信号成分についてＭＴＦ形状データを用いてＭＴＦ逆変換処理を行なう。この際には、回折補正部に記憶部を設けて、光透過部の形状、大きさ、分布などの配置パターンを表すＭＴＦ形状データを予め記憶部に記憶しておくとよい。レスポンス関数の特定は、画像（を表す信号）をフーリエ解析するフーリエ変換法を適用すればよい。
【００３９】
ここで示した回折補正処理の手法は、光透過部を通して撮像装置で撮像することにより画像に現れる解像度低下の影響（画像のボケの程度）を補正する手法の一例に過ぎず、その他の公知の手法を適用してもよい。
【００４０】
回折補正部は、たとえば、入出力部を有するＣＰＵとメモリから構成された回路として画像表示装置や画像表示装置を搭載した電子機器に設けることが考えられる。また、画像表示装置と撮像装置を別体（着脱可能）に構成する場合には、画像表示装置の裏面に配置される撮像装置（電子機器の一例）に回折補正部を設けることも考えられる。また、画像表示装置にパーソナルコンピュータ（電子計算機）などの周辺機器が接続された画像表示システムにあっては周辺機器に回折補正部の機能を持たせることも考えられる。
【００４１】
ＭＴＦ逆変換処理を画像情報に対して施すに当たっては、画像情報を構成する各信号成分（たとえばＲ，Ｇ，Ｂの色画像情報）のそれぞれについて処理する方法や信号成分の一部について処理することで補正処理時間の短縮を図る方法が考えられる。
【００４２】
前者の場合は画像情報を構成する全ての信号成分についてＭＴＦ逆変換処理を施すので、処理負荷は掛かるが補正効果は後者よりも高い。一方、後者の場合は画像情報を構成する一部の信号成分についてＭＴＦ逆変換処理を施すので、補正効果は前者よりも低いが処理負荷は低減される。
【００４３】
後者の場合には、本実施形態では、先ず、撮像装置で取得された撮像画像の全領域の信号成分ではなく一部の領域の信号成分について処理する方法（「処理面積縮小の手法」と称する）を採ることで、補正処理時間の短縮を図る。つまり、処理面積の側面から一部の信号成分についてＭＴＦ逆変換処理を施す。
【００４４】
処理面積縮小の手法において、ＭＴＦ逆変換処理の対象とする画像の一部の領域を「特定領域」と称し、撮像画像の全領域から「特定領域」を除いた領域を「背景領域」と称する。撮像画像を「特定領域」と「背景領域」に分離して「特定領域」のみにＭＴＦ逆変換処理を施す。その後、回折補正済みの「特定領域」の画像（その信号成分）と回折補正処理を施していない「背景領域」の画像（その信号成分）を合成して処理を完了させる。
【００４５】
撮像画像の全領域から分離（抽出）された「特定領域」は、撮像画像全体と比べると面積は小さいので、撮像画像の全領域を対象として処理する場合と比較して計算量が少なくなり、補正処理時間は短縮されるから、処理を高速化できる。
【００４６】
「特定領域」を如何様に設定するかは種々の観点が考えられる。たとえば、撮像画像の中央部や隅など場所の側面から規定する手法（「場所重視の手法」と称する）と、使用者など予め定められている特定の（着目すべき）対象物の側面から規定する手法（「被写体重視の手法」と称する）に大別できる。後者の場合、全画面を対象として回折補正処理を行なう場合と比べて、たとえば人物像に対してのみ回折補正処理を行なうため高速処理が可能である。
【００４７】
場所重視の手法では、撮像装置により取得された画像情報から抽出するべき場所を予め決めておく、あるいは幾つかの候補場所を提示して使用者が選択できるようにしてもよい。場所重視の手法ではさらに、撮像画像から「特定領域」を抽出する際の形状（たとえば矩形や丸など）を規定することが考えられる。抽出する際の形状に関しても、予め決めておく、あるいは幾つかの候補形状を提示して使用者が選択できるようにしてもよい。
【００４８】
回折補正処理では、一例として後述のように、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）およびその逆変換（ＩＦＦＴ）を実行する。ＦＦＴ処理やＩＦＦＴ処理のし易さを考えると、「特定領域」を抽出する際の領域形状は矩形とすることが好ましく、予め「矩形」と決めておく手法だけにしてもよい。
【００４９】
被写体重視の手法では、さらに、被写体の一部の領域の側面から規定する手法（「特定部位重視の手法」と称する）を採ることが考えられる。たとえば光透過部によるボケのある画像（解像度が劣化した不鮮明な画像）から人物像を鮮明にしようとしたとき、人物の全体が鮮明でなくても、顔全体や、さらには、目、鼻、口などの顔の特徴を表わす特定部位のみを鮮明とする処理にしても違和感はない。こうすることで、処理対象となる画像の面積比がより少なくなるので、処理をより高速にできるし、実態的には補正効果は劣るものの感覚的な補正効果を劣化させずに済む。
【００５０】
被写体重視の手法（特定部位重視の手法を含む）では、全体画像から特定した被写体領域を抽出する際には、忠実にその輪郭に沿って抽出する方法を採ることもできるが、ＦＦＴ処理やＩＦＦＴ処理のし易さを考えると、被写体の部分（被写体の一部の場合を含む）を抽出する際の領域形状は、矩形とすることが好ましい。
【００５１】
被写体重視の手法（特定部位重視の手法を含む）は、画像全体から被写体や特定部位の部分を抽出（特定）する処理が必要となり、一般的には処理負荷が重くなる。これに対して、場所重視の手法は、画像全体から抽出する「特定領域」を予め決められた形状にできるので、抽出処理は簡単である。
【００５２】
被写体重視の手法（特定部位重視の手法も含む）を採る場合には、その被写体（特定部位を含む）の動きに「特定領域」を追従させることも考えられる。
【００５３】
場所重視の手法と被写体重視の手法（特定部位重視の手法も含む）を組み合わせることも考えられる。たとえば、最初は場所重視の手法を採ってたとえば撮像画像の中央部を処理対象とするが、途中からは被写体重視の手法（特定部位重視の手法）に切り替えることで、その被写体（特定部位を含む）の動きに「特定領域」を追従させることが考えられる。被写体が画面中央部からはみ出るような場合でも、着目すべき被写体（特定部位を含む）を重視した補正処理を確実に実行できる。
【００５４】
さらに好ましくは、本実施形態では、各信号成分を代表する少なくとも１つ（全てではない）について処理する方法（「特定信号重視の手法」と称する）も併用する。つまり、回折補正処理を行なう際に、任意の信号成分のみを対応する色光または輝度あるいは任意の色光の点広がり関数を用いて補正する。その後、回折補正済みの信号成分と、回折補正処理を施していない残りの信号成分とを合成して処理を完了させる。画像を表わす全ての信号成分の数よりも補正処理の対象とする信号成分の数が少ないので、全ての信号成分を回折補正処理の対象とする場合と比較して計算量が少なくなり、補正処理時間は短縮されるから、処理を高速化できる。
【００５５】
特定信号重視の手法の場合、たとえば各色（たとえばＲ，Ｇ，Ｂ）の何れか一色に着目した処理にすることが考えられるが、その場合でも、特に、輝度信号成分や輝度信号成分との相関がある（相対的に強い）色画像情報に着目して処理するのが好ましい。また、処理対象の画像情報の信号成分と逆変換に用いるＭＴＦ形状データの成分は必ずしも同種のものであることは必要でなく、両者の相関が強い関係にあるものを利用できる。実質的な（見た目の）補正効果を全信号を対象とする場合と同程度に維持しながら、補正処理の高速化を図ることができる。
【００５６】
たとえば、人間の視覚特性として特に輝度（明暗）に対する感受性が強い（敏感性がある）ことや、輝度成分は画像の緑成分と相関が強いことが一般的に知られており、このような人間の輝度に対する感受性を利用したＭＴＦ逆変換処理とすることが考えられる。すなわち、撮像画像の輝度成分のみＭＴＦ逆変換処理を行なう。
【００５７】
このような人間の視覚特性に着目した方法によれば、復元処理した画像は、画像情報を構成する各信号成分全てに復元処理した画像と比較するとボケという観点では遜色ないということが確認された。さらに、各信号成分全てに復元処理を行なう場合と比べて処理時間を短縮できる。つまり、回折補正処理の高速化を実現できる。
【００５８】
輝度成分に着目した処理を行なう際には、逆変換に用いるＭＴＦ形状データは忠実に輝度成分に対応するＭＴＦ形状データを用いる手法を採ってもよいし、輝度成分と相関が強い緑色成分に対応するＭＴＦ形状データを代用する手法を採ってもよい。後者の場合、回折補正処理を行なう際に、輝度信号成分のみを緑色光の点広がり関数を用いて補正することで、補正処理時間の短縮を図ることになる。人間の視覚特性では輝度成分に大きな割合を占めるのは緑成分のため、輝度成分のＭＴＦ逆変換処理に緑色成分のＭＴＦ形状データを代用してもよいからである。撮像によって得られる緑色成分のＭＴＦ形状データを代用するので、輝度成分のＭＴＦ形状データを求める必要がなく処理負荷が軽減される。
【００５９】
本実施形態では、これらの各種の回折補正処理手法の中から、利用者が処理速度や補正精度などの観点から好みのものを選択できるようにしておく。
【００６０】
［波長分布測定］
本実施形態の画像表示装置および画像表示システムは、外光の波長分布を測定する波長分布測定部をさらに備えている構成とすることができる。このような構成のものを「第２実施形態の構成」と称する。
【００６１】
第２実施形態の構成を採用することで、回折補正処理では、光透過部の形状、大きさ、分布だけでなく、外光の波長分布も考慮することができ、ＭＴＦ逆変換処理の精度向上を図ることができ、外光（外部照明環境）に依らず、最適な画像を得ることができる。加えて、撮像装置を介して取得された画像情報の精度の向上（たとえば色情報の精度向上）を図ることもできる。
【００６２】
波長分布測定部は、たとえば、ホトセンサなどの受光装置から構成することができる。波長分布測定部の制御は、たとえば、入出力部を有するＣＰＵとメモリから構成された制御回路として画像表示装置や画像表示装置を搭載した電子機器に設けることが考えられる。また、画像表示装置にパーソナルコンピュータ（電子計算機）などの周辺機器が接続された画像表示システムにあっては、周辺機器に波長分布測定部の制御の機能を持たせることも考えられる。
【００６３】
［光透過領域］
本実施形態の画像表示装置の画像表示部に設ける光透過領域は、撮像装置が配設される部分と対応した部分に形成されていればよい。そして、光透過領域には、表示面側の被写体像を表す光が通過する微小な開口部が形成された光透過部を好ましくは複数設ける。
【００６４】
ここで、光透過領域は、光透過部が複数の画素に設けられている第１構成例とすることができる。また、光透過領域は、少なくとも１つ以上（好ましくは、少なくとも２つ以上）の画素の周囲に光透過部が設けられている第２構成例とすることもでき、この場合、光透過部は、画素の全ての周囲に設けられていてもよいし、画素の周囲の一部に（具体的には、画素の境界に相当する辺の内の連続する２辺以上に）設けられていてもよいが、後者の場合、画素の全周の１／４倍以上の長さ（連続する２辺にあっては、各一辺の長さの１／２倍以上）に亙り光透過領域が設けられていることが好ましい。
【００６５】
このような構成にあっては、複数の画素に設けられた光透過部を通過した光が撮像装置に集光され、あるいは、少なくとも１つ以上の画素の周囲に設けられた光透過部を通過した光が撮像装置に集光される。したがって、正確に像を撮像装置に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置に十分な光量の光を集光させることができる。
【００６６】
第１構成例の場合、光透過部は複数の画素に設けられているが、たとえば（限定するものではないが）、３個以上の画素に設けられていることが望ましく、光透過領域を構成する光透過部の外形形状は、本質的には任意であり、長方形や正方形といった四角形を挙げることができる。
【００６７】
第２構成例の場合、光透過領域は、少なくとも１つ以上の画素の周囲に光透過部が設けられているが、たとえば（限定するものではないが）、３個以上の画素の周囲に設けられていることが望ましく、光透過部の外形形状は、本質的には任意である。たとえば、「Ｌ」字形状（光透過部が画素の境界に相当する辺の内の連続する２辺に設けられている形態）、「コ」の字形状（光透過部が画素の境界に相当する辺の内の連続する３辺に設けられている形態）、「ロ」の字形状（光透過部が画素の境界に相当する辺の全てに設けられている形態）、井桁状の形状（光透過部が画素の境界に相当する辺の全てに設けられており、かつ隣接する画素の間に共通して設けられている形態）を例示することができる。あるいは、撮像装置に備えられたレンズの射影像が含まれる画素群の周囲に光透過部を設ける構成とすることも考えられる。
【００６８】
ここで、本実施形態の画像表示装置は、光透過領域が複数の微小な光透過部から構成されている場合、光透過部そのものについても、たとえば形状、大きさ、分布（配置ピッチや配置位置関係など）などに関して、予め回折現象が生じることを抑制するように回折現象抑制手法を施して（工夫して）おくことが好ましい。「微小な」とは、本実施形態の回折現象抑制手法を施さない場合に、複数の光透過部の開口部のサイズ（大きさ）が、それぞれの開口部を光（電磁波）が通ることにより回折効果が発生してボケの問題が発生する程度であることを意味する。
【００６９】
光透過部そのものについての第１の回折現象抑制手法は、光透過領域における複数の光透過部の配置状態を不均一（ランダム）にするものである。光透過部の大きさ、形状、分布などが均一（同じ）であることで、回折効果によるボケの問題が強く表れるので、その観点からボケが発生しないように（発生し難くなるように）する趣旨である。光透過部の大きさ、形状、分布（配置ピッチ）の最適化を図ることで、回折現象が生じることを確実に抑制することができる。
【００７０】
具体的には、複数の光透過部の大きさをランダムとする［ケースＡ］、複数の光透過部の形状をランダムとする［ケースＢ］、複数の光透過部の分布をランダムとする［ケースＣ］といった３種の形態の内、少なくとも１種の形態を採用する。つまり、［ケースＡ］、［ケースＢ］、［ケースＣ］を単独で採用してもよいし、これらを任意に組み合わせて採用してもよい。
【００７１】
［ケースＡ］の形態は具体的には、一の光透過部に対し水平方向および／または垂直方向に隣接する少なくとも２つの光透過部のそれぞれは、この一の光透過部の大きさと異なる形態である。
【００７２】
［ケースＢ］の形態は、具体的には、一の光透過部に対し水平方向および／または垂直方向に隣接する少なくとも２つの光透過部のそれぞれは、この一の光透過部の形状と異なる形態である。
【００７３】
［ケースＣ］の形態は、複数の光透過部の配置ピッチや配置位置関係により分布をランダムとする形態であり、具体的には、一の光透過部に対し水平方向および／または垂直方向に隣接する少なくとも２つの光透過部との配置位置関係が、この一の光透過部に対し水平方向および／または垂直方向に隣接する光透過部についての一の光透過部と同様の関係における配置位置関係と異なる形態である。換言すると、２つの光透過部間の配列ピッチに関して、着目する一の配列ピッチに対し水平方向および／または垂直方向に隣接する少なくとも２つの配列ピッチのそれぞれは、この一の配列ピッチと異なる形態である。
【００７４】
光透過部そのものについての第２の回折現象抑制手法としては、光透過部を二重環状構造（二重中抜き構造）とした［ケースＤ］の形態を採用する。具体的には、光透過部は、第１光透過部および第２光透過部から構成され、第１光透過部を取り囲むように第２光透過部が配置されている形態としてもよい。第１光透過部および第２光透過部の大きさ、形状、配置状態、第１光透過部と第２光透過部との位置関係の最適化を図ることで、回折現象が生じることを確実に抑制することができる。
【００７５】
［ケースＤ］は、［ケースＡ］、［ケースＢ］、［ケースＣ］の単独のものと組み合わせることもできるし、［ケースＡ］、［ケースＢ］、［ケースＣ］を任意に組み合わせた態様と組み合わせることもできる。
【００７６】
光透過領域においてこれらの回折現象抑制手法を適用することで、光透過部による回折現象が生じることを抑制することができる。信号処理の側面からの回折補正処理と組み合わせることで、回折現象によるボケや解像度の問題をより確実に抑制することができる。
【００７７】
［撮像装置］
本実施形態の画像表示装置において、撮像装置は、画像表示部の背面側に配置されていればよいが、画像表示部の中央部に配置されていることが好ましい。撮像装置は、１個であってもよいし、複数個であってもよい。撮像装置は、たとえば、ＣＣＤ素子やＣＭＯＳセンサを備えた周知、市販の固体撮像素子を用いればよい。
【００７８】
本実施形態の画像表示装置においては、画像表示部と撮像装置との間に、光透過領域の光透過部を通過した光を撮像装置に集光する集光部を設けることが好ましい。集光部としては、周知のレンズを挙げることができる。レンズとして、具体的には、両凸レンズ、平凸レンズ、メニスカス凸レンズの何れかから構成することができるし、反射鏡やフレネルレンズから構成してもよいし、これらの各種の凸レンズを組み合わせて構成することもできるし、凹レンズとこれらの各種の凸レンズとを組み合わせて構成することもできる。
【００７９】
撮像装置としては、周知、市販のビデオカメラやウェブカメラといった固体撮像装置を用いることもでき、これらの場合には、集光部と撮像装置が一体化している。
【００８０】
本実施形態の画像表示装置においては、画像表示部に入射し、光透過部を通過し、画像表示部から出射し、集光部に入射する光の光路には、カラーフィルタを配置しないことが好ましく、また、マイクロレンズなどの結像系を配置しないことが好ましい。
【００８１】
［画像表示部］
本実施形態の画像表示装置に用いる画像表示部は、画素（の表示部分）の隙間に光透過部を形成できればよく、印加される電圧や流れる電流によって輝度が変化する電気光学素子を画素の表示素子として用いたものであれば何でもよい。
【００８２】
たとえば、印加される電圧によって輝度が変化する電気光学素子としては液晶表示素子が代表例であり、流れる電流によって輝度が変化する電気光学素子としては、有機エレクトロルミネッセンス（Organic Electro Luminescence, 有機ＥＬ, Organic Light Emitting Diode, OLED；以下、有機ＥＬと記す）素子が代表例である。後者の有機ＥＬ素子を用いた有機ＥＬ表示装置は、画素の表示素子として、自発光型の発光素子（自発光素子）を用いたいわゆる自発光型の表示装置である。一方、液晶表示装置を構成する液晶表示素子は、外部からの光（前面や背面からの光、前面の場合は外光でもよい）の通過を制御するものであり、画素が発光素子を含むものではない。
【００８３】
たとえば、近年、フラットパネル表示装置（ＦＰ表示装置）として、有機ＥＬ表示装置に関心が高まっている。現在、ＦＰ表示装置として液晶表示装置（ＬＣＤ）が主流を占めているが、自発光デバイスではなく、バックライトや偏光板などの部材を必要とする。それ故、ＦＤ表示装置の厚さが増す、輝度が不足するなどの問題点がある。一方、有機ＥＬ表示装置は自発光デバイスであり、バックライトなどの部材が原理的に不要であり、薄型化、高輝度であるなど、ＬＣＤと比較して多数の利点を有する。特に、各画素にスイッチング素子を配したアクティブマトリクス型有機ＥＬ表示装置は、各画素をホールド点灯させることで消費電流を低く抑えることができ、しかも、大画面化および高精細化が比較的容易に行なえることから、各社で開発が進められており、次世代ＦＰ表示装置の主流になると期待されている。
【００８４】
自発光型の表示装置としては、有機ＥＬ表示装置の他に、プラズマ表示装置（ＰＤＰ：Plasma Display Panel）、電界放出型表示装置（ＦＥＤ：Field Emission. Display ）、表面伝導型電子放出素子表示装置（ＳＥＤ：Surface-conduction Electron-emitter Display ）などがあり、これらも本実施形態の画像表示部に適用できる。
【００８５】
ただし、本実施形態の画像表示装置としては、画像表示部の発光素子は自発光型の発光素子であることが望ましく、さらには有機ＥＬ素子からなる形態とすることがより好ましい。発光素子を有機ＥＬ素子から構成する場合、有機ＥＬ素子を構成する有機層（発光部）は有機発光材料からなる発光層を備えているが、具体的にはたとえば、正孔輸送層と発光層と電子輸送層との積層構造、正孔輸送層と電子輸送層を兼ねた発光層との積層構造、正孔注入層と正孔輸送層と発光層と電子輸送層と電子注入層との積層構造から構成することができる。
【００８６】
電子輸送層、発光層、正孔輸送層および正孔注入層を「タンデムユニット」とする場合、有機層は、第１のタンデムユニット、接続層、および、第２のタンデムユニットが積層された２段のタンデム構造も有していてもよく、さらには、３つ以上のタンデムユニットが積層された３段以上のタンデム構造も有していてもよい。これらの場合、発光色を赤色、緑色、青色と各タンデムユニットで変えることで、全体として白色を発光する有機層を得ることができる。
【００８７】
有機層の厚さの最適化を図ることで、たとえば、第１電極と第２電極との間で発光層において発光した光を共振させ、この光の一部を第２電極を介して外部に出射する構成とすることもできる。
【００８８】
本実施形態の画像表示装置において画像表示部の発光素子を有機ＥＬ素子とする場合、第１基板、第１基板上に設けられた駆動回路、駆動回路を覆う層間絶縁層、層間絶縁層上に設けられた発光部、発光部上に設けられた保護層、保護層上に設けられた遮光層、および、保護層および遮光層を覆う第２基板、を備えている形態とすることができる。
【００８９】
さらに、各画素は、駆動回路および発光部を備えており、遮光層には、開口部が設けられており、開口部、並びに、開口部の下方に位置する保護層の部分および層間絶縁層の部分によって光透過部が構成されており、第２基板と対向しない第１基板の面の側に、撮像装置が配置されている形態とすることができる。
【００９０】
ここで、画素の配列として、たとえば、ストライプ配列、ダイアゴナル配列、デルタ配列、レクタングル配列を挙げることができる。また、第１基板や第２基板として、高歪点ガラス基板、ソーダガラス（Ｎａ2Ｏ・ＣａＯ・ＳｉＯ2）基板、硼珪酸ガラス（Ｎａ2Ｏ・Ｂ2Ｏ3・ＳｉＯ2）基板、フォルステライト（２ＭｇＯ・ＳｉＯ2）基板、鉛ガラス（Ｎａ2Ｏ・ＰｂＯ・ＳｉＯ2）基板、表面に絶縁膜が形成された各種ガラス基板、石英基板、表面に絶縁膜が形成された石英基板、表面に絶縁膜が形成されたシリコン基板、ポリメチルメタクリレート（ポリメタクリル酸メチル，ＰＭＭＡ）やポリビニルアルコール（ＰＶＡ）、ポリビニルフェノール（ＰＶＰ）、ポリエーテルスルホン（ＰＥＳ）、ポリイミド、ポリカーボネート、ポリエチレンテレフタレート（ＰＥＴ）に例示される有機ポリマー（高分子材料から構成された可撓性を有するプラスチック・フィルムやプラスチック・シート、プラスチック基板といった高分子材料の形態を有する）を挙げることができる。
【００９１】
駆動回路は、たとえば、１または複数の薄膜トランジスタ（ＴＦＴ）などから構成すればよい。層間絶縁層の構成材料として、ＳｉＯ2、ＢＰＳＧ、ＰＳＧ、ＢＳＧ、ＡｓＳＧ、ＰｂＳＧ、ＳｉＯＮ、ＳＯＧ（スピンオングラス）、低融点ガラス、ガラスペーストといったＳｉＯ2系材料；ＳｉＮ系材料；ポリイミドなどの絶縁性樹脂を、単独あるいは適宜組み合わせて使用することができる。画素を有機ＥＬ素子から構成する場合、発光部は上述した通りである。保護膜を構成する材料として、発光部で発光した光に対して透明であり、緻密で、水分を透過させない材料を用いることが好ましく、具体的には、たとえば、アモルファスシリコン（α−Ｓｉ）、アモルファス炭化シリコン（α−ＳｉＣ）、アモルファス窒化シリコン（α−Ｓｉ1-xＮx）、アモルファス酸化シリコン（α−Ｓｉ1-yＯy）、アモルファスカーボン（α−Ｃ）、アモルファス酸化・窒化シリコン（α−ＳｉＯＮ）、Ａｌ2Ｏ3を挙げることができる。遮光膜（ブラックマトリクス）は周知の材料から構成すればよい。必要に応じて、カラーフィルタを設けてもよい。
【００９２】
画像表示部は、表示素子（発光素子）を含む画素ユニットを複数配置してなるが、ここで、画素ユニットの数を（Ｍ，Ｎ）で表したとき、ＶＧＡ（６４０，４８０）、Ｓ−ＶＧＡ（８００，６００）、ＸＧＡ（１０２４，７６８）、ＡＰＲＣ（１１５２，９００）、Ｓ−ＸＧＡ（１２８０，１０２４）、Ｕ−ＸＧＡ（１６００，１２００）、ＨＤ−ＴＶ（１９２０，１０８０）、Ｑ−ＸＧＡ（２０４８，１５３６）の他、（１９２０，１０３５）、（７２０，４８０）、（８５４，４８０）、（１２８０，９６０）など、画像表示用解像度の幾つかを例示することができるが、これらの値に限定するものではない。
【００９３】
カラー表示を行なう画像表示部において、１つの画素ユニットは、たとえば、赤（Ｒ）色成分を表示する赤色画素、緑（Ｇ）色成分を表示する緑色画素、および、青（Ｂ）色成分を表示する青色画素の３種の画素から構成される。あるいは、これらの３種の画素に加え、輝度向上のために白色光を表示する画素、色再現範囲を拡大するために補色を表示する画素、色再現範囲を拡大するためにイエローを表示する画素、色再現範囲を拡大するためにイエローおよびシアンを表示する画素など、４種あるいはそれ以上の画素から構成することもできる。
【００９４】
本実施形態の画像表示装置は、電子機器の一例であり、表示パネル部分の裏面側に撮像装置を配置できるようになっていればよく、撮像装置が着脱可能なものでもよいし、固定的に装着されたものでもよい。
【００９５】
画像表示装置は、たとえば、パーソナルコンピュータを構成するモニタ装置の代替として使用することができるし、ノート型パーソナルコンピュータに組み込まれたモニタ装置の代替として使用することができる。さらには、携帯電話やＰＤＡ（携帯情報端末，Personal Digital Assistant）、ゲーム機器に組み込まれたモニタ装置、従来のテレビジョン受像機の代替として使用することもできる。
【００９６】
＜第１実施形態＞
［全体概要］
図１〜図２は、第１実施形態の画像表示装置および画像表示システムの概念を説明する図である。ここで、図１（１）は画像表示装置の概念図であり、図１（２）は画像表示システムの概念図である。図１（１−１）は画像表示装置を正面から眺めた概念図であり、図１（１−２）は画像表示装置を側面から眺めた概念図である。図１（２−１）は画像表示システムを正面から眺めた概念図であり、図１（２−２）は画像表示システムを側面から眺めた概念図である。図２は、画像表示部を構成する複数の画素の最も典型的な配置を模式的に示した図である。
【００９７】
図１（１）に示すように、第１実施形態の画像表示装置１Ａは、画像表示部１０、画像表示部１０の背面側に配置された撮像装置２０、画像表示部１０に形成された光透過部３０、光透過部３０を通過した光を撮像装置２０に集光する集光部２１を有する。撮像装置２０は画像表示装置１の背面に対して着脱可能に構成してもよい。画像表示部１０の撮像装置２０と対応する部分が光透過領域１２とされる。たとえば、画像表示部１０の少なくとも撮像装置２０の有効撮像領域と対応する部分が光透過領域１２とされる。撮像装置２０の有効撮像領域よりも光透過領域１２の方が狭い場合には、撮像装置２０での実際の撮像領域が狭くなる。
【００９８】
撮像装置２０は、画像表示部１０の背面側、より具体的には、画像表示部１０の背面側の中央部に配置されており、備えられた撮像装置２０は１つである。ここで、撮像装置２０および集光部２１は、これらが一体化された、すなわちＣＣＤ素子を備えた周知、市販のビデオカメラからなる。または、画像表示部１０の背面側に配置するように最適化さ
れた集光部と撮像素子からなるカメラを用いてもよい。
【００９９】
画像表示装置１Ａは、たとえばパーソナルコンピュータを構成するモニタ装置の代替として使用される。すなわち、図１（２）に示すように、第１実施形態の画像表示システム２Ａは、画像表示装置１Ａ_2にパーソナルコンピュータ（電子計算機）の本体などの周辺機器７０Ａが接続されている。周辺機器７０Ａ（後述の他の周辺機器７０も同様）は電子機器の一例である。画像表示装置１Ａ_2は、周辺機器７０Ａのモニタ装置として機能するようになっている。画像表示装置１Ａ_2は、画像表示装置１Ａから一部の機能部を取り外したものである。その取り外した機能部は周辺機器７０Ａに組み込まれている。周辺機器７０Ａと画像表示部１０および撮像装置２０とはケーブル７２，７３で接続されている。
【０１００】
画像表示部１０の画素１１としては、自発光型の発光素子、具体的には、有機ＥＬ素子からなるものを使用する。画像表示部１０は、カラー表示のＸＧＡタイプの有機ＥＬ表示装置からなる。すなわち、画素ユニットの数を（Ｍ，Ｎ）で表したとき、（１０２４，７６８）である。
【０１０１】
図２に示すように、１つの画素ユニットは、赤色を発光する赤色発光画素１１Ｒ、緑色を発光する緑色発光画素１１Ｇ、および、青色を発光する青色発光画素１１Ｂの３つの画素から構成されている。なお、画素の外縁を点線で示している（後述する他の例でも同様である）。
【０１０２】
画像表示部１０には、表示素子を含む画素１１（１１Ｒ，１１Ｇ，１１Ｂ）が複数配置されており、画像表示部１０の光透過領域１２の複数の画素１１には光透過部３０が設けられている。この例では光透過部３０は画素１１ごとに各別のものとなっているが、このことは必須でなく、複数の画素１１に跨っていてもよい。また、この例では光透過部３０が画素１１ごとに（光透過領域１２の全ての画素１１に）設けられているが、このことは必須でなく、少なくとも光透過領域１２の複数の画素１１に光透過部３０が設けられていればよく、たとえば２画素おきなど光透過領域１２の一部の画素１１に光透過部３０が設けられていないものがあってもよい。
【０１０３】
光透過部３０は、限定するものではないが、たとえば６×３＝１８個の画素１１に設けられている。１つの画素に１つの光透過部３０が設けられている。集光部２１は、これらの６×３＝１８個の画素１１における光透過部３０を通過した光を撮像装置２０に集光する。各光透過部３０の形状は長方形である。
【０１０４】
図示しないが、画像表示部１０には、各走査線を駆動する走査信号供給ＩＣ、および、映像信号を供給する映像信号供給ＩＣが配されている。そして、走査信号供給ＩＣには走査線制御回路が、映像信号供給ＩＣには信号線制御回路が、それぞれ、接続されている。画像表示部１０に入射し、光透過部３０を通過し、画像表示部１０から出射し、集光部２１に入射する光の光路には、カラーフィルタは配置されていないし、マイクロレンズなどの結像系も配置されていない。
【０１０５】
［撮像装置の配置位置］
図３〜図４は、撮像装置の配置位置と表示される画像との関係を説明する概念図である。ここで、図３（１）は、第１実施形態の画像表示装置１の場合を示し、図３（２）は、撮像装置が画像表示部の外側に固定された比較例の画像表示装置１Ｘの場合を示す。
図４は、画像表示装置１Ａによる撮像イメージを表す図である。
【０１０６】
図３（２）に示すように、撮像装置２０Ｘが画像表示部１０Ｘの外側に固定されている場合、撮像装置２０Ｘは画像表示装置１Ｘの使用者を斜めから撮像することになり、係る画像を画像表示部１０Ｘにて表示したとき、画像表示部１０Ｘには、斜めから撮像された使用者の画像が表示される。したがって、使用者の顔を正確に表示することができないし、画像表示部１０Ｘのどこを使用者が注視しているかを正確に判別することもできない。さらには、使用者が画像表示部１０Ｘに近づいた場合には、撮像範囲外になってしまう可能性が大である。
【０１０７】
一方、図３（１）に示すように、第１実施形態の画像表示装置１Ａにあっては、撮像装置２０が画像表示部１０の背面側の中央部に配置されているので、画像表示装置１Ａの使用者を、撮像装置２０は正面から撮像することができ、係る画像を画像表示部１０にて表示したとき、画像表示部１０には、正面から撮像された使用者の画像が表示される。したがって、使用者の顔を正確に表示することができるし、画像表示部１０のどこを使用者が注視しているかを容易に、しかも、正確に判別することができる。また、使用者が画像表示部１０に近づいた場合でも、使用者の撮像を行なうことができる。
【０１０８】
画像表示装置１Ａにあっては、光透過領域１２の複数の画素１１のそれぞれに設けられた光透過部３０（複数の光透過部３０）を通過した光が撮像装置２０に集光される。したがって、正確に像を撮像装置２０に結ぶために高精度の微小レンズを必要とせず、画像表示装置１Ａの製造コストの増加を招くことがないし、撮像装置２０に十分な光量の光を集光させることができる。
【０１０９】
たとえば図４（１）には、一例として、観察者（撮像装置２０にとっての被写体）が画像表示部１０の表示画像を見ながら、ペンで指示している状態が示されている。画像表示装置１Ａ（画像表示部１０）の裏面には撮像装置２０が設けられており、図４（２）に示すように、表示面に正対している観察者の顔や目、および手やペンを撮像することができる。これにより、たとえば、観察者の視線を撮像画像から検出することができる。また、手やペンなどの向きから画像表示部１０の対応する指示点を特定することができるので、いわゆるポインタ機能を画像表示装置１Ａに容易に付加することができる。さらには、ポインタ機能以外にも、使用者の顔や目、手の動き、周辺の明るさなども撮像画像から分かるので、様々の情報を画像表示装置１Ａから得て、種々のシステムに送出することができ、画像表示装置１Ａの付加価値を高めることができる。
【０１１０】
［画像表示部の断面構造］
図５は、画像表示部１０の詳細を説明する図である。ここで、図５（１）は、画像表示部１０の模式的な一部断面図である。図５（２）は、画像表示部１０の発光素子の詳しい構成を纏めた図表である。
【０１１１】
画像表示部１０は、第１基板４０、第１基板４０上に設けられた複数のＴＦＴから構成される駆動回路、駆動回路を覆う層間絶縁層４１、層間絶縁層４１上に設けられた有機層６３（発光部）、有機層６３上に設けられた保護層６４、保護層６４上に設けられた遮光層６５、保護層６４および遮光層６５を覆う第２基板６７を備えている。
【０１１２】
各画素１１は、駆動回路および発光部を備えており、遮光層６５には、開口部６５Ａが設けられており、開口部６５Ａ、並びに、開口部６５Ａの下方に位置する保護層６４の部分、第２電極６２の部分、および、層間絶縁層４１の部分などによって光透過部３０が構成されている。集光部２１および撮像装置２０は、第２基板６７と対向しない第１基板４０の面の側に配置されている。
【０１１３】
より具体的には、ソーダガラスからなる第１基板４０上には駆動回路が設けられている。駆動回路を構成するＴＦＴは、第１基板４０上に形成されたゲート電極５１、第１基板４０およびゲート電極５１上に形成されたゲート絶縁膜５２、ゲート絶縁膜５２上に形成された半導体層に設けられたソース／ドレイン領域５３、並びに、ソース／ドレイン領域５３の間であって、ゲート電極５１の上方に位置する半導体層の部分が相当するチャネル形成領域５４から構成されている。図示した例にあっては、ＴＦＴをボトムゲート型としたが、トップゲート型であってもよい。
【０１１４】
ＴＦＴのゲート電極５１は、走査線（図示せず）に接続されている。そして、層間絶縁層４１（４１Ａ，４１Ｂ）が、第１基板４０および駆動回路を覆っている。また、有機ＥＬ素子を構成する第１電極６１は、ＳｉＯXやＳｉＮY、ポリイミド樹脂などからなる層間絶縁層４１Ｂ上に設けられている。ＴＦＴと第１電極６１とは、層間絶縁層４１Ａに設けられたコンタクトプラグ４２、配線４３、コンタクトプラグ４４を介して電気的に接続されている。図においては、１つの有機ＥＬ素子駆動部につき、１つのＴＦＴを図示した。
【０１１５】
層間絶縁層４１上には、開口４６を有し、開口４６の底部に第１電極６１が露出した絶縁層４５が形成されている。絶縁層４５は、平坦性に優れ、しかも、有機層６３の水分による劣化を防止して発光輝度を維持するために吸水率の低い絶縁材料、具体的には、ポリイミド樹脂から構成されている。開口４６の底部に露出した第１電極６１の部分の上から、開口４６を取り囲む絶縁層４５の部分に亙り設けられ、有機発光材料からなる発光層を備えた有機層６３が形成されている。有機層６３は、たとえば、正孔輸送層、および、電子輸送層を兼ねた発光層の積層構造から構成されているが、図面では１層で表す。
【０１１６】
第２電極６２上には、有機層６３への水分の到達防止を目的として、プラズマＣＶＤ法に基づき、アモルファス窒化シリコン（α−Ｓｉ1-xＮx）からなる絶縁性の保護層６４が設けられている。保護層６４の上には、黒色のポリイミド樹脂からなる遮光層６５が形成されており、保護層６４および遮光層６５上にはソーダガラスからなる第２基板６７が配されている。保護層６４および遮光層６５と第２基板６７とは、アクリル系接着剤からなる接着層６６によって接着されている。
【０１１７】
第１電極６１をアノード電極として用い、第２電極６２をカソード電極として用いる。具体的には、第１電極６１は、厚さ０．２μｍ〜０．５μｍのアルミニウム（Ａｌ）、銀（Ａｇ）、あるいは、これらの合金で構成される光反射材料からなり、第２電極６２は、厚さ０．１μｍのＩＴＯやＩＺＯといった透明導電材料や、厚さ５ｎｍ程度の銀（Ａｇ）、マグネシウム（Ｍｇ）などの光をある程度透過する金属薄膜（半透明金属薄膜）からなる。第２電極６２はパターニングされておらず、１枚のシート状に形成されている。場合によっては、有機層６３と第２電極６２との間に、厚さ０．３ｎｍのＬｉＦからなる電子注入層（図示せず）を形成してもよい。
【０１１８】
以上、纏めると、本実施形態の画像表示装置１Ａにおける画像表示部１０の発光素子の詳しい構成は、図５（２）に示す通りである。
【０１１９】
第１基板４０から保護層６４および遮光層６５までが表示素子基板である。第２基板６７は封止基板として機能する。ここで、第２基板６７に設けられる光透過部３０をなす開口部６５Ａは、表示素子基板の画素電極（第１電極６１）、ＴＦＴ（ゲート電極５１を含む）および配線がない部分にある。また、封止剤として機能する保護層６４、ＥＬ共通電極として機能する第２電極６２、画素分離膜として機能する絶縁層４５、平坦化絶縁膜として機能する層間絶縁層４１（４１Ａ，４１Ｂ）、ソース／ドレイン領域５３、ゲート絶縁膜５２は光透過性を持っている。したがって、表示面（第２基板６７）側より入射する外光は、開口部６５Ａを通って裏面（第１基板４０側）に到達することができる。
【０１２０】
パネル裏面に設置される撮像装置２０は、光透過部３０（開口部６５Ａ）があるパネル裏面に撮像面を近接するように（ただし本例では集光部２１を介在させる）設置される。よって、表示面側より入射される外光は、撮像装置２０のレンズ（図示せず）で結像され、ＣＣＤやＣＭＯＳなどの固体撮像素子に入るので、表示面側に存在する被写体を撮像することができる。
【０１２１】
［回折補正に対応した構成］
図６〜図９は、回折現象とその対策を説明する図である。ここで、図６は、回折現象による撮像画像への影響を説明する模式図である。図７は、撮像装置２０の手前にガラス板を配置して撮像して得られた画像の一例を示す図である。図８は、回折現象による影響を信号処理面から補正（補償）するようにした第１実施形態の画像表示装置１Ａのブロック図である。図９は、回折現象による影響を信号処理面から補正（補償）するようにした第１実施形態の画像表示システム２Ａのブロック図である。
【０１２２】
第１実施形態の画像表示装置１Ａでは、表示素子に有機ＥＬ素子を使用しており、光透過部３０を設けるだけで、裏面（第１基板４０）側に撮像装置２０を設置することで、表示面（第２電極６２）側に存在する被写体を撮像できる。
【０１２３】
このような簡便な構成は、いわゆるＬＣＤでは不可能ではないが困難性があるし、また可視光波長も含めて透過させる構造はさらに困難である。これに対して第１実施形態の画像表示装置１Ａは、光透過部３０を設けるだけであり、簡便な構成で裏面から表示面側にいる被写体を撮像できる。
【０１２４】
ところで、一般に、ある小さい光透過開口部を通して画像を撮像した場合、光透過開口部で、いわゆる回折現象が発生する。すなわち、図６に示すように、微小な光透過部３０が所定ピッチで設けられた物体（画像表示部１０）の背面に撮像装置２０を設置して、光透過部３０を通して撮像すると、光透過部３０が光スリットとして作用する。このため、回折現象によって、画像「Ｃ」と同じ画像が等ピッチで画像「Ａ」および画像「Ｂ」として出現する結果、画像にボケが生じる。
【０１２５】
撮像装置２０の手前に光透過部が設けられていない透明なガラス板を配置して撮像して得られた画像が図７（１）に示されている。撮像装置２０の手前にある形状、大きさ、分布を有する光透過部を設けた透明なガラス板を配置して撮像して得られた画像が図７（２）に示されている。図７（２）に示す画像にはボケが認められる。一方、図７（１）に示す画像にはボケが認められない。
【０１２６】
回折光の強度と分布は、光透過部の形状、大きさ、分布、並びに、入射光（外光）の波長に依存する。回折によるボケが小さい場合には、撮像画像に対して回折を補正（補償）する処理を行なう必要は無いが、高品質な撮像画像を必要とする場合には、回折現象による影響を補正（補償）することが好ましい。
【０１２７】
図８には、回折現象による影響を信号処理面から補正する第１実施形態の画像表示装置１Ａが示されている。
【０１２８】
第１実施形態の画像表示装置１Ａは、装置全体の動作を制御する制御部９０、画像表示部１０の表示動作を制御する表示用タイミングコントローラ９２、撮像装置２０（撮像部２０ａ）の撮像動作を制御する撮像用タイミングコントローラ９４を有する。
【０１２９】
制御部９０は表示データやタイミング信号などを、表示用タイミングコントローラ９２に供給する。制御部９０は、撮像タイミング信号、シャッタ制御信号、ゲイン制御信号などを、撮像用タイミングコントローラ９４へ供給する。
【０１３０】
表示用タイミングコントローラ９２は、図示しない信号線制御回路を具備し、信号線制御回路は、表示データや水平タイミング信号を図示しない映像信号供給ＩＣを介して画像表示部１０に供給する。表示用タイミングコントローラ９２は、図示しない走査線制御回路を具備し、走査線制御回路は垂直タイミング信号を図示しない走査信号供給ＩＣを介して画像表示部１０に供給する。
【０１３１】
第１実施形態の画像表示装置１Ａは、撮像装置２０を介して取得された画像情報に対して、光透過部３０において生じる回折の補正（補償）を施す回折補正部１００を備えている。撮像装置２０（電子機器の一例）を画像表示装置１Ａと別体にする場合には、図に一点破線で示すように、回折補正部１００（場合によっては撮像用タイミングコントローラ９４も）を撮像装置２０側に配置することも考えられる。回折補正部１００は、ＭＴＦ形状記憶部１０２とＭＴＦ逆変換部１０４を有する。ＭＴＦ逆変換部１０４は、図示しない画像格納メモリを有しており、撮像装置２０から供給される撮像画像データを画像格納メモリに記憶する。回折補正部１００の処理動作は制御部９０により制御される。
【０１３２】
制御部９０は使用者から各種の指示を受付けて、回折補正部１００やその他の各機能部の動作を制御する。たとえば、詳細を後述するように、本実施形態の回折補正処理として種々の手順が考えられるが、それらは処理速度と補正精度の各面で優劣があるので、何れの手法を採用するかを、利用者の指示により適宜選択できるようにするのがよい。
【０１３３】
ＭＴＦ形状記憶部１０２は、光透過部３０の大きさ、形状、分布といったＭＴＦ形状データを記憶する。たとえば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）ごとの外光の波長と２次元ＦＦＴにて得られている光透過部３０のＭＴＦ形状データをＭＴＦ形状記憶部１０２に記憶しておく。
【０１３４】
撮像装置２０を介して取得された画像情報が、回折補正部１００を構成するＭＴＦ逆変換部１０４に送られる。ＭＴＦ逆変換部１０４は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）ごとの外光の波長と２次元ＦＦＴにて得られている光透過部３０のＭＴＦ形状データをＭＴＦ形状記憶部１０２から読み出してＭＦＴ逆変換を行ない、原画像に復元し、制御部９０に送出する。この際には、計算を簡素化して処理時間を短縮するべく、全信号成分についてではなく、一部の信号成分に着目した処理を行なってもよい。この点については詳細を後述する。
【０１３５】
制御部９０は、回折補正部１００（ＭＴＦ逆変換部１０４）で得られた復元画像から、たとえば、使用者の視線検出、使用者の手の動作の検出など、多様な検出を行ない、画像表示部１０での表示に反映させる。
【０１３６】
画像表示部１０における画像表示は、制御部９０の制御によって行なわれる。すなわち、制御部９０から表示データおよびタイミング信号などが表示用タイミングコントローラ９２に送られ、表示用タイミングコントローラ９２から表示データおよび水平タイミング信号が図示しない信号線制御回路に送られ、一方、垂直タイミング信号が図示しない走査線制御回路に送られる。そして、画像表示部１０において、周知の方法に基づき画像表示がなされる。一方、制御部９０から、撮像タイミング信号、シャッター制御信号、ゲイン制御信号などが撮像用タイミングコントローラ９４に送られ、撮像用タイミングコントローラ９４からこれらの信号が撮像装置２０に送られ、撮像装置２０の動作が制御される。
【０１３７】
図９には、回折現象による影響を信号処理面から補正する第１実施形態の画像表示システム２Ａが示されている。図８に示した画像表示装置１Ａとの相違点は、画像表示装置１Ａから、制御部９０と回折補正部１００を取り外して画像表示装置１Ａ_2とし、その取り外した制御部９０と回折補正部１００が周辺機器７０Ａ（電子機器の一例）に組み込まれている。
【０１３８】
すなわち、制御部９０は、画像表示装置１Ａに備えられてもよいし、画像表示装置１Ａ_2に接続されたパーソナルコンピュータなどの周辺機器７０Ａに備えられてもよい。回折補正部１００も、画像表示装置１Ａに備えられてもよいし、画像表示装置１Ａ_2に接続されたパーソナルコンピュータなどの周辺機器７０Ａに備えられてもよい。
【０１３９】
画像表示装置１Ａや画像表示システム２Ａにおける回折補正部１００や制御部９０の制御機能（特に回折補正部１００を制御する機能）は、ソフトウェアで実現することもでき、このためのプログラムやこのプログラムを格納した記録媒体を発明として抽出することも可能である。これらの点は、外光の波長分布の測定結果を反映させることで、撮像装置を介して取得された画像情報の精度の向上（たとえば色情報の精度向上）やＭＴＦ逆変換処理の精度向上を図る場合においても同様である。
【０１４０】
すなわち、本実施形態において、回折補正処理や波長分布測定処理並びにこれらの処理に関わる制御処理を行なう制御構成の仕組みは、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機（コンピュータ）の仕組みを用いてソフトウェア的に実現され得る。ソフトウェアにより実行させる仕組みでは、ハードウェアの変更を伴うことなく処理手順などが容易に変更し得ることとなる。
【０１４１】
プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。
【０１４２】
回折補正処理や波長分布測定処理並びにこれらの処理に関わる制御処理の各機能を実現するプログラムコードを記述したファイルとしてプログラムが提供されるが、この場合、一括のプログラムファイルとして提供されることに限らず、コンピュータで構成されるシステムのハードウェア構成に応じて個別プログラムモジュールとして提供されてもよい。
【０１４３】
また、回折補正処理や波長分布測定処理並びにこれらの処理に関わる制御処理の各機能を実現するための各部（機能ブロックを含む）の具体的手段は、ハードウェア、ソフトウェア、通信手段、これらの組み合わせ、その他の手段を用いることができ、このこと自体は当業者において自明である。また、機能ブロック同士が複合して１つの機能ブロックに集約されてもよい。また、コンピュータにプログラム処理を実行させるソフトウェアは、組合せの態様に応じて分散してインストールされる。
【０１４４】
ソフトウェアで行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。これに対して、ハードウェア処理回路で構築すると、処理が複雑であっても、処理速度の低下が防止され、高いスループットを得る高速化を図ったアクセラレータシステムが構築される。
【０１４５】
［回折現象の対策原理］
図１０〜図１２は、回折現象による影響を信号処理の側面から対策する手法を説明する図である。ここで、図１０は、光透過部３０（開口部６５Ａ）から回折光強度とＭＴＦを求める概念図である。図１１〜図１２は、光透過部３０の形状の一例（図２とは異なる）を模式的に示す図である。
【０１４６】
回折分布Ｐdiffは、光透過部３０のパターン形状、大きさ、分布、並びに、入射光（外光）の波長が決定している場合、式（１）で算出することができる。二重積分においては、ｘおよびｙに関して−∞から＋∞まで積分する。
【０１４７】
【数１】
【０１４８】
ここで、Ｐat（ｘ，ｙ）は光透過部３０のｘｙ平面での２次元パターンであり（図１０（１）を参照）、λは入射光（外光）の波長であり、θx，θyはｘ方向およびｙ方向の回折角である。ここでは、計算を簡素化するために入射光（外光）の波長λの値を５２５ｎｍで一定とした。
【０１４９】
式（１）は、Ｐat（ｘ，ｙ）の２次元フーリエ変換であるので、高速フーリエ変換（ＦＦＴ）を用いることで高速に算出することができる。Ｐdiff（ｋx，ｋy）は位相情報を含んでいるが、実際には、撮像装置では回折光強度Ｈdiff（ｋx，ｋy）を検出する。式（２）に示すように、回折光強度Ｈdiff（ｋx，ｋy）は、Ｐdiff（ｋx，ｋy）の絶対値の二乗に等しい（図１０（２）を参照）。
【０１５０】
【数２】
【０１５１】
ここで、回折光により撮像装置２０の空間解像度に変調が加えられたとして、式（３）からＭＴＦ（Modulation Transfer Function）を算出する（図１０（３）を参照）。「ＦＦＴ［ ］」は、高速フーリエ変換を実行することを意味し、「ＩＦＦＴ［ ］」は、高速逆フーリエ変換を実行することを意味する。
【０１５２】
【数３】
【０１５３】
ここで、ｆx，ｆyは、撮像装置２０を構成する各々の撮像素子におけるｘ方向およびｙ方向の空間周波数を表す。そして、撮像装置２０で得られる光透過部３０を通した画像Ｉcam(x,y)と、光透過部３０を通さないとしたときの原画像Ｉreal(x,y)との間には、式（４）に示す関係が成立する。画像Ｉcam(x,y)は、たとえば、赤（Ｒ）色成分であれば撮像ＲデータＲcam(x,y)、緑（Ｇ）色成分であれば撮像ＧデータＧcam(x,y)、青（Ｂ）色成分であれば撮像ＢデータＢcam(x,y)とする。
【０１５４】
【数４】
【０１５５】
すなわち、空間周波数領域において、画像Ｉcam(x,y)は、原画像Ｉreal(x,y)とＭＴＦの積となる。よって、画像Ｉcam(x,y)から原画像Ｉreal(x,y)を得るには、式（５）に基づいた処理を行なえばよい。換言すると、光透過部３０の形状、大きさ、分布、並びに、入射光（外光）の波長（纏めて「ＭＴＦ形状データ」）に基づき算出されるＭＴＦ逆変換処理を画像情報に対して施せばよい。原画像Ｉreal(x,y)は、たとえば、赤（Ｒ）色成分であれば赤色原画像Ｒreal(x,y)、緑（Ｇ）色成分であれば緑色原画像Ｇreal(x,y)、青（Ｂ）色成分であれば青色原画像Ｂreal(x,y)とする。
【０１５６】
【数５】
【０１５７】
ここで、ＭＴＦは、光透過部３０の大きさ、形状、分布が決まれば、光透過部３０の２次元パターンをフーリエ変換したものを入射光（外光）の波長によりスケーリングすればよいので、容易に求めることができ、式（５）で示した関係から、原画像を容易に復元することができる。
【０１５８】
たとえば、光透過部３０の形状が、図１１（１），（２）や図１２に例示されている。光透過部３０の一部または全部は、画像表示部１０の第１の方向（水平方向）および第２の方向（垂直方向）に沿って周期的に設けられている。
【０１５９】
図１１（１）に示す例にあっては、画素の下部を第１の方向（水平方向）に沿って延びる光透過部３０Ｈは、３つの画素（１１Ｒ，１１Ｇ，１１Ｂ）から構成された１つの画素ユニットに跨って設けられており、第２の方向（垂直方向）に沿って延びる光透過部３０Ｖは、各画素１１Ｒ，１１Ｇ，１１Ｂに設けられ、しかも、画素と画素との間に設けられている。図１１（２）に示す例にあっては、光透過部３０Ｈと光透過部３０とが繋がっている。図１２に示す例にあっては、光透過部３０Ｈは、３つの画素（１１Ｒ，１１Ｇ，１１Ｂ）から構成された１つの画素ユニットに跨って設けられているが、図１１（１）とは異なり、２つの部分から構成されている。
【０１６０】
第１の方向に沿った光透過部３０の長さをＬtr-1、第１の方向に沿った画素１１のピッチをＰpx-1としたとき、第１の方向の線開口率Ｌtr-1／Ｐpx-1は、「Ｌtr-1／Ｐpx-1≧０．５」を満足し、第２の方向に沿った光透過部３０の長さをＬtr-2、第２の方向に沿った画素１１のピッチをＰpx-2としたとき、第２の方向の線開口率Ｌtr-2／Ｐpx-2は、「Ｌtr-2／Ｐpx-2≧０．５」を満足する。これは、ＭＴＦの定義から説明できる。
【０１６１】
ＭＴＦは、式（２）および式（３）から導かれる式（６）に示すように、光透過部３０のｘｙ平面での２次元パターンＰat（ｘ，ｙ）から得られる回折分布を二乗したものを高速フーリエ変換し、その結果をさらに二乗したものとして得られる。
【０１６２】
【数６】
【０１６３】
そして、いわゆるウィナー・キンチンの定理から、自己相関関数のフーリエ変換はパワースペクトラムに等しいので、ＭＴＦは、光透過部３０で生ずる回折分布の自己相関関数の絶対値の二乗に等しい。自己相関関数が、空間周波数領域においていわゆる無相関である点（すなわち、０になる点）が存在しない条件は、「Ｌtr-1／Ｐpx-1≧０．５」、「Ｌtr-2／Ｐpx-2≧０．５」である。ＭＴＦが０になる点を持たない場合、式（５）は特異点を持たないので、原画像の再現が容易になる。それ故、第１の方向の線開口率Ｌtr-1／Ｐpx-1および第２の方向の線開口率Ｌtr-2／Ｐpx-2の値は０．５以上であるといった要請を満足することが好ましい。
【０１６４】
＜第２実施形態＞
図１３〜図１５は、第２実施形態の画像表示装置および画像表示システムを説明する図である。ここで、図１３は、第２実施形態の画像表示装置および画像表示システムの概念を説明する図である。図１３（１）は画像表示装置の概念図であり、図１３（２）は画像表示システムの概念図である。図１３（１−１）は画像表示装置を正面から眺めた概念図であり、図１３（１−２）は画像表示装置を側面から眺めた概念図である。図１３（２−１）は画像表示システムを正面から眺めた概念図であり、図１３（２−２）は画像表示システムを側面から眺めた概念図である。図１４は、波長分布測定を可能にした第２実施形態の画像表示装置１Ｂのブロック図である。図１５は、波長分布測定を可能にした第２実施形態の画像表示システム２Ｂのブロック図である。
【０１６５】
図１３（１）に示すように、第２実施形態の画像表示装置１Ｂは、第１実施形態の画像表示装置１Ａに加えて、外光の波長分布を測定する波長分布測定部１１０を備えている。波長分布測定部１１０は画像表示装置１に対して着脱可能に構成してもよい。本例では、波長分布測定部１１０は、画像表示部１０のパネル上部に配置されているが、これは一例であって、外光の波長分布を測定し得る場所である限り、何れの箇所に配置してもよい。
【０１６６】
図１３（２）に示すように、第２実施形態の画像表示システム２Ｂは、第１実施形態の画像表示システム２Ａに加えて、外光の波長分布を測定する波長分布測定部１１０をさらに備えている。波長分布測定部１１０により取得された情報が回折補正部１００に供給される。波長分布測定部１１０は、外光の波長分布を測定し得る場所である限り、画像表示装置１Ｂ_2の近傍の何れの場所に配置してもよい。
【０１６７】
波長分布測定部１１０は、たとえば、赤色フィルタが取り付けられたホトセンサ、緑色フィルタが取り付けられたホトセンサ、および、青色フィルタが取り付けられたホトセンサの組から構成されている。
【０１６８】
図１４に示すように、画像表示装置１Ｂでは、同装置内の制御部９０が、波長分布測定部１１０の測定動作を制御する。波長分布測定部１１０により取得された情報が回折補正部１００に供給される。図１５に示すように、画像表示システム２Ｂにおいては、周辺機器７０Ｂに組み込まれた制御部９０が、波長分布測定部１１０の測定動作を制御する。
【０１６９】
第１実施形態で説明したように、光透過部３０のｘｙ平面での回折分布Ｐdiff（ｋx，ｋy）を求める式（１）には、入射光（外光）の波長λが含まれている。したがって、外光の波長分布を測定することで、各波長のＭＴＦを外部環境に応じて適合させることができ、一層正確に回折に対する補正、補償を行なうことができ、より高品質な撮像画像を得ることができる。
【０１７０】
波長分布測定部１１０を設けることで、外光の波長分布（光のスペクトル）を得ることができる。そして、得られた外光の波長分布と撮像装置２０の分光スペクトルを掛け合わせることで、撮像画像の各原色（赤色、緑色、青色）ごとの波長分布を得ることができる。そして、波長ごとにＭＴＦ逆変換処理した画像を撮像画像の波長分布で重み付けすることで、一層正確に回折に対する補正、補償を行なうことができる。
【０１７１】
第２実施形態にあっては、このような構成を採用することで、一層正確に回折に対する補正、補償を行なうことができるだけでなく、撮像装置２０を介して取得された画像情報の精度の向上（たとえば、色情報の精度向上）を図ることができる。
【０１７２】
なお、本実施形態の仕組みとは直接的には関係ないが、回折によるボケが小さい場合には、撮像画像に対して回折を補正（補償）する処理を行なう必要はない。しかしながら、このような場合にあっても、外光の波長分布を測定する波長分布測定部１１０をさらに備えることで、たとえば回折補正部１００は撮像装置２０で取得された画像を撮像画像の波長分布で重み付けすることができる。その結果、撮像装置２０を介して取得された画像情報の精度の向上を図ることができる。
【０１７３】
＜回折補正処理：第１例（処理面積縮小処理）＞
図１６は、回折補正部１００による回折補正処理の第１例を説明する図（フローチャート）である。なお、理解を容易にするため、処理の状況に対応した画像の模式図も併せて示す。第１例の回折補正処理は、処理面積縮小の手法を適用するものである。
【０１７４】
一例として、撮像装置２０から撮像データとしてＲ，Ｇ，Ｂの色画像データ（撮像Ｒデータ、撮像Ｇデータ、撮像Ｂデータ：纏めて撮像ＲＧＢデータ）が回折補正部１００のＭＴＦ逆変換部１０４に供給されるものとする（Ｓ１０）。ＭＴＦ逆変換部１０４は、撮像装置２０から供給される撮像画像データを画像格納メモリに記憶する。
【０１７５】
ＭＴＦ逆変換部１０４は、撮像画像を、「特定領域」と「背景領域」に分離し、「特定領域」を抽出する。たとえば、「被写体重視の手法」を適用し、「特定領域」を被写体の一部の領域（たとえば使用者の顔の領域）とし、顔とそれ以外の領域に分離して、顔領域を抽出する。顔領域の抽出アルゴリズムは、たとえばハール（Ｈａａｒ）状特徴分類などの公知の顔検出手法を用いればよい。因みに、特定した顔を内包する矩形領域を抽出するものとする。当然ながら、抽出された顔領域は、撮像画像全体と比べると面積は小さい。
【０１７６】
また「特定領域」の抽出においては、特定の形状や色を有する領域を抽出したり、たとえば時刻をずらして撮像した複数の撮像画像の差分に基づいて、その撮像画像の変化（たとえば被写体の移動）を検出し、その変化があった部分の領域を抽出したりしてもよい。
【０１７７】
ＭＴＦ逆変換部１０４は、抽出した特定領域のみに対して、ＭＴＦ逆変換処理を施し回折の影響を取り除く（Ｓ３０）。たとえば、ＴＶ電話では、背景よりも通話者間の表情や顔色の画質が重要であり、顔部分だけ回折除去した画像でも違和感なく通話できる。
【０１７８】
ＭＴＦ逆変換部１０４は、回折補正済みの顔領域（特定領域）の抽出画像（その信号成分）と、回折補正処理を施していない背景領域の画像（その信号成分）とを合成して処理を完了させる（Ｓ４０）。
【０１７９】
撮像画像の全領域から分離（抽出）された抽出領域（特定領域：この例では顔領域）は、撮像画像全体と比べると面積は小さいので、撮像画像の全領域を対象として回折除去する場合と比較して計算量が少なくなり、補正処理時間は短縮されるから、処理を高速化できる。たとえば、全体領域に対して特定領域の面積が１／Ｘ倍である場合、処理速度は「α・Ｘ」倍となる。αは、１未満の値であり、全体領域から特定領域を抽出する処理（Ｓ２０）と、回折補正処理済みの特定領域の画像と未処理の背景領域の画像とを合成する処理（Ｓ４０）によるオーバーヘッド分である。
【０１８０】
＜回折補正処理：第２例（全信号成分を対象）＞
図１７は、回折補正部１００による回折補正処理の第２例を説明する図（フローチャート）である。第２例の回折補正処理は、撮像装置２０で取得される画像情報を構成する各信号成分のそれぞれについて処理する方法である。
【０１８１】
ＭＴＦ逆変換部１０４は、抽出した特定領域のみに対して、ＭＴＦ逆変換処理を施し回折の影響を取り除く（Ｓ３０）。この際、ＭＴＦ逆変換部１０４は、式（５）に基づいて、光透過部３０の形状、大きさ、分布、並びに、入射光（外光）の波長に基づき算出されるＭＴＦ逆変換処理をＲ，Ｇ，Ｂの色画像データ別に施す。
【０１８２】
たとえば、ＭＴＦ逆変換部１０４は、式（２）と式（３）に基づいて、Ｒ，Ｇ，Ｂの色別にＭＴＦを求める（Ｓ１３０）。具体的には、Ｒ，Ｇ，Ｂ別の回折光強度Ｈdiff（ｋx，ｋy）を検出し、式（３）に基づいてＲ，Ｇ，Ｂ別にＭＴＦを算出する。Ｒ，Ｇ，Ｂ別のＭＴＦをそれぞれ、ＭＴＦ（赤成分）、ＭＴＦ（緑成分）、ＭＴＦ（青成分）とする。
【０１８３】
ＭＴＦ逆変換部１０４は、光透過部３０を通して撮像装置２０で取得したＲ，Ｇ，Ｂ別の撮像データ（撮像Ｒデータ、撮像Ｇデータ、撮像Ｂデータ）について高速フーリエ変換して色別にＦＦＴ［ ］を求める（Ｓ１４０）。具体的には、光透過部３０を通して撮像装置２０で撮像することで得た撮像ＲデータＲcam(x,y)、撮像ＧデータＧcam(x,y)、撮像ＢデータＢcam(x,y)のそれぞれについて高速フーリエ変換を実行することで、ＦＦＴ［Ｒcam(x,y)］、ＦＦＴ［Ｇcam(x,y)］、ＦＦＴ［Ｂcam(x,y)］を求める。
【０１８４】
ＭＴＦ逆変換部１０４は、Ｒ，Ｇ，Ｂの色別に、ステップＳ１４０で求めたＦＦＴ［ ］をステップＳ１３０で求めた対応する色のＭＴＦで除算する（Ｓ１５０）。具体的には、ＦＦＴ［Ｒcam(x,y)］／ＭＴＦ（赤成分）、ＦＦＴ［Ｇcam(x,y)］／ＭＴＦ（緑成分）、ＦＦＴ［Ｂcam(x,y)］／ＭＴＦ（青成分）を求める。
【０１８５】
ＭＴＦ逆変換部１０４は、Ｒ，Ｇ，Ｂの色別にステップＳ１５０で求めた除算結果について高速逆フーリエ変換を実行して色別に原画像Ｉreal(x,y)を復元する（Ｓ１６０）。具体的には、式（５）に従って、ＩＦＦＴ［ＦＦＴ［Ｒcam(x,y)］／ＭＴＦ（赤成分）］により赤色原画像Ｒreal(x,y)を取得し、ＩＦＦＴ［ＦＦＴ［Ｇcam(x,y)］／ＭＴＦ（緑成分）］により緑色原画像Ｇreal(x,y)を取得し、ＩＦＦＴ［ＦＦＴ［Ｂcam(x,y)］／ＭＴＦ（青成分）］により青色原画像Ｂreal(x,y)を取得する。
【０１８６】
ＭＴＦ逆変換部１０４は、ステップＳ１６０でＲ，Ｇ，Ｂの色別に復元した赤色原画像Ｒreal(x,y)、緑色原画像Ｇreal(x,y)、青色原画像Ｂreal(x,y)に基づいて、特定領域に関して、カラーの復元画像を取得する（Ｓ１８０）。
【０１８７】
ＭＴＦ逆変換部１０４は、回折補正済みの特定領域の抽出画像（その信号成分）と、回折補正処理を施していない背景領域の画像（その信号成分）とを合成して処理を完了（画像表示部１０に表示）させる（Ｓ４０）。
【０１８８】
第２例の回折補正処理は、画像情報を構成するＲ，Ｇ，Ｂの各信号成分についてＭＴＦ逆変換処理を施すので、処理負荷は掛かるが、一部の信号成分に着目した処理に比べて補正効果が高く、回折現象により撮像画像に現れる不鮮明さを精度よく補正できる。
【０１８９】
＜回折補正処理：第３例（全信号成分を対象＆色変換）＞
図１８は、回折補正部１００による回折補正処理の第３例を説明する図（フローチャート）である。第３例の回折補正処理は、撮像装置２０で取得される画像情報を構成する各成分の撮像データの色空間を変換し、変換後の画像データについてデータ別に処理する方法である。以下、第２例との相違点を中心に説明する。なお、処理ステップを２００番台で示し、第２例と同様の処理ステップには第２例と同じ１０番台と１番台で示す。
【０１９０】
ＭＴＦ逆変換部１０４は、抽出した特定領域のみに対して、ＭＴＦ逆変換処理を施し回折の影響を取り除く（Ｓ３０）。この際、ＭＴＦ逆変換部１０４は、抽出された特定領域の画像について、ＲＧＢ色空間の撮像Ｒデータ、撮像Ｇデータ、撮像Ｂデータを、他の色空間（たとえばＸＹＺ色空間やＹｕｖ色空間）の画像データに変換する（Ｓ２１０）。
【０１９１】
この例では、先に特定領域の画像情報を抽出してから色空間変換処理をするようにしているが、逆に、画像表示部１０で取得された全画像領域について色空間変換処理をしてから特定領域の画像情報を抽出してもよい。後者の場合は、特定領域の画像情報のみを対象として色空間変換処理する場合と比較して処理量が多くなり変換処理時間が掛る。この点を勘案して、本例では前者の手法を採っている。
【０１９２】
ＭＴＦ逆変換部１０４は、式（５）に基づき、光透過部３０の形状、大きさ、分布、入射光（外光）の波長に基づき算出されるＭＴＦ逆変換処理を、ステップＳ２１０で取得された色変換後の画像データのそれぞれについて施す。色変換は、少なくとも輝度情報を表す信号成分が含まれたものとするのがよい。図１８（１）はＲＧＢ色空間からＸＹＺ色空間に変換した場合を示し、図１８（２）はＲＧＢ色空間からＹｕｖ色空間に変換した場合を示す。以下では、ＲＧＢ色空間からＸＹＺ色空間に変換したものとして説明する。
【０１９３】
たとえば、ＭＴＦ逆変換部１０４は、式（２）と式（３）に基づいて、Ｘ，Ｙ，Ｚの画像データ別にＭＴＦを求める（Ｓ２３０）。具体的には、Ｘ，Ｙ，Ｚ別の回折光強度Ｈdiff（ｋx，ｋy）を検出し、式（３）に基づいてＸ，Ｙ，Ｚ別にＭＴＦを算出する。Ｘ，Ｙ，Ｚ別のＭＴＦをそれぞれ、ＭＴＦ（Ｘ成分）、ＭＴＦ（Ｙ成分）、ＭＴＦ（Ｚ成分）とする。
【０１９４】
ＭＴＦ逆変換部１０４は、色空間変換後のＸ，Ｙ，Ｚ別の画像データ（変換Ｘデータ、変換Ｙデータ、変換Ｚデータ）について高速フーリエ変換してＸ，Ｙ，Ｚ別にＦＦＴ［ ］を求める（Ｓ２４０）。具体的には、変換ＸデータＸcam(x,y)、変換ＹデータＹcam(x,y)、変換ＺデータＸcam(x,y)のそれぞれについて高速フーリエ変換を実行することで、ＦＦＴ［Ｘcam(x,y)］、ＦＦＴ［Ｙcam(x,y)］、ＦＦＴ［Ｚcam(x,y)］を求める。
【０１９５】
ＭＴＦ逆変換部１０４は、Ｘ，Ｙ，Ｚ別に、ステップＳ２４０で求めたＦＦＴ［ ］をステップＳ２３０で求めた対応する信号成分のＭＴＦで除算する（Ｓ２５０）。具体的には、ＦＦＴ［Ｘcam(x,y)］／ＭＴＦ（Ｘ成分）、ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（Ｙ成分）、ＦＦＴ［Ｚcam(x,y)］／ＭＴＦ（Ｚ成分）を求める。
【０１９６】
ＭＴＦ逆変換部１０４は、Ｘ，Ｙ，Ｚ別にステップＳ２５０で求めた除算結果について高速逆フーリエ変換を実行してＸ，Ｙ，Ｚ別に原画像Ｉreal(x,y)を復元する（Ｓ２６０）。具体的には、式（５）に従って、ＩＦＦＴ［ＦＦＴ［Ｘcam(x,y)］／ＭＴＦ（Ｘ成分）］によりＸ原画像Ｘreal(x,y)を取得し、ＩＦＦＴ［ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（Ｙ成分）］によりＹ原画像Ｙreal(x,y)を取得し、ＩＦＦＴ［ＦＦＴ［Ｚcam(x,y)］／ＭＴＦ（Ｚ成分）］によりＺ原画像Ｚreal(x,y)を取得する。
【０１９７】
ＭＴＦ逆変換部１０４は、ステップＳ２６０でＸ，Ｙ，Ｚ別に復元したＸ原画像Ｘreal(x,y)、Ｙ原画像Ｙreal(x,y)、Ｚ原画像Ｚreal(x,y)を、ＲＧＢ色空間の原画像に戻す、つまりＲＧＢ色空間の画像データに変換する（Ｓ２７０）。これにより、赤色原画像Ｒreal(x,y)、緑色原画像Ｇreal(x,y)、青色原画像Ｂreal(x,y)が復元される。
【０１９８】
ＭＴＦ逆変換部１０４は、ステップＳ２７０でＲ，Ｇ，Ｂの色別に復元した赤色原画像Ｒreal(x,y)、緑色原画像Ｇreal(x,y)、青色原画像Ｂreal(x,y)に基づいて、特定領域に関してのカラーの復元画像を取得する（Ｓ２８０）。ステップＳ２７０の色変換処理を割愛して直接に、カラーの復元画像を取得するようにしてもよい。
【０１９９】
ＭＴＦ逆変換部１０４は、回折補正済みの特定領域の抽出画像（その信号成分）と、回折補正処理を施していない背景領域の画像（その信号成分）とを合成して処理を完了させる（Ｓ４０）。
【０２００】
第３例の回折補正処理は、色変換処理を伴うので処理負荷は掛かるが、輝度成分と色成分とに分けて回折補正処理を行うので、補正係数を輝度成分と色成分とで異ならせることができる利点がある。また、画像情報を構成する各信号についてＭＴＦ逆変換処理を施すので、一部の信号に着目した処理よりも補正効果が高く、回折現象により撮像画像に現れる不鮮明さを精度よく補正できる。たとえば、３つ（たとえばＲ，Ｇ，Ｂ）の色成分の信号で画像を表わす場合に、第３例の補正処理とすることで、補正速度は、０．８倍程度（０．２は色変換処理によるロス分）になる。
【０２０１】
＜回折補正処理：第４例（特定信号重視処理：輝度信号成分との相関が強い緑色）＞
図１９は、回折補正部１００による回折補正処理の第４例を説明する図（フローチャート）である。第４例の回折補正処理は、撮像装置２０で取得される画像情報を構成する複数の信号成分の少なくとも１つ（ただし全てではない）について処理する特定信号重視の手法を適用する方法である。
【０２０２】
以下では、画像情報を構成する複数（たとえばＲ，Ｇ，Ｂや色変換後のＸ，Ｙ，ＺやＹ，ｕ，ｖ）の内の何れか１つのみに着目した処理とする。以下、第２例との相違点を中心に説明する。なお、処理ステップを３００番台で示し、第２例と同様の処理ステップには第２例と同じ１０番台と１番台で示す。
【０２０３】
ＭＴＦ逆変換部１０４は、式（５）に基づいて、光透過部３０の形状、大きさ、分布、並びに、入射光（外光）の波長に基づき算出されるＭＴＦ逆変換処理をＲ，Ｇ，Ｂの何れか一色についてのみ施す、つまり、何れか一色についてのみ回折補正処理を施す。この際には、好ましくは、輝度信号成分との相関が相対的に強い緑色画像情報に着目して処理する、つまり、輝度信号成分との相関が強い緑色についてのみ回折補正処理を施す。
【０２０４】
たとえば、ＭＴＦ逆変換部１０４は、式（２）と式（３）に基づいて、Ｇ色のＭＴＦを求める（Ｓ３３０）。具体的には、Ｇ色の回折光強度Ｈdiff（ｋx，ｋy）を検出し、式（３）に基づいてＧ色のＭＴＦ（緑成分）を算出する。
【０２０５】
ＭＴＦ逆変換部１０４は、光透過部３０を通して撮像装置２０で取得したＧ色の撮像Ｇデータについて高速フーリエ変換してＧ色のＦＦＴ［ ］を求める（Ｓ３４０）。具体的には、光透過部３０を通して撮像装置２０で撮像することで得た撮像ＧデータＧcam(x,y)について高速フーリエ変換を実行することでＦＦＴ［Ｇcam(x,y)］を求める。
【０２０６】
ＭＴＦ逆変換部１０４は、Ｇ色について、ステップＳ３４０で求めたＦＦＴ［Ｇcam(x,y)］をステップＳ３３０で求めたＧ色のＭＴＦ（緑成分）で除算することで、ＦＦＴ［Ｇcam(x,y)］／ＭＴＦ（緑成分）を求める（Ｓ３５０）。
【０２０７】
ＭＴＦ逆変換部１０４は、Ｇ色についてステップＳ３５０で求めた除算結果について高速逆フーリエ変換を実行してＧ色についての原画像Ｇreal(x,y)を復元する（Ｓ３６０）。具体的には、式（５）に従って、ＩＦＦＴ［ＦＦＴ［Ｇcam(x,y)］／ＭＴＦ（緑成分）］により緑色原画像Ｇreal(x,y)を取得する。
【０２０８】
ＭＴＦ逆変換部１０４は、ステップＳ３６０でＧ色について復元した緑色原画像Ｇreal(x,y)と、それぞれ未処理のＲ色の撮像ＲデータＲcam(x,y)およびＢ色の撮像ＢデータＢcam(x,y)に基づいて、カラーの復元画像を取得する（Ｓ３８０）。
【０２０９】
第４例の回折補正処理は、画像情報を構成するＲ，Ｇ，Ｂの少なくとも一色（ただし全色でない）についてＭＴＦ逆変換処理を施すので、全信号成分について処理する第２例や第３例に比べて補正効果は劣るが処理負荷が軽減され、回折補正処理の高速化が図れる。たとえば、３つ（たとえばＲ，Ｇ，Ｂ）の色成分の信号で画像を表わす場合に、１色に着目した処理とすることで、補正速度が３倍になる。
【０２１０】
第４例では、Ｒ色やＢ色に着目して処理することも考えられるが、好ましくは輝度信号成分との相関が相対的に強い緑色画像情報に着目して処理することで、全信号成分について処理する第２例や第３例に比べても遜色のない補正効果が得られることが確認された。また、たとえば波長分布測定部によって外光における最も強い色成分を検出し、あるいは撮像した画像の信号から撮像画像における最も強い色成分を検出し、その色成分に対して処理を行なってもよい。補正効果と処理負荷の両面からバランスのよい回折補正処理が実現された。後述する第５例との比較では、色変換処理を伴わないので処理負荷は第５例よりも軽くなる。
【０２１１】
また、「処理面積縮小の手法」と「特定信号重視の手法」を併用することで、抽出した特定領域のみに対しての回折補正処理による効果（処理速度α・Ｘ倍）が加わるので、全体としての処理時間を大幅に短縮できる。また、たとえば、「処理面積縮小の手法」において、特定の色（たとえば青色）の領域あるいは特定の色成分が多い領域（たとえばＲＧＢ三原色のうち、Ｂの成分が最も多い領域）を「特定領域」として抽出し、かつ、その領域に対して、その特定の色成分についてＭＴＦ逆変換処理を行なえば、高速に処理を行ない かつその領域の補正効果も確保することもできる。
【０２１２】
図１９に示した第４例の処理手順を第３例に対して適用する場合には、色変換処理（Ｓ２１０，Ｓ２７０）と対応した処理ステップを追加するととともに、輝度信号成分に着目して処理するとよい。この場合、ＭＴＦに関しては、ＭＴＦ（Ｙ成分）を特定して、ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（Ｙ成分）について高速逆フーリエ変換を実行する。後述する第５例との比較では、輝度信号成分Ｙについて忠実に高速逆フーリエ変換を実行するので、処理負荷は第５例よりも重くなるが、輝度信号成分に着目するという点では忠実性が確保されるため第５例よりも補正効果が高くなる。たとえば、３つ（たとえばＲ，Ｇ，Ｂ）の色成分の信号で画像を表わす場合、補正速度は、３倍にはならないものの、２．５倍程度（０．５は色変換処理によるロス分）になる。
【０２１３】
＜回折補正処理：第５例（特定信号重視処理：輝度信号成分）＞
図３０は、回折補正部１００による回折補正処理の第５例を説明する図（フローチャート）である。第５例の回折補正処理は、撮像装置２０で取得される画像情報を構成する各成分の撮像データの色空間を変換し、色変換後の複数の画像データの少なくとも１つ（ただし全てではない）について処理する方法である。以下では、色変換された複数（たとえばＸ，Ｙ，ＺやＹ，ｕ，ｖ）の画像データの内の何れか１つのみに着目した処理とする。以下、第３例との相違点を中心に説明する。なお、処理ステップを４００番台で示し、第３例と同様の処理ステップには第３例と同じ１０番台と１番台で示す。
【０２１４】
ＭＴＦ逆変換部１０４は、式（５）に基づいて、光透過部３０の形状、大きさ、分布、並びに、入射光（外光）の波長に基づき算出されるＭＴＦ逆変換処理を、ステップＳ４１０で取得された色変換後の複数の画像データの内の何れか１つについてのみ施す、つまり、何れか１つの信号成分についてのみ回折補正処理を施す。この際には、好ましくは、輝度信号成分に着目して処理する、つまり、色変換後の複数の画像データから輝度信号成分を抽出して、輝度信号成分との相関が相対的に強い緑色画像情報を参照して、輝度信号成分のみ回折補正処理を施す。以下では、ＲＧＢ色空間をＸＹＺ色空間に色変換したものとして説明する。
【０２１５】
たとえば、ＭＴＦ逆変換部１０４は、式（２）と式（３）に基づいて、輝度信号成分ＹのＭＴＦを求める（Ｓ４３０）。具体的には、Ｇ色の回折光強度Ｈdiff（ｋx，ｋy）を検出し、式（３）に基づいてＧ色のＭＴＦ（緑成分）を算出する。
【０２１６】
ＭＴＦ逆変換部１０４は、色変換後のＸＹＺデータから抽出した輝度信号成分Ｙの画像データ（変換Ｙデータ）について高速フーリエ変換して輝度信号成分ＹのＦＦＴ［ ］を求める（Ｓ４４０）。具体的には、変換ＹデータＹcam(x,y)について高速フーリエ変換を実行することでＦＦＴ［Ｙcam(x,y)］を求める。
【０２１７】
ＭＴＦ逆変換部１０４は、輝度信号成分Ｙについて、ステップＳ４４０で求めたＦＦＴ［Ｙcam(x,y)］をステップＳ４３０で求めたＧ色のＭＴＦ（緑成分）で除算することで、ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（緑成分）を求める（Ｓ４５０）。
【０２１８】
ＭＴＦ逆変換部１０４は、輝度信号成分ＹについてステップＳ４５０で求めた除算結果について高速逆フーリエ変換を実行して輝度信号成分Ｙについての原画像Ｙreal(x,y)を復元する（Ｓ４６０）。具体的には、式（５）に従って、ＩＦＦＴ［ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（緑成分）］により緑色原画像Ｙreal(x,y)を取得する。
【０２１９】
ＭＴＦ逆変換部１０４は、ステップＳ４６０で輝度信号成分Ｙについて復元した原画像Ｙreal(x,y)と、それぞれ未処理の変換ＸデータＸcam(x,y)および変換ＺデータＺcam(x,y)を、ＲＧＢ色空間の原画像に戻す、つまりＲＧＢ色空間の画像データに変換する（Ｓ４７０）。これにより、赤色原画像Ｒreal(x,y)、緑色原画像Ｇreal(x,y)、青色原画像Ｂreal(x,y)が復元される。
【０２２０】
ＭＴＦ逆変換部１０４は、ステップＳ４７０でＲ，Ｇ，Ｂの色別に復元した赤色原画像Ｒreal(x,y)、緑色原画像Ｇreal(x,y)、青色原画像Ｂreal(x,y)に基づいて、カラーの復元画像を取得する（Ｓ４８０）。ステップＳ４７０の色変換処理を割愛して直接に、カラーの復元画像を取得するようにしてもよい。
【０２２１】
第５例の回折補正処理は、色変換処理を伴うので処理負荷は掛かるが、色変換後の各信号成分の少なくとも１つ（ただし全てでない）についてＭＴＦ逆変換処理を施すので全信号成分について処理する場合に比べて処理負荷が軽減される。したがって、全信号成分について処理する場合に比べて補正効果は劣るが、全体としての処理負荷は軽減される方向にあり、回折補正処理の高速化が図れる。
【０２２２】
第５例において、輝度信号成分に着目するとともに、輝度信号成分との相関が相対的に強い緑色画像情報を参照して輝度信号成分のみ回折補正処理を施すようにすれば、全信号成分について処理する場合に比べても遜色のない補正効果が得られることが確認された。補正効果と処理負荷の両面からバランスのよい回折補正処理となる。
【０２２３】
第５例は、ＭＴＦに関してはＭＴＦ（Ｇ成分）を特定して、ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（緑成分）について高速逆フーリエ変換を実行するので、輝度信号成分に着目するという点では第４例より忠実性が劣るが、ＭＴＦ（Ｙ成分）を求めずにＭＴＦ（緑成分）で代用するため処理負荷は第４例よりも軽くなる。たとえば、３つ（たとえばＲ，Ｇ，Ｂ）の色成分の信号で画像を表わす場合に、第５例の補正処理とすることで、補正速度は、３倍にはならないものの、２．８倍程度（第４例に対して０．３の改善がある）になる。
【０２２４】
［第１例〜第５例の纏め］
以上の説明から理解されるように、本実施形態の回折補正処理では、たとえば第１例〜第５例に挙げたものなど種々の手順が考えられるが、それらは処理速度と補正精度の各面で優劣がある。したがって、何れの手法を採用するかを、利用者が適宜選択できるようにするのがよい。
【０２２５】
＜光透過部の変形例＞
図３１〜図３３は、光透過領域１２の光透過部３０の変形例を示す図である。ここで、図３１〜図３２（１）は第１変形例を示し、図３２（２）は第２変形例を示し、図３３は第３変形例を示す。図３１〜図３２（１）においては、図面の簡素化のため、全ての光透過部３０において、１つのある光透過部３０に隣接する４つの光透過部３０のそれぞれが、このある光透過部３０の大きさと異なっているようには図示していない。
【０２２６】
［第１変形例］
光透過部３０が微小な場合、光透過部３０において回折現象が生じる結果、撮像装置２０に結像する像にボケが生じ、また鮮明さに欠ける場合がある。そこで、第１変形例や第２変形例では、光透過部そのものについて、たとえば大きさ、形状、分布（配置ピッチや配置位置関係など）などに関して、予め回折現象が生じることを抑制するように工夫しておく。第１変形例（後述の第２変形例も）は、このような観点に基づくものである。
【０２２７】
図３１〜図３２（１）に示す第１変形例では、光透過領域１２の光透過部３０の状態をランダムにする、具体的には、光透過部３０の大きさ、形状、分布の少なくとも１つをランダムとする。
【０２２８】
複数の光透過部３０の大きさをランダムとする場合、着目する１つの光透過部３０Ａに対して水平方向や垂直方向に隣接する少なくとも２つの光透過部３０のそれぞれの大きさを、光透過部３０Ａの大きさと異ならせることが望ましい。つまり、光透過部３０Ａの水平方向および／または垂直方向に配置された２つの光透過部３０、より好ましくは、光透過部３０Ａに隣接する３つの光透過部３０、より一層好ましくは、光透過部３０Ａに隣接する４つの光透過部３０の大きさを、光透過部３０Ａの大きさと異ならせるとよい。
【０２２９】
図３１に示す例は、一例として光透過領域１２に６×３＝１８箇所の光透過部３０を設け、着目する１つの光透過部３０を光透過部３０Ａとし、光透過部３０Ａに対して水平方向に隣接する２つの光透過部３０を光透過部３０Ｂと光透過部３０Ｃとし、垂直方向に隣接する２つの光透過部３０を光透過部３０Ｄと光透過部３０Ｅとしている。光透過部３０Ｂに対して水平方向に隣接する光透過部３０Ａ以外のものを光透過部３０ｆとし、垂直方向に隣接する２つの光透過部３０を光透過部３０ｇと光透過部３０ｈとしている。
【０２３０】
図３１（１）に模式的に示すように、１８箇所の光透過部３０の全てにおいて、１つのある光透過部３０に隣接する他の４つの光透過部３０のそれぞれが、このある光透過部３０の大きさと異なる構成とした。図３１（１）において、光透過部３０Ａに着目すると、光透過部３０Ａの水平方向に隣接して配置された２つの光透過部３０Ｂ，３０Ｃ、および、垂直方向に隣接して配置された２つの光透過部３０Ｄ，３０Ｅのそれぞれは、光透過部３０Ａと大きさが異なっている。また、光透過部３０Ｂに着目すると、光透過部３０Ｂの水平方向に隣接して配置された２つの光透過部３０Ａ，３０ｆ、および、垂直方向に隣接して配置された２つの光透過部３０ｇ，３０ｈのそれぞれは、光透過部３０Ｂと大きさが異なっている。これによって、光透過領域１２において回折現象が発生することを回避することができた。
【０２３１】
複数の光透過部３０の形状をランダムとする場合、着目する１つの光透過部３０Ａに対して水平方向や垂直方向に隣接する少なくとも２つの光透過部３０のそれぞれの形状を、この１つの光透過部３０Ａの形状と異ならせることが望ましい。つまり、光透過部３０Ａの水平方向および／または垂直方向に配置された２つの光透過部３０、より好ましくは、光透過部３０Ａに隣接する３つの光透過部３０、より一層好ましくは、光透過部３０Ａに隣接する４つの光透過部３０の形状を、光透過部３０Ａの形状と異ならせるとよい。
【０２３２】
たとえば、図３１（２）に模式的に示すように、１８箇所の光透過部３０の全てにおいて、１つのある光透過部３０に隣接する他の４つの光透過部３０のそれぞれが、このある光透過部３０の形状と異なる構成とした。図３１（２）において、光透過部３０Ａに着目すると、光透過部３０Ａの水平方向に隣接して配置された２つの光透過部３０Ｂ，３０Ｃ、および、垂直方向に隣接して配置された２つの光透過部３０Ｄ，３０Ｅのそれぞれは、光透過部３０Ａと形状が異なっている。また、光透過部３０Ｂに着目すると、光透過部３０Ｂの水平方向に隣接して配置された２つの光透過部３０Ａ，３０ｆ、および、垂直方向に隣接して配置された２つの光透過部３０ｇ，３０ｈのそれぞれは、光透過部３０Ｂと形状が異なっている。これによっても、光透過部３０において回折現象が発生することを回避することができた。
【０２３３】
複数の光透過部３０の分布をランダムとする場合、着目する１つの光透過部３０Ａに対して水平方向や垂直方向に隣接する少なくとも２つの光透過部３０との配置位置関係が、この光透過部３０Ａに対し水平方向および／または垂直方向に隣接する光透過部３０についての光透過部３０Ａと同様の関係における配置位置関係と異ならせることが望ましい。換言すると、着目する一の配列ピッチに対して水平方向および／または垂直方向に隣接する少なくとも２つの配列ピッチのそれぞれは、この一の配列ピッチと異なる形態である。つまり、水平方向に着目する配列ピッチＰＨＡの水平方向に配置された２つの配列ピッチＰを配列ピッチＰＨＡと異ならせるとよいし、垂直方向に着目する配列ピッチＰＶＡの垂直方向に配置された２つの配列ピッチＰを配列ピッチＰＶＡと異ならせるとよい。
【０２３４】
図３２（１）に示す例は、一例として光透過領域１２には５×５＝２５箇所の光透過部３０を設け、水平方向における着目する光透過部３０Ａとの１つの配列ピッチＰを配列ピッチＰＨＡとし、配列ピッチＰＨＡに対して水平方向に隣接する２つの配列ピッチＰを配列ピッチＰＨＢと配列ピッチＰＨＣとしている。また、配列ピッチＰＨＢに対して水平方向に隣接する配列ピッチＰＨＡ以外のものを配列ピッチＰＨｆとしている。さらに、垂直方向における着目する光透過部３０Ａとの１つの配列ピッチＰを配列ピッチＰＶＡとし、配列ピッチＰＶＡに対して垂直方向に隣接する２つの配列ピッチＰを配列ピッチＰＶＢと配列ピッチＰＶＣとしている。また、配列ピッチＰＶＢに対して垂直方向に隣接する２つの配列ピッチＰを配列ピッチＰＶｇと配列ピッチＰＶｈとしている。
【０２３５】
図３２（１）に模式的に示すように、２５箇所の光透過部３０の全てにおいて、水平方向における１つのある配列ピッチＰに隣接する他の２つの配列ピッチＰＨのそれぞれがこのある配列ピッチＰと異なり、かつ垂直方向における１つのある配列ピッチＰに隣接する他の２つの配列ピッチＰＶのそれぞれがこのある配列ピッチＰと異なる構成とした。図３２（１）において、光透過部３０Ａに着目すると、配列ピッチＰＨＡの水平方向に隣接して配置された２つの配列ピッチＰＨＢ，ＰＨＣのそれぞれは、配列ピッチＰＨＡと異なっているし、配列ピッチＰＶＡの垂直方向に隣接して配置された２つの配列ピッチＰＶＢ，ＰＶＣのそれぞれは、配列ピッチＰＶＡと異なっている。また、光透過部３０Ｂに着目すると、配列ピッチＰＨＢの水平方向に隣接して配置された２つの配列ピッチＰＨＡ，ＰＨｆのそれぞれは、配列ピッチＰＶＢと異なっているし、配列ピッチＰＶｂの垂直方向に隣接して配置された２つの配列ピッチＰＶａ，ＰＶｃのそれぞれは、配列ピッチＰＶｂと異なっている。これによっても、光透過領域１２において回折現象が発生することを回避することができた。
【０２３６】
光透過部３０を構成する開口部６５Ａを、このような構成、構造が得られるように加工すればよい。ここで、光透過部３０の大きさの最小値や最小形状は、光透過部３０を設けるためのフォトリソグラフィ技術やエッチング技術における最小加工寸法（たとえば、Ｆ：０．５μｍ）に依存する。したがって、光透過部３０の大きさは、面積Ｆ2の矩形形状（あるいは面積Ｆ2の矩形形状からフォトリソグラフィ技術上導かれる形状）を１ユニットとしたこのユニットの集合体によって規定されるし、光透過部３０の形状も、このユニットの集合体によって規定される。
【０２３７】
第１変形例における光透過部の構成、構造は、第１〜第２実施形態における光透過部３０に適用することができる。
【０２３８】
［第２変形例］
第２変形例では、光透過部を二重環状構造（二重中抜き構造）とした。具体的には、画像表示装置１における画像表示部１０を構成する複数の画素の配置を図３２（２）に模式的に示すが、光透過部３０は、第１光透過部３０Ａおよび第２光透過部３０Ｂから構成され、第１光透過部３０Ａを取り囲むように第２光透過部３０Ｂが配置されている。図３２（２）では、第１光透過部３０Ａおよび第２光透過部３０Ｂの明確化のために、第１光透過部３０Ａおよび第２光透過部３０Ｂに斜線を付した。第１光透過部３０Ａおよび第２光透過部３０Ｂの大きさ、形状、配置状態、第１光透過部３０Ａと第２光透過部３０Ｂとの位置関係の最適化を図ることで、回折現象が生じることを確実に抑制できた。
【０２３９】
第２変形例における光透過部の構成、構造は、第１〜第２実施形態における光透過部３０に適用することができる。さらには、第１変形例と第２変形例を組み合わせてもよい。
【０２４０】
［第３変形例］
第３変形例は、光透過部３０を井桁状や「Ｌ」字の形状にしたものである。すなわち、図３３（１），（２）に画像表示部１０を構成する複数の画素１１（１１Ｒ，１１Ｇ，１１Ｂ）の配置を模式的に示すように、第３変形例の撮像装置付き画像表示装置は、表示素子を含む画素１１を複数配置してなる画像表示部１０、画像表示部１０に設けられた光透過領域１２（光透過部３０）、画像表示部１０の背面側に配置された撮像装置２０、並びに、光透過部３０を通過した光を撮像装置２０に集光する集光部２１を有する。
【０２４１】
たとえば、図３３（１）に示す例にあっては、光透過部３０は、画素１１の全ての周囲に設けられており、井桁状の形状を有する。すなわち、光透過部３０が画素の境界に相当する辺の全てに設けられており、かつ隣接する画素１１の間に共通して設けられている。また、図３３（２）に示す例にあっては、光透過部３０は、画素１１の周囲の一部に設けられており、「Ｌ」字形状を有する。すなわち、光透過部３０が画素１１の境界に相当する辺の内の連続する２辺に設けられている。
【０２４２】
第３変形例では、光透過部３０は、少なくとも１つ以上の画素１１の周囲に設けられているが、具体的には、６×３＝１８個の画素１１の周囲に設けられている。
【０２４３】
以上の点を除き、撮像装置付き画像表示装置は、第１〜第２実施形態の画像表示装置１と同様の構成、構造とすることができるので、詳細な説明は省略する。
【０２４４】
第３変形例では、少なくとも１つ以上の画素１１の周囲に設けられた光透過部３０を通過した光が撮像装置２０に集光される。したがって、正確に像を撮像装置２０に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置２０に十分な光量の光を集光させることができる。
【０２４５】
＜電子機器のモニタ装置の代替＞
図３４は、本実施形態の画像表示装置１が適用される電子機器の一例を示す図である。画像表示装置１Ａや画像表示装置１Ｂは、たとえばパーソナルコンピュータを構成するモニタ装置の代替に限らず、各種の電子機器のモニタ装置の代替として使用することができる。たとえば、ノート型パーソナルコンピュータ（図３４（１）参照）に組み込まれたモニタ装置の代替として使用することができる。携帯電話（図３４（２）参照）や、図示しないが、ＰＤＡ（携帯情報端末，Personal Digital Assistant）、ゲーム機器に組み込まれたモニタ装置、従来のテレビジョン受像機などの代替として使用することができる。何れも、画像表示部１０には、図示しない光透過部３０が形成されている光透過領域１２が設けられ、表示面側と反対側の裏面には撮像装置２０が設けられる。
【０２４６】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は前記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０２４７】
また、前記の実施形態は、クレーム（請求項）に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０２４８】
さらには、前記の実施形態で説明した画像表示装置１や画像表示システム２は、さらなる変形を加えることができ、さらなる発明を抽出することもできる。以下に、幾つかの変形例を挙げる。なお、何れも第１実施形態に対する変形例で示すが、これには限らず他の実施形態にも適用できる。
【０２４９】
［第１変形例：位置検出］
図３５〜図３６に示す第１変形例は、撮像装置２０を介して取得された画像情報に基づき被写体の位置情報を求める位置検出部７１Ｃを備えるようにしたものである。位置検出部７１Ｃは画像表示装置１Ｃに設けてもよいし周辺機器７０Ｃに設けてもよい。
【０２５０】
先に説明した回折補正部１００を備えた構成による作用効果も享受できるので、光透過部３０による回折現象によるボケの影響を抑制でき、被写体の位置情報を精度よく取得できる。被写体として、たとえば、画像表示部１０を観察する観察者（使用者）の手や指、眼球、使用者が手に持っている棒状の物体などを挙げることができる。
【０２５１】
位置検出部７１Ｃによって被写体（たとえば、手や指、眼球、棒状の物体（たとえば、ペンや鉛筆など））の位置情報を時系列に連続して求めれば、被写体の動きを求めることができる。このため、被写体の動きに対応した各種の処理（たとえば、パーソナルコンピュータのモニタ装置における画像の上下、左右への移動、画面を閉じる処理、別の画面を開く処理など）を行なうことができる。被写体の動きと各種の処理との関係を位置検出部７１Ｃに登録しておけばよい。
【０２５２】
場合によっては、被写体の位置情報から被写体の形状（たとえば、身体や手の形で表現される形状や、指の組合せで表現される形状、仕草など）を位置検出部７１Ｃによって周知のアルゴリズムやソフトウェアに基づいて求めることで、被写体の形状に対応した各種の処理を行なうこともできる。また、位置検出部７１Ｃによって被写体の向いている方向を求めれば、被写体の向いている方向に対応した各種の処理を行なうことができる。
【０２５３】
［第２変形例：３次元画像表示＋位置検出］
図３７〜図３８に示す第２変形例は、画像表示部１０の裏面側に複数（典型的には２つ）の撮像装置２０を配置し、撮像装置２０のそれぞれからの画像情報に基づき画像表示部１０から使用者までの距離を位置検出部７１Ｄが求めるようにしたものである。位置検出部７１Ｄは画像表示装置１Ｄに設けてもよいし周辺機器７０Ｄに設けてもよい。
【０２５４】
先に説明した回折補正部１００を備えた構成による作用効果も享受できるので、光透過部３０_1，３０_2による回折現象によるボケの影響を抑制でき、観察者の位置情報を精度よく取得できる。
【０２５５】
観察者の位置情報を、観察者の両眼の位置データとすることができるし、画像表示部１０から観察者までの距離データとすることもできる。また、観察者の位置情報を、複数の撮像装置２０_1，２０_2を介して撮像された画像データの観察者の両眼に基づき求めることができる。観察者の位置情報を画像表示部１０に表示する構成とすることができ、これによって、観察者が３次元画像を容易に観察できるように、最適な３次元画像観察位置を観察者に明確に指示し、あるいは最適な３次元画像観察位置に観察者を誘導することができる。あるいは、画像表示部１０に表示する画像を観察者の位置情報に基づいて最適化する構成とすることができる。
【０２５６】
［第３変形例：ＴＶ会議システム］
図３９〜図５０に示す第３変形例は、前記実施形態の仕組みをいわゆるテレビジョン電話会議システム（テレビ電話装置）に適用したものである。第３変形例は、撮像装置２０を介して取得された画像情報を送出する情報送出部８０と、外部から入力された画像情報に基づく画像を画像表示部１０に表示する表示制御部８２をさらに備えている。撮像装置２０を介して取得された画像情報を情報送出部８０によって外部に送出し、外部から入力された画像情報に基づく画像を表示制御部８２によって画像表示部１０に表示する。
【０２５７】
情報送出部８０と表示制御部８２は画像表示装置１Ｅに設けてもよいし周辺機器７０Ｅに設けてもよい。図３９では、便宜的に、情報送出部８０と表示制御部８２を画像表示装置１Ｆ（の本体）の台座部分に示している。同様の図示の手法は後述する他の変形例も適用する。
【０２５８】
第３変形例によれば、撮像装置２０が画像表示部１０の背面側に配置されているので、画像表示部１０の正面に位置する使用者の顔を撮像することができ、画像表示部１０に映し出される相手側の使用者の顔が自分の方を向いているため、従来のＴＶ電話システムにあった互いの視線が合わないといった違和感を与えることがない。先に説明した回折補正部１００を備えた構成による作用効果も享受できるので、光透過部３０による回折現象によるボケの影響が抑制された状態の使用者の顔などの画像が相手方の画像表示部１０に映し出される。
【０２５９】
［第４変形例：デジタルミラー］
図５１〜図５２に示す第４変形例は、前記実施形態の画像表示装置１をいわゆるデジタルミラーとして機能させるものである。
【０２６０】
第４変形例は、撮像装置２０を介して取得された画像情報を記憶する画像情報記憶部８６と、撮像装置２０を介して取得された（取得されている状態も含み得る）画像情報および画像情報記憶部８６に記憶された画像情報に基づく画像を画像表示部１０に表示する表示制御部８８をさらに備えている。画像情報記憶部８６と表示制御部８８は、画像表示装置１Ｆに設けてもよいし周辺機器７０Ｆに設けてもよい。
【０２６１】
第４変形例によれば、画像表示部１０において、過去と現在の使用者の比較結果を、別々のウインドウに表示することができる。先に説明した回折補正部１００を備えた構成による作用効果も享受できるので、光透過部３０による回折現象によるボケの影響が抑制された状態の使用者の顔などの画像が画像表示部１０に映し出される。
【符号の説明】
【０２６２】
１…画像表示装置、２…画像表示システム、１０…画像表示部、１００…回折補正部、１０２…ＭＴＦ形状記憶部、１０４…ＭＴＦ逆変換部、１１…画素、１１０…波長分布測定部、１２…光透過領域、２０…撮像装置、２０ａ…撮像部、２１…集光部、３０…光透過部、７０…周辺機器、９０…制御部
【技術分野】
【０００１】
本発明は、画像表示装置、電子機器、画像表示システム、画像取得方法、プログラムに関する。より詳細には、画像表示部の背面側に撮像装置を配置して表示面側の被写体を撮像する仕組みに関する。
【背景技術】
【０００２】
画像表示装置と撮像装置を組み合わせることで、画像表示装置に画像表示以外の機能を付加する試みが盛んに行なわれている（たとえば特許文献１，２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１７６１５１号公報
【特許文献２】特開２００５−０１０４０７号公報
【０００４】
特許文献１に開示されている技術では、画像表示装置の画像表示部を構成する画素の間に微小レンズを有する開口部を複数設け、これら複数の開口部を通過した光を複数のカメラで撮像する。ここで、画像表示装置を見る使用者の顔を複数の異なる角度から撮像し、得られた複数の画像を処理して使用者を正面から捉えた像を生成する。
【０００５】
特許文献２に開示されている技術では、たとえば、その図１５、図１６に示されているように、複数の画素内に設けられた１つ光透過部を通過した光に基づき撮像装置において撮像する。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている技術では、光透過部が微小な場合、光透過部において回折現象が生じる結果、撮像装置に結像する像にボケが生じ、その影響で撮像画像は鮮明さに欠ける場合がある。
【０００７】
また、特許文献１に開示された技術にあっては、微小レンズを開口部に設ける必要があり、しかも、正確に像を撮像装置に結ぶためには高精度の微小レンズが必要とされるため、画像表示装置の製造コストの増加を招く。しかも、使用者の正面の顔を撮像しているわけではなく、異なる角度から撮像した複数の画像から正面の画像を作り出すため、実写ではなく、いわゆるＣＧ（コンピュータグラフィックス）画像を相手側に提供するため、実際には違和感が大きい。
【０００８】
特許文献２に開示されている技術も、特許文献１に開示されている技術と同様に、光透過部が微小な場合、光透過部において回折現象が生じる結果、撮像装置に結像する像にボケが生じ、その影響で撮像画像は鮮明さに欠ける場合がある。加えて、複数の画素内に設けられた１つ光透過部を通過した光に基づき撮像装置において撮像するので、撮像装置に十分な光量の光を集光させることが困難である。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、表示部の微小な光透過部を通して裏面に配置した撮像装置で表示面側の被写体を撮像するときに、光透過部で回折現象が生じることにより画像に現われる影響を抑制できる仕組みを提供することを主の目的とする。
【００１０】
また、本発明は、好ましくは、低コストで製造することができ、画像表示部に正対する使用者の画像を容易に取得し得る仕組みを提供することを目的とする。
【００１１】
また、本発明は、好ましくは、撮像装置に十分な光量の光を集光させることができる仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一態様は、表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部（あるいは撮像装置：以下この項において同様）が配置可能になっているとともに、撮像部と対応する領域に複数の光透過部が設けられている画像表示部と、複数の光透過部を通して撮像部により取得された画像情報に対して、光透過部による回折効果によって画像情報に現われる影響を抑制する回折補正処理を行なう回折補正部と、を備えるものとした。光透過部において回折現象が生じることにより画像に与える影響を信号処理の側面からの対処により抑制するものである。
【００１３】
ここで、回折補正部は、画像を構成する信号成分の一部のみを回折補正処理の対象とすることで、全信号成分を対象として処理する場合よりも処理の高速化を図る。「信号成分の一部」を如何様に決めるかは種々の態様を採り得るが、本発明では、先ず、撮像部により取得された画像情報から抽出した特定領域の画像情報のみを対象とする手法を採り、処理対象面積を削減することで、処理の高速化を図る。この際には、予め定められている特定の対象物（人物、人物の顔、人物の顔の特注部位など）の領域を特定領域として処理することで、感覚的な補正効果を劣化させずに、処理の高速化を図るとよい。
【００１４】
さらに好ましくは、撮像部により取得された画像情報を表す複数の信号の内の少なくとも１つ（ただし全てではない）について回折補正処理を行なうとよい。この際には、輝度情報との相関が強い信号成分（典型的には緑色成分）のみや、輝度情報のみについて回折補正処理を行なうことで、補正効果の低減を回避しつつ補正処理の高速化を図るとよい。
【００１５】
好ましくは、外光の波長分布を測定する波長分布測定部をさらに設け、波長分布測定部により測定された外光の波長分布を参照して回折補正処理を行なうようにするとよい。
【００１６】
好ましくは、光透過部そのものの側面から回折現象を抑制するようにするとよい。たとえば、撮像部と対応する光透過領域における光透過部の配置状態（光透過部の大きさ、形状、分布（配置ピッチ）など）を不均一にするのとよい。あるいは、光透過部を第１光透過部および第２光透過部で構成し、第１光透過部を取り囲むように第２光透過部を配置してもよい。
【００１７】
さらに好ましくは、光透過部を通過した光を撮像部に集光する集光部を画像表示部と撮像部との間に配置することで、光透過部を通過した光が撮像部に確実に集光するようにするとよい。
【発明の効果】
【００１８】
本発明の一態様によれば、画像表示部の背面側に撮像部（あるいは撮像装置：以下この項において同様）を配置し、光透過部を通して表示面側の被写体を撮像するので、ディスプレイに正対している使用者の画像を容易に取得できる。
【００１９】
この際に、光透過部において回折現象が生じることにより画像に与える影響を信号処理の側面からの対処により抑制できる。このとき、画像の全領域ではなく特定領域の画像情報のみを処理対象とすることで、全信号成分を対象として処理する場合よりも処理時間を短縮できる。
【００２０】
また、好ましくは、画像を構成する複数の信号成分の一部のみを回折補正処理の対象とすれば、全信号成分を対象として処理する場合よりも処理時間を短縮できる。この際に、輝度信号成分や輝度との相関が強い信号成分（たとえば緑色成分）のみを回折補正処理の対象とすれば、処理時間を短縮できることに加えて、全信号成分を対象として処理する場合と遜色のない（同等の）精度で補正処理ができる。
【００２１】
さらに好ましくは、光透過領域に配置する光透過部そのものの側面からの対処も行なうようにすれば、光透過部において回折現象が生じることを予め抑制しておくことができる。その結果、回折現象が生じることにより画像に与える影響をより確実に抑制できる。
【００２２】
好ましくは、画像表示部と撮像部との間に集光部を配置するようにすれば、光透過部を通過した光が撮像部に確実に集光されるので撮像部に十分な光量の光を集光させることができる。正確に像を撮像部の撮像面に結ぶために高精度の微小レンズを必要とせず、画像表示装置の製造コストの増加を招くことがなく、低コストで製造することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、第１実施形態の画像表示装置および画像表示システムの概念図である。
【図２】図２は、画像表示部を構成する複数の画素の最も典型的な配置の模式図である。
【図３】図３は、撮像装置の配置位置と表示される画像との関係を説明する概念図である。
【図４】図４は、画像表示装置による撮像イメージを表す図である。
【図５】図５は、画像表示部の詳細を説明する図である。
【図６】図６は、回折現象による撮像画像への影響を説明する模式図である。
【図７】図７は、撮像装置の手前にガラス板を配置して撮像した画像例を示す図である。
【図８】図８は、第１実施形態の画像表示装置のブロック図である。
【図９】図９は、第１実施形態の画像表示システムのブロック図である。
【図１０】図１０は、光透過部（開口部）から回折光強度とＭＴＦを求める概念図である。
【図１１】図１１は、光透過部の形状の一例を模式的に示す図（その１）である。
【図１２】図１２は、光透過部の形状の一例を模式的に示す図（その２）である。
【図１３】図１３は、第２実施形態の画像表示装置および画像表示システムの概念図である。
【図１４】図１４は、第２実施形態の画像表示装置のブロック図である。
【図１５】図１５は、第２実施形態の画像表示システムのブロック図である。
【図１６】図１６は、回折補正処理の第１例を説明する図である。
【図１７】図１７は、回折補正処理の第２例を説明する図である。
【図１８】図１８は、回折補正処理の第３例を説明する図である。
【図１９】図１９は、回折補正処理の第４例を説明する図である。
【図２０】図２０は、回折補正処理の第５例を説明する図である。
【図２１】図２１は、光透過部の第１変形例（その１＆２）を示す図である。
【図２２】図２２は、光透過部の第１変形例（その３）と第２変形例を示す図である。
【図２３】図２３は、光透過部の第３変形例（その１＆２）を示す図である。
【図２４】図２４は、本実施形態の画像表示装置が適用される電子機器の一例を示す図である。
【図２５】図２５は、画像表示装置の第１変形例を示す図である。
【図２６】図２６は、画像表示システムの第１変形例を示す図である。
【図２７】図２７は、画像表示装置の第２変形例を示す図である。
【図２８】図２８は、画像表示システムの第２変形例を示す図である。
【図２９】図２９は、画像表示装置およびシステムの第３変形例（その１）を示す図である。
【図３０】図３０は、画像表示装置およびシステムの第３変形例（その２）を示す図である。
【図３１】図３１は、画像表示装置の第４変形例を示す図である。
【図３２】図３２は、画像表示システムの第４変形例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施形態について詳細に説明する。各機能要素について実施形態別に区別する際には、Ａ，Ｂ，…などのように大文字の英語の参照子を付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。図面においても同様である。各実施形態における種々の数値や材料は例示であり、それらに限定されるものではない。
【００２５】
説明は以下の順序で行なう。
１．基本概念（全体概要、回折補正処理、波長分布測定、光透過領域、撮像装置、画像表示部）
２．第１実施形態（全体概要、撮像装置の配置位置、画像表示部の断面構造、回折補正に対応した構成、回折現象の対策原理）
３．第２実施形態（第１実施形態＋波長分布測定処理）
４．回折補正処理（第１例：処理面積縮小の手法）
５．回折補正処理（第２例：第１例＋全信号）
６．回折補正処理（第３例：第１例＋全信号＋色変換）
７．回折補正処理（第４例：第１例＋特定の色信号→輝度情報と相関ある信号）
８．回折補正処理（第５例：第１例＋輝度情報、第１例〜第５例の纏め）
９．光透過部の変形例
第１変形例（ランダム配置）
第２変形例（二重環状構造）
第３変形例（井桁状やＬ字状など）
10．電子機器のモニタ装置の代替
11．総括（第１変形例：位置検出、第２変形例：３次元画像表示＋位置検出、第３変形例：ＴＶ会議システム、第４変形例：デジタルミラー）
【００２６】
＜基本概念＞
［全体概要］
本実施形態の撮像装置付き画像表示装置（以下単に「画像表示装置」と記す）にあっては、画像表示部の背面に撮像装置（あるいは撮像部：以下同様）を配置し、画像表示部の撮像装置と対応する光透過領域部分に、微小な光透過部を複数設ける。そして、各光透過部を通して表示面側の被写体を撮像する。
【００２７】
光透過部を通過した光が撮像装置に集光される。画像表示部の背面側に撮像装置が配置されているので、ディスプレイに正対している使用者の顔、目、動作などを撮像装置によって正確に撮像することができる。画像表示部（表示装置の表示パネル）に裏面まで光が到達するような光透過部を設けて、対応する位置に撮像装置を設置することにより、ディスプレイに正対している使用者の顔、目、動作などを撮像装置で撮像することで正確に把握することができるので、表示装置の付加価値を簡便かつ安価に高めることができる。
【００２８】
必須ではないが、画像表示部と撮像装置との間に集光部を配置することで、光透過部を通過した光が撮像装置に確実に集光されるようにする。集光部を配置することで、正確に像を撮像装置に結ぶために高精度の微小レンズを必要とせず、画像表示装置の製造コストの増加を招くことがないし、撮像装置に十分な光量の光を集光させることができる。
【００２９】
ここで、本実施形態の画像表示装置では、光透過領域を構成する光透過部の開口が小さい場合、開口を通して画像を撮像すると、いわゆる回折現象が生じる結果、撮像装置に結像する像にボケが生じる場合や鮮明さに欠ける場合がある。
【００３０】
この対策として、本実施形態では、先ず、信号処理の側面から、光透過部において生じた回折現象が撮像画像に与える影響を補正する。好ましくは、光透過部そのものの側面（たとえば形状、大きさ、分布など）から、回折現象が生じることを抑制する。
【００３１】
［回折補正処理］
信号処理の側面から、光透過部において生じた回折現象による影響を補正するべく、本実施形態の画像表示装置および画像表示システムは、回折補正部を備えた構成とする。なお、このような構成のものを「第１実施形態の構成」と称する。
【００３２】
回折補正部は、撮像装置を介して取得された撮像画像情報やその他の画像データに対して、光透過領域を構成する光透過部において生じる回折の補正を施す。因みに「その他の画像データ」は、たとえば、撮像装置によって使用者などを撮像して得られた画像表示部に表示すべき画像データである。以下では、撮像画像情報と「その他の画像データ」を纏めて、単に「画像データ」と称することもある。
【００３３】
たとえば、光透過部（の開口）の一部または全部を、画像表示部の第１の方向および第２の方向に沿って周期的に設ける。このとき、第１の方向に沿った光透過部の長さをＬtr-1、第１の方向に沿った画素のピッチをＰpx-1としたとき、第１の方向の線開口率Ｌtr-1／Ｐpx-1は、「Ｌtr-1／Ｐpx-1≧０．５」を満足するようにするのがよく、さらに好ましくは、「Ｌtr-1／Ｐpx-1≧０．８」を満足するようにするのがよい。線開口率Ｌtr-1／Ｐpx-1の上限値には、光透過部が形成できる限りにおいて、特段の制約はない。ここで、第１の方向に沿った光透過部の長さＬtr-1は、第１の方向に光透過部を射影したときの、その形状に対応する線分の１周期当たりの長さを意味し、第１の方向に沿った画素のピッチＰpx-1は、第１の方向に沿った画素の１周期当たりの長さを意味する。
【００３４】
また、第２の方向に沿った光透過部の長さをＬtr-2、第２の方向に沿った画素のピッチをＰpx-2としたとき、第２の方向の線開口率Ｌtr-2／Ｐpx-2は、「Ｌtr-2／Ｐpx-2≧０．５」を満足するようにするのがよく、さらに好ましくは、「Ｌtr-2／Ｐpx-2≧０．８」を満足するようにするのがよい。線開口率Ｌtr-2／Ｐpx-2の上限値には、光透過部が形成できる限りにおいて、特段の制約はない。ここで、第２の方向に沿った光透過部の長さＬtr-2は、第２の方向に光透過部を射影したときの、その形状に対応する線分の１周期当たりの長さを意味し、第２の方向に沿った画素のピッチＰpx-2は、第２の方向に沿った画素の１周期当たりの長さを意味する。
【００３５】
第１の方向と第２の方向とは、直交している場合もあるし、場合によっては、９０度以外の角度で交わっている場合もある。後者の場合、光透過部の一部または全部は、画像表示部の第１の方向および第２の方向だけでなく、第３の方向、第４の方向、…に沿って周期的に設けられている場合もあり、このような場合には、各方向の内の少なくとも２方向に沿った光透過部の長さと、これらの少なくとも２方向に沿った画素のピッチとが、前記の関係（具体的には０．５倍以上、より好ましくは０．８倍以上）を満足していることが好ましい。
【００３６】
回折補正部における回折補正処理としては、撮像装置で取得された画像の鮮鋭度（解像度）を評価するレスポンス関数（空間周波数特性を示すもの）を用いて、その振幅（絶対値）であるＭＴＦ（modulation transfer function）を指標値とする処理にするとよい。公知のようにレスポンス関数は点像または線像強度分布をフーリエ変換して求められるものである。光透過部を通して撮像装置で撮像することにより画像に現れる解像度低下の影響（画像のボケの程度）は光透過部（微小開口部）の配置パターンと対応している。たとえば、ＭＴＦにおける高周波成分の大小により解像度低下の影響（画像のボケの程度）を評価できる。
【００３７】
したがって、光透過部の配置パターンを参照して撮像画像に対して逆フーリエ変換を施せば、光透過部を通して撮像装置で撮像することにより画像に現れる解像度低下の影響が排除された画像を復元できる。つまり、撮像装置により取得された画像情報をフーリエ変換し、フーリエ変換した情報を、光透過部の配置状態と対応したレスポンス関数（ここではＭＴＦ）を用いて、逆フーリエ変換することで、回折補正処理を行なうとよい。
【００３８】
たとえば、光透過部の配置パターン（形状、大きさ、分布など）に基づき算出されるＭＴＦ逆変換処理（画像復元処理）を画像情報に対して施すことが好ましい。ＭＴＦ逆変換処理では、撮像画像の信号成分についてＭＴＦ形状データを用いてＭＴＦ逆変換処理を行なう。この際には、回折補正部に記憶部を設けて、光透過部の形状、大きさ、分布などの配置パターンを表すＭＴＦ形状データを予め記憶部に記憶しておくとよい。レスポンス関数の特定は、画像（を表す信号）をフーリエ解析するフーリエ変換法を適用すればよい。
【００３９】
ここで示した回折補正処理の手法は、光透過部を通して撮像装置で撮像することにより画像に現れる解像度低下の影響（画像のボケの程度）を補正する手法の一例に過ぎず、その他の公知の手法を適用してもよい。
【００４０】
回折補正部は、たとえば、入出力部を有するＣＰＵとメモリから構成された回路として画像表示装置や画像表示装置を搭載した電子機器に設けることが考えられる。また、画像表示装置と撮像装置を別体（着脱可能）に構成する場合には、画像表示装置の裏面に配置される撮像装置（電子機器の一例）に回折補正部を設けることも考えられる。また、画像表示装置にパーソナルコンピュータ（電子計算機）などの周辺機器が接続された画像表示システムにあっては周辺機器に回折補正部の機能を持たせることも考えられる。
【００４１】
ＭＴＦ逆変換処理を画像情報に対して施すに当たっては、画像情報を構成する各信号成分（たとえばＲ，Ｇ，Ｂの色画像情報）のそれぞれについて処理する方法や信号成分の一部について処理することで補正処理時間の短縮を図る方法が考えられる。
【００４２】
前者の場合は画像情報を構成する全ての信号成分についてＭＴＦ逆変換処理を施すので、処理負荷は掛かるが補正効果は後者よりも高い。一方、後者の場合は画像情報を構成する一部の信号成分についてＭＴＦ逆変換処理を施すので、補正効果は前者よりも低いが処理負荷は低減される。
【００４３】
後者の場合には、本実施形態では、先ず、撮像装置で取得された撮像画像の全領域の信号成分ではなく一部の領域の信号成分について処理する方法（「処理面積縮小の手法」と称する）を採ることで、補正処理時間の短縮を図る。つまり、処理面積の側面から一部の信号成分についてＭＴＦ逆変換処理を施す。
【００４４】
処理面積縮小の手法において、ＭＴＦ逆変換処理の対象とする画像の一部の領域を「特定領域」と称し、撮像画像の全領域から「特定領域」を除いた領域を「背景領域」と称する。撮像画像を「特定領域」と「背景領域」に分離して「特定領域」のみにＭＴＦ逆変換処理を施す。その後、回折補正済みの「特定領域」の画像（その信号成分）と回折補正処理を施していない「背景領域」の画像（その信号成分）を合成して処理を完了させる。
【００４５】
撮像画像の全領域から分離（抽出）された「特定領域」は、撮像画像全体と比べると面積は小さいので、撮像画像の全領域を対象として処理する場合と比較して計算量が少なくなり、補正処理時間は短縮されるから、処理を高速化できる。
【００４６】
「特定領域」を如何様に設定するかは種々の観点が考えられる。たとえば、撮像画像の中央部や隅など場所の側面から規定する手法（「場所重視の手法」と称する）と、使用者など予め定められている特定の（着目すべき）対象物の側面から規定する手法（「被写体重視の手法」と称する）に大別できる。後者の場合、全画面を対象として回折補正処理を行なう場合と比べて、たとえば人物像に対してのみ回折補正処理を行なうため高速処理が可能である。
【００４７】
場所重視の手法では、撮像装置により取得された画像情報から抽出するべき場所を予め決めておく、あるいは幾つかの候補場所を提示して使用者が選択できるようにしてもよい。場所重視の手法ではさらに、撮像画像から「特定領域」を抽出する際の形状（たとえば矩形や丸など）を規定することが考えられる。抽出する際の形状に関しても、予め決めておく、あるいは幾つかの候補形状を提示して使用者が選択できるようにしてもよい。
【００４８】
回折補正処理では、一例として後述のように、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）およびその逆変換（ＩＦＦＴ）を実行する。ＦＦＴ処理やＩＦＦＴ処理のし易さを考えると、「特定領域」を抽出する際の領域形状は矩形とすることが好ましく、予め「矩形」と決めておく手法だけにしてもよい。
【００４９】
被写体重視の手法では、さらに、被写体の一部の領域の側面から規定する手法（「特定部位重視の手法」と称する）を採ることが考えられる。たとえば光透過部によるボケのある画像（解像度が劣化した不鮮明な画像）から人物像を鮮明にしようとしたとき、人物の全体が鮮明でなくても、顔全体や、さらには、目、鼻、口などの顔の特徴を表わす特定部位のみを鮮明とする処理にしても違和感はない。こうすることで、処理対象となる画像の面積比がより少なくなるので、処理をより高速にできるし、実態的には補正効果は劣るものの感覚的な補正効果を劣化させずに済む。
【００５０】
被写体重視の手法（特定部位重視の手法を含む）では、全体画像から特定した被写体領域を抽出する際には、忠実にその輪郭に沿って抽出する方法を採ることもできるが、ＦＦＴ処理やＩＦＦＴ処理のし易さを考えると、被写体の部分（被写体の一部の場合を含む）を抽出する際の領域形状は、矩形とすることが好ましい。
【００５１】
被写体重視の手法（特定部位重視の手法を含む）は、画像全体から被写体や特定部位の部分を抽出（特定）する処理が必要となり、一般的には処理負荷が重くなる。これに対して、場所重視の手法は、画像全体から抽出する「特定領域」を予め決められた形状にできるので、抽出処理は簡単である。
【００５２】
被写体重視の手法（特定部位重視の手法も含む）を採る場合には、その被写体（特定部位を含む）の動きに「特定領域」を追従させることも考えられる。
【００５３】
場所重視の手法と被写体重視の手法（特定部位重視の手法も含む）を組み合わせることも考えられる。たとえば、最初は場所重視の手法を採ってたとえば撮像画像の中央部を処理対象とするが、途中からは被写体重視の手法（特定部位重視の手法）に切り替えることで、その被写体（特定部位を含む）の動きに「特定領域」を追従させることが考えられる。被写体が画面中央部からはみ出るような場合でも、着目すべき被写体（特定部位を含む）を重視した補正処理を確実に実行できる。
【００５４】
さらに好ましくは、本実施形態では、各信号成分を代表する少なくとも１つ（全てではない）について処理する方法（「特定信号重視の手法」と称する）も併用する。つまり、回折補正処理を行なう際に、任意の信号成分のみを対応する色光または輝度あるいは任意の色光の点広がり関数を用いて補正する。その後、回折補正済みの信号成分と、回折補正処理を施していない残りの信号成分とを合成して処理を完了させる。画像を表わす全ての信号成分の数よりも補正処理の対象とする信号成分の数が少ないので、全ての信号成分を回折補正処理の対象とする場合と比較して計算量が少なくなり、補正処理時間は短縮されるから、処理を高速化できる。
【００５５】
特定信号重視の手法の場合、たとえば各色（たとえばＲ，Ｇ，Ｂ）の何れか一色に着目した処理にすることが考えられるが、その場合でも、特に、輝度信号成分や輝度信号成分との相関がある（相対的に強い）色画像情報に着目して処理するのが好ましい。また、処理対象の画像情報の信号成分と逆変換に用いるＭＴＦ形状データの成分は必ずしも同種のものであることは必要でなく、両者の相関が強い関係にあるものを利用できる。実質的な（見た目の）補正効果を全信号を対象とする場合と同程度に維持しながら、補正処理の高速化を図ることができる。
【００５６】
たとえば、人間の視覚特性として特に輝度（明暗）に対する感受性が強い（敏感性がある）ことや、輝度成分は画像の緑成分と相関が強いことが一般的に知られており、このような人間の輝度に対する感受性を利用したＭＴＦ逆変換処理とすることが考えられる。すなわち、撮像画像の輝度成分のみＭＴＦ逆変換処理を行なう。
【００５７】
このような人間の視覚特性に着目した方法によれば、復元処理した画像は、画像情報を構成する各信号成分全てに復元処理した画像と比較するとボケという観点では遜色ないということが確認された。さらに、各信号成分全てに復元処理を行なう場合と比べて処理時間を短縮できる。つまり、回折補正処理の高速化を実現できる。
【００５８】
輝度成分に着目した処理を行なう際には、逆変換に用いるＭＴＦ形状データは忠実に輝度成分に対応するＭＴＦ形状データを用いる手法を採ってもよいし、輝度成分と相関が強い緑色成分に対応するＭＴＦ形状データを代用する手法を採ってもよい。後者の場合、回折補正処理を行なう際に、輝度信号成分のみを緑色光の点広がり関数を用いて補正することで、補正処理時間の短縮を図ることになる。人間の視覚特性では輝度成分に大きな割合を占めるのは緑成分のため、輝度成分のＭＴＦ逆変換処理に緑色成分のＭＴＦ形状データを代用してもよいからである。撮像によって得られる緑色成分のＭＴＦ形状データを代用するので、輝度成分のＭＴＦ形状データを求める必要がなく処理負荷が軽減される。
【００５９】
本実施形態では、これらの各種の回折補正処理手法の中から、利用者が処理速度や補正精度などの観点から好みのものを選択できるようにしておく。
【００６０】
［波長分布測定］
本実施形態の画像表示装置および画像表示システムは、外光の波長分布を測定する波長分布測定部をさらに備えている構成とすることができる。このような構成のものを「第２実施形態の構成」と称する。
【００６１】
第２実施形態の構成を採用することで、回折補正処理では、光透過部の形状、大きさ、分布だけでなく、外光の波長分布も考慮することができ、ＭＴＦ逆変換処理の精度向上を図ることができ、外光（外部照明環境）に依らず、最適な画像を得ることができる。加えて、撮像装置を介して取得された画像情報の精度の向上（たとえば色情報の精度向上）を図ることもできる。
【００６２】
波長分布測定部は、たとえば、ホトセンサなどの受光装置から構成することができる。波長分布測定部の制御は、たとえば、入出力部を有するＣＰＵとメモリから構成された制御回路として画像表示装置や画像表示装置を搭載した電子機器に設けることが考えられる。また、画像表示装置にパーソナルコンピュータ（電子計算機）などの周辺機器が接続された画像表示システムにあっては、周辺機器に波長分布測定部の制御の機能を持たせることも考えられる。
【００６３】
［光透過領域］
本実施形態の画像表示装置の画像表示部に設ける光透過領域は、撮像装置が配設される部分と対応した部分に形成されていればよい。そして、光透過領域には、表示面側の被写体像を表す光が通過する微小な開口部が形成された光透過部を好ましくは複数設ける。
【００６４】
ここで、光透過領域は、光透過部が複数の画素に設けられている第１構成例とすることができる。また、光透過領域は、少なくとも１つ以上（好ましくは、少なくとも２つ以上）の画素の周囲に光透過部が設けられている第２構成例とすることもでき、この場合、光透過部は、画素の全ての周囲に設けられていてもよいし、画素の周囲の一部に（具体的には、画素の境界に相当する辺の内の連続する２辺以上に）設けられていてもよいが、後者の場合、画素の全周の１／４倍以上の長さ（連続する２辺にあっては、各一辺の長さの１／２倍以上）に亙り光透過領域が設けられていることが好ましい。
【００６５】
このような構成にあっては、複数の画素に設けられた光透過部を通過した光が撮像装置に集光され、あるいは、少なくとも１つ以上の画素の周囲に設けられた光透過部を通過した光が撮像装置に集光される。したがって、正確に像を撮像装置に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置に十分な光量の光を集光させることができる。
【００６６】
第１構成例の場合、光透過部は複数の画素に設けられているが、たとえば（限定するものではないが）、３個以上の画素に設けられていることが望ましく、光透過領域を構成する光透過部の外形形状は、本質的には任意であり、長方形や正方形といった四角形を挙げることができる。
【００６７】
第２構成例の場合、光透過領域は、少なくとも１つ以上の画素の周囲に光透過部が設けられているが、たとえば（限定するものではないが）、３個以上の画素の周囲に設けられていることが望ましく、光透過部の外形形状は、本質的には任意である。たとえば、「Ｌ」字形状（光透過部が画素の境界に相当する辺の内の連続する２辺に設けられている形態）、「コ」の字形状（光透過部が画素の境界に相当する辺の内の連続する３辺に設けられている形態）、「ロ」の字形状（光透過部が画素の境界に相当する辺の全てに設けられている形態）、井桁状の形状（光透過部が画素の境界に相当する辺の全てに設けられており、かつ隣接する画素の間に共通して設けられている形態）を例示することができる。あるいは、撮像装置に備えられたレンズの射影像が含まれる画素群の周囲に光透過部を設ける構成とすることも考えられる。
【００６８】
ここで、本実施形態の画像表示装置は、光透過領域が複数の微小な光透過部から構成されている場合、光透過部そのものについても、たとえば形状、大きさ、分布（配置ピッチや配置位置関係など）などに関して、予め回折現象が生じることを抑制するように回折現象抑制手法を施して（工夫して）おくことが好ましい。「微小な」とは、本実施形態の回折現象抑制手法を施さない場合に、複数の光透過部の開口部のサイズ（大きさ）が、それぞれの開口部を光（電磁波）が通ることにより回折効果が発生してボケの問題が発生する程度であることを意味する。
【００６９】
光透過部そのものについての第１の回折現象抑制手法は、光透過領域における複数の光透過部の配置状態を不均一（ランダム）にするものである。光透過部の大きさ、形状、分布などが均一（同じ）であることで、回折効果によるボケの問題が強く表れるので、その観点からボケが発生しないように（発生し難くなるように）する趣旨である。光透過部の大きさ、形状、分布（配置ピッチ）の最適化を図ることで、回折現象が生じることを確実に抑制することができる。
【００７０】
具体的には、複数の光透過部の大きさをランダムとする［ケースＡ］、複数の光透過部の形状をランダムとする［ケースＢ］、複数の光透過部の分布をランダムとする［ケースＣ］といった３種の形態の内、少なくとも１種の形態を採用する。つまり、［ケースＡ］、［ケースＢ］、［ケースＣ］を単独で採用してもよいし、これらを任意に組み合わせて採用してもよい。
【００７１】
［ケースＡ］の形態は具体的には、一の光透過部に対し水平方向および／または垂直方向に隣接する少なくとも２つの光透過部のそれぞれは、この一の光透過部の大きさと異なる形態である。
【００７２】
［ケースＢ］の形態は、具体的には、一の光透過部に対し水平方向および／または垂直方向に隣接する少なくとも２つの光透過部のそれぞれは、この一の光透過部の形状と異なる形態である。
【００７３】
［ケースＣ］の形態は、複数の光透過部の配置ピッチや配置位置関係により分布をランダムとする形態であり、具体的には、一の光透過部に対し水平方向および／または垂直方向に隣接する少なくとも２つの光透過部との配置位置関係が、この一の光透過部に対し水平方向および／または垂直方向に隣接する光透過部についての一の光透過部と同様の関係における配置位置関係と異なる形態である。換言すると、２つの光透過部間の配列ピッチに関して、着目する一の配列ピッチに対し水平方向および／または垂直方向に隣接する少なくとも２つの配列ピッチのそれぞれは、この一の配列ピッチと異なる形態である。
【００７４】
光透過部そのものについての第２の回折現象抑制手法としては、光透過部を二重環状構造（二重中抜き構造）とした［ケースＤ］の形態を採用する。具体的には、光透過部は、第１光透過部および第２光透過部から構成され、第１光透過部を取り囲むように第２光透過部が配置されている形態としてもよい。第１光透過部および第２光透過部の大きさ、形状、配置状態、第１光透過部と第２光透過部との位置関係の最適化を図ることで、回折現象が生じることを確実に抑制することができる。
【００７５】
［ケースＤ］は、［ケースＡ］、［ケースＢ］、［ケースＣ］の単独のものと組み合わせることもできるし、［ケースＡ］、［ケースＢ］、［ケースＣ］を任意に組み合わせた態様と組み合わせることもできる。
【００７６】
光透過領域においてこれらの回折現象抑制手法を適用することで、光透過部による回折現象が生じることを抑制することができる。信号処理の側面からの回折補正処理と組み合わせることで、回折現象によるボケや解像度の問題をより確実に抑制することができる。
【００７７】
［撮像装置］
本実施形態の画像表示装置において、撮像装置は、画像表示部の背面側に配置されていればよいが、画像表示部の中央部に配置されていることが好ましい。撮像装置は、１個であってもよいし、複数個であってもよい。撮像装置は、たとえば、ＣＣＤ素子やＣＭＯＳセンサを備えた周知、市販の固体撮像素子を用いればよい。
【００７８】
本実施形態の画像表示装置においては、画像表示部と撮像装置との間に、光透過領域の光透過部を通過した光を撮像装置に集光する集光部を設けることが好ましい。集光部としては、周知のレンズを挙げることができる。レンズとして、具体的には、両凸レンズ、平凸レンズ、メニスカス凸レンズの何れかから構成することができるし、反射鏡やフレネルレンズから構成してもよいし、これらの各種の凸レンズを組み合わせて構成することもできるし、凹レンズとこれらの各種の凸レンズとを組み合わせて構成することもできる。
【００７９】
撮像装置としては、周知、市販のビデオカメラやウェブカメラといった固体撮像装置を用いることもでき、これらの場合には、集光部と撮像装置が一体化している。
【００８０】
本実施形態の画像表示装置においては、画像表示部に入射し、光透過部を通過し、画像表示部から出射し、集光部に入射する光の光路には、カラーフィルタを配置しないことが好ましく、また、マイクロレンズなどの結像系を配置しないことが好ましい。
【００８１】
［画像表示部］
本実施形態の画像表示装置に用いる画像表示部は、画素（の表示部分）の隙間に光透過部を形成できればよく、印加される電圧や流れる電流によって輝度が変化する電気光学素子を画素の表示素子として用いたものであれば何でもよい。
【００８２】
たとえば、印加される電圧によって輝度が変化する電気光学素子としては液晶表示素子が代表例であり、流れる電流によって輝度が変化する電気光学素子としては、有機エレクトロルミネッセンス（Organic Electro Luminescence, 有機ＥＬ, Organic Light Emitting Diode, OLED；以下、有機ＥＬと記す）素子が代表例である。後者の有機ＥＬ素子を用いた有機ＥＬ表示装置は、画素の表示素子として、自発光型の発光素子（自発光素子）を用いたいわゆる自発光型の表示装置である。一方、液晶表示装置を構成する液晶表示素子は、外部からの光（前面や背面からの光、前面の場合は外光でもよい）の通過を制御するものであり、画素が発光素子を含むものではない。
【００８３】
たとえば、近年、フラットパネル表示装置（ＦＰ表示装置）として、有機ＥＬ表示装置に関心が高まっている。現在、ＦＰ表示装置として液晶表示装置（ＬＣＤ）が主流を占めているが、自発光デバイスではなく、バックライトや偏光板などの部材を必要とする。それ故、ＦＤ表示装置の厚さが増す、輝度が不足するなどの問題点がある。一方、有機ＥＬ表示装置は自発光デバイスであり、バックライトなどの部材が原理的に不要であり、薄型化、高輝度であるなど、ＬＣＤと比較して多数の利点を有する。特に、各画素にスイッチング素子を配したアクティブマトリクス型有機ＥＬ表示装置は、各画素をホールド点灯させることで消費電流を低く抑えることができ、しかも、大画面化および高精細化が比較的容易に行なえることから、各社で開発が進められており、次世代ＦＰ表示装置の主流になると期待されている。
【００８４】
自発光型の表示装置としては、有機ＥＬ表示装置の他に、プラズマ表示装置（ＰＤＰ：Plasma Display Panel）、電界放出型表示装置（ＦＥＤ：Field Emission. Display ）、表面伝導型電子放出素子表示装置（ＳＥＤ：Surface-conduction Electron-emitter Display ）などがあり、これらも本実施形態の画像表示部に適用できる。
【００８５】
ただし、本実施形態の画像表示装置としては、画像表示部の発光素子は自発光型の発光素子であることが望ましく、さらには有機ＥＬ素子からなる形態とすることがより好ましい。発光素子を有機ＥＬ素子から構成する場合、有機ＥＬ素子を構成する有機層（発光部）は有機発光材料からなる発光層を備えているが、具体的にはたとえば、正孔輸送層と発光層と電子輸送層との積層構造、正孔輸送層と電子輸送層を兼ねた発光層との積層構造、正孔注入層と正孔輸送層と発光層と電子輸送層と電子注入層との積層構造から構成することができる。
【００８６】
電子輸送層、発光層、正孔輸送層および正孔注入層を「タンデムユニット」とする場合、有機層は、第１のタンデムユニット、接続層、および、第２のタンデムユニットが積層された２段のタンデム構造も有していてもよく、さらには、３つ以上のタンデムユニットが積層された３段以上のタンデム構造も有していてもよい。これらの場合、発光色を赤色、緑色、青色と各タンデムユニットで変えることで、全体として白色を発光する有機層を得ることができる。
【００８７】
有機層の厚さの最適化を図ることで、たとえば、第１電極と第２電極との間で発光層において発光した光を共振させ、この光の一部を第２電極を介して外部に出射する構成とすることもできる。
【００８８】
本実施形態の画像表示装置において画像表示部の発光素子を有機ＥＬ素子とする場合、第１基板、第１基板上に設けられた駆動回路、駆動回路を覆う層間絶縁層、層間絶縁層上に設けられた発光部、発光部上に設けられた保護層、保護層上に設けられた遮光層、および、保護層および遮光層を覆う第２基板、を備えている形態とすることができる。
【００８９】
さらに、各画素は、駆動回路および発光部を備えており、遮光層には、開口部が設けられており、開口部、並びに、開口部の下方に位置する保護層の部分および層間絶縁層の部分によって光透過部が構成されており、第２基板と対向しない第１基板の面の側に、撮像装置が配置されている形態とすることができる。
【００９０】
ここで、画素の配列として、たとえば、ストライプ配列、ダイアゴナル配列、デルタ配列、レクタングル配列を挙げることができる。また、第１基板や第２基板として、高歪点ガラス基板、ソーダガラス（Ｎａ2Ｏ・ＣａＯ・ＳｉＯ2）基板、硼珪酸ガラス（Ｎａ2Ｏ・Ｂ2Ｏ3・ＳｉＯ2）基板、フォルステライト（２ＭｇＯ・ＳｉＯ2）基板、鉛ガラス（Ｎａ2Ｏ・ＰｂＯ・ＳｉＯ2）基板、表面に絶縁膜が形成された各種ガラス基板、石英基板、表面に絶縁膜が形成された石英基板、表面に絶縁膜が形成されたシリコン基板、ポリメチルメタクリレート（ポリメタクリル酸メチル，ＰＭＭＡ）やポリビニルアルコール（ＰＶＡ）、ポリビニルフェノール（ＰＶＰ）、ポリエーテルスルホン（ＰＥＳ）、ポリイミド、ポリカーボネート、ポリエチレンテレフタレート（ＰＥＴ）に例示される有機ポリマー（高分子材料から構成された可撓性を有するプラスチック・フィルムやプラスチック・シート、プラスチック基板といった高分子材料の形態を有する）を挙げることができる。
【００９１】
駆動回路は、たとえば、１または複数の薄膜トランジスタ（ＴＦＴ）などから構成すればよい。層間絶縁層の構成材料として、ＳｉＯ2、ＢＰＳＧ、ＰＳＧ、ＢＳＧ、ＡｓＳＧ、ＰｂＳＧ、ＳｉＯＮ、ＳＯＧ（スピンオングラス）、低融点ガラス、ガラスペーストといったＳｉＯ2系材料；ＳｉＮ系材料；ポリイミドなどの絶縁性樹脂を、単独あるいは適宜組み合わせて使用することができる。画素を有機ＥＬ素子から構成する場合、発光部は上述した通りである。保護膜を構成する材料として、発光部で発光した光に対して透明であり、緻密で、水分を透過させない材料を用いることが好ましく、具体的には、たとえば、アモルファスシリコン（α−Ｓｉ）、アモルファス炭化シリコン（α−ＳｉＣ）、アモルファス窒化シリコン（α−Ｓｉ1-xＮx）、アモルファス酸化シリコン（α−Ｓｉ1-yＯy）、アモルファスカーボン（α−Ｃ）、アモルファス酸化・窒化シリコン（α−ＳｉＯＮ）、Ａｌ2Ｏ3を挙げることができる。遮光膜（ブラックマトリクス）は周知の材料から構成すればよい。必要に応じて、カラーフィルタを設けてもよい。
【００９２】
画像表示部は、表示素子（発光素子）を含む画素ユニットを複数配置してなるが、ここで、画素ユニットの数を（Ｍ，Ｎ）で表したとき、ＶＧＡ（６４０，４８０）、Ｓ−ＶＧＡ（８００，６００）、ＸＧＡ（１０２４，７６８）、ＡＰＲＣ（１１５２，９００）、Ｓ−ＸＧＡ（１２８０，１０２４）、Ｕ−ＸＧＡ（１６００，１２００）、ＨＤ−ＴＶ（１９２０，１０８０）、Ｑ−ＸＧＡ（２０４８，１５３６）の他、（１９２０，１０３５）、（７２０，４８０）、（８５４，４８０）、（１２８０，９６０）など、画像表示用解像度の幾つかを例示することができるが、これらの値に限定するものではない。
【００９３】
カラー表示を行なう画像表示部において、１つの画素ユニットは、たとえば、赤（Ｒ）色成分を表示する赤色画素、緑（Ｇ）色成分を表示する緑色画素、および、青（Ｂ）色成分を表示する青色画素の３種の画素から構成される。あるいは、これらの３種の画素に加え、輝度向上のために白色光を表示する画素、色再現範囲を拡大するために補色を表示する画素、色再現範囲を拡大するためにイエローを表示する画素、色再現範囲を拡大するためにイエローおよびシアンを表示する画素など、４種あるいはそれ以上の画素から構成することもできる。
【００９４】
本実施形態の画像表示装置は、電子機器の一例であり、表示パネル部分の裏面側に撮像装置を配置できるようになっていればよく、撮像装置が着脱可能なものでもよいし、固定的に装着されたものでもよい。
【００９５】
画像表示装置は、たとえば、パーソナルコンピュータを構成するモニタ装置の代替として使用することができるし、ノート型パーソナルコンピュータに組み込まれたモニタ装置の代替として使用することができる。さらには、携帯電話やＰＤＡ（携帯情報端末，Personal Digital Assistant）、ゲーム機器に組み込まれたモニタ装置、従来のテレビジョン受像機の代替として使用することもできる。
【００９６】
＜第１実施形態＞
［全体概要］
図１〜図２は、第１実施形態の画像表示装置および画像表示システムの概念を説明する図である。ここで、図１（１）は画像表示装置の概念図であり、図１（２）は画像表示システムの概念図である。図１（１−１）は画像表示装置を正面から眺めた概念図であり、図１（１−２）は画像表示装置を側面から眺めた概念図である。図１（２−１）は画像表示システムを正面から眺めた概念図であり、図１（２−２）は画像表示システムを側面から眺めた概念図である。図２は、画像表示部を構成する複数の画素の最も典型的な配置を模式的に示した図である。
【００９７】
図１（１）に示すように、第１実施形態の画像表示装置１Ａは、画像表示部１０、画像表示部１０の背面側に配置された撮像装置２０、画像表示部１０に形成された光透過部３０、光透過部３０を通過した光を撮像装置２０に集光する集光部２１を有する。撮像装置２０は画像表示装置１の背面に対して着脱可能に構成してもよい。画像表示部１０の撮像装置２０と対応する部分が光透過領域１２とされる。たとえば、画像表示部１０の少なくとも撮像装置２０の有効撮像領域と対応する部分が光透過領域１２とされる。撮像装置２０の有効撮像領域よりも光透過領域１２の方が狭い場合には、撮像装置２０での実際の撮像領域が狭くなる。
【００９８】
撮像装置２０は、画像表示部１０の背面側、より具体的には、画像表示部１０の背面側の中央部に配置されており、備えられた撮像装置２０は１つである。ここで、撮像装置２０および集光部２１は、これらが一体化された、すなわちＣＣＤ素子を備えた周知、市販のビデオカメラからなる。または、画像表示部１０の背面側に配置するように最適化さ
れた集光部と撮像素子からなるカメラを用いてもよい。
【００９９】
画像表示装置１Ａは、たとえばパーソナルコンピュータを構成するモニタ装置の代替として使用される。すなわち、図１（２）に示すように、第１実施形態の画像表示システム２Ａは、画像表示装置１Ａ_2にパーソナルコンピュータ（電子計算機）の本体などの周辺機器７０Ａが接続されている。周辺機器７０Ａ（後述の他の周辺機器７０も同様）は電子機器の一例である。画像表示装置１Ａ_2は、周辺機器７０Ａのモニタ装置として機能するようになっている。画像表示装置１Ａ_2は、画像表示装置１Ａから一部の機能部を取り外したものである。その取り外した機能部は周辺機器７０Ａに組み込まれている。周辺機器７０Ａと画像表示部１０および撮像装置２０とはケーブル７２，７３で接続されている。
【０１００】
画像表示部１０の画素１１としては、自発光型の発光素子、具体的には、有機ＥＬ素子からなるものを使用する。画像表示部１０は、カラー表示のＸＧＡタイプの有機ＥＬ表示装置からなる。すなわち、画素ユニットの数を（Ｍ，Ｎ）で表したとき、（１０２４，７６８）である。
【０１０１】
図２に示すように、１つの画素ユニットは、赤色を発光する赤色発光画素１１Ｒ、緑色を発光する緑色発光画素１１Ｇ、および、青色を発光する青色発光画素１１Ｂの３つの画素から構成されている。なお、画素の外縁を点線で示している（後述する他の例でも同様である）。
【０１０２】
画像表示部１０には、表示素子を含む画素１１（１１Ｒ，１１Ｇ，１１Ｂ）が複数配置されており、画像表示部１０の光透過領域１２の複数の画素１１には光透過部３０が設けられている。この例では光透過部３０は画素１１ごとに各別のものとなっているが、このことは必須でなく、複数の画素１１に跨っていてもよい。また、この例では光透過部３０が画素１１ごとに（光透過領域１２の全ての画素１１に）設けられているが、このことは必須でなく、少なくとも光透過領域１２の複数の画素１１に光透過部３０が設けられていればよく、たとえば２画素おきなど光透過領域１２の一部の画素１１に光透過部３０が設けられていないものがあってもよい。
【０１０３】
光透過部３０は、限定するものではないが、たとえば６×３＝１８個の画素１１に設けられている。１つの画素に１つの光透過部３０が設けられている。集光部２１は、これらの６×３＝１８個の画素１１における光透過部３０を通過した光を撮像装置２０に集光する。各光透過部３０の形状は長方形である。
【０１０４】
図示しないが、画像表示部１０には、各走査線を駆動する走査信号供給ＩＣ、および、映像信号を供給する映像信号供給ＩＣが配されている。そして、走査信号供給ＩＣには走査線制御回路が、映像信号供給ＩＣには信号線制御回路が、それぞれ、接続されている。画像表示部１０に入射し、光透過部３０を通過し、画像表示部１０から出射し、集光部２１に入射する光の光路には、カラーフィルタは配置されていないし、マイクロレンズなどの結像系も配置されていない。
【０１０５】
［撮像装置の配置位置］
図３〜図４は、撮像装置の配置位置と表示される画像との関係を説明する概念図である。ここで、図３（１）は、第１実施形態の画像表示装置１の場合を示し、図３（２）は、撮像装置が画像表示部の外側に固定された比較例の画像表示装置１Ｘの場合を示す。
図４は、画像表示装置１Ａによる撮像イメージを表す図である。
【０１０６】
図３（２）に示すように、撮像装置２０Ｘが画像表示部１０Ｘの外側に固定されている場合、撮像装置２０Ｘは画像表示装置１Ｘの使用者を斜めから撮像することになり、係る画像を画像表示部１０Ｘにて表示したとき、画像表示部１０Ｘには、斜めから撮像された使用者の画像が表示される。したがって、使用者の顔を正確に表示することができないし、画像表示部１０Ｘのどこを使用者が注視しているかを正確に判別することもできない。さらには、使用者が画像表示部１０Ｘに近づいた場合には、撮像範囲外になってしまう可能性が大である。
【０１０７】
一方、図３（１）に示すように、第１実施形態の画像表示装置１Ａにあっては、撮像装置２０が画像表示部１０の背面側の中央部に配置されているので、画像表示装置１Ａの使用者を、撮像装置２０は正面から撮像することができ、係る画像を画像表示部１０にて表示したとき、画像表示部１０には、正面から撮像された使用者の画像が表示される。したがって、使用者の顔を正確に表示することができるし、画像表示部１０のどこを使用者が注視しているかを容易に、しかも、正確に判別することができる。また、使用者が画像表示部１０に近づいた場合でも、使用者の撮像を行なうことができる。
【０１０８】
画像表示装置１Ａにあっては、光透過領域１２の複数の画素１１のそれぞれに設けられた光透過部３０（複数の光透過部３０）を通過した光が撮像装置２０に集光される。したがって、正確に像を撮像装置２０に結ぶために高精度の微小レンズを必要とせず、画像表示装置１Ａの製造コストの増加を招くことがないし、撮像装置２０に十分な光量の光を集光させることができる。
【０１０９】
たとえば図４（１）には、一例として、観察者（撮像装置２０にとっての被写体）が画像表示部１０の表示画像を見ながら、ペンで指示している状態が示されている。画像表示装置１Ａ（画像表示部１０）の裏面には撮像装置２０が設けられており、図４（２）に示すように、表示面に正対している観察者の顔や目、および手やペンを撮像することができる。これにより、たとえば、観察者の視線を撮像画像から検出することができる。また、手やペンなどの向きから画像表示部１０の対応する指示点を特定することができるので、いわゆるポインタ機能を画像表示装置１Ａに容易に付加することができる。さらには、ポインタ機能以外にも、使用者の顔や目、手の動き、周辺の明るさなども撮像画像から分かるので、様々の情報を画像表示装置１Ａから得て、種々のシステムに送出することができ、画像表示装置１Ａの付加価値を高めることができる。
【０１１０】
［画像表示部の断面構造］
図５は、画像表示部１０の詳細を説明する図である。ここで、図５（１）は、画像表示部１０の模式的な一部断面図である。図５（２）は、画像表示部１０の発光素子の詳しい構成を纏めた図表である。
【０１１１】
画像表示部１０は、第１基板４０、第１基板４０上に設けられた複数のＴＦＴから構成される駆動回路、駆動回路を覆う層間絶縁層４１、層間絶縁層４１上に設けられた有機層６３（発光部）、有機層６３上に設けられた保護層６４、保護層６４上に設けられた遮光層６５、保護層６４および遮光層６５を覆う第２基板６７を備えている。
【０１１２】
各画素１１は、駆動回路および発光部を備えており、遮光層６５には、開口部６５Ａが設けられており、開口部６５Ａ、並びに、開口部６５Ａの下方に位置する保護層６４の部分、第２電極６２の部分、および、層間絶縁層４１の部分などによって光透過部３０が構成されている。集光部２１および撮像装置２０は、第２基板６７と対向しない第１基板４０の面の側に配置されている。
【０１１３】
より具体的には、ソーダガラスからなる第１基板４０上には駆動回路が設けられている。駆動回路を構成するＴＦＴは、第１基板４０上に形成されたゲート電極５１、第１基板４０およびゲート電極５１上に形成されたゲート絶縁膜５２、ゲート絶縁膜５２上に形成された半導体層に設けられたソース／ドレイン領域５３、並びに、ソース／ドレイン領域５３の間であって、ゲート電極５１の上方に位置する半導体層の部分が相当するチャネル形成領域５４から構成されている。図示した例にあっては、ＴＦＴをボトムゲート型としたが、トップゲート型であってもよい。
【０１１４】
ＴＦＴのゲート電極５１は、走査線（図示せず）に接続されている。そして、層間絶縁層４１（４１Ａ，４１Ｂ）が、第１基板４０および駆動回路を覆っている。また、有機ＥＬ素子を構成する第１電極６１は、ＳｉＯXやＳｉＮY、ポリイミド樹脂などからなる層間絶縁層４１Ｂ上に設けられている。ＴＦＴと第１電極６１とは、層間絶縁層４１Ａに設けられたコンタクトプラグ４２、配線４３、コンタクトプラグ４４を介して電気的に接続されている。図においては、１つの有機ＥＬ素子駆動部につき、１つのＴＦＴを図示した。
【０１１５】
層間絶縁層４１上には、開口４６を有し、開口４６の底部に第１電極６１が露出した絶縁層４５が形成されている。絶縁層４５は、平坦性に優れ、しかも、有機層６３の水分による劣化を防止して発光輝度を維持するために吸水率の低い絶縁材料、具体的には、ポリイミド樹脂から構成されている。開口４６の底部に露出した第１電極６１の部分の上から、開口４６を取り囲む絶縁層４５の部分に亙り設けられ、有機発光材料からなる発光層を備えた有機層６３が形成されている。有機層６３は、たとえば、正孔輸送層、および、電子輸送層を兼ねた発光層の積層構造から構成されているが、図面では１層で表す。
【０１１６】
第２電極６２上には、有機層６３への水分の到達防止を目的として、プラズマＣＶＤ法に基づき、アモルファス窒化シリコン（α−Ｓｉ1-xＮx）からなる絶縁性の保護層６４が設けられている。保護層６４の上には、黒色のポリイミド樹脂からなる遮光層６５が形成されており、保護層６４および遮光層６５上にはソーダガラスからなる第２基板６７が配されている。保護層６４および遮光層６５と第２基板６７とは、アクリル系接着剤からなる接着層６６によって接着されている。
【０１１７】
第１電極６１をアノード電極として用い、第２電極６２をカソード電極として用いる。具体的には、第１電極６１は、厚さ０．２μｍ〜０．５μｍのアルミニウム（Ａｌ）、銀（Ａｇ）、あるいは、これらの合金で構成される光反射材料からなり、第２電極６２は、厚さ０．１μｍのＩＴＯやＩＺＯといった透明導電材料や、厚さ５ｎｍ程度の銀（Ａｇ）、マグネシウム（Ｍｇ）などの光をある程度透過する金属薄膜（半透明金属薄膜）からなる。第２電極６２はパターニングされておらず、１枚のシート状に形成されている。場合によっては、有機層６３と第２電極６２との間に、厚さ０．３ｎｍのＬｉＦからなる電子注入層（図示せず）を形成してもよい。
【０１１８】
以上、纏めると、本実施形態の画像表示装置１Ａにおける画像表示部１０の発光素子の詳しい構成は、図５（２）に示す通りである。
【０１１９】
第１基板４０から保護層６４および遮光層６５までが表示素子基板である。第２基板６７は封止基板として機能する。ここで、第２基板６７に設けられる光透過部３０をなす開口部６５Ａは、表示素子基板の画素電極（第１電極６１）、ＴＦＴ（ゲート電極５１を含む）および配線がない部分にある。また、封止剤として機能する保護層６４、ＥＬ共通電極として機能する第２電極６２、画素分離膜として機能する絶縁層４５、平坦化絶縁膜として機能する層間絶縁層４１（４１Ａ，４１Ｂ）、ソース／ドレイン領域５３、ゲート絶縁膜５２は光透過性を持っている。したがって、表示面（第２基板６７）側より入射する外光は、開口部６５Ａを通って裏面（第１基板４０側）に到達することができる。
【０１２０】
パネル裏面に設置される撮像装置２０は、光透過部３０（開口部６５Ａ）があるパネル裏面に撮像面を近接するように（ただし本例では集光部２１を介在させる）設置される。よって、表示面側より入射される外光は、撮像装置２０のレンズ（図示せず）で結像され、ＣＣＤやＣＭＯＳなどの固体撮像素子に入るので、表示面側に存在する被写体を撮像することができる。
【０１２１】
［回折補正に対応した構成］
図６〜図９は、回折現象とその対策を説明する図である。ここで、図６は、回折現象による撮像画像への影響を説明する模式図である。図７は、撮像装置２０の手前にガラス板を配置して撮像して得られた画像の一例を示す図である。図８は、回折現象による影響を信号処理面から補正（補償）するようにした第１実施形態の画像表示装置１Ａのブロック図である。図９は、回折現象による影響を信号処理面から補正（補償）するようにした第１実施形態の画像表示システム２Ａのブロック図である。
【０１２２】
第１実施形態の画像表示装置１Ａでは、表示素子に有機ＥＬ素子を使用しており、光透過部３０を設けるだけで、裏面（第１基板４０）側に撮像装置２０を設置することで、表示面（第２電極６２）側に存在する被写体を撮像できる。
【０１２３】
このような簡便な構成は、いわゆるＬＣＤでは不可能ではないが困難性があるし、また可視光波長も含めて透過させる構造はさらに困難である。これに対して第１実施形態の画像表示装置１Ａは、光透過部３０を設けるだけであり、簡便な構成で裏面から表示面側にいる被写体を撮像できる。
【０１２４】
ところで、一般に、ある小さい光透過開口部を通して画像を撮像した場合、光透過開口部で、いわゆる回折現象が発生する。すなわち、図６に示すように、微小な光透過部３０が所定ピッチで設けられた物体（画像表示部１０）の背面に撮像装置２０を設置して、光透過部３０を通して撮像すると、光透過部３０が光スリットとして作用する。このため、回折現象によって、画像「Ｃ」と同じ画像が等ピッチで画像「Ａ」および画像「Ｂ」として出現する結果、画像にボケが生じる。
【０１２５】
撮像装置２０の手前に光透過部が設けられていない透明なガラス板を配置して撮像して得られた画像が図７（１）に示されている。撮像装置２０の手前にある形状、大きさ、分布を有する光透過部を設けた透明なガラス板を配置して撮像して得られた画像が図７（２）に示されている。図７（２）に示す画像にはボケが認められる。一方、図７（１）に示す画像にはボケが認められない。
【０１２６】
回折光の強度と分布は、光透過部の形状、大きさ、分布、並びに、入射光（外光）の波長に依存する。回折によるボケが小さい場合には、撮像画像に対して回折を補正（補償）する処理を行なう必要は無いが、高品質な撮像画像を必要とする場合には、回折現象による影響を補正（補償）することが好ましい。
【０１２７】
図８には、回折現象による影響を信号処理面から補正する第１実施形態の画像表示装置１Ａが示されている。
【０１２８】
第１実施形態の画像表示装置１Ａは、装置全体の動作を制御する制御部９０、画像表示部１０の表示動作を制御する表示用タイミングコントローラ９２、撮像装置２０（撮像部２０ａ）の撮像動作を制御する撮像用タイミングコントローラ９４を有する。
【０１２９】
制御部９０は表示データやタイミング信号などを、表示用タイミングコントローラ９２に供給する。制御部９０は、撮像タイミング信号、シャッタ制御信号、ゲイン制御信号などを、撮像用タイミングコントローラ９４へ供給する。
【０１３０】
表示用タイミングコントローラ９２は、図示しない信号線制御回路を具備し、信号線制御回路は、表示データや水平タイミング信号を図示しない映像信号供給ＩＣを介して画像表示部１０に供給する。表示用タイミングコントローラ９２は、図示しない走査線制御回路を具備し、走査線制御回路は垂直タイミング信号を図示しない走査信号供給ＩＣを介して画像表示部１０に供給する。
【０１３１】
第１実施形態の画像表示装置１Ａは、撮像装置２０を介して取得された画像情報に対して、光透過部３０において生じる回折の補正（補償）を施す回折補正部１００を備えている。撮像装置２０（電子機器の一例）を画像表示装置１Ａと別体にする場合には、図に一点破線で示すように、回折補正部１００（場合によっては撮像用タイミングコントローラ９４も）を撮像装置２０側に配置することも考えられる。回折補正部１００は、ＭＴＦ形状記憶部１０２とＭＴＦ逆変換部１０４を有する。ＭＴＦ逆変換部１０４は、図示しない画像格納メモリを有しており、撮像装置２０から供給される撮像画像データを画像格納メモリに記憶する。回折補正部１００の処理動作は制御部９０により制御される。
【０１３２】
制御部９０は使用者から各種の指示を受付けて、回折補正部１００やその他の各機能部の動作を制御する。たとえば、詳細を後述するように、本実施形態の回折補正処理として種々の手順が考えられるが、それらは処理速度と補正精度の各面で優劣があるので、何れの手法を採用するかを、利用者の指示により適宜選択できるようにするのがよい。
【０１３３】
ＭＴＦ形状記憶部１０２は、光透過部３０の大きさ、形状、分布といったＭＴＦ形状データを記憶する。たとえば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）ごとの外光の波長と２次元ＦＦＴにて得られている光透過部３０のＭＴＦ形状データをＭＴＦ形状記憶部１０２に記憶しておく。
【０１３４】
撮像装置２０を介して取得された画像情報が、回折補正部１００を構成するＭＴＦ逆変換部１０４に送られる。ＭＴＦ逆変換部１０４は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）ごとの外光の波長と２次元ＦＦＴにて得られている光透過部３０のＭＴＦ形状データをＭＴＦ形状記憶部１０２から読み出してＭＦＴ逆変換を行ない、原画像に復元し、制御部９０に送出する。この際には、計算を簡素化して処理時間を短縮するべく、全信号成分についてではなく、一部の信号成分に着目した処理を行なってもよい。この点については詳細を後述する。
【０１３５】
制御部９０は、回折補正部１００（ＭＴＦ逆変換部１０４）で得られた復元画像から、たとえば、使用者の視線検出、使用者の手の動作の検出など、多様な検出を行ない、画像表示部１０での表示に反映させる。
【０１３６】
画像表示部１０における画像表示は、制御部９０の制御によって行なわれる。すなわち、制御部９０から表示データおよびタイミング信号などが表示用タイミングコントローラ９２に送られ、表示用タイミングコントローラ９２から表示データおよび水平タイミング信号が図示しない信号線制御回路に送られ、一方、垂直タイミング信号が図示しない走査線制御回路に送られる。そして、画像表示部１０において、周知の方法に基づき画像表示がなされる。一方、制御部９０から、撮像タイミング信号、シャッター制御信号、ゲイン制御信号などが撮像用タイミングコントローラ９４に送られ、撮像用タイミングコントローラ９４からこれらの信号が撮像装置２０に送られ、撮像装置２０の動作が制御される。
【０１３７】
図９には、回折現象による影響を信号処理面から補正する第１実施形態の画像表示システム２Ａが示されている。図８に示した画像表示装置１Ａとの相違点は、画像表示装置１Ａから、制御部９０と回折補正部１００を取り外して画像表示装置１Ａ_2とし、その取り外した制御部９０と回折補正部１００が周辺機器７０Ａ（電子機器の一例）に組み込まれている。
【０１３８】
すなわち、制御部９０は、画像表示装置１Ａに備えられてもよいし、画像表示装置１Ａ_2に接続されたパーソナルコンピュータなどの周辺機器７０Ａに備えられてもよい。回折補正部１００も、画像表示装置１Ａに備えられてもよいし、画像表示装置１Ａ_2に接続されたパーソナルコンピュータなどの周辺機器７０Ａに備えられてもよい。
【０１３９】
画像表示装置１Ａや画像表示システム２Ａにおける回折補正部１００や制御部９０の制御機能（特に回折補正部１００を制御する機能）は、ソフトウェアで実現することもでき、このためのプログラムやこのプログラムを格納した記録媒体を発明として抽出することも可能である。これらの点は、外光の波長分布の測定結果を反映させることで、撮像装置を介して取得された画像情報の精度の向上（たとえば色情報の精度向上）やＭＴＦ逆変換処理の精度向上を図る場合においても同様である。
【０１４０】
すなわち、本実施形態において、回折補正処理や波長分布測定処理並びにこれらの処理に関わる制御処理を行なう制御構成の仕組みは、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機（コンピュータ）の仕組みを用いてソフトウェア的に実現され得る。ソフトウェアにより実行させる仕組みでは、ハードウェアの変更を伴うことなく処理手順などが容易に変更し得ることとなる。
【０１４１】
プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。
【０１４２】
回折補正処理や波長分布測定処理並びにこれらの処理に関わる制御処理の各機能を実現するプログラムコードを記述したファイルとしてプログラムが提供されるが、この場合、一括のプログラムファイルとして提供されることに限らず、コンピュータで構成されるシステムのハードウェア構成に応じて個別プログラムモジュールとして提供されてもよい。
【０１４３】
また、回折補正処理や波長分布測定処理並びにこれらの処理に関わる制御処理の各機能を実現するための各部（機能ブロックを含む）の具体的手段は、ハードウェア、ソフトウェア、通信手段、これらの組み合わせ、その他の手段を用いることができ、このこと自体は当業者において自明である。また、機能ブロック同士が複合して１つの機能ブロックに集約されてもよい。また、コンピュータにプログラム処理を実行させるソフトウェアは、組合せの態様に応じて分散してインストールされる。
【０１４４】
ソフトウェアで行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。これに対して、ハードウェア処理回路で構築すると、処理が複雑であっても、処理速度の低下が防止され、高いスループットを得る高速化を図ったアクセラレータシステムが構築される。
【０１４５】
［回折現象の対策原理］
図１０〜図１２は、回折現象による影響を信号処理の側面から対策する手法を説明する図である。ここで、図１０は、光透過部３０（開口部６５Ａ）から回折光強度とＭＴＦを求める概念図である。図１１〜図１２は、光透過部３０の形状の一例（図２とは異なる）を模式的に示す図である。
【０１４６】
回折分布Ｐdiffは、光透過部３０のパターン形状、大きさ、分布、並びに、入射光（外光）の波長が決定している場合、式（１）で算出することができる。二重積分においては、ｘおよびｙに関して−∞から＋∞まで積分する。
【０１４７】
【数１】
【０１４８】
ここで、Ｐat（ｘ，ｙ）は光透過部３０のｘｙ平面での２次元パターンであり（図１０（１）を参照）、λは入射光（外光）の波長であり、θx，θyはｘ方向およびｙ方向の回折角である。ここでは、計算を簡素化するために入射光（外光）の波長λの値を５２５ｎｍで一定とした。
【０１４９】
式（１）は、Ｐat（ｘ，ｙ）の２次元フーリエ変換であるので、高速フーリエ変換（ＦＦＴ）を用いることで高速に算出することができる。Ｐdiff（ｋx，ｋy）は位相情報を含んでいるが、実際には、撮像装置では回折光強度Ｈdiff（ｋx，ｋy）を検出する。式（２）に示すように、回折光強度Ｈdiff（ｋx，ｋy）は、Ｐdiff（ｋx，ｋy）の絶対値の二乗に等しい（図１０（２）を参照）。
【０１５０】
【数２】
【０１５１】
ここで、回折光により撮像装置２０の空間解像度に変調が加えられたとして、式（３）からＭＴＦ（Modulation Transfer Function）を算出する（図１０（３）を参照）。「ＦＦＴ［ ］」は、高速フーリエ変換を実行することを意味し、「ＩＦＦＴ［ ］」は、高速逆フーリエ変換を実行することを意味する。
【０１５２】
【数３】
【０１５３】
ここで、ｆx，ｆyは、撮像装置２０を構成する各々の撮像素子におけるｘ方向およびｙ方向の空間周波数を表す。そして、撮像装置２０で得られる光透過部３０を通した画像Ｉcam(x,y)と、光透過部３０を通さないとしたときの原画像Ｉreal(x,y)との間には、式（４）に示す関係が成立する。画像Ｉcam(x,y)は、たとえば、赤（Ｒ）色成分であれば撮像ＲデータＲcam(x,y)、緑（Ｇ）色成分であれば撮像ＧデータＧcam(x,y)、青（Ｂ）色成分であれば撮像ＢデータＢcam(x,y)とする。
【０１５４】
【数４】
【０１５５】
すなわち、空間周波数領域において、画像Ｉcam(x,y)は、原画像Ｉreal(x,y)とＭＴＦの積となる。よって、画像Ｉcam(x,y)から原画像Ｉreal(x,y)を得るには、式（５）に基づいた処理を行なえばよい。換言すると、光透過部３０の形状、大きさ、分布、並びに、入射光（外光）の波長（纏めて「ＭＴＦ形状データ」）に基づき算出されるＭＴＦ逆変換処理を画像情報に対して施せばよい。原画像Ｉreal(x,y)は、たとえば、赤（Ｒ）色成分であれば赤色原画像Ｒreal(x,y)、緑（Ｇ）色成分であれば緑色原画像Ｇreal(x,y)、青（Ｂ）色成分であれば青色原画像Ｂreal(x,y)とする。
【０１５６】
【数５】
【０１５７】
ここで、ＭＴＦは、光透過部３０の大きさ、形状、分布が決まれば、光透過部３０の２次元パターンをフーリエ変換したものを入射光（外光）の波長によりスケーリングすればよいので、容易に求めることができ、式（５）で示した関係から、原画像を容易に復元することができる。
【０１５８】
たとえば、光透過部３０の形状が、図１１（１），（２）や図１２に例示されている。光透過部３０の一部または全部は、画像表示部１０の第１の方向（水平方向）および第２の方向（垂直方向）に沿って周期的に設けられている。
【０１５９】
図１１（１）に示す例にあっては、画素の下部を第１の方向（水平方向）に沿って延びる光透過部３０Ｈは、３つの画素（１１Ｒ，１１Ｇ，１１Ｂ）から構成された１つの画素ユニットに跨って設けられており、第２の方向（垂直方向）に沿って延びる光透過部３０Ｖは、各画素１１Ｒ，１１Ｇ，１１Ｂに設けられ、しかも、画素と画素との間に設けられている。図１１（２）に示す例にあっては、光透過部３０Ｈと光透過部３０とが繋がっている。図１２に示す例にあっては、光透過部３０Ｈは、３つの画素（１１Ｒ，１１Ｇ，１１Ｂ）から構成された１つの画素ユニットに跨って設けられているが、図１１（１）とは異なり、２つの部分から構成されている。
【０１６０】
第１の方向に沿った光透過部３０の長さをＬtr-1、第１の方向に沿った画素１１のピッチをＰpx-1としたとき、第１の方向の線開口率Ｌtr-1／Ｐpx-1は、「Ｌtr-1／Ｐpx-1≧０．５」を満足し、第２の方向に沿った光透過部３０の長さをＬtr-2、第２の方向に沿った画素１１のピッチをＰpx-2としたとき、第２の方向の線開口率Ｌtr-2／Ｐpx-2は、「Ｌtr-2／Ｐpx-2≧０．５」を満足する。これは、ＭＴＦの定義から説明できる。
【０１６１】
ＭＴＦは、式（２）および式（３）から導かれる式（６）に示すように、光透過部３０のｘｙ平面での２次元パターンＰat（ｘ，ｙ）から得られる回折分布を二乗したものを高速フーリエ変換し、その結果をさらに二乗したものとして得られる。
【０１６２】
【数６】
【０１６３】
そして、いわゆるウィナー・キンチンの定理から、自己相関関数のフーリエ変換はパワースペクトラムに等しいので、ＭＴＦは、光透過部３０で生ずる回折分布の自己相関関数の絶対値の二乗に等しい。自己相関関数が、空間周波数領域においていわゆる無相関である点（すなわち、０になる点）が存在しない条件は、「Ｌtr-1／Ｐpx-1≧０．５」、「Ｌtr-2／Ｐpx-2≧０．５」である。ＭＴＦが０になる点を持たない場合、式（５）は特異点を持たないので、原画像の再現が容易になる。それ故、第１の方向の線開口率Ｌtr-1／Ｐpx-1および第２の方向の線開口率Ｌtr-2／Ｐpx-2の値は０．５以上であるといった要請を満足することが好ましい。
【０１６４】
＜第２実施形態＞
図１３〜図１５は、第２実施形態の画像表示装置および画像表示システムを説明する図である。ここで、図１３は、第２実施形態の画像表示装置および画像表示システムの概念を説明する図である。図１３（１）は画像表示装置の概念図であり、図１３（２）は画像表示システムの概念図である。図１３（１−１）は画像表示装置を正面から眺めた概念図であり、図１３（１−２）は画像表示装置を側面から眺めた概念図である。図１３（２−１）は画像表示システムを正面から眺めた概念図であり、図１３（２−２）は画像表示システムを側面から眺めた概念図である。図１４は、波長分布測定を可能にした第２実施形態の画像表示装置１Ｂのブロック図である。図１５は、波長分布測定を可能にした第２実施形態の画像表示システム２Ｂのブロック図である。
【０１６５】
図１３（１）に示すように、第２実施形態の画像表示装置１Ｂは、第１実施形態の画像表示装置１Ａに加えて、外光の波長分布を測定する波長分布測定部１１０を備えている。波長分布測定部１１０は画像表示装置１に対して着脱可能に構成してもよい。本例では、波長分布測定部１１０は、画像表示部１０のパネル上部に配置されているが、これは一例であって、外光の波長分布を測定し得る場所である限り、何れの箇所に配置してもよい。
【０１６６】
図１３（２）に示すように、第２実施形態の画像表示システム２Ｂは、第１実施形態の画像表示システム２Ａに加えて、外光の波長分布を測定する波長分布測定部１１０をさらに備えている。波長分布測定部１１０により取得された情報が回折補正部１００に供給される。波長分布測定部１１０は、外光の波長分布を測定し得る場所である限り、画像表示装置１Ｂ_2の近傍の何れの場所に配置してもよい。
【０１６７】
波長分布測定部１１０は、たとえば、赤色フィルタが取り付けられたホトセンサ、緑色フィルタが取り付けられたホトセンサ、および、青色フィルタが取り付けられたホトセンサの組から構成されている。
【０１６８】
図１４に示すように、画像表示装置１Ｂでは、同装置内の制御部９０が、波長分布測定部１１０の測定動作を制御する。波長分布測定部１１０により取得された情報が回折補正部１００に供給される。図１５に示すように、画像表示システム２Ｂにおいては、周辺機器７０Ｂに組み込まれた制御部９０が、波長分布測定部１１０の測定動作を制御する。
【０１６９】
第１実施形態で説明したように、光透過部３０のｘｙ平面での回折分布Ｐdiff（ｋx，ｋy）を求める式（１）には、入射光（外光）の波長λが含まれている。したがって、外光の波長分布を測定することで、各波長のＭＴＦを外部環境に応じて適合させることができ、一層正確に回折に対する補正、補償を行なうことができ、より高品質な撮像画像を得ることができる。
【０１７０】
波長分布測定部１１０を設けることで、外光の波長分布（光のスペクトル）を得ることができる。そして、得られた外光の波長分布と撮像装置２０の分光スペクトルを掛け合わせることで、撮像画像の各原色（赤色、緑色、青色）ごとの波長分布を得ることができる。そして、波長ごとにＭＴＦ逆変換処理した画像を撮像画像の波長分布で重み付けすることで、一層正確に回折に対する補正、補償を行なうことができる。
【０１７１】
第２実施形態にあっては、このような構成を採用することで、一層正確に回折に対する補正、補償を行なうことができるだけでなく、撮像装置２０を介して取得された画像情報の精度の向上（たとえば、色情報の精度向上）を図ることができる。
【０１７２】
なお、本実施形態の仕組みとは直接的には関係ないが、回折によるボケが小さい場合には、撮像画像に対して回折を補正（補償）する処理を行なう必要はない。しかしながら、このような場合にあっても、外光の波長分布を測定する波長分布測定部１１０をさらに備えることで、たとえば回折補正部１００は撮像装置２０で取得された画像を撮像画像の波長分布で重み付けすることができる。その結果、撮像装置２０を介して取得された画像情報の精度の向上を図ることができる。
【０１７３】
＜回折補正処理：第１例（処理面積縮小処理）＞
図１６は、回折補正部１００による回折補正処理の第１例を説明する図（フローチャート）である。なお、理解を容易にするため、処理の状況に対応した画像の模式図も併せて示す。第１例の回折補正処理は、処理面積縮小の手法を適用するものである。
【０１７４】
一例として、撮像装置２０から撮像データとしてＲ，Ｇ，Ｂの色画像データ（撮像Ｒデータ、撮像Ｇデータ、撮像Ｂデータ：纏めて撮像ＲＧＢデータ）が回折補正部１００のＭＴＦ逆変換部１０４に供給されるものとする（Ｓ１０）。ＭＴＦ逆変換部１０４は、撮像装置２０から供給される撮像画像データを画像格納メモリに記憶する。
【０１７５】
ＭＴＦ逆変換部１０４は、撮像画像を、「特定領域」と「背景領域」に分離し、「特定領域」を抽出する。たとえば、「被写体重視の手法」を適用し、「特定領域」を被写体の一部の領域（たとえば使用者の顔の領域）とし、顔とそれ以外の領域に分離して、顔領域を抽出する。顔領域の抽出アルゴリズムは、たとえばハール（Ｈａａｒ）状特徴分類などの公知の顔検出手法を用いればよい。因みに、特定した顔を内包する矩形領域を抽出するものとする。当然ながら、抽出された顔領域は、撮像画像全体と比べると面積は小さい。
【０１７６】
また「特定領域」の抽出においては、特定の形状や色を有する領域を抽出したり、たとえば時刻をずらして撮像した複数の撮像画像の差分に基づいて、その撮像画像の変化（たとえば被写体の移動）を検出し、その変化があった部分の領域を抽出したりしてもよい。
【０１７７】
ＭＴＦ逆変換部１０４は、抽出した特定領域のみに対して、ＭＴＦ逆変換処理を施し回折の影響を取り除く（Ｓ３０）。たとえば、ＴＶ電話では、背景よりも通話者間の表情や顔色の画質が重要であり、顔部分だけ回折除去した画像でも違和感なく通話できる。
【０１７８】
ＭＴＦ逆変換部１０４は、回折補正済みの顔領域（特定領域）の抽出画像（その信号成分）と、回折補正処理を施していない背景領域の画像（その信号成分）とを合成して処理を完了させる（Ｓ４０）。
【０１７９】
撮像画像の全領域から分離（抽出）された抽出領域（特定領域：この例では顔領域）は、撮像画像全体と比べると面積は小さいので、撮像画像の全領域を対象として回折除去する場合と比較して計算量が少なくなり、補正処理時間は短縮されるから、処理を高速化できる。たとえば、全体領域に対して特定領域の面積が１／Ｘ倍である場合、処理速度は「α・Ｘ」倍となる。αは、１未満の値であり、全体領域から特定領域を抽出する処理（Ｓ２０）と、回折補正処理済みの特定領域の画像と未処理の背景領域の画像とを合成する処理（Ｓ４０）によるオーバーヘッド分である。
【０１８０】
＜回折補正処理：第２例（全信号成分を対象）＞
図１７は、回折補正部１００による回折補正処理の第２例を説明する図（フローチャート）である。第２例の回折補正処理は、撮像装置２０で取得される画像情報を構成する各信号成分のそれぞれについて処理する方法である。
【０１８１】
ＭＴＦ逆変換部１０４は、抽出した特定領域のみに対して、ＭＴＦ逆変換処理を施し回折の影響を取り除く（Ｓ３０）。この際、ＭＴＦ逆変換部１０４は、式（５）に基づいて、光透過部３０の形状、大きさ、分布、並びに、入射光（外光）の波長に基づき算出されるＭＴＦ逆変換処理をＲ，Ｇ，Ｂの色画像データ別に施す。
【０１８２】
たとえば、ＭＴＦ逆変換部１０４は、式（２）と式（３）に基づいて、Ｒ，Ｇ，Ｂの色別にＭＴＦを求める（Ｓ１３０）。具体的には、Ｒ，Ｇ，Ｂ別の回折光強度Ｈdiff（ｋx，ｋy）を検出し、式（３）に基づいてＲ，Ｇ，Ｂ別にＭＴＦを算出する。Ｒ，Ｇ，Ｂ別のＭＴＦをそれぞれ、ＭＴＦ（赤成分）、ＭＴＦ（緑成分）、ＭＴＦ（青成分）とする。
【０１８３】
ＭＴＦ逆変換部１０４は、光透過部３０を通して撮像装置２０で取得したＲ，Ｇ，Ｂ別の撮像データ（撮像Ｒデータ、撮像Ｇデータ、撮像Ｂデータ）について高速フーリエ変換して色別にＦＦＴ［ ］を求める（Ｓ１４０）。具体的には、光透過部３０を通して撮像装置２０で撮像することで得た撮像ＲデータＲcam(x,y)、撮像ＧデータＧcam(x,y)、撮像ＢデータＢcam(x,y)のそれぞれについて高速フーリエ変換を実行することで、ＦＦＴ［Ｒcam(x,y)］、ＦＦＴ［Ｇcam(x,y)］、ＦＦＴ［Ｂcam(x,y)］を求める。
【０１８４】
ＭＴＦ逆変換部１０４は、Ｒ，Ｇ，Ｂの色別に、ステップＳ１４０で求めたＦＦＴ［ ］をステップＳ１３０で求めた対応する色のＭＴＦで除算する（Ｓ１５０）。具体的には、ＦＦＴ［Ｒcam(x,y)］／ＭＴＦ（赤成分）、ＦＦＴ［Ｇcam(x,y)］／ＭＴＦ（緑成分）、ＦＦＴ［Ｂcam(x,y)］／ＭＴＦ（青成分）を求める。
【０１８５】
ＭＴＦ逆変換部１０４は、Ｒ，Ｇ，Ｂの色別にステップＳ１５０で求めた除算結果について高速逆フーリエ変換を実行して色別に原画像Ｉreal(x,y)を復元する（Ｓ１６０）。具体的には、式（５）に従って、ＩＦＦＴ［ＦＦＴ［Ｒcam(x,y)］／ＭＴＦ（赤成分）］により赤色原画像Ｒreal(x,y)を取得し、ＩＦＦＴ［ＦＦＴ［Ｇcam(x,y)］／ＭＴＦ（緑成分）］により緑色原画像Ｇreal(x,y)を取得し、ＩＦＦＴ［ＦＦＴ［Ｂcam(x,y)］／ＭＴＦ（青成分）］により青色原画像Ｂreal(x,y)を取得する。
【０１８６】
ＭＴＦ逆変換部１０４は、ステップＳ１６０でＲ，Ｇ，Ｂの色別に復元した赤色原画像Ｒreal(x,y)、緑色原画像Ｇreal(x,y)、青色原画像Ｂreal(x,y)に基づいて、特定領域に関して、カラーの復元画像を取得する（Ｓ１８０）。
【０１８７】
ＭＴＦ逆変換部１０４は、回折補正済みの特定領域の抽出画像（その信号成分）と、回折補正処理を施していない背景領域の画像（その信号成分）とを合成して処理を完了（画像表示部１０に表示）させる（Ｓ４０）。
【０１８８】
第２例の回折補正処理は、画像情報を構成するＲ，Ｇ，Ｂの各信号成分についてＭＴＦ逆変換処理を施すので、処理負荷は掛かるが、一部の信号成分に着目した処理に比べて補正効果が高く、回折現象により撮像画像に現れる不鮮明さを精度よく補正できる。
【０１８９】
＜回折補正処理：第３例（全信号成分を対象＆色変換）＞
図１８は、回折補正部１００による回折補正処理の第３例を説明する図（フローチャート）である。第３例の回折補正処理は、撮像装置２０で取得される画像情報を構成する各成分の撮像データの色空間を変換し、変換後の画像データについてデータ別に処理する方法である。以下、第２例との相違点を中心に説明する。なお、処理ステップを２００番台で示し、第２例と同様の処理ステップには第２例と同じ１０番台と１番台で示す。
【０１９０】
ＭＴＦ逆変換部１０４は、抽出した特定領域のみに対して、ＭＴＦ逆変換処理を施し回折の影響を取り除く（Ｓ３０）。この際、ＭＴＦ逆変換部１０４は、抽出された特定領域の画像について、ＲＧＢ色空間の撮像Ｒデータ、撮像Ｇデータ、撮像Ｂデータを、他の色空間（たとえばＸＹＺ色空間やＹｕｖ色空間）の画像データに変換する（Ｓ２１０）。
【０１９１】
この例では、先に特定領域の画像情報を抽出してから色空間変換処理をするようにしているが、逆に、画像表示部１０で取得された全画像領域について色空間変換処理をしてから特定領域の画像情報を抽出してもよい。後者の場合は、特定領域の画像情報のみを対象として色空間変換処理する場合と比較して処理量が多くなり変換処理時間が掛る。この点を勘案して、本例では前者の手法を採っている。
【０１９２】
ＭＴＦ逆変換部１０４は、式（５）に基づき、光透過部３０の形状、大きさ、分布、入射光（外光）の波長に基づき算出されるＭＴＦ逆変換処理を、ステップＳ２１０で取得された色変換後の画像データのそれぞれについて施す。色変換は、少なくとも輝度情報を表す信号成分が含まれたものとするのがよい。図１８（１）はＲＧＢ色空間からＸＹＺ色空間に変換した場合を示し、図１８（２）はＲＧＢ色空間からＹｕｖ色空間に変換した場合を示す。以下では、ＲＧＢ色空間からＸＹＺ色空間に変換したものとして説明する。
【０１９３】
たとえば、ＭＴＦ逆変換部１０４は、式（２）と式（３）に基づいて、Ｘ，Ｙ，Ｚの画像データ別にＭＴＦを求める（Ｓ２３０）。具体的には、Ｘ，Ｙ，Ｚ別の回折光強度Ｈdiff（ｋx，ｋy）を検出し、式（３）に基づいてＸ，Ｙ，Ｚ別にＭＴＦを算出する。Ｘ，Ｙ，Ｚ別のＭＴＦをそれぞれ、ＭＴＦ（Ｘ成分）、ＭＴＦ（Ｙ成分）、ＭＴＦ（Ｚ成分）とする。
【０１９４】
ＭＴＦ逆変換部１０４は、色空間変換後のＸ，Ｙ，Ｚ別の画像データ（変換Ｘデータ、変換Ｙデータ、変換Ｚデータ）について高速フーリエ変換してＸ，Ｙ，Ｚ別にＦＦＴ［ ］を求める（Ｓ２４０）。具体的には、変換ＸデータＸcam(x,y)、変換ＹデータＹcam(x,y)、変換ＺデータＸcam(x,y)のそれぞれについて高速フーリエ変換を実行することで、ＦＦＴ［Ｘcam(x,y)］、ＦＦＴ［Ｙcam(x,y)］、ＦＦＴ［Ｚcam(x,y)］を求める。
【０１９５】
ＭＴＦ逆変換部１０４は、Ｘ，Ｙ，Ｚ別に、ステップＳ２４０で求めたＦＦＴ［ ］をステップＳ２３０で求めた対応する信号成分のＭＴＦで除算する（Ｓ２５０）。具体的には、ＦＦＴ［Ｘcam(x,y)］／ＭＴＦ（Ｘ成分）、ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（Ｙ成分）、ＦＦＴ［Ｚcam(x,y)］／ＭＴＦ（Ｚ成分）を求める。
【０１９６】
ＭＴＦ逆変換部１０４は、Ｘ，Ｙ，Ｚ別にステップＳ２５０で求めた除算結果について高速逆フーリエ変換を実行してＸ，Ｙ，Ｚ別に原画像Ｉreal(x,y)を復元する（Ｓ２６０）。具体的には、式（５）に従って、ＩＦＦＴ［ＦＦＴ［Ｘcam(x,y)］／ＭＴＦ（Ｘ成分）］によりＸ原画像Ｘreal(x,y)を取得し、ＩＦＦＴ［ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（Ｙ成分）］によりＹ原画像Ｙreal(x,y)を取得し、ＩＦＦＴ［ＦＦＴ［Ｚcam(x,y)］／ＭＴＦ（Ｚ成分）］によりＺ原画像Ｚreal(x,y)を取得する。
【０１９７】
ＭＴＦ逆変換部１０４は、ステップＳ２６０でＸ，Ｙ，Ｚ別に復元したＸ原画像Ｘreal(x,y)、Ｙ原画像Ｙreal(x,y)、Ｚ原画像Ｚreal(x,y)を、ＲＧＢ色空間の原画像に戻す、つまりＲＧＢ色空間の画像データに変換する（Ｓ２７０）。これにより、赤色原画像Ｒreal(x,y)、緑色原画像Ｇreal(x,y)、青色原画像Ｂreal(x,y)が復元される。
【０１９８】
ＭＴＦ逆変換部１０４は、ステップＳ２７０でＲ，Ｇ，Ｂの色別に復元した赤色原画像Ｒreal(x,y)、緑色原画像Ｇreal(x,y)、青色原画像Ｂreal(x,y)に基づいて、特定領域に関してのカラーの復元画像を取得する（Ｓ２８０）。ステップＳ２７０の色変換処理を割愛して直接に、カラーの復元画像を取得するようにしてもよい。
【０１９９】
ＭＴＦ逆変換部１０４は、回折補正済みの特定領域の抽出画像（その信号成分）と、回折補正処理を施していない背景領域の画像（その信号成分）とを合成して処理を完了させる（Ｓ４０）。
【０２００】
第３例の回折補正処理は、色変換処理を伴うので処理負荷は掛かるが、輝度成分と色成分とに分けて回折補正処理を行うので、補正係数を輝度成分と色成分とで異ならせることができる利点がある。また、画像情報を構成する各信号についてＭＴＦ逆変換処理を施すので、一部の信号に着目した処理よりも補正効果が高く、回折現象により撮像画像に現れる不鮮明さを精度よく補正できる。たとえば、３つ（たとえばＲ，Ｇ，Ｂ）の色成分の信号で画像を表わす場合に、第３例の補正処理とすることで、補正速度は、０．８倍程度（０．２は色変換処理によるロス分）になる。
【０２０１】
＜回折補正処理：第４例（特定信号重視処理：輝度信号成分との相関が強い緑色）＞
図１９は、回折補正部１００による回折補正処理の第４例を説明する図（フローチャート）である。第４例の回折補正処理は、撮像装置２０で取得される画像情報を構成する複数の信号成分の少なくとも１つ（ただし全てではない）について処理する特定信号重視の手法を適用する方法である。
【０２０２】
以下では、画像情報を構成する複数（たとえばＲ，Ｇ，Ｂや色変換後のＸ，Ｙ，ＺやＹ，ｕ，ｖ）の内の何れか１つのみに着目した処理とする。以下、第２例との相違点を中心に説明する。なお、処理ステップを３００番台で示し、第２例と同様の処理ステップには第２例と同じ１０番台と１番台で示す。
【０２０３】
ＭＴＦ逆変換部１０４は、式（５）に基づいて、光透過部３０の形状、大きさ、分布、並びに、入射光（外光）の波長に基づき算出されるＭＴＦ逆変換処理をＲ，Ｇ，Ｂの何れか一色についてのみ施す、つまり、何れか一色についてのみ回折補正処理を施す。この際には、好ましくは、輝度信号成分との相関が相対的に強い緑色画像情報に着目して処理する、つまり、輝度信号成分との相関が強い緑色についてのみ回折補正処理を施す。
【０２０４】
たとえば、ＭＴＦ逆変換部１０４は、式（２）と式（３）に基づいて、Ｇ色のＭＴＦを求める（Ｓ３３０）。具体的には、Ｇ色の回折光強度Ｈdiff（ｋx，ｋy）を検出し、式（３）に基づいてＧ色のＭＴＦ（緑成分）を算出する。
【０２０５】
ＭＴＦ逆変換部１０４は、光透過部３０を通して撮像装置２０で取得したＧ色の撮像Ｇデータについて高速フーリエ変換してＧ色のＦＦＴ［ ］を求める（Ｓ３４０）。具体的には、光透過部３０を通して撮像装置２０で撮像することで得た撮像ＧデータＧcam(x,y)について高速フーリエ変換を実行することでＦＦＴ［Ｇcam(x,y)］を求める。
【０２０６】
ＭＴＦ逆変換部１０４は、Ｇ色について、ステップＳ３４０で求めたＦＦＴ［Ｇcam(x,y)］をステップＳ３３０で求めたＧ色のＭＴＦ（緑成分）で除算することで、ＦＦＴ［Ｇcam(x,y)］／ＭＴＦ（緑成分）を求める（Ｓ３５０）。
【０２０７】
ＭＴＦ逆変換部１０４は、Ｇ色についてステップＳ３５０で求めた除算結果について高速逆フーリエ変換を実行してＧ色についての原画像Ｇreal(x,y)を復元する（Ｓ３６０）。具体的には、式（５）に従って、ＩＦＦＴ［ＦＦＴ［Ｇcam(x,y)］／ＭＴＦ（緑成分）］により緑色原画像Ｇreal(x,y)を取得する。
【０２０８】
ＭＴＦ逆変換部１０４は、ステップＳ３６０でＧ色について復元した緑色原画像Ｇreal(x,y)と、それぞれ未処理のＲ色の撮像ＲデータＲcam(x,y)およびＢ色の撮像ＢデータＢcam(x,y)に基づいて、カラーの復元画像を取得する（Ｓ３８０）。
【０２０９】
第４例の回折補正処理は、画像情報を構成するＲ，Ｇ，Ｂの少なくとも一色（ただし全色でない）についてＭＴＦ逆変換処理を施すので、全信号成分について処理する第２例や第３例に比べて補正効果は劣るが処理負荷が軽減され、回折補正処理の高速化が図れる。たとえば、３つ（たとえばＲ，Ｇ，Ｂ）の色成分の信号で画像を表わす場合に、１色に着目した処理とすることで、補正速度が３倍になる。
【０２１０】
第４例では、Ｒ色やＢ色に着目して処理することも考えられるが、好ましくは輝度信号成分との相関が相対的に強い緑色画像情報に着目して処理することで、全信号成分について処理する第２例や第３例に比べても遜色のない補正効果が得られることが確認された。また、たとえば波長分布測定部によって外光における最も強い色成分を検出し、あるいは撮像した画像の信号から撮像画像における最も強い色成分を検出し、その色成分に対して処理を行なってもよい。補正効果と処理負荷の両面からバランスのよい回折補正処理が実現された。後述する第５例との比較では、色変換処理を伴わないので処理負荷は第５例よりも軽くなる。
【０２１１】
また、「処理面積縮小の手法」と「特定信号重視の手法」を併用することで、抽出した特定領域のみに対しての回折補正処理による効果（処理速度α・Ｘ倍）が加わるので、全体としての処理時間を大幅に短縮できる。また、たとえば、「処理面積縮小の手法」において、特定の色（たとえば青色）の領域あるいは特定の色成分が多い領域（たとえばＲＧＢ三原色のうち、Ｂの成分が最も多い領域）を「特定領域」として抽出し、かつ、その領域に対して、その特定の色成分についてＭＴＦ逆変換処理を行なえば、高速に処理を行ない かつその領域の補正効果も確保することもできる。
【０２１２】
図１９に示した第４例の処理手順を第３例に対して適用する場合には、色変換処理（Ｓ２１０，Ｓ２７０）と対応した処理ステップを追加するととともに、輝度信号成分に着目して処理するとよい。この場合、ＭＴＦに関しては、ＭＴＦ（Ｙ成分）を特定して、ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（Ｙ成分）について高速逆フーリエ変換を実行する。後述する第５例との比較では、輝度信号成分Ｙについて忠実に高速逆フーリエ変換を実行するので、処理負荷は第５例よりも重くなるが、輝度信号成分に着目するという点では忠実性が確保されるため第５例よりも補正効果が高くなる。たとえば、３つ（たとえばＲ，Ｇ，Ｂ）の色成分の信号で画像を表わす場合、補正速度は、３倍にはならないものの、２．５倍程度（０．５は色変換処理によるロス分）になる。
【０２１３】
＜回折補正処理：第５例（特定信号重視処理：輝度信号成分）＞
図３０は、回折補正部１００による回折補正処理の第５例を説明する図（フローチャート）である。第５例の回折補正処理は、撮像装置２０で取得される画像情報を構成する各成分の撮像データの色空間を変換し、色変換後の複数の画像データの少なくとも１つ（ただし全てではない）について処理する方法である。以下では、色変換された複数（たとえばＸ，Ｙ，ＺやＹ，ｕ，ｖ）の画像データの内の何れか１つのみに着目した処理とする。以下、第３例との相違点を中心に説明する。なお、処理ステップを４００番台で示し、第３例と同様の処理ステップには第３例と同じ１０番台と１番台で示す。
【０２１４】
ＭＴＦ逆変換部１０４は、式（５）に基づいて、光透過部３０の形状、大きさ、分布、並びに、入射光（外光）の波長に基づき算出されるＭＴＦ逆変換処理を、ステップＳ４１０で取得された色変換後の複数の画像データの内の何れか１つについてのみ施す、つまり、何れか１つの信号成分についてのみ回折補正処理を施す。この際には、好ましくは、輝度信号成分に着目して処理する、つまり、色変換後の複数の画像データから輝度信号成分を抽出して、輝度信号成分との相関が相対的に強い緑色画像情報を参照して、輝度信号成分のみ回折補正処理を施す。以下では、ＲＧＢ色空間をＸＹＺ色空間に色変換したものとして説明する。
【０２１５】
たとえば、ＭＴＦ逆変換部１０４は、式（２）と式（３）に基づいて、輝度信号成分ＹのＭＴＦを求める（Ｓ４３０）。具体的には、Ｇ色の回折光強度Ｈdiff（ｋx，ｋy）を検出し、式（３）に基づいてＧ色のＭＴＦ（緑成分）を算出する。
【０２１６】
ＭＴＦ逆変換部１０４は、色変換後のＸＹＺデータから抽出した輝度信号成分Ｙの画像データ（変換Ｙデータ）について高速フーリエ変換して輝度信号成分ＹのＦＦＴ［ ］を求める（Ｓ４４０）。具体的には、変換ＹデータＹcam(x,y)について高速フーリエ変換を実行することでＦＦＴ［Ｙcam(x,y)］を求める。
【０２１７】
ＭＴＦ逆変換部１０４は、輝度信号成分Ｙについて、ステップＳ４４０で求めたＦＦＴ［Ｙcam(x,y)］をステップＳ４３０で求めたＧ色のＭＴＦ（緑成分）で除算することで、ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（緑成分）を求める（Ｓ４５０）。
【０２１８】
ＭＴＦ逆変換部１０４は、輝度信号成分ＹについてステップＳ４５０で求めた除算結果について高速逆フーリエ変換を実行して輝度信号成分Ｙについての原画像Ｙreal(x,y)を復元する（Ｓ４６０）。具体的には、式（５）に従って、ＩＦＦＴ［ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（緑成分）］により緑色原画像Ｙreal(x,y)を取得する。
【０２１９】
ＭＴＦ逆変換部１０４は、ステップＳ４６０で輝度信号成分Ｙについて復元した原画像Ｙreal(x,y)と、それぞれ未処理の変換ＸデータＸcam(x,y)および変換ＺデータＺcam(x,y)を、ＲＧＢ色空間の原画像に戻す、つまりＲＧＢ色空間の画像データに変換する（Ｓ４７０）。これにより、赤色原画像Ｒreal(x,y)、緑色原画像Ｇreal(x,y)、青色原画像Ｂreal(x,y)が復元される。
【０２２０】
ＭＴＦ逆変換部１０４は、ステップＳ４７０でＲ，Ｇ，Ｂの色別に復元した赤色原画像Ｒreal(x,y)、緑色原画像Ｇreal(x,y)、青色原画像Ｂreal(x,y)に基づいて、カラーの復元画像を取得する（Ｓ４８０）。ステップＳ４７０の色変換処理を割愛して直接に、カラーの復元画像を取得するようにしてもよい。
【０２２１】
第５例の回折補正処理は、色変換処理を伴うので処理負荷は掛かるが、色変換後の各信号成分の少なくとも１つ（ただし全てでない）についてＭＴＦ逆変換処理を施すので全信号成分について処理する場合に比べて処理負荷が軽減される。したがって、全信号成分について処理する場合に比べて補正効果は劣るが、全体としての処理負荷は軽減される方向にあり、回折補正処理の高速化が図れる。
【０２２２】
第５例において、輝度信号成分に着目するとともに、輝度信号成分との相関が相対的に強い緑色画像情報を参照して輝度信号成分のみ回折補正処理を施すようにすれば、全信号成分について処理する場合に比べても遜色のない補正効果が得られることが確認された。補正効果と処理負荷の両面からバランスのよい回折補正処理となる。
【０２２３】
第５例は、ＭＴＦに関してはＭＴＦ（Ｇ成分）を特定して、ＦＦＴ［Ｙcam(x,y)］／ＭＴＦ（緑成分）について高速逆フーリエ変換を実行するので、輝度信号成分に着目するという点では第４例より忠実性が劣るが、ＭＴＦ（Ｙ成分）を求めずにＭＴＦ（緑成分）で代用するため処理負荷は第４例よりも軽くなる。たとえば、３つ（たとえばＲ，Ｇ，Ｂ）の色成分の信号で画像を表わす場合に、第５例の補正処理とすることで、補正速度は、３倍にはならないものの、２．８倍程度（第４例に対して０．３の改善がある）になる。
【０２２４】
［第１例〜第５例の纏め］
以上の説明から理解されるように、本実施形態の回折補正処理では、たとえば第１例〜第５例に挙げたものなど種々の手順が考えられるが、それらは処理速度と補正精度の各面で優劣がある。したがって、何れの手法を採用するかを、利用者が適宜選択できるようにするのがよい。
【０２２５】
＜光透過部の変形例＞
図３１〜図３３は、光透過領域１２の光透過部３０の変形例を示す図である。ここで、図３１〜図３２（１）は第１変形例を示し、図３２（２）は第２変形例を示し、図３３は第３変形例を示す。図３１〜図３２（１）においては、図面の簡素化のため、全ての光透過部３０において、１つのある光透過部３０に隣接する４つの光透過部３０のそれぞれが、このある光透過部３０の大きさと異なっているようには図示していない。
【０２２６】
［第１変形例］
光透過部３０が微小な場合、光透過部３０において回折現象が生じる結果、撮像装置２０に結像する像にボケが生じ、また鮮明さに欠ける場合がある。そこで、第１変形例や第２変形例では、光透過部そのものについて、たとえば大きさ、形状、分布（配置ピッチや配置位置関係など）などに関して、予め回折現象が生じることを抑制するように工夫しておく。第１変形例（後述の第２変形例も）は、このような観点に基づくものである。
【０２２７】
図３１〜図３２（１）に示す第１変形例では、光透過領域１２の光透過部３０の状態をランダムにする、具体的には、光透過部３０の大きさ、形状、分布の少なくとも１つをランダムとする。
【０２２８】
複数の光透過部３０の大きさをランダムとする場合、着目する１つの光透過部３０Ａに対して水平方向や垂直方向に隣接する少なくとも２つの光透過部３０のそれぞれの大きさを、光透過部３０Ａの大きさと異ならせることが望ましい。つまり、光透過部３０Ａの水平方向および／または垂直方向に配置された２つの光透過部３０、より好ましくは、光透過部３０Ａに隣接する３つの光透過部３０、より一層好ましくは、光透過部３０Ａに隣接する４つの光透過部３０の大きさを、光透過部３０Ａの大きさと異ならせるとよい。
【０２２９】
図３１に示す例は、一例として光透過領域１２に６×３＝１８箇所の光透過部３０を設け、着目する１つの光透過部３０を光透過部３０Ａとし、光透過部３０Ａに対して水平方向に隣接する２つの光透過部３０を光透過部３０Ｂと光透過部３０Ｃとし、垂直方向に隣接する２つの光透過部３０を光透過部３０Ｄと光透過部３０Ｅとしている。光透過部３０Ｂに対して水平方向に隣接する光透過部３０Ａ以外のものを光透過部３０ｆとし、垂直方向に隣接する２つの光透過部３０を光透過部３０ｇと光透過部３０ｈとしている。
【０２３０】
図３１（１）に模式的に示すように、１８箇所の光透過部３０の全てにおいて、１つのある光透過部３０に隣接する他の４つの光透過部３０のそれぞれが、このある光透過部３０の大きさと異なる構成とした。図３１（１）において、光透過部３０Ａに着目すると、光透過部３０Ａの水平方向に隣接して配置された２つの光透過部３０Ｂ，３０Ｃ、および、垂直方向に隣接して配置された２つの光透過部３０Ｄ，３０Ｅのそれぞれは、光透過部３０Ａと大きさが異なっている。また、光透過部３０Ｂに着目すると、光透過部３０Ｂの水平方向に隣接して配置された２つの光透過部３０Ａ，３０ｆ、および、垂直方向に隣接して配置された２つの光透過部３０ｇ，３０ｈのそれぞれは、光透過部３０Ｂと大きさが異なっている。これによって、光透過領域１２において回折現象が発生することを回避することができた。
【０２３１】
複数の光透過部３０の形状をランダムとする場合、着目する１つの光透過部３０Ａに対して水平方向や垂直方向に隣接する少なくとも２つの光透過部３０のそれぞれの形状を、この１つの光透過部３０Ａの形状と異ならせることが望ましい。つまり、光透過部３０Ａの水平方向および／または垂直方向に配置された２つの光透過部３０、より好ましくは、光透過部３０Ａに隣接する３つの光透過部３０、より一層好ましくは、光透過部３０Ａに隣接する４つの光透過部３０の形状を、光透過部３０Ａの形状と異ならせるとよい。
【０２３２】
たとえば、図３１（２）に模式的に示すように、１８箇所の光透過部３０の全てにおいて、１つのある光透過部３０に隣接する他の４つの光透過部３０のそれぞれが、このある光透過部３０の形状と異なる構成とした。図３１（２）において、光透過部３０Ａに着目すると、光透過部３０Ａの水平方向に隣接して配置された２つの光透過部３０Ｂ，３０Ｃ、および、垂直方向に隣接して配置された２つの光透過部３０Ｄ，３０Ｅのそれぞれは、光透過部３０Ａと形状が異なっている。また、光透過部３０Ｂに着目すると、光透過部３０Ｂの水平方向に隣接して配置された２つの光透過部３０Ａ，３０ｆ、および、垂直方向に隣接して配置された２つの光透過部３０ｇ，３０ｈのそれぞれは、光透過部３０Ｂと形状が異なっている。これによっても、光透過部３０において回折現象が発生することを回避することができた。
【０２３３】
複数の光透過部３０の分布をランダムとする場合、着目する１つの光透過部３０Ａに対して水平方向や垂直方向に隣接する少なくとも２つの光透過部３０との配置位置関係が、この光透過部３０Ａに対し水平方向および／または垂直方向に隣接する光透過部３０についての光透過部３０Ａと同様の関係における配置位置関係と異ならせることが望ましい。換言すると、着目する一の配列ピッチに対して水平方向および／または垂直方向に隣接する少なくとも２つの配列ピッチのそれぞれは、この一の配列ピッチと異なる形態である。つまり、水平方向に着目する配列ピッチＰＨＡの水平方向に配置された２つの配列ピッチＰを配列ピッチＰＨＡと異ならせるとよいし、垂直方向に着目する配列ピッチＰＶＡの垂直方向に配置された２つの配列ピッチＰを配列ピッチＰＶＡと異ならせるとよい。
【０２３４】
図３２（１）に示す例は、一例として光透過領域１２には５×５＝２５箇所の光透過部３０を設け、水平方向における着目する光透過部３０Ａとの１つの配列ピッチＰを配列ピッチＰＨＡとし、配列ピッチＰＨＡに対して水平方向に隣接する２つの配列ピッチＰを配列ピッチＰＨＢと配列ピッチＰＨＣとしている。また、配列ピッチＰＨＢに対して水平方向に隣接する配列ピッチＰＨＡ以外のものを配列ピッチＰＨｆとしている。さらに、垂直方向における着目する光透過部３０Ａとの１つの配列ピッチＰを配列ピッチＰＶＡとし、配列ピッチＰＶＡに対して垂直方向に隣接する２つの配列ピッチＰを配列ピッチＰＶＢと配列ピッチＰＶＣとしている。また、配列ピッチＰＶＢに対して垂直方向に隣接する２つの配列ピッチＰを配列ピッチＰＶｇと配列ピッチＰＶｈとしている。
【０２３５】
図３２（１）に模式的に示すように、２５箇所の光透過部３０の全てにおいて、水平方向における１つのある配列ピッチＰに隣接する他の２つの配列ピッチＰＨのそれぞれがこのある配列ピッチＰと異なり、かつ垂直方向における１つのある配列ピッチＰに隣接する他の２つの配列ピッチＰＶのそれぞれがこのある配列ピッチＰと異なる構成とした。図３２（１）において、光透過部３０Ａに着目すると、配列ピッチＰＨＡの水平方向に隣接して配置された２つの配列ピッチＰＨＢ，ＰＨＣのそれぞれは、配列ピッチＰＨＡと異なっているし、配列ピッチＰＶＡの垂直方向に隣接して配置された２つの配列ピッチＰＶＢ，ＰＶＣのそれぞれは、配列ピッチＰＶＡと異なっている。また、光透過部３０Ｂに着目すると、配列ピッチＰＨＢの水平方向に隣接して配置された２つの配列ピッチＰＨＡ，ＰＨｆのそれぞれは、配列ピッチＰＶＢと異なっているし、配列ピッチＰＶｂの垂直方向に隣接して配置された２つの配列ピッチＰＶａ，ＰＶｃのそれぞれは、配列ピッチＰＶｂと異なっている。これによっても、光透過領域１２において回折現象が発生することを回避することができた。
【０２３６】
光透過部３０を構成する開口部６５Ａを、このような構成、構造が得られるように加工すればよい。ここで、光透過部３０の大きさの最小値や最小形状は、光透過部３０を設けるためのフォトリソグラフィ技術やエッチング技術における最小加工寸法（たとえば、Ｆ：０．５μｍ）に依存する。したがって、光透過部３０の大きさは、面積Ｆ2の矩形形状（あるいは面積Ｆ2の矩形形状からフォトリソグラフィ技術上導かれる形状）を１ユニットとしたこのユニットの集合体によって規定されるし、光透過部３０の形状も、このユニットの集合体によって規定される。
【０２３７】
第１変形例における光透過部の構成、構造は、第１〜第２実施形態における光透過部３０に適用することができる。
【０２３８】
［第２変形例］
第２変形例では、光透過部を二重環状構造（二重中抜き構造）とした。具体的には、画像表示装置１における画像表示部１０を構成する複数の画素の配置を図３２（２）に模式的に示すが、光透過部３０は、第１光透過部３０Ａおよび第２光透過部３０Ｂから構成され、第１光透過部３０Ａを取り囲むように第２光透過部３０Ｂが配置されている。図３２（２）では、第１光透過部３０Ａおよび第２光透過部３０Ｂの明確化のために、第１光透過部３０Ａおよび第２光透過部３０Ｂに斜線を付した。第１光透過部３０Ａおよび第２光透過部３０Ｂの大きさ、形状、配置状態、第１光透過部３０Ａと第２光透過部３０Ｂとの位置関係の最適化を図ることで、回折現象が生じることを確実に抑制できた。
【０２３９】
第２変形例における光透過部の構成、構造は、第１〜第２実施形態における光透過部３０に適用することができる。さらには、第１変形例と第２変形例を組み合わせてもよい。
【０２４０】
［第３変形例］
第３変形例は、光透過部３０を井桁状や「Ｌ」字の形状にしたものである。すなわち、図３３（１），（２）に画像表示部１０を構成する複数の画素１１（１１Ｒ，１１Ｇ，１１Ｂ）の配置を模式的に示すように、第３変形例の撮像装置付き画像表示装置は、表示素子を含む画素１１を複数配置してなる画像表示部１０、画像表示部１０に設けられた光透過領域１２（光透過部３０）、画像表示部１０の背面側に配置された撮像装置２０、並びに、光透過部３０を通過した光を撮像装置２０に集光する集光部２１を有する。
【０２４１】
たとえば、図３３（１）に示す例にあっては、光透過部３０は、画素１１の全ての周囲に設けられており、井桁状の形状を有する。すなわち、光透過部３０が画素の境界に相当する辺の全てに設けられており、かつ隣接する画素１１の間に共通して設けられている。また、図３３（２）に示す例にあっては、光透過部３０は、画素１１の周囲の一部に設けられており、「Ｌ」字形状を有する。すなわち、光透過部３０が画素１１の境界に相当する辺の内の連続する２辺に設けられている。
【０２４２】
第３変形例では、光透過部３０は、少なくとも１つ以上の画素１１の周囲に設けられているが、具体的には、６×３＝１８個の画素１１の周囲に設けられている。
【０２４３】
以上の点を除き、撮像装置付き画像表示装置は、第１〜第２実施形態の画像表示装置１と同様の構成、構造とすることができるので、詳細な説明は省略する。
【０２４４】
第３変形例では、少なくとも１つ以上の画素１１の周囲に設けられた光透過部３０を通過した光が撮像装置２０に集光される。したがって、正確に像を撮像装置２０に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置２０に十分な光量の光を集光させることができる。
【０２４５】
＜電子機器のモニタ装置の代替＞
図３４は、本実施形態の画像表示装置１が適用される電子機器の一例を示す図である。画像表示装置１Ａや画像表示装置１Ｂは、たとえばパーソナルコンピュータを構成するモニタ装置の代替に限らず、各種の電子機器のモニタ装置の代替として使用することができる。たとえば、ノート型パーソナルコンピュータ（図３４（１）参照）に組み込まれたモニタ装置の代替として使用することができる。携帯電話（図３４（２）参照）や、図示しないが、ＰＤＡ（携帯情報端末，Personal Digital Assistant）、ゲーム機器に組み込まれたモニタ装置、従来のテレビジョン受像機などの代替として使用することができる。何れも、画像表示部１０には、図示しない光透過部３０が形成されている光透過領域１２が設けられ、表示面側と反対側の裏面には撮像装置２０が設けられる。
【０２４６】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は前記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０２４７】
また、前記の実施形態は、クレーム（請求項）に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０２４８】
さらには、前記の実施形態で説明した画像表示装置１や画像表示システム２は、さらなる変形を加えることができ、さらなる発明を抽出することもできる。以下に、幾つかの変形例を挙げる。なお、何れも第１実施形態に対する変形例で示すが、これには限らず他の実施形態にも適用できる。
【０２４９】
［第１変形例：位置検出］
図３５〜図３６に示す第１変形例は、撮像装置２０を介して取得された画像情報に基づき被写体の位置情報を求める位置検出部７１Ｃを備えるようにしたものである。位置検出部７１Ｃは画像表示装置１Ｃに設けてもよいし周辺機器７０Ｃに設けてもよい。
【０２５０】
先に説明した回折補正部１００を備えた構成による作用効果も享受できるので、光透過部３０による回折現象によるボケの影響を抑制でき、被写体の位置情報を精度よく取得できる。被写体として、たとえば、画像表示部１０を観察する観察者（使用者）の手や指、眼球、使用者が手に持っている棒状の物体などを挙げることができる。
【０２５１】
位置検出部７１Ｃによって被写体（たとえば、手や指、眼球、棒状の物体（たとえば、ペンや鉛筆など））の位置情報を時系列に連続して求めれば、被写体の動きを求めることができる。このため、被写体の動きに対応した各種の処理（たとえば、パーソナルコンピュータのモニタ装置における画像の上下、左右への移動、画面を閉じる処理、別の画面を開く処理など）を行なうことができる。被写体の動きと各種の処理との関係を位置検出部７１Ｃに登録しておけばよい。
【０２５２】
場合によっては、被写体の位置情報から被写体の形状（たとえば、身体や手の形で表現される形状や、指の組合せで表現される形状、仕草など）を位置検出部７１Ｃによって周知のアルゴリズムやソフトウェアに基づいて求めることで、被写体の形状に対応した各種の処理を行なうこともできる。また、位置検出部７１Ｃによって被写体の向いている方向を求めれば、被写体の向いている方向に対応した各種の処理を行なうことができる。
【０２５３】
［第２変形例：３次元画像表示＋位置検出］
図３７〜図３８に示す第２変形例は、画像表示部１０の裏面側に複数（典型的には２つ）の撮像装置２０を配置し、撮像装置２０のそれぞれからの画像情報に基づき画像表示部１０から使用者までの距離を位置検出部７１Ｄが求めるようにしたものである。位置検出部７１Ｄは画像表示装置１Ｄに設けてもよいし周辺機器７０Ｄに設けてもよい。
【０２５４】
先に説明した回折補正部１００を備えた構成による作用効果も享受できるので、光透過部３０_1，３０_2による回折現象によるボケの影響を抑制でき、観察者の位置情報を精度よく取得できる。
【０２５５】
観察者の位置情報を、観察者の両眼の位置データとすることができるし、画像表示部１０から観察者までの距離データとすることもできる。また、観察者の位置情報を、複数の撮像装置２０_1，２０_2を介して撮像された画像データの観察者の両眼に基づき求めることができる。観察者の位置情報を画像表示部１０に表示する構成とすることができ、これによって、観察者が３次元画像を容易に観察できるように、最適な３次元画像観察位置を観察者に明確に指示し、あるいは最適な３次元画像観察位置に観察者を誘導することができる。あるいは、画像表示部１０に表示する画像を観察者の位置情報に基づいて最適化する構成とすることができる。
【０２５６】
［第３変形例：ＴＶ会議システム］
図３９〜図５０に示す第３変形例は、前記実施形態の仕組みをいわゆるテレビジョン電話会議システム（テレビ電話装置）に適用したものである。第３変形例は、撮像装置２０を介して取得された画像情報を送出する情報送出部８０と、外部から入力された画像情報に基づく画像を画像表示部１０に表示する表示制御部８２をさらに備えている。撮像装置２０を介して取得された画像情報を情報送出部８０によって外部に送出し、外部から入力された画像情報に基づく画像を表示制御部８２によって画像表示部１０に表示する。
【０２５７】
情報送出部８０と表示制御部８２は画像表示装置１Ｅに設けてもよいし周辺機器７０Ｅに設けてもよい。図３９では、便宜的に、情報送出部８０と表示制御部８２を画像表示装置１Ｆ（の本体）の台座部分に示している。同様の図示の手法は後述する他の変形例も適用する。
【０２５８】
第３変形例によれば、撮像装置２０が画像表示部１０の背面側に配置されているので、画像表示部１０の正面に位置する使用者の顔を撮像することができ、画像表示部１０に映し出される相手側の使用者の顔が自分の方を向いているため、従来のＴＶ電話システムにあった互いの視線が合わないといった違和感を与えることがない。先に説明した回折補正部１００を備えた構成による作用効果も享受できるので、光透過部３０による回折現象によるボケの影響が抑制された状態の使用者の顔などの画像が相手方の画像表示部１０に映し出される。
【０２５９】
［第４変形例：デジタルミラー］
図５１〜図５２に示す第４変形例は、前記実施形態の画像表示装置１をいわゆるデジタルミラーとして機能させるものである。
【０２６０】
第４変形例は、撮像装置２０を介して取得された画像情報を記憶する画像情報記憶部８６と、撮像装置２０を介して取得された（取得されている状態も含み得る）画像情報および画像情報記憶部８６に記憶された画像情報に基づく画像を画像表示部１０に表示する表示制御部８８をさらに備えている。画像情報記憶部８６と表示制御部８８は、画像表示装置１Ｆに設けてもよいし周辺機器７０Ｆに設けてもよい。
【０２６１】
第４変形例によれば、画像表示部１０において、過去と現在の使用者の比較結果を、別々のウインドウに表示することができる。先に説明した回折補正部１００を備えた構成による作用効果も享受できるので、光透過部３０による回折現象によるボケの影響が抑制された状態の使用者の顔などの画像が画像表示部１０に映し出される。
【符号の説明】
【０２６２】
１…画像表示装置、２…画像表示システム、１０…画像表示部、１００…回折補正部、１０２…ＭＴＦ形状記憶部、１０４…ＭＴＦ逆変換部、１１…画素、１１０…波長分布測定部、１２…光透過領域、２０…撮像装置、２０ａ…撮像部、２１…集光部、３０…光透過部、７０…周辺機器、９０…制御部
【特許請求の範囲】
【請求項１】
表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に複数の光透過部が設けられている画像表示部と、
前記複数の光透過部を通して前記撮像部により取得された画像情報から抽出した特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行ない、前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する回折補正部と、
を備えた画像表示装置。
【請求項２】
前記回折補正部は、前記画像情報をフーリエ変換し、フーリエ変換した情報を、前記光透過部の配置状態と対応したレスポンス関数を用いて逆フーリエ変換することで、前記回折補正処理を行なう
請求項１に記載の画像表示装置。
【請求項３】
前記回折補正部は、前記撮像部により取得された画像情報の内の、予め定められている領域の画像を抽出する
請求項１または請求項２に記載の画像表示装置。
【請求項４】
前記回折補正部は、前記撮像部により取得された画像情報の内の、予め定められている特定の対象物の領域の画像を抽出する
請求項１または請求項２に記載の画像表示装置。
【請求項５】
前記回折補正部は、前記特定の対象物を人物、人物の顔、人物の顔の特注部位の何れかとする
請求項４に記載の画像表示装置。
【請求項６】
前記回折補正部は、前記画像情報を表す複数の信号のそれぞれについて、前記回折補正処理を行なう
請求項１から請求項５の何れか一項に記載の画像表示装置。
【請求項７】
前記回折補正部は、前記画像情報を表す複数の信号の内の少なくとも１つ（ただし全てではない）について、前記回折補正処理を行なう
請求項１から請求項５の何れか一項に記載の画像表示装置。
【請求項８】
前記回折補正部は、前記画像情報を表す複数の信号の内で、輝度情報との相関があるものについて、前記回折補正処理を行なう
請求項７に記載の画像表示装置。
【請求項９】
前記回折補正部は、前記画像情報を表す複数の信号を少なくとも輝度情報を表す信号成分が含まれるように色空間変換し、変換後の複数の信号の内で、前記輝度情報を表す信号成分について、前記回折補正処理を行なう
請求項７に記載の画像表示装置。
【請求項１０】
前記回折補正部は、前記画像情報を表す複数の信号を少なくとも輝度情報を表す信号成分が含まれるように色空間変換し、前記輝度情報を表す信号成分をフーリエ変換し、フーリエ変換した情報を、輝度情報との相関がある成分についての前記光透過部の配置状態と対応したレスポンス関数を用いて逆フーリエ変換することで、前記回折補正処理を行なう
請求項７に記載の画像表示装置。
【請求項１１】
外光の波長分布を測定する波長分布測定部を備え、
前記回折補正部は、前記波長分布測定部により測定された外光の波長分布を参照して前記回折補正処理を行なう
請求項１から請求項１０の何れか一項に記載の画像表示装置。
【請求項１２】
前記光透過部の配置状態が不均一である
請求項１から請求項１１の何れか一項に記載の画像表示装置。
【請求項１３】
前記光透過部は、第１光透過部および第２光透過部から構成され、
前記第１光透過部を取り囲むように前記第２光透過部が配置されている
請求項１から請求項１１の何れか一項に記載の画像表示装置。
【請求項１４】
前記光透過部を通過した光を前記撮像部に集光する集光部
を備えた請求項１から請求項１３の何れか一項に記載の画像表示装置。
【請求項１５】
前記表示素子は、発光素子である
請求項１から請求項１４の何れか一項に記載の画像表示装置。
【請求項１６】
画像を撮像する撮像部と、
表示素子を含む画素が複数配列されており、背面側に前記撮像部が配置されているとともに、前記撮像部と対応する領域に複数の光透過部が設けられている画像表示部と、
前記複数の光透過部を通して前記撮像部により取得された画像情報から抽出した特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行ない、前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する回折補正部と、
を備えた電子機器。
【請求項１７】
表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に複数の光透過部が設けられている画像表示部の前記複数の光透過部を通して前記撮像部により取得された画像情報に対して、前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行なう回折補正部を備え、
前記回折補正部は、
前記複数の光透過部を通して前記撮像部により取得された画像情報から特定領域の画像情報し、
抽出した特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行ない、
前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する
電子機器。
【請求項１８】
画像を撮像する撮像装置と、
表示素子を含む画素が複数配列されており、背面側に前記撮像装置が配置可能になっているとともに、前記撮像装置と対応する領域に複数の光透過部が設けられている画像表示部を具備した画像表示装置と、
前記複数の光透過部を通して前記撮像装置により取得された画像情報から抽出した特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行ない、前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する回折補正部と、
を備えた画像表示システム。
【請求項１９】
表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に複数の光透過部が設けられている画像表示部に画像を表示し、
表示面側の被写体を前記複数の光透過部を通して前記撮像部により撮像して画像情報を取得し、
取得された画像情報から特定領域の画像情報を抽出し、
抽出した特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行ない、
前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する
画像取得方法。
【請求項２０】
表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに前記撮像部と対応する領域に複数の光透過部が設けられている画像表示部の前記複数の光透過部を通して前記撮像部により表示面側の被写体を撮像して取得された画像情報から特定領域の画像を抽出する工程と、
抽出した前記特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行なう工程と、
前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する工程と、
をコンピュータに実行させるプログラム。
【請求項１】
表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に複数の光透過部が設けられている画像表示部と、
前記複数の光透過部を通して前記撮像部により取得された画像情報から抽出した特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行ない、前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する回折補正部と、
を備えた画像表示装置。
【請求項２】
前記回折補正部は、前記画像情報をフーリエ変換し、フーリエ変換した情報を、前記光透過部の配置状態と対応したレスポンス関数を用いて逆フーリエ変換することで、前記回折補正処理を行なう
請求項１に記載の画像表示装置。
【請求項３】
前記回折補正部は、前記撮像部により取得された画像情報の内の、予め定められている領域の画像を抽出する
請求項１または請求項２に記載の画像表示装置。
【請求項４】
前記回折補正部は、前記撮像部により取得された画像情報の内の、予め定められている特定の対象物の領域の画像を抽出する
請求項１または請求項２に記載の画像表示装置。
【請求項５】
前記回折補正部は、前記特定の対象物を人物、人物の顔、人物の顔の特注部位の何れかとする
請求項４に記載の画像表示装置。
【請求項６】
前記回折補正部は、前記画像情報を表す複数の信号のそれぞれについて、前記回折補正処理を行なう
請求項１から請求項５の何れか一項に記載の画像表示装置。
【請求項７】
前記回折補正部は、前記画像情報を表す複数の信号の内の少なくとも１つ（ただし全てではない）について、前記回折補正処理を行なう
請求項１から請求項５の何れか一項に記載の画像表示装置。
【請求項８】
前記回折補正部は、前記画像情報を表す複数の信号の内で、輝度情報との相関があるものについて、前記回折補正処理を行なう
請求項７に記載の画像表示装置。
【請求項９】
前記回折補正部は、前記画像情報を表す複数の信号を少なくとも輝度情報を表す信号成分が含まれるように色空間変換し、変換後の複数の信号の内で、前記輝度情報を表す信号成分について、前記回折補正処理を行なう
請求項７に記載の画像表示装置。
【請求項１０】
前記回折補正部は、前記画像情報を表す複数の信号を少なくとも輝度情報を表す信号成分が含まれるように色空間変換し、前記輝度情報を表す信号成分をフーリエ変換し、フーリエ変換した情報を、輝度情報との相関がある成分についての前記光透過部の配置状態と対応したレスポンス関数を用いて逆フーリエ変換することで、前記回折補正処理を行なう
請求項７に記載の画像表示装置。
【請求項１１】
外光の波長分布を測定する波長分布測定部を備え、
前記回折補正部は、前記波長分布測定部により測定された外光の波長分布を参照して前記回折補正処理を行なう
請求項１から請求項１０の何れか一項に記載の画像表示装置。
【請求項１２】
前記光透過部の配置状態が不均一である
請求項１から請求項１１の何れか一項に記載の画像表示装置。
【請求項１３】
前記光透過部は、第１光透過部および第２光透過部から構成され、
前記第１光透過部を取り囲むように前記第２光透過部が配置されている
請求項１から請求項１１の何れか一項に記載の画像表示装置。
【請求項１４】
前記光透過部を通過した光を前記撮像部に集光する集光部
を備えた請求項１から請求項１３の何れか一項に記載の画像表示装置。
【請求項１５】
前記表示素子は、発光素子である
請求項１から請求項１４の何れか一項に記載の画像表示装置。
【請求項１６】
画像を撮像する撮像部と、
表示素子を含む画素が複数配列されており、背面側に前記撮像部が配置されているとともに、前記撮像部と対応する領域に複数の光透過部が設けられている画像表示部と、
前記複数の光透過部を通して前記撮像部により取得された画像情報から抽出した特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行ない、前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する回折補正部と、
を備えた電子機器。
【請求項１７】
表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に複数の光透過部が設けられている画像表示部の前記複数の光透過部を通して前記撮像部により取得された画像情報に対して、前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行なう回折補正部を備え、
前記回折補正部は、
前記複数の光透過部を通して前記撮像部により取得された画像情報から特定領域の画像情報し、
抽出した特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行ない、
前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する
電子機器。
【請求項１８】
画像を撮像する撮像装置と、
表示素子を含む画素が複数配列されており、背面側に前記撮像装置が配置可能になっているとともに、前記撮像装置と対応する領域に複数の光透過部が設けられている画像表示部を具備した画像表示装置と、
前記複数の光透過部を通して前記撮像装置により取得された画像情報から抽出した特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行ない、前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する回折補正部と、
を備えた画像表示システム。
【請求項１９】
表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に複数の光透過部が設けられている画像表示部に画像を表示し、
表示面側の被写体を前記複数の光透過部を通して前記撮像部により撮像して画像情報を取得し、
取得された画像情報から特定領域の画像情報を抽出し、
抽出した特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行ない、
前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する
画像取得方法。
【請求項２０】
表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに前記撮像部と対応する領域に複数の光透過部が設けられている画像表示部の前記複数の光透過部を通して前記撮像部により表示面側の被写体を撮像して取得された画像情報から特定領域の画像を抽出する工程と、
抽出した前記特定領域の画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行なう工程と、
前記特定領域を除く背景領域の前記回折補正処理がなされていない画像情報と前記特定領域について前記回折補正処理を行なった画像情報とを合成する工程と、
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図４】
【図７】
【図１０】
【図１６】
【図２】
【図３】
【図５】
【図６】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図４】
【図７】
【図１０】
【図１６】
【公開番号】特開２０１１−２５９０８９（Ｐ２０１１−２５９０８９Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３０２７２（Ｐ２０１０−１３０２７２）
【出願日】平成２２年６月７日（２０１０．６．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月７日（２０１０．６．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]