画像生成装置及び方法、プログラム、並びに記録媒体
【課題】本来投影したい画像より低解像度の投影画像を投影する投影装置を利用して、本来投影したい画像と同等の画質の投影像を投影面に投影する。
【解決手段】画像処理装置１１は、複数の位相画像Ｑが投影面１３に投影される場合に、複数の位相画像Ｑのそれぞれの所定の画素が重なり合って形成される領域と、入力画像Ｗの所定の画素とを対応付け、対応する領域の画素値と入力画像Ｗの画素の画素値との差異が最小となる位相画像Ｑの画素の画素値を演算する。本発明は、例えば、画像処理装置に適用できる。
【解決手段】画像処理装置１１は、複数の位相画像Ｑが投影面１３に投影される場合に、複数の位相画像Ｑのそれぞれの所定の画素が重なり合って形成される領域と、入力画像Ｗの所定の画素とを対応付け、対応する領域の画素値と入力画像Ｗの画素の画素値との差異が最小となる位相画像Ｑの画素の画素値を演算する。本発明は、例えば、画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成装置及び方法、プログラム、並びに記録媒体に関し、特に、本来投影したい画像より低解像度であり、互いに所定のずらし量だけずれて重なり合うように投影面に投影されることでその画像と同等の画質の投影像が映し出されるようになる位相画像を生成する画像生成装置及び方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
本来投影したい画像（以下、入力画像と称する）より低解像度の投影画像を投影する投影装置を利用して、入力画像と同じ解像度の投影像を投影面に映し出す方法として、ウォビュレーション(Wobulation)と呼ばれる方法（例えば、非特許文献１参照）がある。
【０００３】
例えば図１下左から１番目に示す入力画像から、図１下左から２番目および３番目に示すような入力画像の解像度の１／２のサブ画像が生成され、そのサブ画像が、互いにサブ画像の半画素分ずれて重なる位置に、人間の視覚の時間積分効果を得ることができる時間間隔で投影される。
【０００４】
その結果、図１上の右に示すように、入力画像の２倍の解像度の投影像を視覚させることができる。
【０００５】
ウォビュレーション法では、サブ画像が視覚の時間積分効果を得ることができる時間間隔で投影されたが、複数の投影装置を利用して同時に投影し同様の効果を得るディスプレイシステムも考えられている（例えば、非特許文献２参照）。
【０００６】
図２は、このディスプレイシステムによる表示例を示している。
【非特許文献１】"Wobulation: Doubling the Addressed Resolution of Projection Displays", Will Allen (Digital Projection and Iｍaging, Hewlett-Packard, Corvallis, Oregon, USA) and Robert Ulichney (HP Labs, Caｍbridge, Massachusetts, USA) in the Proceedings of SID 2005
【非特許文献２】Yang, Ruigang, David Gotz, Justin Hensley, Herｍan Towles and Mike Brown. "PixelFlex: A Reconfigurable Multi-Projector Display Systeｍ." IEEE Visualization 2001. San Diego, CA (October 21-26, 2001).
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えばウォビュレーション法では、サブ画像の画素の画素値は、入力画像の対応する所定の１つの画素の画素値に一義的に決定される。
【０００８】
例えば、第１のサブ画像の第２行第２列の画素の画素値は、入力画像の第３行第３列の画素の画素値とされ、第２のサブ画像の第１行第１列の画素の画素値は、入力画像の第２行第２列の画素値とされている。
【０００９】
したがってサブ画像の画素が重なり合って形成される投影像の領域の例えば輝度値は、その領域が対応する入力画像の画素の輝度値とは必ずしも一致しないので、ウォビュレーション法で映し出される投影像は、入力画像と同じ解像度を有するものの滲んでいるような像となり、入力画像と同じ画質とはならない。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、入力画像より低解像度であり、互いに所定のずらし量だけずれて重なり合うように投影面に投影されることで入力画像と同等の画質の投影像が映し出されるようになる位相画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の画像生成装置は、入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置において、前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算する。
【００１２】
本発明の一側面の画像生成装置には、前記複数の位相画像を、前記投影面に投影する投影手段をさらに設けることができる。
【００１３】
本発明の一側面の画像生成方法またはプログラムは、入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成方法または画像処理をコンピュータに実行させるプログラムであり、前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算するステップを含む。
【００１４】
本発明の一側面においては、複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とが対応付けられ、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値が演算される。
【発明の効果】
【００１５】
本発明の一側面によれば、入力画像より低解像度であり、互いに所定のずらし量だけずれて重なり合うように投影面に投影されることで入力画像と同等の画質の投影像が映し出されるようになる位相画像を生成することができる。
【発明を実施するための最良の形態】
【００１６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１７】
本発明の一側面の画像生成装置（例えば、図３の画像処理装置１１）は、
入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置において、
前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算する。
【００１８】
本発明の一側面の画像生成装置には、
前記複数の位相画像を、前記投影面に投影する投影手段（例えば、図３の投影装置１２Ａ乃至１２Ｄ）をさらに設けることができる。
【００１９】
本発明の一側面の画像生成方法またはプログラムは、
入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成方法または画像処理をコンピュータに実行させるプログラムであり、
前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算するステップ（例えば、図６のステップＳ２）
を含む。
【００２０】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００２１】
図３は、入力画像より低解像度の投影画像を投影する投影装置を複数台利用して、入力画像と同等の解像度でかつ入力画像と同等の画質の投影像が投影面に映し出されるようにすることができる画像投影システム１の構成例を示している。
【００２２】
画像投影システム１は、画像処理装置１１、４個の投影装置１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ、及び投影面１３から構成される。
【００２３】
画像処理装置１１には、各投影装置１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ（以下、個々に区別する必要がない場合、単に、投影装置１２と称する）が投影する投影画像の２倍の解像度を有する入力画像Ｗが入力される。
【００２４】
画像処理装置１１は、後述するように、解像度が入力画像Ｗの１／２の４個の投影画像（以下、位相画像と称する）を生成し、対応する投影装置１２に供給する。
【００２５】
ここで、解像度とは、画像を表現する格子の細かさを単位長さ当りで示したものである。したがって、解像度が1/2になると、画素ピッチは２倍、画素の大きさは４倍となる。
【００２６】
各投影装置１２は、透過型液晶プロジェクタ、反射型液晶プロジェクタ、DLP(Digital Light Processing)プロジェクタ等から構成され、画像処理装置１１から供給された位相画像を、４個の位相画像がそれぞれ縦横方向に位相画像の半画素分互いにずれて（すなわち、画素ピッチをdとした場合の画素の縦横の大きさの半分のずらし量d/2だけずれて）重なり合うように投影面１３に投影する。
【００２７】
４個の位相画像を模式的に表した図４に示すように、投影装置１２Ａは、位相画像Ｑ１を所定の位置に投影し、投影装置１２Ｂは、位相画像Ｑ２を、位相画像Ｑ１に対して右方向にずらし量d/2だけずれて映し出されるように投影し、投影装置１２Ｃは、位相画像Ｑ３を、位相画像Ｑ２に対して下方向にずらし量d/2だけずれて映し出されるように投影し、投影装置１２Ｄは、位相画像Ｑ４を、位相画像Ｑ３に対して左方向にずらし量d/2だけずれて映し出されるように投影する。
【００２８】
図５は、画像処理装置１１の構成例を示している。
【００２９】
入力部２１は、画像処理装置１１に供給された入力画像Ｗを、画像処理部２２に供給する。
【００３０】
画像処理部２２は、各投影装置１２によりそれぞれ縦横方向に位相画像Ｑの半画素分ずれて重なり合うように投影されることで入力画像Ｗと同等の解像度でかつ入力画像Ｗと同等の画質の投影像が映し出されるようになる４個の位相画像Ｑ１乃至Ｑ４を生成し（その詳細は後述する）、分配部２３に供給する。
【００３１】
分配部２３は、画像処理部２２から供給された４個の位相画像Ｑ１乃至Ｑ４を、投影装置１２に分配する。すなわち分配部２３は、位相画像Ｑ１を投影装置１２Ａに供給し、位相画像Ｑ２を投影装置１２Ｂに供給し、位相画像Ｑ３を投影装置１２Ｃに供給し、位相画像Ｑ４を投影装置１２Ｄに供給する。
【００３２】
次に、図６のフローチャートを参照して、図５の画像投影システム１による画像投影処理について説明する。
【００３３】
ステップＳ１において、画像処理装置１１に入力画像Ｗが供給されると、画像処理装置１１の入力部２１は、画像処理装置１１に供給された入力画像Ｗを入力し、画像処理部２２に供給する。
【００３４】
ステップＳ２において、画像処理部２２は、後述の位相画像生成処理を行うことにより入力画像Ｗから４個の位相画像Ｑを生成し、分配部２３に供給する。
【００３５】
ステップＳ３において、分配部２３は、画像処理部２２から供給された位相画像Ｑを対応する投影装置１２に分配する。
【００３６】
ステップＳ４において、各投影装置１２は、画像処理装置１１（の分配部２３）から供給された位相画像Ｑを、４個の位相画像Ｑがそれぞれ縦横方向に位相画像Ｑの半画素分互いにずれて重なり合うように投影面１３に投影する。
【００３７】
次に、ステップＳ２における画像処理部２２の位相画像生成処理について説明する。はじめにその原理を、図７を参照して説明する。
【００３８】
解像度が所定の画像Ｗ'の１／２である４個の投影画像Ｑ'１乃至Ｑ'４（以下、個々に区別する必要がない場合、投影画像Ｑ'と称する）を、それぞれ縦横方向に投影画像Ｑ'の半画素分互いにずれて重なり合うように投影すると、すなわち投影画像Ｑ'に合わせて描かれている基準線が互いに合致するように投影すると、その結果得られる投影像Ｚには、４個の投影画像Ｑ'のそれぞれの所定の画素Ｐが重なり合って形成される領域Ｒ１乃至領域Ｒ１６（図中、投影像Ｚにおいて影付されている領域）が形成される。
【００３９】
この投影像Ｚの領域Ｒ１乃至領域Ｒ１６の輝度値vR1乃至vＲ１６は、重なり合う４個の投影画像Ｑ'の画素Ｐの輝度値vPにより決定される。
【００４０】
例えば領域Ｒ１は、投影画像Ｑ'１の画素Ｐa、投影画像Ｑ'２の画素Ｐb、投影画像Ｑ'３の画素Ｐg、および投影画像Ｑ'４の画素Ｐfが重なり合って形成されるので、領域Ｒ１の輝度値vR1は、画素Ｐaの輝度値vPa、画素Ｐbの輝度値vPb、画素Ｐgの輝度値vPg、および画素Ｐfの輝度値vPfが加算された結果得られる値となる。
【００４１】
領域Ｒ６は、投影画像Ｑ'１の画素Ｐｍ、投影画像Ｑ'２の画素Ｐl、投影画像Ｑ'３の画素Ｐg、および投影画像Ｑ'４の画素Ｐhが重なり合って形成されるので、領域Ｒ６の輝度値vＲ６は、画素Ｐｍの輝度値vPｍ、画素Ｐlの輝度値vPl、画素Ｐgの輝度値vPg、および画素Ｐhの輝度値vPhが加算された結果得られる値となる。
【００４２】
またこの領域Ｒの大きさは、投影画像Ｑ'がそれぞれ縦横方向に半画素分ずれて重なり合うように投影されていることから、投影画像Ｑ'の画素Ｐの１／４の大きさとなる。すなわち投影画像Ｑ'の２倍の解像度を有する画像Ｗ'の画素Iの大きさとなる。
【００４３】
従って以上のことから、各投影画像Ｑ'の画素Ｐの輝度値vPを、領域Ｒ１乃至Ｒ１６の輝度値vR1乃至vＲ１６が、画像Ｗ'の画素I1乃至I16の輝度値vI１乃至vI16となるようにすれば、４個の投影画像Ｑ'を、それぞれ縦横方向に投影画像Ｑ'の半画素分ずれて重なり合うように投影することにより、画像Ｗ'と同等の解像度でかつ画像Ｗ’と同等の画質の投影像Ｚを映し出すことができる。
【００４４】
本発明は、この原理を利用するものであり、画像処理部２２では、４個の位相画像Ｑの画素が重なり合うことで形成される重ね合わせ領域（図７の例では、領域Ｒ１乃至Ｒ１６）の輝度値が、対応する入力画像Ｗの画素の輝度値と同等の輝度値となるように、各位相画像Ｑの画素の輝度値が決定されて、各位相画像が生成される。
【００４５】
この位相画像Ｑの生成処理についてより具体的に説明する。
【００４６】
図７の例において、領域Ｒの輝度値vRが、それぞれ所定の、投影画像Ｑ'１の画素Ｐの輝度値vP、投影画像Ｑ'２の画素Ｐの輝度値vP、投影画像Ｑ'３の画素Ｐの輝度値vP、および投影画像Ｑ'４の画素Ｐの輝度値vPが加算された結果得られる値であるという、領域Ｒの輝度値vRと、投影画像Ｑ'の画素Ｐの輝度値vPとの関係は、図８に示すように、領域Ｒの輝度値vRのベクトル、投影画像Ｑ'の画素Ｐの輝度値vPのベクトル、および１６行２５列の所定の行列Mからなる関係式で表すことができる。
【００４７】
例えば行列Mの第１行目に注目すると、領域Ｒ１の輝度値vR1＝vPa＋vPb＋vPg＋vPfとなり、上述した関係に一致する。
【００４８】
そこで領域Ｒ１乃至Ｒ１６のそれぞれを、画像Ｗ'の所定の画素Iに対応付け、この関係式における領域Ｒ１乃至Ｒ１６の輝度値vRを、図９に示すように、対応する画像Ｗ'の画素Iの輝度値vIにし、投影画像Ｑ'１乃至Ｑ'４の画素Ｐの輝度値vPについて解けば、領域Ｒの輝度値vRのそれぞれが、画像Ｗ'の対応する画素Iの輝度値vIとなるような投影画像Ｑ'の画素Ｐの輝度値vPを得ることができる。
【００４９】
この関係式から投影画像Ｑ'の画素Ｐの輝度値vPを解くには、投影画像Ｑ'の画素Ｐの輝度値vPのベクトルを、画像Ｗ'の輝度値vIのベクトルで表す関係式が必要となるが、その関係式で必要となる行列Mの逆行列は、例えば行列Mを、式（１）に示すように、特異値分解と呼ばれる手法で、正規直交ベクトルを列ベクトルに持つ行列U及びVと、正の対角要素を持つ対角行列Dとの積に分解することで、式（２）に示すように、行列U，V、及び対角行列D'を用いて求めることができる。
【００５０】
【数１】
【００５１】
式（２）中、対角行列D'は、対角行列Dの対角要素のそれぞれの逆数をその対角要素とする行列である。なお、対角行列Dの対角要素が0の場合は、その対角要素に対応する対角行列D'の対角要素も0とするものとする。
【００５２】
かかる一般化逆行列M-1を、図９の関係式の両辺に左から掛けることで、図１０に示すように、投影画像Ｑ'の輝度値vPのベクトルを、画像Ｗ'の画素Iの輝度値vIのベクトルで表す関係式を得ることができる。
【００５３】
この関係式よれば、例えば、図７の例において画像Ｗ'の１６個の画素I1乃至I16の中央の４個の画素I6，I7，I10，I11に対応する、投影像Ｚの領域Ｒ６，Ｒ７，Ｒ１０，Ｒ１１の形成にかかる投影画像Ｑ'１の画素Ｐｍの輝度値vPｍは、画像Ｗ'の画素Iの輝度値vIのベクトルと、一般化逆行列M-1の第１３行の行ベクトルVｍ（その要素はｍ1，ｍ2，…，ｍ16）との内積であることから、式（３）で求めることができる。
【００５４】
【数２】
【００５５】
なお一般化逆行列M-1の第１３行の行ベクトルVｍの要素は、0.04, -0.08, -0.08, 0.04, -0.08, 0.16, 0.16, -0.08, -0.08, 0.16, 0.16, -0.08, 0.04, -0.08, -0.08, 0.04となり、それらを、画像Ｗ'の各画素Iに対応付けて図示すると、図１１に示すようになる。
【００５６】
すなわちこの方法を利用し、本発明では、入力画像Ｗから読み出した所定の１６個の画素の輝度値と、一般化逆行列M-1の第１３行の行ベクトルVｍとの内積を求めることにより、読み出した１６個の画素（図７の例では、画素I1乃至I16）の中央の４個の画素（画素I6，I7，I10，I11）に対応する４個の領域（領域Ｒ６，Ｒ７，Ｒ１０，Ｒ１１）の形成にかかる位相画像Ｑの画素（以下、適宜、対応画素と称する）（画素Ｐｍ）の輝度値が求められる。
【００５７】
ところで図１０に示した関係式によれば、投影画像Ｑ'１の画素Ｐｍ以外の投影画像Ｑ'の画素Ｐの輝度値vPについても、画素Ｐｍと同様に、一般化逆行列M-1の所定の行の行ベクトルと、画像Ｗ'の画素Iの輝度値vIのベクトルとの内積を求めることにより得ることはできるが、本発明では、計算を簡単にするために、一般化逆行列M-1の第１３行の行ベクトルVｍのみを利用して対応画素の輝度値を求めるものとする。
【００５８】
具体的には入力画像Ｗから、縦横方向に、１画素ずつずらして１６個の画素を読み出し、その１６個の画素の中央の４個の画素に対応する４個の領域の形成にかかる位相画像Ｑの画素（すなわち、対応画素）の輝度値が、一般化逆行列M-1の第１３行の行ベクトルVｍとの内積で求められる。
【００５９】
そしてその対応画素がいずれの位相画像Ｑの画素であるかまたその位相画像Ｑ上の位置は、以下に示すように、適切に重なり領域が形成されるように決定される。
【００６０】
例えば入力画像Ｗの１個の画素に注目し、その画素と、所定の位置関係にある画素の合計１６個の画素が選択される。図１２の例では、図中影が付されている画素に注目したとすると、その画素が第2行第２列目に位置する１６個の画素（図中、枠で囲まれている１６個の画素）が後述する逆応答画素として選択される。
【００６１】
そして図１３に示すように、入力画像Ｗの第２行第２列目、第２行第４列目等の列番号iwidと行番号iheiとが共に偶数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ１の画素とされ、位相画像Ｑ上の列番号ｘと行番号ｙが式（４）により決定される。ここで、関数floor(a)は、実数aを超えない最大の整数を与える。
【００６２】
【数３】
【００６３】
例えば入力画像Ｗの（列番号iwid＝２，行番号ihei＝２）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ１上の列番号ｘと行番号ｙは、１（＝floor(２／２)）と１（＝floor(２／２)）となる。位相画像Ｑ１の画素を、列番号xと行番号yを用いてＰ１(x, y)と表すこととすると、この対応画素は、Ｐ１(1, 1)となる。
【００６４】
また図１４に示すように、入力画像Ｗの第２行第３列目、第２行第５列目等の列番号iwidが奇数で行番号iheiが偶数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ２の画素となる。
【００６５】
そして例えば入力画像Ｗの（列番号iwid＝３，行番号ihei＝２）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ２の列番号ｘと行番号ｙは、１（＝floor(３／２)）と１（＝floor(２／２)）となる。位相画像Ｑ２の画素を、列番号xと行番号yを用いてＰ２(x, y)と表すこととすると、この対応画素は、Ｐ２(1, 1)となる。
【００６６】
また図１５に示すように、入力画像Ｗの第３行第３列目、第３行第５列目等の列番号iwidと行番号iheiとがともに奇数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ３の画素となる。
【００６７】
そして例えば入力画像Ｗの（列番号iwid＝３，行番号ihei＝３）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ３の列番号ｘと行番号ｙは、１（＝floor(３／２)）と１（＝floor(３／２)）となる。位相画像Ｑ３の画素を、列番号xと行番号yを用いてＰ３(x, y)と表すこととすると、この対応画素は、Ｐ３(1, 1)となる。
【００６８】
また図１６に示すように、入力画像Ｗの第３行第２列目、第３行第４列目等の列番号iwidが偶数で行番号iheiが奇数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ４の画素となる。
【００６９】
そして例えば入力画像Ｗの（列番号iwid＝２，行番号ihei＝３）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ４の列番号ｘと行番号ｙは、１（＝floor(２／２)）と１（＝floor(３／２)）となる。位相画像Ｑ４の画素を、列番号xと行番号yを用いてＰ４(x, y)と表すこととすると、この対応画素は、Ｐ４(1, 1)となる。
【００７０】
このようにして画像処理部２２では、各投影装置１２により、それぞれ縦横方向に、位相画像の半画素分ずれて重なり合うように投影されることで入力画像Ｗと同等の解像度でかつ入力画像と同等の画質の投影像が映し出されるようになる位相画像Ｑが生成される。
【００７１】
すなわち画像処理部２２は、図５に示すように選択部２２Ａ、係数格納部２２Ｂ、及び演算部２２Ｃから構成され、選択部２２Ａは、入力部２１から供給された入力画像Ｗから１６個の画素を選択し、演算部２２Ｃに供給する。
【００７２】
演算部２２Ｃは、選択部２２Ａから供給された１６個の逆応答画素の輝度値と、係数格納部２２Ｂに格納されている一般化逆行列M-1の第１３行の行ベクトルVｍの要素の値（以下、適宜、逆応答係数という）との内積を演算する（以下、この演算を、適宜、逆応答演算と称する）ことにより、位相画像Ｑの対応画素の輝度値を求め、所定の位相画像Ｑの所定の位置に配置して、４個の位相画像Ｑを生成する。演算部２２Ｃは、生成した４個の位相画像Ｑを、分配部２３に供給する。
【００７３】
次に、画像処理部２２の動作を、図１７のフローチャートを参照して説明する。
【００７４】
入力部２１が、入力画像Ｗを入力し、画像処理部２２に供給すると、ステップＳ２１において、画像処理部２２の選択部２２Ａは、例えばRGBなどの入力画像Ｗの色種類をカウントする変数ibandを０に初期化する。なお入力画像Ｗは、カラー画像を構成する、例えばRGB(Red Green Blue)等の色種類の色ごとの画像であるものとする。
【００７５】
次にステップＳ２２において、選択部２２Ａは、変数ibandに対応する色の入力画像Ｗの画素の行番号iheiをカウントする変数iheiを、定数ｍarginに初期化する。
【００７６】
注目する画素に対して図１２に示したような位置関係にある１６個の画素を逆対応画素として選択する場合、第１行目の画素を注目したとき、１６個の画素を適切に選択することができなくなるので、定数ｍargin＝２とし、第２行目以降の画素が注目されるようにする。
【００７７】
ステップＳ２３において、選択部２２Ａは、注目する画素の列番号iwidをカウントする変数iwidを、定数ｍarginに初期化する。
【００７８】
変数iheiに対する定数ｍarginと同様に、注目する画素に対して図１２に示したような位置関係がある１６個の画素を逆対応画素として選択する場合、第１列目の画素を注目したとき、１６個の画素を適切に選択することができなくなるので、定数ｍargin＝２とし、第２列目以降の画素が注目されるようにする。
【００７９】
ステップＳ２４において、選択部２２Ａは、入力画像Ｗの第ihei行iwid列目の画素に注目したときの１６個の画素（図１３乃至図１６）を、入力画像Ｗから選択して、演算部２２Ｃに供給する。
【００８０】
ステップＳ２５において、演算部２２Ｃは、選択部２２Ａから供給される１６個の画素の画素値をγ補正することにより、その輝度値に変換する。
【００８１】
画素値と輝度値の関係は、図１８に示すように非線形であり、演算部２２Ｃでは、逆応答演算前に画素値から輝度値に変換を行う必要がある。
【００８２】
変換対象の画素の画素値をvとし、その画素の輝度値（投影面１３での輝度値）をIとすると、一般に、輝度値Iは、画素値vを用いて、I=vγと表される。ここで、γは所定の定数である。この式を用いたγ補正することにより、画素値が輝度値に変換される。
【００８３】
図１７に戻りステップＳ２６において、演算部２２Ｃは、逆応答画素の輝度値と、係数格納部２２Ｂに格納されている逆応答係数（すなわち一般化逆行列M-1の第１３行の係数）とを用いた逆応答演算を行うことにより、対応画素の輝度値を求める。そして演算部２２Ｃは、求めた対応画素の輝度値を逆γ補正することにより、その画素値に変換する。画素値vは、輝度値を用いて、v=I1/γと表され、この式を用いて逆γ補正することにより、輝度値が画素値に変換される。
【００８４】
なおここで演算部２２Ｃは、対応画素の画素値が0以下なら0に、256以上なら255に、それ以外ならそのままの値とするクリップ処理を行う。
【００８５】
次にステップＳ２７において、演算部２２Ｃは、ステップＳ２６で輝度値が求められた対応画素が構成する位相画像Ｑとその位置を、図１３乃至図１６を参照して説明したように決定する。
【００８６】
すなわち変数iwidと変数iheiが共に偶数である場合、対応画素は、位相画像Ｑ１の画素となり、変数iwidが奇数で変数iheiが偶数である場合、対応画素は、位相画像Ｑ２の画素となり、変数iwidと変数iheiが共に奇数である場合、対応画素は、位相画像Ｑ３の画素となり、変数iwidが偶数で変数iheiが奇数である場合、対応画素は、位相画像Ｑ３の画素となる。
【００８７】
また対応画素の位相画像Ｑの位置は、式（４）により決定される。
【００８８】
次にステップＳ２８において、選択部２２Ａは、変数iwidを１だけインクリメントし、インクリメント後の変数iwidが、入力画像Ｗの幅方向の画素数を示す定数widthから定数ｍarginを減算した値より小さいかを判定する。
【００８９】
ステップＳ２８で、インクリメント後の変数iwidが定数widthから定数ｍarginを減算した値より小さいと判定された場合、処理は、ステップＳ２４に戻り、以下、同様の処理が繰り返される。
【００９０】
一方、ステップＳ２８で、インクリメント後の変数iwidが定数widthから定数ｍarginを減算した値以上であると判定された場合、第ihei行の逆応答演算が終了し、処理は、ステップＳ２９に進む。
【００９１】
ステップＳ２９において、選択部２２Ａは、変数iheiを１だけインクリメントし、インクリメント後の変数iheiが、入力画像Ｗの縦方向の画素数を示す定数heightから定数ｍarginを減算した値より小さいかを判定する。
【００９２】
ステップＳ２９で、インクリメント後の変数iheiが、定数heightから定数ｍarginを減算した値より小さいと判定された場合、処理は、ステップＳ２３に戻り、以下、同様の処理が繰り返され、次の行についての逆応答演算が行われる
【００９３】
一方、ステップＳ２９で、インクリメント後の変数iheiが、定数heightから定数ｍarginを減算した値以上であると判定された場合、変数ibandに対応する色の入力画像Ｗに対する逆応答演算が終了し、処理は、ステップＳ３０に進む。
【００９４】
ステップＳ３０において、選択部２２Ａは、変数ibandを１だけインクリメントし、インクリメント後の変数ibandが入力画像Ｗの色種類の総数を示す定数nbandより小さいかを判定する。
【００９５】
ステップＳ３０で、インクリメント後の変数ibandが定数nbandより小さいと判定された場合、処理は、ステップＳ２２に戻り、以下、同様の処理が繰り返され、次の色の入力画像Ｗについて逆応答演算が行われる。
【００９６】
一方、ステップＳ３０において、インクリメント後の変数ibandが定数nband以上であると判定された場合、すなわち、全色種類の色ごとの入力画像Ｗについての逆応答演算が終了し、全色種類についての複数の位相画像Ｑが生成されたとき、処理はステップＳ３１に進む。
【００９７】
ステップＳ３１において、演算部２２Ｃは、生成した（全色種類の）複数の位相画像Ｑを分配部２３に供給し、分配部２３は、画像処理部２２から供給された位相画像Ｑを、対応する投影装置１２に供給する。
【００９８】
以上のような処理が入力画像Ｗが入力される度に繰り返し行われる。
【００９９】
次に、図１９に示す入力画像Ｗが入力された場合の図３の画像投影システム１による投影の試行例を、図２０乃至図２４を参照して説明する。
【０１００】
この試行では、画像処理装置１１において、図１９に示す入力画像Ｗから、図２０乃至図２３に示す、入力画像Ｗの１／２の解像度の位相画像Ｑ１乃至Ｑ４が生成され、投影装置１２Ａ乃至１２Ｄにより、位相画像Ｑ１乃至Ｑ４が、それらがそれぞれ縦横方向に位相画像Ｑの半画素分ずれて重なり合うように投影され、図２４に示すような、入力画像Ｗと同等の解像度でかつ入力画像Ｗと同等の画質の投影像Ｚが投影面１３に映し出された。
【０１０１】
以上のように、入力画像Ｗから生成された複数の位相画像Ｑが互いに所定のずらし量だけずれて重なり合うように、複数の位相画像Ｑを投影面１３に投影する場合において、複数の位相画像Ｑのそれぞれの所定の画素が重なり合って形成される領域と、入力画像Ｗの画素とを対応付け、対応する領域の輝度値と入力画像の画素の輝度値の差異が最小となる位相画像Ｑの各画素の輝度値を演算するようにしたので、図２４の試行例のように、入力画像Ｗと同等の解像度でかつ入力画像Ｗと同等の画質の投影像Ｚを投影面１３に映し出すことができる。
【０１０２】
なお以上においては、４個の位相画像Ｑを生成し、それらが重なり合うように投影するものとしたが、２個の位相画像Ｑが重なり合うように投影するようにしても、それにより投影像上に形成される領域を、入力画像Ｗの画素に対応付けることは可能であり、４個の位相画像Ｑの場合と同様の効果を得ることができる。２個の位相画像Ｑが重なり合うように投影する場合の例について説明する。
【０１０３】
この例の場合、図２５に示すように、２個の位相画像Ｑ１と位相画像Ｑ２とが、縦横方向に位相画像Ｑの半画素分ずれて映し出されるように投影される。
【０１０４】
この例の場合における位相画像Ｑの生成処理について説明する。
【０１０５】
例えば、図２６に示すように、解像度が所定の画像Ｗ'の１／２である２個の投影画像Ｑ'１及びＱ'２を、それぞれ縦横方向に投影画像Ｑ'の半画素分ずれて重なり合うように投影すると、すなわち投影画像Ｑ'に合わせて描かれている基準線が互いに合致するように投影すると、その結果得られる投影像Ｚには、２個の投影画像Ｑ'のそれぞれの所定の画素Ｐが重なり合って形成される領域Ｒ１乃至領域Ｒ１６が形成される。
【０１０６】
この投影像Ｚの領域Ｒ１乃至領域Ｒ１６の輝度値vR1乃至vＲ１６は、重なり合う２個の投影画像Ｑ'の画素Ｐの輝度値vPにより決定される。
【０１０７】
例えば領域Ｒ１は、投影画像Ｑ'１の画素Ｐaおよび投影画像Ｑ'２の画素Ｐdが重なり合って形成されるので、領域Ｒ１の輝度値vR1は、投影画像Ｑ'１の画素Ｐaの輝度値vPaおよび投影画像Ｑ'２の画素Ｐdの輝度値vPdが加算された結果得られる値となる。
【０１０８】
領域Ｒ６は、投影画像Ｑ'１の画素Ｐgおよび投影画像Ｑ'２の画素Ｐdが重なり合って形成されるので、領域Ｒ６の輝度値vＲ６は、投影画像Ｑ'１の画素Ｐgの輝度値vPgおよび投影画像Ｑ'の画素Ｐdの輝度値vPdが加算された結果得られる値となる。
【０１０９】
また投影画像Ｑ'がそれぞれ縦横方向に半画素分ずれて重なり合うように投影されていることから、この領域Ｒの大きさは、投影画像Ｑ'の画素Ｐの１／４の大きさとなる。すなわち投影画像Ｑ'の２倍の解像度を有する画像Ｗ'の画素Iの大きさとなる。
【０１１０】
従って以上のことから、各投影画像Ｑ'の画素Ｐの輝度値vPを、領域Ｒ１乃至Ｒ１６の輝度値vR1乃至vＲ１６が、画像Ｗ'の画素I1乃至I16の輝度値vI１乃至vI16となるようにすれば、２個の投影画像Ｑ'を、それぞれ縦横方向に投影画像Ｑ'の半画素分ずれて重なり合うように投影することにより、４個の投影画像Ｑ'を用いた場合と同様に、画像Ｗ'と同等の解像度でかつ画像Ｗ'と同等の画質の投影像Ｚを映し出すことができる。
【０１１１】
また図２６の例において、領域Ｒの輝度値vRが、それぞれ所定の、投影画像Ｑ'１の画素Ｐの輝度値vPおよび投影画像Ｑ'２の画素Ｐの輝度値vPが加算された結果得られる値であるという、領域Ｒの輝度値vRと、投影画像Ｑ'の画素Ｐの輝度値vPとの関係は、図２７に示すように、領域Ｒの輝度値vRのベクトル、投影画像Ｑ'の画素Ｐの輝度値vPのベクトル、および１６行１３列の所定の行列Mからなる関係式で表すことができる。
【０１１２】
例えば行列Mの第１行目に注目すると、領域Ｒ１の輝度値vR1＝vPa＋vPdとなり、上述した関係に一致する。
【０１１３】
そこで領域Ｒ１乃至Ｒ１６のそれぞれを、画像Ｗ'の画素Iに対応付け、この関係式における領域Ｒ１乃至Ｒ１６の輝度値vRを、図２８に示すように、対応する画像Ｗ'の画素Iの輝度値vIにし、投影画像Ｑ'１およびＱ'２の画素Ｐの輝度値vPについて解けば、領域Ｒの輝度値vRが、画像Ｗ'の画素Iの輝度値vIとなるような投影画像Ｑ'の画素Ｐの輝度値vPを得ることができる。
【０１１４】
この関係式から投影画像Ｑ'の画素Ｐの輝度値vPを、４個の投影画像Ｑ'の場合と同様に解くと、図２９に示すように、投影画像Ｑ'の輝度値vPのベクトルを、画像Ｗ'の画素Iの輝度値vIのベクトルで表す関係式を得ることができる。
【０１１５】
この関係式よれば、例えば、図２６の例において画像Ｗ'の１６個の画素I1乃至I16の中央の４個の画素I6，I7，I10，I11に対応する、投影像Ｚの領域Ｒ６，Ｒ７，Ｒ１０，Ｒ１１の形成にかかる投影画像Ｑ'１の画素Ｐgの輝度値vPgは、画像Ｗ'の画素Iの輝度値vIのベクトルと、一般化逆行列M-1の第７行の行ベクトルVｍｍ(その要素は、ｍｍ1，ｍｍ2，…，ｍｍ16)との内積となるので、式（５）で求めることができる。
【０１１６】
【数４】
【０１１７】
なお一般化逆行列M-1の第７行の行ベクトルVｍｍは、-0.0769,-0.0385,-0.0385,-0.0769,-0.0385,0.2308,0.2308,-0.0385,-0.0385,0.2308,0.2308,-0.0385,-0.0769, -0.0385, -0.0385, -0.0769となり、それらを、画像Ｗ'の各画素Iに対応付けて図示すると、図３０に示すようになる。
【０１１８】
すなわちこの例の場合、入力画像Ｗから読み出した所定の１６個の画素の輝度値と、一般化逆行列M-1の第７行の行ベクトルVｍｍとの内積を求めることにより、読み出した１６個の画素（すなわち逆応答画素）の中央の４個の画素に対応する４個の領域の形成にかかる位相画像Ｑの画素（すなわち対応画素）の輝度値が求められる。
【０１１９】
なおこの例においても、計算を簡単にするために、一般化逆行列M-1の第７行の行ベクトルVｍｍのみを利用して対応画素の輝度値を求めるものとする。
【０１２０】
すなわち入力画像Ｗから、縦横方向に、１画素ずつずらして１６個の画素（すなわち逆応答画素）を読み出し、その１６個の画素の中央の４個の画素に対応する４個の領域の形成にかかる位相画像Ｑの画素（すなわち、対応画素）の輝度値が、一般化逆行列M-1の第７行の行ベクトルVｍｍとの内積で求められる。
【０１２１】
そして対応画素がいずれの位相画像Ｑの画素であるか、またその位相画像Ｑ上の位置は、以下に示すように、適切に重なり領域が形成されるように決定される。
【０１２２】
例えば注目した入力画像Ｗの画素が、図１２に示したように、第2行第２列目に位置する１６個の画素が逆応答画素として選択される。
【０１２３】
そして図３１に示すように、入力画像Ｗの第２行第２列目、第２行第４列目等の行番号iheiが偶数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ１の画素とされ、位相画像Ｑ１上の列番号ｘと行番号ｙが式（４）により決定される。
【０１２４】
例えば入力画像Ｗの（列番号iwid＝２，行番号ihei＝２）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ１上の列番号ｘと行番号ｙは、１（＝floor(２／２)）と１（＝floor(２／２)）となる。位相画像Ｑ１の画素を、列番号xと行番号yを用いてＰ１(x, y)と表すこととすると、この対応画素は、Ｐ１(1, 1)となる。
【０１２５】
図３２に示すように、入力画像Ｗの第３行第３列目、第３行第５列目等の行番号iheiが奇数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ２の画素となる。
【０１２６】
そして例えば入力画像Ｗの（列番号iwid＝３，行番号ihei＝３）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ２の列番号ｘと行番号ｙは、１（＝floor(３／２)）と１（＝floor(３／２)）となる。位相画像Ｑ２の画素を、列番号xと行番号yを用いてＰ２(x, y)と表すこととすると、この対応画素は、Ｐ２(1, 1)となる。
【０１２７】
このようにして２個の位相画像Ｑが生成される。
【０１２８】
すなわちこのように２個の位相画像Ｑを利用する場合、図３の画像投影システム１における投影装置１２Ａ乃至１２Ｄのうち、例えば投影装置１２Ａおよび１２Ｃのみを用い、画像処理装置１１は、上述したように生成した２個の位相画像Ｑを、投影装置１２Ａおよび投影装置１２Ｃに供給する。
【０１２９】
なお、画像処理装置１１の画像処理部２２が、係数格納部２２Ｂに、位相画像Ｑが４個の場合と２個の場合それぞれの逆応答係数を記憶しておき、いずれの方法でも投影処理を行うことができるようにしておくこともできる。
【０１３０】
以上において図３に示した画像投影システム１では、複数の投影装置１２を用いて、複数の位相画像Ｑを、同時に、投影面１３に映し出されるように投影するようにしたが、視覚の時間積分効果を利用して、１台の投影装置１２が、複数の位相画像Ｑを、その効果が得られる時間間隔で順に投影するようにしても、複数の投影装置１２を用いた場合と同様の効果を得ることができる。
【０１３１】
図３３は、１台の投影装置を利用する場合の画像投影システム１００の構成例を示している。
【０１３２】
すなわち図３の４個の投影装置１２に代えて、１個の投影装置１０１が設けられている。
【０１３３】
画像処理装置１１には、投影装置１０１が投影する投影画像の２倍の解像度を有する入力画像Ｗが入力される。
【０１３４】
画像処理装置１１は、図３における場合と同様に、例えば４個の位相画像を生成し、投影装置１０１に供給する。
【０１３５】
投影装置１０１は、画像処理装置１１から供給された４個の位相画像を、図４に示したように、４個の位相画像Ｑがそれぞれ縦横方向に位相画像の半画素分互いにずれて（すなわち、画素ピッチをdとした場合の画素の縦横の大きさの半分のずらし量d/2だけずれて）重なり合うとともに、４個の位相画像Ｑが視覚の時間積分効果が得られる時間間隔で投影されるように、投影面１３に順次投影する。
【０１３６】
すなわち、投影装置１０１は、入力画像Ｗから生成された４個の位相画像Ｑについて、位相画像Ｑ１を投影し、その後、位相画像Ｑ２を、位相画像Ｑ１に対して右方向にずらし量d/2だけずれて映し出されるように投影し、その後、位相画像Ｑ３を、位相画像Ｑ２に対して上方向にずらし量d/2だけずれて映し出されるように投影し、その後、位相画像Ｑ４を、位相画像Ｑ３に対して左方向にずらし量d/2だけずれて映し出されるように投影する処理を、視覚の時間積分効果が得られる時間間隔で行う。
【０１３７】
このように画像処理装置１１から供給された４個の位相画像Ｑを、視覚の時間積分効果が得られる時間間隔で投影することにより、図３に示した４個の投影装置１２を利用した場合と同様に、入力画像Ｗと同等の解像度でかつ入力画像Ｗと同等の画質の投影像を映し出すことができる。
【０１３８】
図３４は、投影装置１０１の構成例を示すブロック図である。
【０１３９】
図３４において、投影装置１０１は、同期制御部１１１、光路駆動部１１２、及び投影部１１３から構成される。
【０１４０】
同期制御部１１１は、同期用のクロック信号を生成し、光路駆動部１１２及び投影部１１３に供給する。
【０１４１】
光路駆動部１１２は、同期制御部１１１から供給されるクロック信号に同期して、投影部１１３の投影光の光路を、位相画像がそれぞれ縦横方向に位相画像の半画素分ずれて映し出されるように駆動する。
【０１４２】
光路駆動部１１２は、例えば、投影部１１３の投影素子自体を駆動するもので構成されるが、その他、投影部１１３の投影光の光路上に設けた２軸のガルバノミラーを駆動するもので構成されるようにしてもよい。
【０１４３】
投影部１１３には、画像処理装置１１から供給される位相画像Ｑが供給される。
【０１４４】
投影部１１３は、例えば、入力画像Ｗのフレームレートに位相画像Ｑの枚数を乗じたフレームレートで位相画像Ｑを投影する投影素子、例えば、応答周波数が200Hz程度と比較的高速なLCOS(Liquid crystal on silicon)を採用した反射型液晶プロジェクタ等で構成され、同期制御部１１１から供給されるクロック信号に同期して、画像処理部２２から供給される位相画像Ｑを、位相画像Ｑが互いに所定のずらし量だけずれて重なり合っているように視覚される時間間隔で、順次投影する。
【０１４５】
以上のように、画像投影システム１００は、入力画像から、入力画像より低解像度の複数の位相画像を生成し、視覚の時間積分効果により、複数の位相画像が互いに所定のずらし量だけずれて重なり合っているように認識される時間間隔で、複数の位相画像を順次投影面に投影する。そして、複数の位相画像の生成において、複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、入力画像の画素とを対応付け、対応する領域の表示と入力画像の画素の表示の差異が最小となる位相画像の各画素の輝度値を演算するようにしたので、画像投影システム１００は、入力画像と同等の解像度でかつ入力画像と同等の画質の投影像を映し出すことができる。
【０１４６】
また、本実施の形態では、入力画像Ｗとして、より高解像度のものを用いるほど、投影像Ｚが高解像度になる程度を向上させることができる。
【０１４７】
本実施の形態では、位相画像は、入力画像の1/2の解像度としたが、その他、1/2以外の1/n（nは整数）の解像度であってもよい。その場合、投影像を、実効的にn倍の解像度にすることが可能となる。
【０１４８】
また、画像投影システム１または画像投影システム１００では、入力画像の解像度よりも低解像度の投影画像を投影する投影装置を用いるので、システムの低コスト化が可能となる。
【０１４９】
画像投影システム１および画像投影システム１００では、逆応答演算の信号処理として比較的簡単な線形予測の信号処理を行うようにしたので、DSP(Digital Signal Processor)等の比較的安価な既存の信号処理回路を用いることができ、さらに、その信号処理回路に大きな変更を加えずに画像投影システムを実現することが可能である。
【０１５０】
画像投影システム１および画像投影システム１００では、複数の位相画像が重なり合うように投影するようにしたので、投影装置本来の階調解像度に対して、投影装置の台数または位相画像の個数を乗じた分だけ階調解像度を向上することができる。
【０１５１】
画像投影システム１または画像投影システム１００では、高輝度なDLPやLCOS等の画素開口率が高く高輝度な投影素子を用いるほど、より高画質の投影像とすることが可能となる。
【０１５２】
画像処理装置１１により生成された位相画像Ｑは、記録媒体に記録して投影装置１２等の投影装置に提供されるようにしてもよい。
【０１５３】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１５４】
図３５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１５５】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Meｍory）２０２，RAM（Randoｍ Access Meｍory）２０３は、バス２０４により相互に接続されている。
【０１５６】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１５７】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１５８】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Coｍpact Disc−Read Only Meｍory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１５９】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１６０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１６２】
【図１】ウォビュレーションを説明する図である。
【図２】ディスプレイシステムによる表示例を示す図である。
【図３】画像投影システムの構成例を示す図である。
【図４】４個の位相画像を模式的に表す図である。
【図５】画像処理装置１１の構成例を示す図である。
【図６】画像投影システム１による画像投影処理を説明するフローチャートである。
【図７】位相画像生成処理の原理を説明する図である。
【図８】領域Ｒの輝度値vRのベクトル、投影画像Ｑ’の画素Ｐの輝度値vPのベクトル、および行列Mからなる関係式を示す図である。
【図９】領域Ｒ１乃至Ｒ１６の輝度値vRを、対応する画像Ｗ’の画素Iの輝度値vIにした場合の関係式を示す図である。
【図１０】投影画像Ｑ’の輝度値vPのベクトルを、画像Ｗ’の画素Iの輝度値vIのベクトルで表す関係式を示す図である。
【図１１】一般化逆行列M-1の第１３行の行ベクトルVｍを示す図である。
【図１２】逆応答画素を示す図である。
【図１３】対応画素が構成する位相画像を決定する様子を示す図である。
【図１４】対応画素が構成する位相画像を決定する様子を示す図である。
【図１５】対応画素が構成する位相画像を決定する様子を示す図である。
【図１６】対応画素が構成する位相画像を決定する様子を示す図である。
【図１７】画像処理部２２の動作を説明するフローチャートである。
【図１８】画素値と輝度値の関係を示す図である。
【図１９】入力画像Ｗを示す図である。
【図２０】位相画像Ｑ１の一部を示す図である。
【図２１】位相画像Ｑ２の一部を示す図である。
【図２２】位相画像Ｑ３の一部を示す図である。
【図２３】位相画像Ｑ４の一部を示す図である。
【図２４】投影像Ｚを示す図である。
【図２５】２個の位相画像を模式的に示す図である。
【図２６】位相画像生成処理の原理を説明する図である。
【図２７】領域Ｒの輝度値vRのベクトル、投影画像Ｑ’の画素Ｐの輝度値vPのベクトル、および行列Mからなる関係式を示す図である。
【図２８】領域Ｒ１乃至Ｒ１６の輝度値vRを、対応する画像Ｗ’の画素Iの輝度値vIにした場合の図８の関係式を示す図である。
【図２９】投影画像Ｑ’の輝度値vPのベクトルを、画像Ｗ’の画素Iの輝度値vIのベクトルで表す関係式を示す図である。
【図３０】一般化逆行列M-1の第７行の行ベクトルの要素を示す図である。
【図３１】対応画素が構成する位相画像を決定する様子を示す図である。
【図３２】対応画素が構成する位相画像を決定する様子を示す図である。
【図３３】画像投影システム１００の構成例を示すブロック図である。
【図３４】投影装置１０１の構成例を示すブロック図である。
【図３５】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０１６３】
１ 画像投影システム， １１ 画像処理装置， １２，１２Ａ乃至１２Ｄ 投影装置， ２１ 入力部， ２２ 画像処理部， ２２Ａ 選択部， ２２Ｂ 係数格納部， ２２Ｃ 演算部， ２３ 分配部， １００ 画像投影システム， １０１ 投影装置， １１１ 同期制御部， １１２ 光路駆動部， １１３ 投影部， ２０１ ＣＰＵ， ２０２ ROM， ２０３ RAM， ２０４ バス， ２０５ 入出力インタフェース， ２０６ 入力部， ２０７ 出力部， ２０８ 記憶部， ２０９ 通信部， ２１０ ドライブ， ２１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は画像生成装置及び方法、プログラム、並びに記録媒体に関し、特に、本来投影したい画像より低解像度であり、互いに所定のずらし量だけずれて重なり合うように投影面に投影されることでその画像と同等の画質の投影像が映し出されるようになる位相画像を生成する画像生成装置及び方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
本来投影したい画像（以下、入力画像と称する）より低解像度の投影画像を投影する投影装置を利用して、入力画像と同じ解像度の投影像を投影面に映し出す方法として、ウォビュレーション(Wobulation)と呼ばれる方法（例えば、非特許文献１参照）がある。
【０００３】
例えば図１下左から１番目に示す入力画像から、図１下左から２番目および３番目に示すような入力画像の解像度の１／２のサブ画像が生成され、そのサブ画像が、互いにサブ画像の半画素分ずれて重なる位置に、人間の視覚の時間積分効果を得ることができる時間間隔で投影される。
【０００４】
その結果、図１上の右に示すように、入力画像の２倍の解像度の投影像を視覚させることができる。
【０００５】
ウォビュレーション法では、サブ画像が視覚の時間積分効果を得ることができる時間間隔で投影されたが、複数の投影装置を利用して同時に投影し同様の効果を得るディスプレイシステムも考えられている（例えば、非特許文献２参照）。
【０００６】
図２は、このディスプレイシステムによる表示例を示している。
【非特許文献１】"Wobulation: Doubling the Addressed Resolution of Projection Displays", Will Allen (Digital Projection and Iｍaging, Hewlett-Packard, Corvallis, Oregon, USA) and Robert Ulichney (HP Labs, Caｍbridge, Massachusetts, USA) in the Proceedings of SID 2005
【非特許文献２】Yang, Ruigang, David Gotz, Justin Hensley, Herｍan Towles and Mike Brown. "PixelFlex: A Reconfigurable Multi-Projector Display Systeｍ." IEEE Visualization 2001. San Diego, CA (October 21-26, 2001).
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えばウォビュレーション法では、サブ画像の画素の画素値は、入力画像の対応する所定の１つの画素の画素値に一義的に決定される。
【０００８】
例えば、第１のサブ画像の第２行第２列の画素の画素値は、入力画像の第３行第３列の画素の画素値とされ、第２のサブ画像の第１行第１列の画素の画素値は、入力画像の第２行第２列の画素値とされている。
【０００９】
したがってサブ画像の画素が重なり合って形成される投影像の領域の例えば輝度値は、その領域が対応する入力画像の画素の輝度値とは必ずしも一致しないので、ウォビュレーション法で映し出される投影像は、入力画像と同じ解像度を有するものの滲んでいるような像となり、入力画像と同じ画質とはならない。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、入力画像より低解像度であり、互いに所定のずらし量だけずれて重なり合うように投影面に投影されることで入力画像と同等の画質の投影像が映し出されるようになる位相画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の画像生成装置は、入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置において、前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算する。
【００１２】
本発明の一側面の画像生成装置には、前記複数の位相画像を、前記投影面に投影する投影手段をさらに設けることができる。
【００１３】
本発明の一側面の画像生成方法またはプログラムは、入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成方法または画像処理をコンピュータに実行させるプログラムであり、前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算するステップを含む。
【００１４】
本発明の一側面においては、複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とが対応付けられ、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値が演算される。
【発明の効果】
【００１５】
本発明の一側面によれば、入力画像より低解像度であり、互いに所定のずらし量だけずれて重なり合うように投影面に投影されることで入力画像と同等の画質の投影像が映し出されるようになる位相画像を生成することができる。
【発明を実施するための最良の形態】
【００１６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１７】
本発明の一側面の画像生成装置（例えば、図３の画像処理装置１１）は、
入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置において、
前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算する。
【００１８】
本発明の一側面の画像生成装置には、
前記複数の位相画像を、前記投影面に投影する投影手段（例えば、図３の投影装置１２Ａ乃至１２Ｄ）をさらに設けることができる。
【００１９】
本発明の一側面の画像生成方法またはプログラムは、
入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成方法または画像処理をコンピュータに実行させるプログラムであり、
前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算するステップ（例えば、図６のステップＳ２）
を含む。
【００２０】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００２１】
図３は、入力画像より低解像度の投影画像を投影する投影装置を複数台利用して、入力画像と同等の解像度でかつ入力画像と同等の画質の投影像が投影面に映し出されるようにすることができる画像投影システム１の構成例を示している。
【００２２】
画像投影システム１は、画像処理装置１１、４個の投影装置１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ、及び投影面１３から構成される。
【００２３】
画像処理装置１１には、各投影装置１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ（以下、個々に区別する必要がない場合、単に、投影装置１２と称する）が投影する投影画像の２倍の解像度を有する入力画像Ｗが入力される。
【００２４】
画像処理装置１１は、後述するように、解像度が入力画像Ｗの１／２の４個の投影画像（以下、位相画像と称する）を生成し、対応する投影装置１２に供給する。
【００２５】
ここで、解像度とは、画像を表現する格子の細かさを単位長さ当りで示したものである。したがって、解像度が1/2になると、画素ピッチは２倍、画素の大きさは４倍となる。
【００２６】
各投影装置１２は、透過型液晶プロジェクタ、反射型液晶プロジェクタ、DLP(Digital Light Processing)プロジェクタ等から構成され、画像処理装置１１から供給された位相画像を、４個の位相画像がそれぞれ縦横方向に位相画像の半画素分互いにずれて（すなわち、画素ピッチをdとした場合の画素の縦横の大きさの半分のずらし量d/2だけずれて）重なり合うように投影面１３に投影する。
【００２７】
４個の位相画像を模式的に表した図４に示すように、投影装置１２Ａは、位相画像Ｑ１を所定の位置に投影し、投影装置１２Ｂは、位相画像Ｑ２を、位相画像Ｑ１に対して右方向にずらし量d/2だけずれて映し出されるように投影し、投影装置１２Ｃは、位相画像Ｑ３を、位相画像Ｑ２に対して下方向にずらし量d/2だけずれて映し出されるように投影し、投影装置１２Ｄは、位相画像Ｑ４を、位相画像Ｑ３に対して左方向にずらし量d/2だけずれて映し出されるように投影する。
【００２８】
図５は、画像処理装置１１の構成例を示している。
【００２９】
入力部２１は、画像処理装置１１に供給された入力画像Ｗを、画像処理部２２に供給する。
【００３０】
画像処理部２２は、各投影装置１２によりそれぞれ縦横方向に位相画像Ｑの半画素分ずれて重なり合うように投影されることで入力画像Ｗと同等の解像度でかつ入力画像Ｗと同等の画質の投影像が映し出されるようになる４個の位相画像Ｑ１乃至Ｑ４を生成し（その詳細は後述する）、分配部２３に供給する。
【００３１】
分配部２３は、画像処理部２２から供給された４個の位相画像Ｑ１乃至Ｑ４を、投影装置１２に分配する。すなわち分配部２３は、位相画像Ｑ１を投影装置１２Ａに供給し、位相画像Ｑ２を投影装置１２Ｂに供給し、位相画像Ｑ３を投影装置１２Ｃに供給し、位相画像Ｑ４を投影装置１２Ｄに供給する。
【００３２】
次に、図６のフローチャートを参照して、図５の画像投影システム１による画像投影処理について説明する。
【００３３】
ステップＳ１において、画像処理装置１１に入力画像Ｗが供給されると、画像処理装置１１の入力部２１は、画像処理装置１１に供給された入力画像Ｗを入力し、画像処理部２２に供給する。
【００３４】
ステップＳ２において、画像処理部２２は、後述の位相画像生成処理を行うことにより入力画像Ｗから４個の位相画像Ｑを生成し、分配部２３に供給する。
【００３５】
ステップＳ３において、分配部２３は、画像処理部２２から供給された位相画像Ｑを対応する投影装置１２に分配する。
【００３６】
ステップＳ４において、各投影装置１２は、画像処理装置１１（の分配部２３）から供給された位相画像Ｑを、４個の位相画像Ｑがそれぞれ縦横方向に位相画像Ｑの半画素分互いにずれて重なり合うように投影面１３に投影する。
【００３７】
次に、ステップＳ２における画像処理部２２の位相画像生成処理について説明する。はじめにその原理を、図７を参照して説明する。
【００３８】
解像度が所定の画像Ｗ'の１／２である４個の投影画像Ｑ'１乃至Ｑ'４（以下、個々に区別する必要がない場合、投影画像Ｑ'と称する）を、それぞれ縦横方向に投影画像Ｑ'の半画素分互いにずれて重なり合うように投影すると、すなわち投影画像Ｑ'に合わせて描かれている基準線が互いに合致するように投影すると、その結果得られる投影像Ｚには、４個の投影画像Ｑ'のそれぞれの所定の画素Ｐが重なり合って形成される領域Ｒ１乃至領域Ｒ１６（図中、投影像Ｚにおいて影付されている領域）が形成される。
【００３９】
この投影像Ｚの領域Ｒ１乃至領域Ｒ１６の輝度値vR1乃至vＲ１６は、重なり合う４個の投影画像Ｑ'の画素Ｐの輝度値vPにより決定される。
【００４０】
例えば領域Ｒ１は、投影画像Ｑ'１の画素Ｐa、投影画像Ｑ'２の画素Ｐb、投影画像Ｑ'３の画素Ｐg、および投影画像Ｑ'４の画素Ｐfが重なり合って形成されるので、領域Ｒ１の輝度値vR1は、画素Ｐaの輝度値vPa、画素Ｐbの輝度値vPb、画素Ｐgの輝度値vPg、および画素Ｐfの輝度値vPfが加算された結果得られる値となる。
【００４１】
領域Ｒ６は、投影画像Ｑ'１の画素Ｐｍ、投影画像Ｑ'２の画素Ｐl、投影画像Ｑ'３の画素Ｐg、および投影画像Ｑ'４の画素Ｐhが重なり合って形成されるので、領域Ｒ６の輝度値vＲ６は、画素Ｐｍの輝度値vPｍ、画素Ｐlの輝度値vPl、画素Ｐgの輝度値vPg、および画素Ｐhの輝度値vPhが加算された結果得られる値となる。
【００４２】
またこの領域Ｒの大きさは、投影画像Ｑ'がそれぞれ縦横方向に半画素分ずれて重なり合うように投影されていることから、投影画像Ｑ'の画素Ｐの１／４の大きさとなる。すなわち投影画像Ｑ'の２倍の解像度を有する画像Ｗ'の画素Iの大きさとなる。
【００４３】
従って以上のことから、各投影画像Ｑ'の画素Ｐの輝度値vPを、領域Ｒ１乃至Ｒ１６の輝度値vR1乃至vＲ１６が、画像Ｗ'の画素I1乃至I16の輝度値vI１乃至vI16となるようにすれば、４個の投影画像Ｑ'を、それぞれ縦横方向に投影画像Ｑ'の半画素分ずれて重なり合うように投影することにより、画像Ｗ'と同等の解像度でかつ画像Ｗ’と同等の画質の投影像Ｚを映し出すことができる。
【００４４】
本発明は、この原理を利用するものであり、画像処理部２２では、４個の位相画像Ｑの画素が重なり合うことで形成される重ね合わせ領域（図７の例では、領域Ｒ１乃至Ｒ１６）の輝度値が、対応する入力画像Ｗの画素の輝度値と同等の輝度値となるように、各位相画像Ｑの画素の輝度値が決定されて、各位相画像が生成される。
【００４５】
この位相画像Ｑの生成処理についてより具体的に説明する。
【００４６】
図７の例において、領域Ｒの輝度値vRが、それぞれ所定の、投影画像Ｑ'１の画素Ｐの輝度値vP、投影画像Ｑ'２の画素Ｐの輝度値vP、投影画像Ｑ'３の画素Ｐの輝度値vP、および投影画像Ｑ'４の画素Ｐの輝度値vPが加算された結果得られる値であるという、領域Ｒの輝度値vRと、投影画像Ｑ'の画素Ｐの輝度値vPとの関係は、図８に示すように、領域Ｒの輝度値vRのベクトル、投影画像Ｑ'の画素Ｐの輝度値vPのベクトル、および１６行２５列の所定の行列Mからなる関係式で表すことができる。
【００４７】
例えば行列Mの第１行目に注目すると、領域Ｒ１の輝度値vR1＝vPa＋vPb＋vPg＋vPfとなり、上述した関係に一致する。
【００４８】
そこで領域Ｒ１乃至Ｒ１６のそれぞれを、画像Ｗ'の所定の画素Iに対応付け、この関係式における領域Ｒ１乃至Ｒ１６の輝度値vRを、図９に示すように、対応する画像Ｗ'の画素Iの輝度値vIにし、投影画像Ｑ'１乃至Ｑ'４の画素Ｐの輝度値vPについて解けば、領域Ｒの輝度値vRのそれぞれが、画像Ｗ'の対応する画素Iの輝度値vIとなるような投影画像Ｑ'の画素Ｐの輝度値vPを得ることができる。
【００４９】
この関係式から投影画像Ｑ'の画素Ｐの輝度値vPを解くには、投影画像Ｑ'の画素Ｐの輝度値vPのベクトルを、画像Ｗ'の輝度値vIのベクトルで表す関係式が必要となるが、その関係式で必要となる行列Mの逆行列は、例えば行列Mを、式（１）に示すように、特異値分解と呼ばれる手法で、正規直交ベクトルを列ベクトルに持つ行列U及びVと、正の対角要素を持つ対角行列Dとの積に分解することで、式（２）に示すように、行列U，V、及び対角行列D'を用いて求めることができる。
【００５０】
【数１】
【００５１】
式（２）中、対角行列D'は、対角行列Dの対角要素のそれぞれの逆数をその対角要素とする行列である。なお、対角行列Dの対角要素が0の場合は、その対角要素に対応する対角行列D'の対角要素も0とするものとする。
【００５２】
かかる一般化逆行列M-1を、図９の関係式の両辺に左から掛けることで、図１０に示すように、投影画像Ｑ'の輝度値vPのベクトルを、画像Ｗ'の画素Iの輝度値vIのベクトルで表す関係式を得ることができる。
【００５３】
この関係式よれば、例えば、図７の例において画像Ｗ'の１６個の画素I1乃至I16の中央の４個の画素I6，I7，I10，I11に対応する、投影像Ｚの領域Ｒ６，Ｒ７，Ｒ１０，Ｒ１１の形成にかかる投影画像Ｑ'１の画素Ｐｍの輝度値vPｍは、画像Ｗ'の画素Iの輝度値vIのベクトルと、一般化逆行列M-1の第１３行の行ベクトルVｍ（その要素はｍ1，ｍ2，…，ｍ16）との内積であることから、式（３）で求めることができる。
【００５４】
【数２】
【００５５】
なお一般化逆行列M-1の第１３行の行ベクトルVｍの要素は、0.04, -0.08, -0.08, 0.04, -0.08, 0.16, 0.16, -0.08, -0.08, 0.16, 0.16, -0.08, 0.04, -0.08, -0.08, 0.04となり、それらを、画像Ｗ'の各画素Iに対応付けて図示すると、図１１に示すようになる。
【００５６】
すなわちこの方法を利用し、本発明では、入力画像Ｗから読み出した所定の１６個の画素の輝度値と、一般化逆行列M-1の第１３行の行ベクトルVｍとの内積を求めることにより、読み出した１６個の画素（図７の例では、画素I1乃至I16）の中央の４個の画素（画素I6，I7，I10，I11）に対応する４個の領域（領域Ｒ６，Ｒ７，Ｒ１０，Ｒ１１）の形成にかかる位相画像Ｑの画素（以下、適宜、対応画素と称する）（画素Ｐｍ）の輝度値が求められる。
【００５７】
ところで図１０に示した関係式によれば、投影画像Ｑ'１の画素Ｐｍ以外の投影画像Ｑ'の画素Ｐの輝度値vPについても、画素Ｐｍと同様に、一般化逆行列M-1の所定の行の行ベクトルと、画像Ｗ'の画素Iの輝度値vIのベクトルとの内積を求めることにより得ることはできるが、本発明では、計算を簡単にするために、一般化逆行列M-1の第１３行の行ベクトルVｍのみを利用して対応画素の輝度値を求めるものとする。
【００５８】
具体的には入力画像Ｗから、縦横方向に、１画素ずつずらして１６個の画素を読み出し、その１６個の画素の中央の４個の画素に対応する４個の領域の形成にかかる位相画像Ｑの画素（すなわち、対応画素）の輝度値が、一般化逆行列M-1の第１３行の行ベクトルVｍとの内積で求められる。
【００５９】
そしてその対応画素がいずれの位相画像Ｑの画素であるかまたその位相画像Ｑ上の位置は、以下に示すように、適切に重なり領域が形成されるように決定される。
【００６０】
例えば入力画像Ｗの１個の画素に注目し、その画素と、所定の位置関係にある画素の合計１６個の画素が選択される。図１２の例では、図中影が付されている画素に注目したとすると、その画素が第2行第２列目に位置する１６個の画素（図中、枠で囲まれている１６個の画素）が後述する逆応答画素として選択される。
【００６１】
そして図１３に示すように、入力画像Ｗの第２行第２列目、第２行第４列目等の列番号iwidと行番号iheiとが共に偶数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ１の画素とされ、位相画像Ｑ上の列番号ｘと行番号ｙが式（４）により決定される。ここで、関数floor(a)は、実数aを超えない最大の整数を与える。
【００６２】
【数３】
【００６３】
例えば入力画像Ｗの（列番号iwid＝２，行番号ihei＝２）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ１上の列番号ｘと行番号ｙは、１（＝floor(２／２)）と１（＝floor(２／２)）となる。位相画像Ｑ１の画素を、列番号xと行番号yを用いてＰ１(x, y)と表すこととすると、この対応画素は、Ｐ１(1, 1)となる。
【００６４】
また図１４に示すように、入力画像Ｗの第２行第３列目、第２行第５列目等の列番号iwidが奇数で行番号iheiが偶数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ２の画素となる。
【００６５】
そして例えば入力画像Ｗの（列番号iwid＝３，行番号ihei＝２）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ２の列番号ｘと行番号ｙは、１（＝floor(３／２)）と１（＝floor(２／２)）となる。位相画像Ｑ２の画素を、列番号xと行番号yを用いてＰ２(x, y)と表すこととすると、この対応画素は、Ｐ２(1, 1)となる。
【００６６】
また図１５に示すように、入力画像Ｗの第３行第３列目、第３行第５列目等の列番号iwidと行番号iheiとがともに奇数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ３の画素となる。
【００６７】
そして例えば入力画像Ｗの（列番号iwid＝３，行番号ihei＝３）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ３の列番号ｘと行番号ｙは、１（＝floor(３／２)）と１（＝floor(３／２)）となる。位相画像Ｑ３の画素を、列番号xと行番号yを用いてＰ３(x, y)と表すこととすると、この対応画素は、Ｐ３(1, 1)となる。
【００６８】
また図１６に示すように、入力画像Ｗの第３行第２列目、第３行第４列目等の列番号iwidが偶数で行番号iheiが奇数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ４の画素となる。
【００６９】
そして例えば入力画像Ｗの（列番号iwid＝２，行番号ihei＝３）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ４の列番号ｘと行番号ｙは、１（＝floor(２／２)）と１（＝floor(３／２)）となる。位相画像Ｑ４の画素を、列番号xと行番号yを用いてＰ４(x, y)と表すこととすると、この対応画素は、Ｐ４(1, 1)となる。
【００７０】
このようにして画像処理部２２では、各投影装置１２により、それぞれ縦横方向に、位相画像の半画素分ずれて重なり合うように投影されることで入力画像Ｗと同等の解像度でかつ入力画像と同等の画質の投影像が映し出されるようになる位相画像Ｑが生成される。
【００７１】
すなわち画像処理部２２は、図５に示すように選択部２２Ａ、係数格納部２２Ｂ、及び演算部２２Ｃから構成され、選択部２２Ａは、入力部２１から供給された入力画像Ｗから１６個の画素を選択し、演算部２２Ｃに供給する。
【００７２】
演算部２２Ｃは、選択部２２Ａから供給された１６個の逆応答画素の輝度値と、係数格納部２２Ｂに格納されている一般化逆行列M-1の第１３行の行ベクトルVｍの要素の値（以下、適宜、逆応答係数という）との内積を演算する（以下、この演算を、適宜、逆応答演算と称する）ことにより、位相画像Ｑの対応画素の輝度値を求め、所定の位相画像Ｑの所定の位置に配置して、４個の位相画像Ｑを生成する。演算部２２Ｃは、生成した４個の位相画像Ｑを、分配部２３に供給する。
【００７３】
次に、画像処理部２２の動作を、図１７のフローチャートを参照して説明する。
【００７４】
入力部２１が、入力画像Ｗを入力し、画像処理部２２に供給すると、ステップＳ２１において、画像処理部２２の選択部２２Ａは、例えばRGBなどの入力画像Ｗの色種類をカウントする変数ibandを０に初期化する。なお入力画像Ｗは、カラー画像を構成する、例えばRGB(Red Green Blue)等の色種類の色ごとの画像であるものとする。
【００７５】
次にステップＳ２２において、選択部２２Ａは、変数ibandに対応する色の入力画像Ｗの画素の行番号iheiをカウントする変数iheiを、定数ｍarginに初期化する。
【００７６】
注目する画素に対して図１２に示したような位置関係にある１６個の画素を逆対応画素として選択する場合、第１行目の画素を注目したとき、１６個の画素を適切に選択することができなくなるので、定数ｍargin＝２とし、第２行目以降の画素が注目されるようにする。
【００７７】
ステップＳ２３において、選択部２２Ａは、注目する画素の列番号iwidをカウントする変数iwidを、定数ｍarginに初期化する。
【００７８】
変数iheiに対する定数ｍarginと同様に、注目する画素に対して図１２に示したような位置関係がある１６個の画素を逆対応画素として選択する場合、第１列目の画素を注目したとき、１６個の画素を適切に選択することができなくなるので、定数ｍargin＝２とし、第２列目以降の画素が注目されるようにする。
【００７９】
ステップＳ２４において、選択部２２Ａは、入力画像Ｗの第ihei行iwid列目の画素に注目したときの１６個の画素（図１３乃至図１６）を、入力画像Ｗから選択して、演算部２２Ｃに供給する。
【００８０】
ステップＳ２５において、演算部２２Ｃは、選択部２２Ａから供給される１６個の画素の画素値をγ補正することにより、その輝度値に変換する。
【００８１】
画素値と輝度値の関係は、図１８に示すように非線形であり、演算部２２Ｃでは、逆応答演算前に画素値から輝度値に変換を行う必要がある。
【００８２】
変換対象の画素の画素値をvとし、その画素の輝度値（投影面１３での輝度値）をIとすると、一般に、輝度値Iは、画素値vを用いて、I=vγと表される。ここで、γは所定の定数である。この式を用いたγ補正することにより、画素値が輝度値に変換される。
【００８３】
図１７に戻りステップＳ２６において、演算部２２Ｃは、逆応答画素の輝度値と、係数格納部２２Ｂに格納されている逆応答係数（すなわち一般化逆行列M-1の第１３行の係数）とを用いた逆応答演算を行うことにより、対応画素の輝度値を求める。そして演算部２２Ｃは、求めた対応画素の輝度値を逆γ補正することにより、その画素値に変換する。画素値vは、輝度値を用いて、v=I1/γと表され、この式を用いて逆γ補正することにより、輝度値が画素値に変換される。
【００８４】
なおここで演算部２２Ｃは、対応画素の画素値が0以下なら0に、256以上なら255に、それ以外ならそのままの値とするクリップ処理を行う。
【００８５】
次にステップＳ２７において、演算部２２Ｃは、ステップＳ２６で輝度値が求められた対応画素が構成する位相画像Ｑとその位置を、図１３乃至図１６を参照して説明したように決定する。
【００８６】
すなわち変数iwidと変数iheiが共に偶数である場合、対応画素は、位相画像Ｑ１の画素となり、変数iwidが奇数で変数iheiが偶数である場合、対応画素は、位相画像Ｑ２の画素となり、変数iwidと変数iheiが共に奇数である場合、対応画素は、位相画像Ｑ３の画素となり、変数iwidが偶数で変数iheiが奇数である場合、対応画素は、位相画像Ｑ３の画素となる。
【００８７】
また対応画素の位相画像Ｑの位置は、式（４）により決定される。
【００８８】
次にステップＳ２８において、選択部２２Ａは、変数iwidを１だけインクリメントし、インクリメント後の変数iwidが、入力画像Ｗの幅方向の画素数を示す定数widthから定数ｍarginを減算した値より小さいかを判定する。
【００８９】
ステップＳ２８で、インクリメント後の変数iwidが定数widthから定数ｍarginを減算した値より小さいと判定された場合、処理は、ステップＳ２４に戻り、以下、同様の処理が繰り返される。
【００９０】
一方、ステップＳ２８で、インクリメント後の変数iwidが定数widthから定数ｍarginを減算した値以上であると判定された場合、第ihei行の逆応答演算が終了し、処理は、ステップＳ２９に進む。
【００９１】
ステップＳ２９において、選択部２２Ａは、変数iheiを１だけインクリメントし、インクリメント後の変数iheiが、入力画像Ｗの縦方向の画素数を示す定数heightから定数ｍarginを減算した値より小さいかを判定する。
【００９２】
ステップＳ２９で、インクリメント後の変数iheiが、定数heightから定数ｍarginを減算した値より小さいと判定された場合、処理は、ステップＳ２３に戻り、以下、同様の処理が繰り返され、次の行についての逆応答演算が行われる
【００９３】
一方、ステップＳ２９で、インクリメント後の変数iheiが、定数heightから定数ｍarginを減算した値以上であると判定された場合、変数ibandに対応する色の入力画像Ｗに対する逆応答演算が終了し、処理は、ステップＳ３０に進む。
【００９４】
ステップＳ３０において、選択部２２Ａは、変数ibandを１だけインクリメントし、インクリメント後の変数ibandが入力画像Ｗの色種類の総数を示す定数nbandより小さいかを判定する。
【００９５】
ステップＳ３０で、インクリメント後の変数ibandが定数nbandより小さいと判定された場合、処理は、ステップＳ２２に戻り、以下、同様の処理が繰り返され、次の色の入力画像Ｗについて逆応答演算が行われる。
【００９６】
一方、ステップＳ３０において、インクリメント後の変数ibandが定数nband以上であると判定された場合、すなわち、全色種類の色ごとの入力画像Ｗについての逆応答演算が終了し、全色種類についての複数の位相画像Ｑが生成されたとき、処理はステップＳ３１に進む。
【００９７】
ステップＳ３１において、演算部２２Ｃは、生成した（全色種類の）複数の位相画像Ｑを分配部２３に供給し、分配部２３は、画像処理部２２から供給された位相画像Ｑを、対応する投影装置１２に供給する。
【００９８】
以上のような処理が入力画像Ｗが入力される度に繰り返し行われる。
【００９９】
次に、図１９に示す入力画像Ｗが入力された場合の図３の画像投影システム１による投影の試行例を、図２０乃至図２４を参照して説明する。
【０１００】
この試行では、画像処理装置１１において、図１９に示す入力画像Ｗから、図２０乃至図２３に示す、入力画像Ｗの１／２の解像度の位相画像Ｑ１乃至Ｑ４が生成され、投影装置１２Ａ乃至１２Ｄにより、位相画像Ｑ１乃至Ｑ４が、それらがそれぞれ縦横方向に位相画像Ｑの半画素分ずれて重なり合うように投影され、図２４に示すような、入力画像Ｗと同等の解像度でかつ入力画像Ｗと同等の画質の投影像Ｚが投影面１３に映し出された。
【０１０１】
以上のように、入力画像Ｗから生成された複数の位相画像Ｑが互いに所定のずらし量だけずれて重なり合うように、複数の位相画像Ｑを投影面１３に投影する場合において、複数の位相画像Ｑのそれぞれの所定の画素が重なり合って形成される領域と、入力画像Ｗの画素とを対応付け、対応する領域の輝度値と入力画像の画素の輝度値の差異が最小となる位相画像Ｑの各画素の輝度値を演算するようにしたので、図２４の試行例のように、入力画像Ｗと同等の解像度でかつ入力画像Ｗと同等の画質の投影像Ｚを投影面１３に映し出すことができる。
【０１０２】
なお以上においては、４個の位相画像Ｑを生成し、それらが重なり合うように投影するものとしたが、２個の位相画像Ｑが重なり合うように投影するようにしても、それにより投影像上に形成される領域を、入力画像Ｗの画素に対応付けることは可能であり、４個の位相画像Ｑの場合と同様の効果を得ることができる。２個の位相画像Ｑが重なり合うように投影する場合の例について説明する。
【０１０３】
この例の場合、図２５に示すように、２個の位相画像Ｑ１と位相画像Ｑ２とが、縦横方向に位相画像Ｑの半画素分ずれて映し出されるように投影される。
【０１０４】
この例の場合における位相画像Ｑの生成処理について説明する。
【０１０５】
例えば、図２６に示すように、解像度が所定の画像Ｗ'の１／２である２個の投影画像Ｑ'１及びＱ'２を、それぞれ縦横方向に投影画像Ｑ'の半画素分ずれて重なり合うように投影すると、すなわち投影画像Ｑ'に合わせて描かれている基準線が互いに合致するように投影すると、その結果得られる投影像Ｚには、２個の投影画像Ｑ'のそれぞれの所定の画素Ｐが重なり合って形成される領域Ｒ１乃至領域Ｒ１６が形成される。
【０１０６】
この投影像Ｚの領域Ｒ１乃至領域Ｒ１６の輝度値vR1乃至vＲ１６は、重なり合う２個の投影画像Ｑ'の画素Ｐの輝度値vPにより決定される。
【０１０７】
例えば領域Ｒ１は、投影画像Ｑ'１の画素Ｐaおよび投影画像Ｑ'２の画素Ｐdが重なり合って形成されるので、領域Ｒ１の輝度値vR1は、投影画像Ｑ'１の画素Ｐaの輝度値vPaおよび投影画像Ｑ'２の画素Ｐdの輝度値vPdが加算された結果得られる値となる。
【０１０８】
領域Ｒ６は、投影画像Ｑ'１の画素Ｐgおよび投影画像Ｑ'２の画素Ｐdが重なり合って形成されるので、領域Ｒ６の輝度値vＲ６は、投影画像Ｑ'１の画素Ｐgの輝度値vPgおよび投影画像Ｑ'の画素Ｐdの輝度値vPdが加算された結果得られる値となる。
【０１０９】
また投影画像Ｑ'がそれぞれ縦横方向に半画素分ずれて重なり合うように投影されていることから、この領域Ｒの大きさは、投影画像Ｑ'の画素Ｐの１／４の大きさとなる。すなわち投影画像Ｑ'の２倍の解像度を有する画像Ｗ'の画素Iの大きさとなる。
【０１１０】
従って以上のことから、各投影画像Ｑ'の画素Ｐの輝度値vPを、領域Ｒ１乃至Ｒ１６の輝度値vR1乃至vＲ１６が、画像Ｗ'の画素I1乃至I16の輝度値vI１乃至vI16となるようにすれば、２個の投影画像Ｑ'を、それぞれ縦横方向に投影画像Ｑ'の半画素分ずれて重なり合うように投影することにより、４個の投影画像Ｑ'を用いた場合と同様に、画像Ｗ'と同等の解像度でかつ画像Ｗ'と同等の画質の投影像Ｚを映し出すことができる。
【０１１１】
また図２６の例において、領域Ｒの輝度値vRが、それぞれ所定の、投影画像Ｑ'１の画素Ｐの輝度値vPおよび投影画像Ｑ'２の画素Ｐの輝度値vPが加算された結果得られる値であるという、領域Ｒの輝度値vRと、投影画像Ｑ'の画素Ｐの輝度値vPとの関係は、図２７に示すように、領域Ｒの輝度値vRのベクトル、投影画像Ｑ'の画素Ｐの輝度値vPのベクトル、および１６行１３列の所定の行列Mからなる関係式で表すことができる。
【０１１２】
例えば行列Mの第１行目に注目すると、領域Ｒ１の輝度値vR1＝vPa＋vPdとなり、上述した関係に一致する。
【０１１３】
そこで領域Ｒ１乃至Ｒ１６のそれぞれを、画像Ｗ'の画素Iに対応付け、この関係式における領域Ｒ１乃至Ｒ１６の輝度値vRを、図２８に示すように、対応する画像Ｗ'の画素Iの輝度値vIにし、投影画像Ｑ'１およびＱ'２の画素Ｐの輝度値vPについて解けば、領域Ｒの輝度値vRが、画像Ｗ'の画素Iの輝度値vIとなるような投影画像Ｑ'の画素Ｐの輝度値vPを得ることができる。
【０１１４】
この関係式から投影画像Ｑ'の画素Ｐの輝度値vPを、４個の投影画像Ｑ'の場合と同様に解くと、図２９に示すように、投影画像Ｑ'の輝度値vPのベクトルを、画像Ｗ'の画素Iの輝度値vIのベクトルで表す関係式を得ることができる。
【０１１５】
この関係式よれば、例えば、図２６の例において画像Ｗ'の１６個の画素I1乃至I16の中央の４個の画素I6，I7，I10，I11に対応する、投影像Ｚの領域Ｒ６，Ｒ７，Ｒ１０，Ｒ１１の形成にかかる投影画像Ｑ'１の画素Ｐgの輝度値vPgは、画像Ｗ'の画素Iの輝度値vIのベクトルと、一般化逆行列M-1の第７行の行ベクトルVｍｍ(その要素は、ｍｍ1，ｍｍ2，…，ｍｍ16)との内積となるので、式（５）で求めることができる。
【０１１６】
【数４】
【０１１７】
なお一般化逆行列M-1の第７行の行ベクトルVｍｍは、-0.0769,-0.0385,-0.0385,-0.0769,-0.0385,0.2308,0.2308,-0.0385,-0.0385,0.2308,0.2308,-0.0385,-0.0769, -0.0385, -0.0385, -0.0769となり、それらを、画像Ｗ'の各画素Iに対応付けて図示すると、図３０に示すようになる。
【０１１８】
すなわちこの例の場合、入力画像Ｗから読み出した所定の１６個の画素の輝度値と、一般化逆行列M-1の第７行の行ベクトルVｍｍとの内積を求めることにより、読み出した１６個の画素（すなわち逆応答画素）の中央の４個の画素に対応する４個の領域の形成にかかる位相画像Ｑの画素（すなわち対応画素）の輝度値が求められる。
【０１１９】
なおこの例においても、計算を簡単にするために、一般化逆行列M-1の第７行の行ベクトルVｍｍのみを利用して対応画素の輝度値を求めるものとする。
【０１２０】
すなわち入力画像Ｗから、縦横方向に、１画素ずつずらして１６個の画素（すなわち逆応答画素）を読み出し、その１６個の画素の中央の４個の画素に対応する４個の領域の形成にかかる位相画像Ｑの画素（すなわち、対応画素）の輝度値が、一般化逆行列M-1の第７行の行ベクトルVｍｍとの内積で求められる。
【０１２１】
そして対応画素がいずれの位相画像Ｑの画素であるか、またその位相画像Ｑ上の位置は、以下に示すように、適切に重なり領域が形成されるように決定される。
【０１２２】
例えば注目した入力画像Ｗの画素が、図１２に示したように、第2行第２列目に位置する１６個の画素が逆応答画素として選択される。
【０１２３】
そして図３１に示すように、入力画像Ｗの第２行第２列目、第２行第４列目等の行番号iheiが偶数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ１の画素とされ、位相画像Ｑ１上の列番号ｘと行番号ｙが式（４）により決定される。
【０１２４】
例えば入力画像Ｗの（列番号iwid＝２，行番号ihei＝２）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ１上の列番号ｘと行番号ｙは、１（＝floor(２／２)）と１（＝floor(２／２)）となる。位相画像Ｑ１の画素を、列番号xと行番号yを用いてＰ１(x, y)と表すこととすると、この対応画素は、Ｐ１(1, 1)となる。
【０１２５】
図３２に示すように、入力画像Ｗの第３行第３列目、第３行第５列目等の行番号iheiが奇数となる画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素は、位相画像Ｑ２の画素となる。
【０１２６】
そして例えば入力画像Ｗの（列番号iwid＝３，行番号ihei＝３）の画素に注目した場合に選択された１６個の逆応答画素から輝度値が算出される対応画素の位相画像Ｑ２の列番号ｘと行番号ｙは、１（＝floor(３／２)）と１（＝floor(３／２)）となる。位相画像Ｑ２の画素を、列番号xと行番号yを用いてＰ２(x, y)と表すこととすると、この対応画素は、Ｐ２(1, 1)となる。
【０１２７】
このようにして２個の位相画像Ｑが生成される。
【０１２８】
すなわちこのように２個の位相画像Ｑを利用する場合、図３の画像投影システム１における投影装置１２Ａ乃至１２Ｄのうち、例えば投影装置１２Ａおよび１２Ｃのみを用い、画像処理装置１１は、上述したように生成した２個の位相画像Ｑを、投影装置１２Ａおよび投影装置１２Ｃに供給する。
【０１２９】
なお、画像処理装置１１の画像処理部２２が、係数格納部２２Ｂに、位相画像Ｑが４個の場合と２個の場合それぞれの逆応答係数を記憶しておき、いずれの方法でも投影処理を行うことができるようにしておくこともできる。
【０１３０】
以上において図３に示した画像投影システム１では、複数の投影装置１２を用いて、複数の位相画像Ｑを、同時に、投影面１３に映し出されるように投影するようにしたが、視覚の時間積分効果を利用して、１台の投影装置１２が、複数の位相画像Ｑを、その効果が得られる時間間隔で順に投影するようにしても、複数の投影装置１２を用いた場合と同様の効果を得ることができる。
【０１３１】
図３３は、１台の投影装置を利用する場合の画像投影システム１００の構成例を示している。
【０１３２】
すなわち図３の４個の投影装置１２に代えて、１個の投影装置１０１が設けられている。
【０１３３】
画像処理装置１１には、投影装置１０１が投影する投影画像の２倍の解像度を有する入力画像Ｗが入力される。
【０１３４】
画像処理装置１１は、図３における場合と同様に、例えば４個の位相画像を生成し、投影装置１０１に供給する。
【０１３５】
投影装置１０１は、画像処理装置１１から供給された４個の位相画像を、図４に示したように、４個の位相画像Ｑがそれぞれ縦横方向に位相画像の半画素分互いにずれて（すなわち、画素ピッチをdとした場合の画素の縦横の大きさの半分のずらし量d/2だけずれて）重なり合うとともに、４個の位相画像Ｑが視覚の時間積分効果が得られる時間間隔で投影されるように、投影面１３に順次投影する。
【０１３６】
すなわち、投影装置１０１は、入力画像Ｗから生成された４個の位相画像Ｑについて、位相画像Ｑ１を投影し、その後、位相画像Ｑ２を、位相画像Ｑ１に対して右方向にずらし量d/2だけずれて映し出されるように投影し、その後、位相画像Ｑ３を、位相画像Ｑ２に対して上方向にずらし量d/2だけずれて映し出されるように投影し、その後、位相画像Ｑ４を、位相画像Ｑ３に対して左方向にずらし量d/2だけずれて映し出されるように投影する処理を、視覚の時間積分効果が得られる時間間隔で行う。
【０１３７】
このように画像処理装置１１から供給された４個の位相画像Ｑを、視覚の時間積分効果が得られる時間間隔で投影することにより、図３に示した４個の投影装置１２を利用した場合と同様に、入力画像Ｗと同等の解像度でかつ入力画像Ｗと同等の画質の投影像を映し出すことができる。
【０１３８】
図３４は、投影装置１０１の構成例を示すブロック図である。
【０１３９】
図３４において、投影装置１０１は、同期制御部１１１、光路駆動部１１２、及び投影部１１３から構成される。
【０１４０】
同期制御部１１１は、同期用のクロック信号を生成し、光路駆動部１１２及び投影部１１３に供給する。
【０１４１】
光路駆動部１１２は、同期制御部１１１から供給されるクロック信号に同期して、投影部１１３の投影光の光路を、位相画像がそれぞれ縦横方向に位相画像の半画素分ずれて映し出されるように駆動する。
【０１４２】
光路駆動部１１２は、例えば、投影部１１３の投影素子自体を駆動するもので構成されるが、その他、投影部１１３の投影光の光路上に設けた２軸のガルバノミラーを駆動するもので構成されるようにしてもよい。
【０１４３】
投影部１１３には、画像処理装置１１から供給される位相画像Ｑが供給される。
【０１４４】
投影部１１３は、例えば、入力画像Ｗのフレームレートに位相画像Ｑの枚数を乗じたフレームレートで位相画像Ｑを投影する投影素子、例えば、応答周波数が200Hz程度と比較的高速なLCOS(Liquid crystal on silicon)を採用した反射型液晶プロジェクタ等で構成され、同期制御部１１１から供給されるクロック信号に同期して、画像処理部２２から供給される位相画像Ｑを、位相画像Ｑが互いに所定のずらし量だけずれて重なり合っているように視覚される時間間隔で、順次投影する。
【０１４５】
以上のように、画像投影システム１００は、入力画像から、入力画像より低解像度の複数の位相画像を生成し、視覚の時間積分効果により、複数の位相画像が互いに所定のずらし量だけずれて重なり合っているように認識される時間間隔で、複数の位相画像を順次投影面に投影する。そして、複数の位相画像の生成において、複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、入力画像の画素とを対応付け、対応する領域の表示と入力画像の画素の表示の差異が最小となる位相画像の各画素の輝度値を演算するようにしたので、画像投影システム１００は、入力画像と同等の解像度でかつ入力画像と同等の画質の投影像を映し出すことができる。
【０１４６】
また、本実施の形態では、入力画像Ｗとして、より高解像度のものを用いるほど、投影像Ｚが高解像度になる程度を向上させることができる。
【０１４７】
本実施の形態では、位相画像は、入力画像の1/2の解像度としたが、その他、1/2以外の1/n（nは整数）の解像度であってもよい。その場合、投影像を、実効的にn倍の解像度にすることが可能となる。
【０１４８】
また、画像投影システム１または画像投影システム１００では、入力画像の解像度よりも低解像度の投影画像を投影する投影装置を用いるので、システムの低コスト化が可能となる。
【０１４９】
画像投影システム１および画像投影システム１００では、逆応答演算の信号処理として比較的簡単な線形予測の信号処理を行うようにしたので、DSP(Digital Signal Processor)等の比較的安価な既存の信号処理回路を用いることができ、さらに、その信号処理回路に大きな変更を加えずに画像投影システムを実現することが可能である。
【０１５０】
画像投影システム１および画像投影システム１００では、複数の位相画像が重なり合うように投影するようにしたので、投影装置本来の階調解像度に対して、投影装置の台数または位相画像の個数を乗じた分だけ階調解像度を向上することができる。
【０１５１】
画像投影システム１または画像投影システム１００では、高輝度なDLPやLCOS等の画素開口率が高く高輝度な投影素子を用いるほど、より高画質の投影像とすることが可能となる。
【０１５２】
画像処理装置１１により生成された位相画像Ｑは、記録媒体に記録して投影装置１２等の投影装置に提供されるようにしてもよい。
【０１５３】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１５４】
図３５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１５５】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Meｍory）２０２，RAM（Randoｍ Access Meｍory）２０３は、バス２０４により相互に接続されている。
【０１５６】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１５７】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１５８】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Coｍpact Disc−Read Only Meｍory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１５９】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１６０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１６２】
【図１】ウォビュレーションを説明する図である。
【図２】ディスプレイシステムによる表示例を示す図である。
【図３】画像投影システムの構成例を示す図である。
【図４】４個の位相画像を模式的に表す図である。
【図５】画像処理装置１１の構成例を示す図である。
【図６】画像投影システム１による画像投影処理を説明するフローチャートである。
【図７】位相画像生成処理の原理を説明する図である。
【図８】領域Ｒの輝度値vRのベクトル、投影画像Ｑ’の画素Ｐの輝度値vPのベクトル、および行列Mからなる関係式を示す図である。
【図９】領域Ｒ１乃至Ｒ１６の輝度値vRを、対応する画像Ｗ’の画素Iの輝度値vIにした場合の関係式を示す図である。
【図１０】投影画像Ｑ’の輝度値vPのベクトルを、画像Ｗ’の画素Iの輝度値vIのベクトルで表す関係式を示す図である。
【図１１】一般化逆行列M-1の第１３行の行ベクトルVｍを示す図である。
【図１２】逆応答画素を示す図である。
【図１３】対応画素が構成する位相画像を決定する様子を示す図である。
【図１４】対応画素が構成する位相画像を決定する様子を示す図である。
【図１５】対応画素が構成する位相画像を決定する様子を示す図である。
【図１６】対応画素が構成する位相画像を決定する様子を示す図である。
【図１７】画像処理部２２の動作を説明するフローチャートである。
【図１８】画素値と輝度値の関係を示す図である。
【図１９】入力画像Ｗを示す図である。
【図２０】位相画像Ｑ１の一部を示す図である。
【図２１】位相画像Ｑ２の一部を示す図である。
【図２２】位相画像Ｑ３の一部を示す図である。
【図２３】位相画像Ｑ４の一部を示す図である。
【図２４】投影像Ｚを示す図である。
【図２５】２個の位相画像を模式的に示す図である。
【図２６】位相画像生成処理の原理を説明する図である。
【図２７】領域Ｒの輝度値vRのベクトル、投影画像Ｑ’の画素Ｐの輝度値vPのベクトル、および行列Mからなる関係式を示す図である。
【図２８】領域Ｒ１乃至Ｒ１６の輝度値vRを、対応する画像Ｗ’の画素Iの輝度値vIにした場合の図８の関係式を示す図である。
【図２９】投影画像Ｑ’の輝度値vPのベクトルを、画像Ｗ’の画素Iの輝度値vIのベクトルで表す関係式を示す図である。
【図３０】一般化逆行列M-1の第７行の行ベクトルの要素を示す図である。
【図３１】対応画素が構成する位相画像を決定する様子を示す図である。
【図３２】対応画素が構成する位相画像を決定する様子を示す図である。
【図３３】画像投影システム１００の構成例を示すブロック図である。
【図３４】投影装置１０１の構成例を示すブロック図である。
【図３５】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０１６３】
１ 画像投影システム， １１ 画像処理装置， １２，１２Ａ乃至１２Ｄ 投影装置， ２１ 入力部， ２２ 画像処理部， ２２Ａ 選択部， ２２Ｂ 係数格納部， ２２Ｃ 演算部， ２３ 分配部， １００ 画像投影システム， １０１ 投影装置， １１１ 同期制御部， １１２ 光路駆動部， １１３ 投影部， ２０１ ＣＰＵ， ２０２ ROM， ２０３ RAM， ２０４ バス， ２０５ 入出力インタフェース， ２０６ 入力部， ２０７ 出力部， ２０８ 記憶部， ２０９ 通信部， ２１０ ドライブ， ２１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置において、
前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算する
を備える画像生成装置。
【請求項２】
前記複数の位相画像を、前記投影面に投影する投影手段をさらに備える
請求項１に記載の画像生成装置。
【請求項３】
前記投影手段は、透過型液晶プロジェクタ、反射型液晶プロジェクタ、またはDLP(Digital Light Processing)プロジェクタである
請求項２に記載の画像生成装置。
【請求項４】
前記投影手段が前記位相画像の数分だけ設けられ、
生成した前記複数の位相画像のそれぞれを、対応する所定の前記投影手段に供給し、
各前記投影手段は、供給された前記位相画像を、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合うように、前記投影面に投影する
請求項２に記載の画像生成装置。
【請求項５】
前記投影手段が１個設けられ、
生成した前記複数の位相画像を、前記１個の投影手段に供給し、
前記投影手段は、視覚の時間積分効果により、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合っているように視覚される時間間隔で、前記複数の位相画像を順に前記投影面に投影する
請求項２に記載の画像生成装置。
【請求項６】
入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成方法において、
前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算するステップ
を含む画像生成方法。
【請求項７】
入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成処理をコンピュータに実行させるプログラムにおいて、
前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算するステップ
を含む画像生成処理をコンピュータに実行させるプログラム。
【請求項８】
請求項１の画像生成装置により生成された前記位相画像を記録した記録媒体。
【請求項１】
入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置において、
前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算する
を備える画像生成装置。
【請求項２】
前記複数の位相画像を、前記投影面に投影する投影手段をさらに備える
請求項１に記載の画像生成装置。
【請求項３】
前記投影手段は、透過型液晶プロジェクタ、反射型液晶プロジェクタ、またはDLP(Digital Light Processing)プロジェクタである
請求項２に記載の画像生成装置。
【請求項４】
前記投影手段が前記位相画像の数分だけ設けられ、
生成した前記複数の位相画像のそれぞれを、対応する所定の前記投影手段に供給し、
各前記投影手段は、供給された前記位相画像を、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合うように、前記投影面に投影する
請求項２に記載の画像生成装置。
【請求項５】
前記投影手段が１個設けられ、
生成した前記複数の位相画像を、前記１個の投影手段に供給し、
前記投影手段は、視覚の時間積分効果により、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合っているように視覚される時間間隔で、前記複数の位相画像を順に前記投影面に投影する
請求項２に記載の画像生成装置。
【請求項６】
入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成方法において、
前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算するステップ
を含む画像生成方法。
【請求項７】
入力画像から、前記入力画像より低解像度であり、投影面に投射される場合互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成処理をコンピュータに実行させるプログラムにおいて、
前記複数の位相画像が前記投影面に投影される場合に、前記複数の位相画像のそれぞれの所定の画素が重なり合って形成される領域と、前記入力画像の所定の画素とを対応付け、対応する前記領域の画素値と前記入力画像の画素の画素値との差異が最小となる前記位相画像の画素の画素値を演算するステップ
を含む画像生成処理をコンピュータに実行させるプログラム。
【請求項８】
請求項１の画像生成装置により生成された前記位相画像を記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２００８−２６８５５７（Ｐ２００８−２６８５５７Ａ）
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願番号】特願２００７−１１１３２７（Ｐ２００７−１１１３２７）
【出願日】平成１９年４月２０日（２００７．４．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願日】平成１９年４月２０日（２００７．４．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]