プロジェクタ、及び画像処理装置
【課題】低製造コストかつコンパクトな装置で、光学系で生じる種々の歪みを補正することができる、プロジェクタ、及び画像処理装置を提供する。
【解決手段】１ライン分の入力画像信号を保持する入力ラインメモリ４ａと、入力ラインメモリ４ａから転送された入力画像信号を用いて投影レンズ７の歪みに対応する補正を施した中間画像信号を生成する画像処理部５と、１ライン分の中間画像信号を保持する出力ラインメモリ４ｂと、中間画像信号に従って光源からの光を投影レンズ７に導くＬＣＯＳ６とを備えており、画像処理部５は、複数ラインの入力画像信号を格納する入力補充バッファ５１と、１ライン分の中間画像信号の生成に必要な入力画像信号を格納する入力データバッファ５２と、入力補充バッファ５１から入力データバッファ５２への補充ライン数を計算する補充ライン数計算部５３１とを備えていることを特徴とする。
【解決手段】１ライン分の入力画像信号を保持する入力ラインメモリ４ａと、入力ラインメモリ４ａから転送された入力画像信号を用いて投影レンズ７の歪みに対応する補正を施した中間画像信号を生成する画像処理部５と、１ライン分の中間画像信号を保持する出力ラインメモリ４ｂと、中間画像信号に従って光源からの光を投影レンズ７に導くＬＣＯＳ６とを備えており、画像処理部５は、複数ラインの入力画像信号を格納する入力補充バッファ５１と、１ライン分の中間画像信号の生成に必要な入力画像信号を格納する入力データバッファ５２と、入力補充バッファ５１から入力データバッファ５２への補充ライン数を計算する補充ライン数計算部５３１とを備えていることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、プロジェクタ、及び画像処理装置に関する。
【背景技術】
【０００２】
従来、プロジェクタの投影レンズは、理想像（プロジェクタに入力された画像）と実際の像（プロジェクタを通して投影される画像）との差異（収差）を抑制させるために、多くの枚数で構成されている。しかし、倍率色収差を抑制するためには、屈折率の異なる素材のレンズの組を多数使用するためにレンズ枚数が多くなり、装置の大型化や製造コストの増大が問題となる。また、樽型や糸巻き型などの歪曲収差を抑制するためには、レンズの材質を工夫したり非球面レンズを採用したりするが、そのレンズの設計コストや製造コストが増大してしまう。
【０００３】
そこで、近年では、光学系の要因で発生する倍率色収差や歪曲収差によって画像に歪みなどが生じる場合、入力画像に対して光学系の前処理として電気的に画像処理を行い、光学系で生じる歪みと逆方向の歪みを入力画像に予め与えておく方法が一般的に用いられている。例えば、光学系で画像が樽型に歪む歪曲収差が発生する場合、光学系の前段階で補正処理を施して画像を糸巻き型に変換させておく。
【０００４】
従来のプロジェクタにおける補正処理では、入力画像に対してランダムアクセスが必要となるために、フレームメモリを使って入力画像１フレーム分を保持し、必要な画素に対してアクセスする方法が用いられていた。しかしながら、フレームメモリはメモリ量が大きいため、製造コストが高くなってしまったり装置が大型化してしまったりという問題があった。この問題は、画像の入出力に制約が設けられており、ダブルバッファが必要となる場合には特に顕著になってしまう。
【０００５】
そこで、この問題を解決するために、フレームメモリのかわりにラインメモリを用いる装置が提案されている。しかしながら、従来提案されている装置では、画像が台形に歪んでいる場合の補正処理にしか言及されておらず、その他の歪み、例えば樽型の歪みや糸巻き型の歪みなどに対する補正ができず、出力画像に歪みが残ってしまうという問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２１５１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで、本実施形態は、以上の点に鑑みてなされたもので、低製造コストかつコンパクトな装置で、光学系で生じる種々の歪みを補正することができる、プロジェクタ、及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本実施形態のプロジェクタは、１ライン分の入力画像信号を保持する入力ラインメモリと、前記入力ラインメモリから転送された入力画像信号を用いて、投影レンズの歪みに対応する補正処理を施した中間画像信号を生成する画像処理部と、１ライン分の前記中間画像信号を保持する出力ラインメモリと、前記中間画像信号に従って光源から照射される光を前記投影レンズに導くＬＣＯＳと、を備えており、前記画像処理部は、複数ラインの前記入力画像信号を格納する入力補充バッファと、１ライン分の前記中間画像信号を生成するために必要な入力画像信号を格納する入力データバッファと、前記入力補充バッファから前記入力データバッファに転送する入力画像信号の補充ライン数を計算する補充ライン数計算部とを備えていることを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係わるプロジェクタの構成の一例を説明する図。
【図２】画像処理部５の構成を説明する図。
【図３】ＬＣＯＳ６の画素領域を説明する概略図。
【図４】補正による画素の移動を説明するイメージ図であり、（ａ）（ｂ）は画像上部のラインについて補正を行う場合の補正前後の画像のイメージ、（ｃ）（ｄ）は画像中央のラインについて補正を行う場合の補正前後の画像のイメージ、（ｅ）（ｆ）は画像下部のラインについて補正を行う場合の補正前後の画像のイメージ、をそれぞれ示している。
【図５】画像処理部５における画像信号の処理の流れを説明するフローチャート。
【図６】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【図７】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【図８】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【図９】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【図１０】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【図１１】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して実施形態を説明する。
図１は、第１の実施形態に係わるプロジェクタの構成の一例を説明する図である。プロジェクタ１は、投影する画像を構成する画像信号などを入力する入力部２と、プロジェクタ１内部の各部位を制御して画像信号などのデータの送受信を実行する中央処理装置（以下、ＣＰＵと示す）３と、１ライン分の入力画像信号を保持する入力ラインメモリ４ａと、１ライン分の中間画像信号を保持する出力ラインメモリ４ｂと、入力画像信号に対して電気的な画像処理を施す画像処理部５と、反射型の液晶パネルであるＬＣＯＳ６と、投射レンズ７とを備えて構成されている。
【００１１】
なお、図示しないが、プロジェクタ１には光源装置や各種要素レンズなどを備えた照明光学部、照明光学部の制御を行う制御部なども備えている。投射レンズ７や照明光学系などは、少なくとも歪曲収差や倍率色収差を補正するための光学的な技巧（例えば色消しレンズや非球面レンズなど）は具備しておらず、画像を投影するために必要なレンズのみが配置されている。また、プロジェクタ１には、図示しない電源装置が接続されており、各部位に必要な電力が供給されている。
【００１２】
図２は、画像処理部５の構成を説明する図である。画像処理部５は、入力ラインメモリ４ａからの入力画像信号を保持する入力補充バッファ５１と、補正に使用される可能性があるラインに関する入力画像信号を保持する入力データバッファ５２と、入力画像信号に補正を施す光学補正回路としての信号処理部５３と、信号処理部５３で補正処理を施すことにより生成された中間画像信号を逐次格納する出力バッファ５４とを備えている。入力補充バッファ５１、入力データバッファ５２、出力バッファ５４はそれぞれ、Ｒ画像用、Ｇ画像用、Ｂ画像用のバッファから構成されている。
【００１３】
それぞれの入力補充バッファ５１及び入力データバッファ５２は、ある程度のライン数（例えば３２ライン程度）の画像信号を保持することが可能な容量を有するサーキュラーバッファで構成されている。入力補充バッファ５１は、入力ラインメモリ４ａから１ライン分ずつ画像信号が補充され、同時に既に格納されている画像信号のうち、最前から格納されている１ライン分の画像信号が破棄されていくことになる。
【００１４】
入力データバッファ５２には、次に出力すべきラインの画像信号を得るための補正処理に必要となる入力画像信号が格納されていなければならない。この補正処理に必要となる入力画像信号は、規則的に更新される入力補充バッファ５１に格納されている入力画像信号とは一致していない。このため、入力補充バッファ５１から入力画像信号を適宜読み出して、入力データバッファ５２を更新する必要がある。
【００１５】
この更新に必要な補充ライン数の算出（入力補充バッファ５１から入力データバッファ５２に対して転送する入力画像信号のライン数の算出）は、信号処理部５３の補充ライン数計算部５３１で行われる。補充ライン数計算部５３１における補充ライン数の算出の具体的な方法については後述する。
【００１６】
信号処理部５３は、以下に示す補正式（１）〜（３）を用いて、入力画像信号の各画素の位置を、中間画像信号の各画素の位置に変換する。画像中心からの距離の二乗をｒ２、補正パラメータをｋｘ（ｘ＝０〜３）、補正前の画像（ａ×ｂ画素）における各画素の水平方向の座標位置をｘｉ（―２／ａ≦ｘｉ≦２／ａ）、垂直方向の座標位置をｙｉ（―２／ｂ≦ｙｉ≦２／ｂ）、補正後の画像（Ａ×Ｂ画素）における各画素の水平方向の座標位置をｘｏ（―２／Ａ≦ｘｏ≦２／Ａ）、垂直方向の座標位置をｙｏ（―２／Ｂ≦ｙｏ≦２／Ｂ）とした場合、補正前後の画像の各画素の座標位置（ｘｉ、ｙｉ）（ｘｏ、ｙｏ）は、
ｘｉ＝(ｋ0＋ｋ1×ｒ２＋ｋ2×ｒ２＾２＋ｋ3×ｒ２＾３)ｘｏ … （１）
ｙｉ＝(ｋ0＋ｋ1×ｒ２＋ｋ2×ｒ２＾２＋ｋ3×ｒ２＾３)ｙｏ … （２）
ｒ２＝ｘｏ＾２＋ｙｏ＾２ … （３）
（ただし、各座標位置は画像中心を原点とする。）
の関係式で表される。なお、補正パラメータをｋｘ（ｘ＝０〜３）は色（ＲＧＢ）ごとに異なる。従って、実際の補正処理では、入力されるＲ画像、Ｇ画像、Ｂ画像のそれぞれについて式（１）〜（３）に適切な補正パラメータを代入し、座標変換が行われる。出力バッファ５４には１ライン分の中間画像信号が保持され、一定時刻ごとに出力ラインメモリ４ｂに転送される。
【００１７】
図３はＬＣＯＳ６の画素領域を説明する概略図である。ＬＣＯＳ６は入力画像信号の有効画素領域６ａに対して上下左右にマージン領域を付加した画素領域を持つように構成されている。すなわち、入力画像の有効画素領域６ａがｗ０×ｈ０である場合、ＬＣＯＳ６の画素領域は（ｗ０＋２×ｗ１）×（ｈ０＋２×ｈ１）となる。ＬＣＯＳ６のマージン領域のサイズは、投影レンズ７の歪み特性や歪み補正範囲などを考慮して決定される。
【００１８】
次に、入力補充バッファ５１及び入力データバッファ５２の容量の設定方法と、補充ライン数計算部５３１における更新に必要なライン数の算出の具体的な方法について、説明する。
【００１９】
図４は、補正による画素の移動を説明するイメージ図である。図４の（ａ）（ｂ）は画像上部のラインについての補正前後の画像のイメージ、（ｃ）（ｄ）は画像中央のラインについての補正前後の画像のイメージ、（ｅ）（ｆ）は画像下部のラインについての補正前後の画像のイメージ、をそれぞれ示している。すなわち、図４（ａ）、（ｃ）、（ｅ）は補正前における同一フレームの入力画像Ｐ１であり、図４（ｂ）、（ｄ）、（ｆ）は補正後の同一フレームの中間画像Ｐ２を示している。なお、ここでは一例として光学系で糸巻き型の歪みが発生する場合に、補正によってこれと逆方向の樽型の歪みを画像に与える場合について説明する。
【００２０】
中間画像Ｐ２において図４（ｂ）に示すように画像上部に位置するラインＬ２ｕに配置される画素は、入力画像Ｐ１において図４（ａ）に示すように画像上部に位置する領域Ｌ１ｕに配置されている画素から構成される。すなわち、ラインＬ２ｕを構成する画素を信号処理部５３で算出する場合、入力画像Ｐ１において領域Ｌ１ｕが含まれるラインの画素を入力データバッファ５２に保持しておく必要がある。
【００２１】
また、中間画像Ｐ２において図４（ｄ）に示すように画像中央に位置するラインＬ２ｍに配置される画素は、入力画像Ｐ１において図４（ｃ）に示すように画像中央に位置する領域Ｌ１ｍに配置されている画素から構成される。すなわち、ラインＬ２ｍを構成する画素を信号処理部５３で算出する場合、入力画像Ｐ１において領域Ｌ１ｍが含まれるラインの画素を入力データバッファ５２に保持しておく必要がある。
【００２２】
さらに、中間画像Ｐ２において図４（ｆ）に示すように画像下部に位置するラインＬ２ｂに配置される画素は、入力画像Ｐ１において図４（ｅ）に示すように画像下部に位置する領域Ｌ１ｂに配置されている画素から構成される。すなわち、ラインＬ２ｂを構成する画素を信号処理部５３で算出する場合、入力画像Ｐ１において領域Ｌ１ｂが含まれるラインの画素を入力データバッファ５２に保持しておく必要がある。
【００２３】
このように、中間画像Ｐ２の画像中央に近いラインに位置する画素を算出する場合には歪みが少ないため、入力画像Ｐ１の画像中央に位置する１乃至数ラインの画素を入力データバッファ５２に保持しておけばよい。一方、中間画像Ｐ２の画像中央から離れたライン（画像上部ライン、もしくは画像下部ライン）に位置する画素を算出する場合には歪みが大きいため、入力画像Ｐ１の画像上部、もしくは画像下部に位置する複数のライン（中間画像Ｐ２の画像中央に近いラインに位置する画素を算出する場合に保持する必要があるライン数に比べて多数のライン）の画素を入力データバッファ５２に保持する。
【００２４】
従って、入力データバッファ５２は、歪みが大きく、中間画像Ｐ２の最上部に位置するラインの画素を算出するために必要な入力画像Ｐ１のライン数Ｈ０と、次に算出するライン（中間画像Ｐ２の上から２番目に位置するライン）の画素を算出するためのライン数Ｍａを保持するのに十分な容量が必要となる。なお、中間画像Ｐ２の最下部に位置するラインの画素を算出するために必要な入力画像Ｐ１のライン数は最上部に位置するラインの画素を算出するために必要な入力画像Ｐ１のライン数Ｈ０と同数である。
【００２５】
入力画像Ｐ１のライン数をＨ、光学系での歪み率をＸｄ％とすると、Ｈ０は次の式（４）で表される。
Ｈ０＝Ｈ×（（Ｘｄ／２）／１００） … （４）
また、中間画像Ｐ２の光学的な中心である主点の座標を（Ｐｘ、Ｐｙ）とすると、Ｍａは、補正後の２点（−Ｐｘ、−Ｐｙ）と（−Ｐｘ、−Ｐｙ＋１）の画素に対して計算されるｙｉの差に２を加えた値とすることができる。なお、２を加えるのは次の理由による。それぞれの画素について計算されるｙｉの値は小数点となることが多いが、入力データバッファ５２に保持されている離散化された画素の座標と対応させるためには整数値に近似する必要がある。この近似によって発生する、それぞれの画素について計算ｙｉの差の最大値が２となるからである。
【００２６】
入力データバッファ５２の容量の決め方について、具体的な数値をあげて説明する。歪み率が１０％のプロジェクタにおいて、ＦＷＶＧＡ画像（８５４×４８０画素）である入力画像Ｐ１の主点が画像中心である場合について考える。正規化された補正係数は、ｋ0＝1、ｋ1＝−0.01、ｋ2＝−0.05、ｋ3＝0.02とする。
【００２７】
まず、Ｈ０については、式（４）に上記の必要な数値を代入すると、
Ｈ０＝480×（（10／2）／100）＝24 … （５）
となる。次に、補正後の２点(−427、−240)と(−427、−239)の画素に対し、式（２）、（３）に上記の必要な数値を代入してｙｉを計算する。
【００２８】
(−427、−240)については、
ｒ2＝（−1.0）＾2＋（−240／427）＾2＝1.315911 … （６）
ｙｉ＝（（1＋(−0.01)×1.315911＋(−0.05)×(1.315911)＾2＋0.02×(1.315911)＾3)
×(−240)
＝−226.9999368 … （７）
となる。次に、(−427、−239)については、
ｒ2＝(−1.0)＾2＋（−239／427）＾2＝1.313286 … （８）
ｙｉ＝（（1＋(−0.01)×1.313286＋(−0.05)×(1.313286)＾2＋0.02×(1.313286)＾3）
×(−239)
＝‐226.08181578 … （９）
となる。従って、Ｍａは式（７）と式（９）の答えの差に２を加えた数となるので、
Ｍａ＝−226.08181578‐（−226.9999368）＋2
＝2.9181202 … （１０）
となる。
【００２９】
メモリの実装上、Ｍａは３となり、入力データバッファ５２に保持しなければならない最大のライン数は２４＋３＝２７ラインとなる。ここで、入力データバッファ５２はサーキュラーバッファで構成されているため、その容量は（ライン数）×（入力画像Ｐ１の幅）のバイト数を下回らない２のべき乗の数値とする必要がある。従って、上述の例の場合、入力データバッファ５２の容量は３２ＫＢとなる。同様に、入力補充バッファ５１の容量も３２ＫＢとなる。
【００３０】
次に、補充ライン数計算部５３１における更新に必要なライン数の算出方法について説明する。補充ライン数計算部５３１には、次に補正を行う出力ラインのライン番号Ｍｏと、現時点で入力データバッファ５２に読み込まれている入力画像信号の最大ライン番号Ｃと、最後に補正を行った出力ラインに関し、入力データバッファ５２に格納されている入力画像信号のうち、実際に補正に用いられた画像信号が含まれる最大ライン番号Ｍとが保持されている。
【００３１】
なお、ライン番号とは、１枚のフレームを構成する複数のラインを識別するための番号である。例えば、入力画像Ｐ１がＦＷＶＧＡ画像（８５４×４８０画素）である場合、ライン番号は、画像最上部のラインから順に、０、１、２、…、４７８、４７９、のように付与される。
【００３２】
まず、補正を行う出力ラインのライン番号Ｍｏが０である、すなわち新しいフレームの最初のラインの補正が行われる場合についての算出方法について説明する。現在入力データバッファ５２に格納されている入力画像信号は前のフレームに関するものであるので、以降に行う補正には使用しない。従って、入力データバッファ５２に格納されている入力画像信号を廃棄して、新しいフレームの入力画像信号に更新する。新しいフレームからの補正の場合、少なくとも更新に必要となるライン数分のデータを入力データバッファ５２に格納する。前述の例の場合は、２７ラインとなる。なお、入力データバッファ５２に格納することができる全てのラインについて更新してもよい。
【００３３】
次に、補正を行う出力ラインのライン番号Ｍｏが０以外の数である場合、すなわち同一フレームのラインの補正が行われる場合、現在入力データバッファ５２に格納されている入力画像信号も使用することができ、足りない分だけ入力補充バッファ５１から入力データバッファ５２に補充すればよい。次の出力ラインの補正を行うためには、前の出力ラインに関して実際に補正に用いられた画像信号が含まれる最大ライン番号Ｍに、次に補正を行うラインの画素を算出するために追加しなくてはならないライン数（＝Ｍａ）を足したライン番号までの入力画像信号が入力データバッファ５２に格納されていなくてはならない。ここで、入力データバッファ５２にはすでにライン番号Ｃまで入力画像信号が格納されている。従って、更新に必要となるライン数、すなわち入力データバッファ５２への補充ライン数は、Ｍ＋Ｍａ−Ｃで算出される。
【００３４】
次に、本実施形態におけるプロジェクタ１の動作について説明する。ここでは、入力画像信号が入力ラインメモリ４ａから画像処理部５に転送され、補正処理を行った後に中間画像信号として出力ラインメモリ４ｂに出力されるまでの動作について説明する。
【００３５】
図５は、画像処理部５及び入力ラインメモリ４ａ、出力ラインメモリ４ｂにおける１フレーム分の画像信号の処理の流れを説明するフローチャートである。入力画像は、例えばＲ画像、Ｇ画像、Ｂ画像など複数の画像を重畳して構成されており、画像処理部５では個々の画像の入力画像信号を補正処理する。ここではまず、入力画像を構成するひとつの画像（例えばＲ画像）の入力画像信号に対して補正処理を行う動作について説明する。
【００３６】
まず、入力ラインメモリ４ａから入力補充バッファ５１に入力画像信号が１ライン書き込まれる（Ｓ１）。ただし、すでに入力画像信号を書き込むだけの容量が残っていない場合は、最前に書き込まれた入力画像信号が１ライン分破棄される。フレームの最上部のラインが補正される場合は、補正に必要なライン数分の入力画像信号を格納するために、Ｓ１が繰り返し実行される。
【００３７】
なお、入力画像信号は一定時刻ごとに入力部２、ＣＰＵ３を介して入力ラインメモリ４ａに１ラインずつ書き込まれる。入力画像信号をＲＧＢ個々の入力画像信号に分解するタイミングは、入力ラインメモリ４ａに書き込まれる以前の入力部２やＣＰＵ３で行ってもよいし、入力ラインメモリ４ａから入力補充バッファ５１に書き込む際に行ってもよく、実装によって選択可能である。
【００３８】
次に、補充ライン数計算部５３１において、入力補充バッファ５１から入力データバッファ５２へ補充するライン数が計算される（Ｓ２）。補充ライン数の具体的な計算方法は上述の通りである。
【００３９】
計算の結果、補充ライン数が１ライン以上であると算出された場合（Ｓ３、Ｙｅｓ）、ライン番号（Ｃ＋１）から（Ｍ＋Ｍａ−Ｃ）ライン分の入力画像信号が入力補充バッファ５１から入力データバッファ５２へ書き込まれる（Ｓ４）。ただし、すでに入力画像信号を書き込むだけの容量が残っていない場合は、最前に書き込まれた入力画像信号が（Ｍ＋Ｍａ−Ｃ）ライン分破棄される。
【００４０】
一方、計算の結果、補充ライン数が０であると算出された場合（Ｓ３、Ｎｏ）、入力補充バッファ５１から入力データバッファ５２へ入力画像信号を転送する必要がないために、Ｓ５に進む。
【００４１】
次に、入力データバッファ５２に格納されている入力画像信号を用いて補正処理を行い、出力する中間画像信号を１ライン分生成する（Ｓ５）。入力画像信号の各画素位置を中間画像信号の各画素位置に変換する具体的な補正処理は、上述の通り式（１）〜（３）を用いて行われる。
【００４２】
生成された中間画像信号は、出力データバッファ５４に書き込まれ（Ｓ６）、出力ラインメモリ４ｂに読み出される（Ｓ７）。
【００４３】
出力データバッファ５４から読み出されたデータが最後のラインでない場合（Ｓ８、Ｎｏ）、Ｓ１に戻り、１フレーム分の処理が終了するまでＳ１〜Ｓ７を繰り返す。一方、最後のラインの中間画像信号の生成が終了して出力ラインメモリ４ｂへの読み出しが完了している場合（Ｓ８、Ｙｅｓ）、１フレーム分の補正処理が終了する。なお、新しいフレームの補正処理を行う場合は、入力補充バッファ５１のデータを全て破棄し、Ｓ１〜Ｓ８の処理を行う。
【００４４】
以上の処理をパイプライン化し、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号の３つの画像信号に補正を施し中間画像信号を生成、出力する処理の流れについて説明する。図６から図１１は、画像処理部５及び入力ラインメモリ４ａ、出力ラインメモリ４ｂにおける画像信号のパイプライン処理の流れを説明する概略図である。図６から図１１は、それぞれパイプライン処理における連続する６つのステージを示している。
【００４５】
ここで、図６に示すステージの前に、入力補充バッファ５１には、各入力補充バッファ５１に格納することができるライン数から１ライン減じたライン数だけ、入力ラインメモリ４ａからそれぞれに対応する入力画像信号が既に書き込まれているとする。例えば、入力補充バッファ５１の容量が３２ＫＢであり、３２ライン分の入力画像信号を格納することができる場合、図６に示すステージの前に、入力補充バッファ５１には３１ライン分の入力画像信号が既に書き込まれているとする。
【００４６】
まず、図６に示すステージでは、入力ラインメモリ４ａからＲ画像用入力補充バッファ５１ｒへ、Ｒ画像の入力画像信号が１ライン分書き込まれる（図５、Ｓ１に対応）。
【００４７】
図７に示すステージでは、補充ライン数計算部５３１において、Ｒ画像用入力補充バッファ５１ｒからＲ画像用入力データバッファ５２ｒへ補充するライン数が計算され、結果に従って入力画像信号が転送される（図５、Ｓ２〜Ｓ４に対応）。同時に、入力ラインメモリ４ａからＧ画像用入力補充バッファ５１ｇへ、Ｇ画像の入力画像信号が１ライン分書き込まれる（図５、Ｓ１に対応）。
【００４８】
図８に示すステージでは、信号処理部５３においてＲ画像用入力データバッファ５２ｒに格納されている入力画像信号を用いて補正処理が行われ、Ｒ画像用中間画像信号が１ライン分生成される。生成されたＲ画像用中間画像信号は、Ｒ画像用出力データバッファ５４ｒに書き込まれる（図５、Ｓ５、Ｓ６に対応）。同時に、補充ライン数計算部５３１において、Ｇ画像用入力補充バッファ５１ｇからＧ画像用入力データバッファ５２ｇへ補充するライン数が計算され、結果に従って入力画像信号が転送される（図５、Ｓ２〜Ｓ４に対応）。また同時に、入力ラインメモリ４ａからＢ画像用入力補充バッファ５１ｂへ、Ｂ画像の入力画像信号が１ライン分書き込まれる（図５、Ｓ１に対応）。
【００４９】
図９に示すステージでは、Ｒ画像用出力データバッファ５４ｒに格納されているＲ画像用中間画像信号が出力ラインメモリ４ｂに読み出されるとともに、入力ラインメモリ４ａからＲ画像用入力補充バッファ５１ｒへ、Ｒ画像の入力画像信号が次の１ライン分書き込まれる（図５、Ｓ７、Ｓ８、Ｓ１に対応）。同時に、Ｇ画像用入力データバッファ５２ｇに格納されている入力画像信号を用い、信号処理部５３において補正処理が行われ、Ｇ画像用中間画像信号が１ライン分生成される。生成されたＧ画像用中間画像信号は、Ｇ画像用出力データバッファ５４ｇに書き込まれる（図５、Ｓ５、Ｓ６に対応）。また同時に、補充ライン数計算部５３１において、Ｂ画像用入力補充バッファ５１ｂからＢ画像用入力データバッファ５２ｂへ補充するライン数が計算され、結果に従って入力画像信号が転送される（図５、Ｓ２〜Ｓ４に対応）。
【００５０】
図１０に示すステージでは、補充ライン数計算部５３１において、Ｒ画像用入力補充バッファ５１ｒからＲ画像用入力データバッファ５２ｒへ補充するライン数が計算され、結果に従って入力画像信号が転送される（図５、Ｓ２〜Ｓ４に対応）。同時に、Ｇ画像用出力データバッファ５４ｇに格納されているＧ画像用中間画像信号が出力ラインメモリ４ｂに読み出されるとともに、入力ラインメモリ４ａからＧ画像用入力補充バッファ５１ｇへ、Ｇ画像の入力画像信号が次の１ライン分書き込まれる（図５、Ｓ７、Ｓ８、Ｓ１に対応）。また同時に、Ｂ画像用入力データバッファ５２ｂに格納されている入力画像信号を用い、信号処理部５３において補正処理が行われ、Ｂ画像用中間画像信号が１ライン分生成される。生成されたＢ画像用中間画像信号は、Ｂ画像用出力データバッファ５４ｂに書き込まれる（図５、Ｓ５、Ｓ６に対応）。
【００５１】
図１１に示すステージでは、Ｒ画像用入力データバッファ５２ｒに格納されている入力画像信号を用い、信号処理部５３において補正処理が行われ、Ｒ画像用中間画像信号が１ライン分生成される。生成されたＲ画像用中間画像信号は、Ｒ画像用出力データバッファ５４ｒに書き込まれる（図５、Ｓ５、Ｓ６に対応）。同時に、補充ライン数計算部５３１において、Ｇ画像用入力補充バッファ５１ｇからＧ画像用入力データバッファ５２ｇへ補充するライン数が計算され、結果に従って入力画像信号が転送される（図５、Ｓ２〜Ｓ４に対応）。また同時に、Ｂ画像用出力データバッファ５４ｂに格納されているＢ画像用中間画像信号が出力ラインメモリ４ｂに読み出されるとともに、入力ラインメモリ４ａからＢ画像用入力補充バッファ５１ｂへ、Ｂ画像の入力画像信号が次の１ライン分書き込まれる（図５、Ｓ７、Ｓ８、Ｓ１に対応）。
【００５２】
図１１に示すステージの後は、入力ラインメモリ４ａから書き込まれる全ての入力画像信号の補正処理が終わって中間画像信号が出力ラインメモリ４ｂに読み出されるまで図９〜図１１に示すステージが繰り返し実行される。
【００５３】
なお、以上のパイプライン処理における各ステージの最大所要時間は、フレームレートＦと、入力画像のライン数Ｈとから、１／（Ｆ×Ｈ×３）となる。あるフレームの最初の出力ラインの補正を行う場合、入力補充バッファ５１が必要なライン数の入力画像信号で満たされている必要がある。例えば前述の例において、入力補充バッファ５１に書き込むことができるライン数が３２である場合、ライン番号０の出力ラインを得るための補正処理を行うためには、入力補充バッファ５１に少なくともライン番号０〜２６の２７本の入力ラインが格納されている必要がある。なお、補正処理に最小限必要な入力ライン（２７本）だけでなく、入力補充バッファ５１の容量を満たす３２本の入力ラインを格納してもよい。
【００５４】
図６に示すように、入力ラインメモリ４ａから入力補充バッファ５１に対して１ラインを書き込む処理は１ステージで行われる。また、入力画像信号は、Ｒ、Ｇ、Ｂの３つの画像信号から構成されており、入力補充バッファ５１が満たされるまでそれぞれの画像信号に関して１ラインずつ図６の処理が行われる必要がある。従って、入力ラインメモリ４ａから入力補充バッファ５１に対してライン番号０の入力ラインが書き込まれてから、ライン番号０の出力ラインが出力ラインメモリ４ｂに読み出されるまでのレイテンシは、（入力補充バッファ５１に格納されるラインの本数）×３×（１／（Ｆ×Ｈ×３））以上となる。
【００５５】
このように、プロジェクタ１に入力画像信号に対して逐次補正処理が行われ、投影レンズ７で生じる歪曲収差と逆の歪み特性を持たせた中間画像信号が、ＣＰＵ３を介してＬＣＯＳ６に出力される。
【００５６】
このように、本実施形態においては、歪みの生じた入力画像信号の補正処理に対し、入力ラインメモリ４ａから１ラインずつ書き込まれる入力画像信号を入力補充バッファ５１にある程度のライン数蓄積しておき、次の出力ラインを計算するために必要なラインを予め計算し、入力データバッファ５２に該当するラインの入力画像信号を書き込んでおく。入力データバッファ５２に格納されている入力画像信号を用いて補正処理を行って中間画像信号を１ライン分生成して出力する。この一連の処理を１ラインずつ繰り返し行うことにより、画像処理部５に対する画像信号の入出力メモリとしてフレームメモリでなく入出力ラインメモリ４ａ、４ｂを用いることができるため、製造コストを抑制し、また、コンパクトな装置を実現することができる。
【００５７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５８】
４ａ…入力ラインメモリ、５…画像処理部、５１…入力補充バッファ、５２…入力データバッファ、５３…信号処理部、５３１…補充ライン数計算部、５４…出力データバッファ、４ｂ…出力ラインメモリ
【技術分野】
【０００１】
本実施形態は、プロジェクタ、及び画像処理装置に関する。
【背景技術】
【０００２】
従来、プロジェクタの投影レンズは、理想像（プロジェクタに入力された画像）と実際の像（プロジェクタを通して投影される画像）との差異（収差）を抑制させるために、多くの枚数で構成されている。しかし、倍率色収差を抑制するためには、屈折率の異なる素材のレンズの組を多数使用するためにレンズ枚数が多くなり、装置の大型化や製造コストの増大が問題となる。また、樽型や糸巻き型などの歪曲収差を抑制するためには、レンズの材質を工夫したり非球面レンズを採用したりするが、そのレンズの設計コストや製造コストが増大してしまう。
【０００３】
そこで、近年では、光学系の要因で発生する倍率色収差や歪曲収差によって画像に歪みなどが生じる場合、入力画像に対して光学系の前処理として電気的に画像処理を行い、光学系で生じる歪みと逆方向の歪みを入力画像に予め与えておく方法が一般的に用いられている。例えば、光学系で画像が樽型に歪む歪曲収差が発生する場合、光学系の前段階で補正処理を施して画像を糸巻き型に変換させておく。
【０００４】
従来のプロジェクタにおける補正処理では、入力画像に対してランダムアクセスが必要となるために、フレームメモリを使って入力画像１フレーム分を保持し、必要な画素に対してアクセスする方法が用いられていた。しかしながら、フレームメモリはメモリ量が大きいため、製造コストが高くなってしまったり装置が大型化してしまったりという問題があった。この問題は、画像の入出力に制約が設けられており、ダブルバッファが必要となる場合には特に顕著になってしまう。
【０００５】
そこで、この問題を解決するために、フレームメモリのかわりにラインメモリを用いる装置が提案されている。しかしながら、従来提案されている装置では、画像が台形に歪んでいる場合の補正処理にしか言及されておらず、その他の歪み、例えば樽型の歪みや糸巻き型の歪みなどに対する補正ができず、出力画像に歪みが残ってしまうという問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２１５１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで、本実施形態は、以上の点に鑑みてなされたもので、低製造コストかつコンパクトな装置で、光学系で生じる種々の歪みを補正することができる、プロジェクタ、及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本実施形態のプロジェクタは、１ライン分の入力画像信号を保持する入力ラインメモリと、前記入力ラインメモリから転送された入力画像信号を用いて、投影レンズの歪みに対応する補正処理を施した中間画像信号を生成する画像処理部と、１ライン分の前記中間画像信号を保持する出力ラインメモリと、前記中間画像信号に従って光源から照射される光を前記投影レンズに導くＬＣＯＳと、を備えており、前記画像処理部は、複数ラインの前記入力画像信号を格納する入力補充バッファと、１ライン分の前記中間画像信号を生成するために必要な入力画像信号を格納する入力データバッファと、前記入力補充バッファから前記入力データバッファに転送する入力画像信号の補充ライン数を計算する補充ライン数計算部とを備えていることを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係わるプロジェクタの構成の一例を説明する図。
【図２】画像処理部５の構成を説明する図。
【図３】ＬＣＯＳ６の画素領域を説明する概略図。
【図４】補正による画素の移動を説明するイメージ図であり、（ａ）（ｂ）は画像上部のラインについて補正を行う場合の補正前後の画像のイメージ、（ｃ）（ｄ）は画像中央のラインについて補正を行う場合の補正前後の画像のイメージ、（ｅ）（ｆ）は画像下部のラインについて補正を行う場合の補正前後の画像のイメージ、をそれぞれ示している。
【図５】画像処理部５における画像信号の処理の流れを説明するフローチャート。
【図６】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【図７】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【図８】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【図９】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【図１０】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【図１１】画像処理部５における画像信号のパイプライン処理の流れを説明する概略図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して実施形態を説明する。
図１は、第１の実施形態に係わるプロジェクタの構成の一例を説明する図である。プロジェクタ１は、投影する画像を構成する画像信号などを入力する入力部２と、プロジェクタ１内部の各部位を制御して画像信号などのデータの送受信を実行する中央処理装置（以下、ＣＰＵと示す）３と、１ライン分の入力画像信号を保持する入力ラインメモリ４ａと、１ライン分の中間画像信号を保持する出力ラインメモリ４ｂと、入力画像信号に対して電気的な画像処理を施す画像処理部５と、反射型の液晶パネルであるＬＣＯＳ６と、投射レンズ７とを備えて構成されている。
【００１１】
なお、図示しないが、プロジェクタ１には光源装置や各種要素レンズなどを備えた照明光学部、照明光学部の制御を行う制御部なども備えている。投射レンズ７や照明光学系などは、少なくとも歪曲収差や倍率色収差を補正するための光学的な技巧（例えば色消しレンズや非球面レンズなど）は具備しておらず、画像を投影するために必要なレンズのみが配置されている。また、プロジェクタ１には、図示しない電源装置が接続されており、各部位に必要な電力が供給されている。
【００１２】
図２は、画像処理部５の構成を説明する図である。画像処理部５は、入力ラインメモリ４ａからの入力画像信号を保持する入力補充バッファ５１と、補正に使用される可能性があるラインに関する入力画像信号を保持する入力データバッファ５２と、入力画像信号に補正を施す光学補正回路としての信号処理部５３と、信号処理部５３で補正処理を施すことにより生成された中間画像信号を逐次格納する出力バッファ５４とを備えている。入力補充バッファ５１、入力データバッファ５２、出力バッファ５４はそれぞれ、Ｒ画像用、Ｇ画像用、Ｂ画像用のバッファから構成されている。
【００１３】
それぞれの入力補充バッファ５１及び入力データバッファ５２は、ある程度のライン数（例えば３２ライン程度）の画像信号を保持することが可能な容量を有するサーキュラーバッファで構成されている。入力補充バッファ５１は、入力ラインメモリ４ａから１ライン分ずつ画像信号が補充され、同時に既に格納されている画像信号のうち、最前から格納されている１ライン分の画像信号が破棄されていくことになる。
【００１４】
入力データバッファ５２には、次に出力すべきラインの画像信号を得るための補正処理に必要となる入力画像信号が格納されていなければならない。この補正処理に必要となる入力画像信号は、規則的に更新される入力補充バッファ５１に格納されている入力画像信号とは一致していない。このため、入力補充バッファ５１から入力画像信号を適宜読み出して、入力データバッファ５２を更新する必要がある。
【００１５】
この更新に必要な補充ライン数の算出（入力補充バッファ５１から入力データバッファ５２に対して転送する入力画像信号のライン数の算出）は、信号処理部５３の補充ライン数計算部５３１で行われる。補充ライン数計算部５３１における補充ライン数の算出の具体的な方法については後述する。
【００１６】
信号処理部５３は、以下に示す補正式（１）〜（３）を用いて、入力画像信号の各画素の位置を、中間画像信号の各画素の位置に変換する。画像中心からの距離の二乗をｒ２、補正パラメータをｋｘ（ｘ＝０〜３）、補正前の画像（ａ×ｂ画素）における各画素の水平方向の座標位置をｘｉ（―２／ａ≦ｘｉ≦２／ａ）、垂直方向の座標位置をｙｉ（―２／ｂ≦ｙｉ≦２／ｂ）、補正後の画像（Ａ×Ｂ画素）における各画素の水平方向の座標位置をｘｏ（―２／Ａ≦ｘｏ≦２／Ａ）、垂直方向の座標位置をｙｏ（―２／Ｂ≦ｙｏ≦２／Ｂ）とした場合、補正前後の画像の各画素の座標位置（ｘｉ、ｙｉ）（ｘｏ、ｙｏ）は、
ｘｉ＝(ｋ0＋ｋ1×ｒ２＋ｋ2×ｒ２＾２＋ｋ3×ｒ２＾３)ｘｏ … （１）
ｙｉ＝(ｋ0＋ｋ1×ｒ２＋ｋ2×ｒ２＾２＋ｋ3×ｒ２＾３)ｙｏ … （２）
ｒ２＝ｘｏ＾２＋ｙｏ＾２ … （３）
（ただし、各座標位置は画像中心を原点とする。）
の関係式で表される。なお、補正パラメータをｋｘ（ｘ＝０〜３）は色（ＲＧＢ）ごとに異なる。従って、実際の補正処理では、入力されるＲ画像、Ｇ画像、Ｂ画像のそれぞれについて式（１）〜（３）に適切な補正パラメータを代入し、座標変換が行われる。出力バッファ５４には１ライン分の中間画像信号が保持され、一定時刻ごとに出力ラインメモリ４ｂに転送される。
【００１７】
図３はＬＣＯＳ６の画素領域を説明する概略図である。ＬＣＯＳ６は入力画像信号の有効画素領域６ａに対して上下左右にマージン領域を付加した画素領域を持つように構成されている。すなわち、入力画像の有効画素領域６ａがｗ０×ｈ０である場合、ＬＣＯＳ６の画素領域は（ｗ０＋２×ｗ１）×（ｈ０＋２×ｈ１）となる。ＬＣＯＳ６のマージン領域のサイズは、投影レンズ７の歪み特性や歪み補正範囲などを考慮して決定される。
【００１８】
次に、入力補充バッファ５１及び入力データバッファ５２の容量の設定方法と、補充ライン数計算部５３１における更新に必要なライン数の算出の具体的な方法について、説明する。
【００１９】
図４は、補正による画素の移動を説明するイメージ図である。図４の（ａ）（ｂ）は画像上部のラインについての補正前後の画像のイメージ、（ｃ）（ｄ）は画像中央のラインについての補正前後の画像のイメージ、（ｅ）（ｆ）は画像下部のラインについての補正前後の画像のイメージ、をそれぞれ示している。すなわち、図４（ａ）、（ｃ）、（ｅ）は補正前における同一フレームの入力画像Ｐ１であり、図４（ｂ）、（ｄ）、（ｆ）は補正後の同一フレームの中間画像Ｐ２を示している。なお、ここでは一例として光学系で糸巻き型の歪みが発生する場合に、補正によってこれと逆方向の樽型の歪みを画像に与える場合について説明する。
【００２０】
中間画像Ｐ２において図４（ｂ）に示すように画像上部に位置するラインＬ２ｕに配置される画素は、入力画像Ｐ１において図４（ａ）に示すように画像上部に位置する領域Ｌ１ｕに配置されている画素から構成される。すなわち、ラインＬ２ｕを構成する画素を信号処理部５３で算出する場合、入力画像Ｐ１において領域Ｌ１ｕが含まれるラインの画素を入力データバッファ５２に保持しておく必要がある。
【００２１】
また、中間画像Ｐ２において図４（ｄ）に示すように画像中央に位置するラインＬ２ｍに配置される画素は、入力画像Ｐ１において図４（ｃ）に示すように画像中央に位置する領域Ｌ１ｍに配置されている画素から構成される。すなわち、ラインＬ２ｍを構成する画素を信号処理部５３で算出する場合、入力画像Ｐ１において領域Ｌ１ｍが含まれるラインの画素を入力データバッファ５２に保持しておく必要がある。
【００２２】
さらに、中間画像Ｐ２において図４（ｆ）に示すように画像下部に位置するラインＬ２ｂに配置される画素は、入力画像Ｐ１において図４（ｅ）に示すように画像下部に位置する領域Ｌ１ｂに配置されている画素から構成される。すなわち、ラインＬ２ｂを構成する画素を信号処理部５３で算出する場合、入力画像Ｐ１において領域Ｌ１ｂが含まれるラインの画素を入力データバッファ５２に保持しておく必要がある。
【００２３】
このように、中間画像Ｐ２の画像中央に近いラインに位置する画素を算出する場合には歪みが少ないため、入力画像Ｐ１の画像中央に位置する１乃至数ラインの画素を入力データバッファ５２に保持しておけばよい。一方、中間画像Ｐ２の画像中央から離れたライン（画像上部ライン、もしくは画像下部ライン）に位置する画素を算出する場合には歪みが大きいため、入力画像Ｐ１の画像上部、もしくは画像下部に位置する複数のライン（中間画像Ｐ２の画像中央に近いラインに位置する画素を算出する場合に保持する必要があるライン数に比べて多数のライン）の画素を入力データバッファ５２に保持する。
【００２４】
従って、入力データバッファ５２は、歪みが大きく、中間画像Ｐ２の最上部に位置するラインの画素を算出するために必要な入力画像Ｐ１のライン数Ｈ０と、次に算出するライン（中間画像Ｐ２の上から２番目に位置するライン）の画素を算出するためのライン数Ｍａを保持するのに十分な容量が必要となる。なお、中間画像Ｐ２の最下部に位置するラインの画素を算出するために必要な入力画像Ｐ１のライン数は最上部に位置するラインの画素を算出するために必要な入力画像Ｐ１のライン数Ｈ０と同数である。
【００２５】
入力画像Ｐ１のライン数をＨ、光学系での歪み率をＸｄ％とすると、Ｈ０は次の式（４）で表される。
Ｈ０＝Ｈ×（（Ｘｄ／２）／１００） … （４）
また、中間画像Ｐ２の光学的な中心である主点の座標を（Ｐｘ、Ｐｙ）とすると、Ｍａは、補正後の２点（−Ｐｘ、−Ｐｙ）と（−Ｐｘ、−Ｐｙ＋１）の画素に対して計算されるｙｉの差に２を加えた値とすることができる。なお、２を加えるのは次の理由による。それぞれの画素について計算されるｙｉの値は小数点となることが多いが、入力データバッファ５２に保持されている離散化された画素の座標と対応させるためには整数値に近似する必要がある。この近似によって発生する、それぞれの画素について計算ｙｉの差の最大値が２となるからである。
【００２６】
入力データバッファ５２の容量の決め方について、具体的な数値をあげて説明する。歪み率が１０％のプロジェクタにおいて、ＦＷＶＧＡ画像（８５４×４８０画素）である入力画像Ｐ１の主点が画像中心である場合について考える。正規化された補正係数は、ｋ0＝1、ｋ1＝−0.01、ｋ2＝−0.05、ｋ3＝0.02とする。
【００２７】
まず、Ｈ０については、式（４）に上記の必要な数値を代入すると、
Ｈ０＝480×（（10／2）／100）＝24 … （５）
となる。次に、補正後の２点(−427、−240)と(−427、−239)の画素に対し、式（２）、（３）に上記の必要な数値を代入してｙｉを計算する。
【００２８】
(−427、−240)については、
ｒ2＝（−1.0）＾2＋（−240／427）＾2＝1.315911 … （６）
ｙｉ＝（（1＋(−0.01)×1.315911＋(−0.05)×(1.315911)＾2＋0.02×(1.315911)＾3)
×(−240)
＝−226.9999368 … （７）
となる。次に、(−427、−239)については、
ｒ2＝(−1.0)＾2＋（−239／427）＾2＝1.313286 … （８）
ｙｉ＝（（1＋(−0.01)×1.313286＋(−0.05)×(1.313286)＾2＋0.02×(1.313286)＾3）
×(−239)
＝‐226.08181578 … （９）
となる。従って、Ｍａは式（７）と式（９）の答えの差に２を加えた数となるので、
Ｍａ＝−226.08181578‐（−226.9999368）＋2
＝2.9181202 … （１０）
となる。
【００２９】
メモリの実装上、Ｍａは３となり、入力データバッファ５２に保持しなければならない最大のライン数は２４＋３＝２７ラインとなる。ここで、入力データバッファ５２はサーキュラーバッファで構成されているため、その容量は（ライン数）×（入力画像Ｐ１の幅）のバイト数を下回らない２のべき乗の数値とする必要がある。従って、上述の例の場合、入力データバッファ５２の容量は３２ＫＢとなる。同様に、入力補充バッファ５１の容量も３２ＫＢとなる。
【００３０】
次に、補充ライン数計算部５３１における更新に必要なライン数の算出方法について説明する。補充ライン数計算部５３１には、次に補正を行う出力ラインのライン番号Ｍｏと、現時点で入力データバッファ５２に読み込まれている入力画像信号の最大ライン番号Ｃと、最後に補正を行った出力ラインに関し、入力データバッファ５２に格納されている入力画像信号のうち、実際に補正に用いられた画像信号が含まれる最大ライン番号Ｍとが保持されている。
【００３１】
なお、ライン番号とは、１枚のフレームを構成する複数のラインを識別するための番号である。例えば、入力画像Ｐ１がＦＷＶＧＡ画像（８５４×４８０画素）である場合、ライン番号は、画像最上部のラインから順に、０、１、２、…、４７８、４７９、のように付与される。
【００３２】
まず、補正を行う出力ラインのライン番号Ｍｏが０である、すなわち新しいフレームの最初のラインの補正が行われる場合についての算出方法について説明する。現在入力データバッファ５２に格納されている入力画像信号は前のフレームに関するものであるので、以降に行う補正には使用しない。従って、入力データバッファ５２に格納されている入力画像信号を廃棄して、新しいフレームの入力画像信号に更新する。新しいフレームからの補正の場合、少なくとも更新に必要となるライン数分のデータを入力データバッファ５２に格納する。前述の例の場合は、２７ラインとなる。なお、入力データバッファ５２に格納することができる全てのラインについて更新してもよい。
【００３３】
次に、補正を行う出力ラインのライン番号Ｍｏが０以外の数である場合、すなわち同一フレームのラインの補正が行われる場合、現在入力データバッファ５２に格納されている入力画像信号も使用することができ、足りない分だけ入力補充バッファ５１から入力データバッファ５２に補充すればよい。次の出力ラインの補正を行うためには、前の出力ラインに関して実際に補正に用いられた画像信号が含まれる最大ライン番号Ｍに、次に補正を行うラインの画素を算出するために追加しなくてはならないライン数（＝Ｍａ）を足したライン番号までの入力画像信号が入力データバッファ５２に格納されていなくてはならない。ここで、入力データバッファ５２にはすでにライン番号Ｃまで入力画像信号が格納されている。従って、更新に必要となるライン数、すなわち入力データバッファ５２への補充ライン数は、Ｍ＋Ｍａ−Ｃで算出される。
【００３４】
次に、本実施形態におけるプロジェクタ１の動作について説明する。ここでは、入力画像信号が入力ラインメモリ４ａから画像処理部５に転送され、補正処理を行った後に中間画像信号として出力ラインメモリ４ｂに出力されるまでの動作について説明する。
【００３５】
図５は、画像処理部５及び入力ラインメモリ４ａ、出力ラインメモリ４ｂにおける１フレーム分の画像信号の処理の流れを説明するフローチャートである。入力画像は、例えばＲ画像、Ｇ画像、Ｂ画像など複数の画像を重畳して構成されており、画像処理部５では個々の画像の入力画像信号を補正処理する。ここではまず、入力画像を構成するひとつの画像（例えばＲ画像）の入力画像信号に対して補正処理を行う動作について説明する。
【００３６】
まず、入力ラインメモリ４ａから入力補充バッファ５１に入力画像信号が１ライン書き込まれる（Ｓ１）。ただし、すでに入力画像信号を書き込むだけの容量が残っていない場合は、最前に書き込まれた入力画像信号が１ライン分破棄される。フレームの最上部のラインが補正される場合は、補正に必要なライン数分の入力画像信号を格納するために、Ｓ１が繰り返し実行される。
【００３７】
なお、入力画像信号は一定時刻ごとに入力部２、ＣＰＵ３を介して入力ラインメモリ４ａに１ラインずつ書き込まれる。入力画像信号をＲＧＢ個々の入力画像信号に分解するタイミングは、入力ラインメモリ４ａに書き込まれる以前の入力部２やＣＰＵ３で行ってもよいし、入力ラインメモリ４ａから入力補充バッファ５１に書き込む際に行ってもよく、実装によって選択可能である。
【００３８】
次に、補充ライン数計算部５３１において、入力補充バッファ５１から入力データバッファ５２へ補充するライン数が計算される（Ｓ２）。補充ライン数の具体的な計算方法は上述の通りである。
【００３９】
計算の結果、補充ライン数が１ライン以上であると算出された場合（Ｓ３、Ｙｅｓ）、ライン番号（Ｃ＋１）から（Ｍ＋Ｍａ−Ｃ）ライン分の入力画像信号が入力補充バッファ５１から入力データバッファ５２へ書き込まれる（Ｓ４）。ただし、すでに入力画像信号を書き込むだけの容量が残っていない場合は、最前に書き込まれた入力画像信号が（Ｍ＋Ｍａ−Ｃ）ライン分破棄される。
【００４０】
一方、計算の結果、補充ライン数が０であると算出された場合（Ｓ３、Ｎｏ）、入力補充バッファ５１から入力データバッファ５２へ入力画像信号を転送する必要がないために、Ｓ５に進む。
【００４１】
次に、入力データバッファ５２に格納されている入力画像信号を用いて補正処理を行い、出力する中間画像信号を１ライン分生成する（Ｓ５）。入力画像信号の各画素位置を中間画像信号の各画素位置に変換する具体的な補正処理は、上述の通り式（１）〜（３）を用いて行われる。
【００４２】
生成された中間画像信号は、出力データバッファ５４に書き込まれ（Ｓ６）、出力ラインメモリ４ｂに読み出される（Ｓ７）。
【００４３】
出力データバッファ５４から読み出されたデータが最後のラインでない場合（Ｓ８、Ｎｏ）、Ｓ１に戻り、１フレーム分の処理が終了するまでＳ１〜Ｓ７を繰り返す。一方、最後のラインの中間画像信号の生成が終了して出力ラインメモリ４ｂへの読み出しが完了している場合（Ｓ８、Ｙｅｓ）、１フレーム分の補正処理が終了する。なお、新しいフレームの補正処理を行う場合は、入力補充バッファ５１のデータを全て破棄し、Ｓ１〜Ｓ８の処理を行う。
【００４４】
以上の処理をパイプライン化し、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号の３つの画像信号に補正を施し中間画像信号を生成、出力する処理の流れについて説明する。図６から図１１は、画像処理部５及び入力ラインメモリ４ａ、出力ラインメモリ４ｂにおける画像信号のパイプライン処理の流れを説明する概略図である。図６から図１１は、それぞれパイプライン処理における連続する６つのステージを示している。
【００４５】
ここで、図６に示すステージの前に、入力補充バッファ５１には、各入力補充バッファ５１に格納することができるライン数から１ライン減じたライン数だけ、入力ラインメモリ４ａからそれぞれに対応する入力画像信号が既に書き込まれているとする。例えば、入力補充バッファ５１の容量が３２ＫＢであり、３２ライン分の入力画像信号を格納することができる場合、図６に示すステージの前に、入力補充バッファ５１には３１ライン分の入力画像信号が既に書き込まれているとする。
【００４６】
まず、図６に示すステージでは、入力ラインメモリ４ａからＲ画像用入力補充バッファ５１ｒへ、Ｒ画像の入力画像信号が１ライン分書き込まれる（図５、Ｓ１に対応）。
【００４７】
図７に示すステージでは、補充ライン数計算部５３１において、Ｒ画像用入力補充バッファ５１ｒからＲ画像用入力データバッファ５２ｒへ補充するライン数が計算され、結果に従って入力画像信号が転送される（図５、Ｓ２〜Ｓ４に対応）。同時に、入力ラインメモリ４ａからＧ画像用入力補充バッファ５１ｇへ、Ｇ画像の入力画像信号が１ライン分書き込まれる（図５、Ｓ１に対応）。
【００４８】
図８に示すステージでは、信号処理部５３においてＲ画像用入力データバッファ５２ｒに格納されている入力画像信号を用いて補正処理が行われ、Ｒ画像用中間画像信号が１ライン分生成される。生成されたＲ画像用中間画像信号は、Ｒ画像用出力データバッファ５４ｒに書き込まれる（図５、Ｓ５、Ｓ６に対応）。同時に、補充ライン数計算部５３１において、Ｇ画像用入力補充バッファ５１ｇからＧ画像用入力データバッファ５２ｇへ補充するライン数が計算され、結果に従って入力画像信号が転送される（図５、Ｓ２〜Ｓ４に対応）。また同時に、入力ラインメモリ４ａからＢ画像用入力補充バッファ５１ｂへ、Ｂ画像の入力画像信号が１ライン分書き込まれる（図５、Ｓ１に対応）。
【００４９】
図９に示すステージでは、Ｒ画像用出力データバッファ５４ｒに格納されているＲ画像用中間画像信号が出力ラインメモリ４ｂに読み出されるとともに、入力ラインメモリ４ａからＲ画像用入力補充バッファ５１ｒへ、Ｒ画像の入力画像信号が次の１ライン分書き込まれる（図５、Ｓ７、Ｓ８、Ｓ１に対応）。同時に、Ｇ画像用入力データバッファ５２ｇに格納されている入力画像信号を用い、信号処理部５３において補正処理が行われ、Ｇ画像用中間画像信号が１ライン分生成される。生成されたＧ画像用中間画像信号は、Ｇ画像用出力データバッファ５４ｇに書き込まれる（図５、Ｓ５、Ｓ６に対応）。また同時に、補充ライン数計算部５３１において、Ｂ画像用入力補充バッファ５１ｂからＢ画像用入力データバッファ５２ｂへ補充するライン数が計算され、結果に従って入力画像信号が転送される（図５、Ｓ２〜Ｓ４に対応）。
【００５０】
図１０に示すステージでは、補充ライン数計算部５３１において、Ｒ画像用入力補充バッファ５１ｒからＲ画像用入力データバッファ５２ｒへ補充するライン数が計算され、結果に従って入力画像信号が転送される（図５、Ｓ２〜Ｓ４に対応）。同時に、Ｇ画像用出力データバッファ５４ｇに格納されているＧ画像用中間画像信号が出力ラインメモリ４ｂに読み出されるとともに、入力ラインメモリ４ａからＧ画像用入力補充バッファ５１ｇへ、Ｇ画像の入力画像信号が次の１ライン分書き込まれる（図５、Ｓ７、Ｓ８、Ｓ１に対応）。また同時に、Ｂ画像用入力データバッファ５２ｂに格納されている入力画像信号を用い、信号処理部５３において補正処理が行われ、Ｂ画像用中間画像信号が１ライン分生成される。生成されたＢ画像用中間画像信号は、Ｂ画像用出力データバッファ５４ｂに書き込まれる（図５、Ｓ５、Ｓ６に対応）。
【００５１】
図１１に示すステージでは、Ｒ画像用入力データバッファ５２ｒに格納されている入力画像信号を用い、信号処理部５３において補正処理が行われ、Ｒ画像用中間画像信号が１ライン分生成される。生成されたＲ画像用中間画像信号は、Ｒ画像用出力データバッファ５４ｒに書き込まれる（図５、Ｓ５、Ｓ６に対応）。同時に、補充ライン数計算部５３１において、Ｇ画像用入力補充バッファ５１ｇからＧ画像用入力データバッファ５２ｇへ補充するライン数が計算され、結果に従って入力画像信号が転送される（図５、Ｓ２〜Ｓ４に対応）。また同時に、Ｂ画像用出力データバッファ５４ｂに格納されているＢ画像用中間画像信号が出力ラインメモリ４ｂに読み出されるとともに、入力ラインメモリ４ａからＢ画像用入力補充バッファ５１ｂへ、Ｂ画像の入力画像信号が次の１ライン分書き込まれる（図５、Ｓ７、Ｓ８、Ｓ１に対応）。
【００５２】
図１１に示すステージの後は、入力ラインメモリ４ａから書き込まれる全ての入力画像信号の補正処理が終わって中間画像信号が出力ラインメモリ４ｂに読み出されるまで図９〜図１１に示すステージが繰り返し実行される。
【００５３】
なお、以上のパイプライン処理における各ステージの最大所要時間は、フレームレートＦと、入力画像のライン数Ｈとから、１／（Ｆ×Ｈ×３）となる。あるフレームの最初の出力ラインの補正を行う場合、入力補充バッファ５１が必要なライン数の入力画像信号で満たされている必要がある。例えば前述の例において、入力補充バッファ５１に書き込むことができるライン数が３２である場合、ライン番号０の出力ラインを得るための補正処理を行うためには、入力補充バッファ５１に少なくともライン番号０〜２６の２７本の入力ラインが格納されている必要がある。なお、補正処理に最小限必要な入力ライン（２７本）だけでなく、入力補充バッファ５１の容量を満たす３２本の入力ラインを格納してもよい。
【００５４】
図６に示すように、入力ラインメモリ４ａから入力補充バッファ５１に対して１ラインを書き込む処理は１ステージで行われる。また、入力画像信号は、Ｒ、Ｇ、Ｂの３つの画像信号から構成されており、入力補充バッファ５１が満たされるまでそれぞれの画像信号に関して１ラインずつ図６の処理が行われる必要がある。従って、入力ラインメモリ４ａから入力補充バッファ５１に対してライン番号０の入力ラインが書き込まれてから、ライン番号０の出力ラインが出力ラインメモリ４ｂに読み出されるまでのレイテンシは、（入力補充バッファ５１に格納されるラインの本数）×３×（１／（Ｆ×Ｈ×３））以上となる。
【００５５】
このように、プロジェクタ１に入力画像信号に対して逐次補正処理が行われ、投影レンズ７で生じる歪曲収差と逆の歪み特性を持たせた中間画像信号が、ＣＰＵ３を介してＬＣＯＳ６に出力される。
【００５６】
このように、本実施形態においては、歪みの生じた入力画像信号の補正処理に対し、入力ラインメモリ４ａから１ラインずつ書き込まれる入力画像信号を入力補充バッファ５１にある程度のライン数蓄積しておき、次の出力ラインを計算するために必要なラインを予め計算し、入力データバッファ５２に該当するラインの入力画像信号を書き込んでおく。入力データバッファ５２に格納されている入力画像信号を用いて補正処理を行って中間画像信号を１ライン分生成して出力する。この一連の処理を１ラインずつ繰り返し行うことにより、画像処理部５に対する画像信号の入出力メモリとしてフレームメモリでなく入出力ラインメモリ４ａ、４ｂを用いることができるため、製造コストを抑制し、また、コンパクトな装置を実現することができる。
【００５７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５８】
４ａ…入力ラインメモリ、５…画像処理部、５１…入力補充バッファ、５２…入力データバッファ、５３…信号処理部、５３１…補充ライン数計算部、５４…出力データバッファ、４ｂ…出力ラインメモリ
【特許請求の範囲】
【請求項１】
１ライン分の入力画像信号を保持する入力ラインメモリと、
前記入力ラインメモリから転送された入力画像信号を用いて、投影レンズの歪みに対応する補正処理を施した中間画像信号を生成する画像処理部と、
１ライン分の前記中間画像信号を保持する出力ラインメモリと、
前記中間画像信号に従って光源から照射される光を前記投影レンズに導くＬＣＯＳと、
を備えており、前記画像処理部は、複数ラインの前記入力画像信号を格納する入力補充バッファと、１ライン分の前記中間画像信号を生成するために必要な入力画像信号を格納する入力データバッファと、前記入力補充バッファから前記入力データバッファに転送する入力画像信号の補充ライン数を計算する補充ライン数計算部とを備えていることを特徴とする、プロジェクタ。
【請求項２】
複数ラインの入力画像信号を格納する入力補充バッファと、
前記入力補充バッファから転送され、１ライン分の中間画像信号を生成するために必要な入力画像信号を格納する入力データバッファと、
前記入力補充バッファから前記入力データバッファに転送する入力画像信号の補充ライン数を計算する補充ライン数計算部と、
前記入力データバッファに格納されている複数の入力画像信号を用いて、投影レンズの歪みに対応する補正処理を施した前記中間画像信号を１ラインずつ生成する信号処理部と、
を備えていることを特徴とする画像処理装置。
【請求項３】
前記補充ライン計算部は、前記入力データバッファに格納されている前記入力画像信号の第一のライン位置と、前記中間画像信号を１ライン生成するために用いられた前記入力画像信号の第二のライン位置と、前記中間画像信号の第一のラインの生成に用いられる前記入力画像信号の第三のライン位置と前記中間画像信号の第一のラインに隣接する第二のラインの生成に用いられる前記入力画像信号の第四のライン位置との最大差に基づき、前記補充ライン数を計算することを特徴とする、画像処理装置。
【請求項４】
前記補充ライン計算部は、前記中間画像信号が１ライン生成される都度、前記補充ライン数を計算し、
前記入力補充バッファは、前記補充ライン数分の入力画像信号を前記入力データバッファに転送することを特徴とする、請求項２または３に記載の画像処理装置。
【請求項５】
前記入力画像信号は、Ｒ、Ｇ、Ｂの信号を含み、パイプラインによって処理されることを特徴とする、請求項２乃至請求項４のいずれかに記載の画像処理装置。
【請求項１】
１ライン分の入力画像信号を保持する入力ラインメモリと、
前記入力ラインメモリから転送された入力画像信号を用いて、投影レンズの歪みに対応する補正処理を施した中間画像信号を生成する画像処理部と、
１ライン分の前記中間画像信号を保持する出力ラインメモリと、
前記中間画像信号に従って光源から照射される光を前記投影レンズに導くＬＣＯＳと、
を備えており、前記画像処理部は、複数ラインの前記入力画像信号を格納する入力補充バッファと、１ライン分の前記中間画像信号を生成するために必要な入力画像信号を格納する入力データバッファと、前記入力補充バッファから前記入力データバッファに転送する入力画像信号の補充ライン数を計算する補充ライン数計算部とを備えていることを特徴とする、プロジェクタ。
【請求項２】
複数ラインの入力画像信号を格納する入力補充バッファと、
前記入力補充バッファから転送され、１ライン分の中間画像信号を生成するために必要な入力画像信号を格納する入力データバッファと、
前記入力補充バッファから前記入力データバッファに転送する入力画像信号の補充ライン数を計算する補充ライン数計算部と、
前記入力データバッファに格納されている複数の入力画像信号を用いて、投影レンズの歪みに対応する補正処理を施した前記中間画像信号を１ラインずつ生成する信号処理部と、
を備えていることを特徴とする画像処理装置。
【請求項３】
前記補充ライン計算部は、前記入力データバッファに格納されている前記入力画像信号の第一のライン位置と、前記中間画像信号を１ライン生成するために用いられた前記入力画像信号の第二のライン位置と、前記中間画像信号の第一のラインの生成に用いられる前記入力画像信号の第三のライン位置と前記中間画像信号の第一のラインに隣接する第二のラインの生成に用いられる前記入力画像信号の第四のライン位置との最大差に基づき、前記補充ライン数を計算することを特徴とする、画像処理装置。
【請求項４】
前記補充ライン計算部は、前記中間画像信号が１ライン生成される都度、前記補充ライン数を計算し、
前記入力補充バッファは、前記補充ライン数分の入力画像信号を前記入力データバッファに転送することを特徴とする、請求項２または３に記載の画像処理装置。
【請求項５】
前記入力画像信号は、Ｒ、Ｇ、Ｂの信号を含み、パイプラインによって処理されることを特徴とする、請求項２乃至請求項４のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−６６１３４（Ｐ２０１３−６６１３４Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０４９３４（Ｐ２０１１−２０４９３４）
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]