画像処理装置、プロジェクターおよび画像処理方法
【課題】ライン毎に複数の異なる画像データが入力される場合のメモリーを削減した画像処理装置を提供する。
【解決手段】画像処理装置１０は、入力画像データ２００の水平方向の解像度を変換して水平解像度変換画像データ３００を出力する水平方向解像度変換部１００と、該水平解像度変換画像データをライン毎に記憶する左目用ラインメモリー１２０及び右目用ラインメモリー１３０と、該水平解像度変換画像データを該右目用ラインメモリーに記憶させるか該左目用ラインメモリーに記憶させるかを指定するラインメモリー指定部１１０と、該左目用ラインメモリー及び該右目用ラインメモリーの何れか一方から該水平解像度変換画像データを読み出すラインメモリー読み出し部１４０と、該ラインメモリー読み出し部によって読み出された該水平解像度変換画像データの垂直方向の解像度を変換し出力画像データとして出力する垂直方向解像度変換部１５０とを備える。
【解決手段】画像処理装置１０は、入力画像データ２００の水平方向の解像度を変換して水平解像度変換画像データ３００を出力する水平方向解像度変換部１００と、該水平解像度変換画像データをライン毎に記憶する左目用ラインメモリー１２０及び右目用ラインメモリー１３０と、該水平解像度変換画像データを該右目用ラインメモリーに記憶させるか該左目用ラインメモリーに記憶させるかを指定するラインメモリー指定部１１０と、該左目用ラインメモリー及び該右目用ラインメモリーの何れか一方から該水平解像度変換画像データを読み出すラインメモリー読み出し部１４０と、該ラインメモリー読み出し部によって読み出された該水平解像度変換画像データの垂直方向の解像度を変換し出力画像データとして出力する垂直方向解像度変換部１５０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライン毎に複数の異なった画像に由来する画像データが配置された入力画像データを処理する画像処理装置、プロジェクターおよび画像処理方法に関する。
【背景技術】
【０００２】
従来から、３次元立体映像を表現する技術として、左目用画像と右目用画像とをフレーム期間ごとに交互に表示するディスプレイと、左目のシャッター及び右目のシャッターをフレームに同期して交互に開閉するシャッター眼鏡とを組み合わせたことにより、ユーザーに立体視可能なように映像を表示する、時分割方式と呼ばれる技術が提案されている（特許文献１）。また、時分割方式以外にも、アナグリフ方式や偏光フィルター方式など、立体視用眼鏡を用いる方式が各種提案されている。
【０００３】
さらに、眼鏡を使用せず、裸眼で立体視を実現する方法として、視差バリア方式（パララックスバリア方式）などが知られている（特許文献２）
【０００４】
また、立体視用の映像信号のフォーマットや信号の伝送方法についても、さまざまな検討がされており、最近では、いわゆるデジタル家電向けのインターフェイスであるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）が立体視映像の伝送に対応したことで、今後立体視映像の市場が増大していくことが予想される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１５２８９７号公報
【特許文献２】特開２００５−２６６１１６号公報
【特許文献３】特開２００１−０７５０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
立体視映像のフォーマットとしては、左目用の画像と右目用の画像とを走査線単位でインターレースする方式が提案されている。しかしながら、特許文献１および特許文献２は、インターレース方式の立体視映像信号を効率よくリサイズすることについて、検討していない。特許文献３は、インターレース方式の映像信号をライン毎に画像の並び替えを行って、それぞれ左目用の画像と右目用の画像を再構成する例を開示しているが、このような構成では、インターレース方式の映像信号によって表される画像をリサイズするのに必要なメモリーや回路規模が増大することが問題となる。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００８】
［適用例１］本適用例は、入力画像データを処理する画像処理装置であって、前記入力画像データの水平方向の解像度を変換して、水平解像度変換画像データを出力する水平方向解像度変換部と、前記水平解像度変換画像データをライン毎に記憶する第１のラインメモリーおよび第２のラインメモリーと、前記水平解像度変換画像データを前記第１のラインメモリーに記憶させるか前記第２のラインメモリーに記憶させるかを指定するラインメモリー指定部と、前記第１のラインメモリーおよび前記第２のラインメモリーのいずれか一方から、前記水平解像度変換画像データを読み出すラインメモリー読み出し部と、前記ラインメモリー読み出し部によって読み出された前記水平解像度変換画像データの、垂直方向の解像度を変換し、出力画像データとして出力する垂直方向解像度変換部と、を備えてなることを特徴とする。
【０００９】
本適用例による画像処理装置は、入力画像データを、水平解像度変換を行いながら、指定されたラインメモリーに格納し、ラインメモリーに格納された画像データに基づいて垂直解像度変換を行う。要するに、立体視用の画像データのように、ライン毎にそれぞれ異なる画像に由来する画像データによって構成された入力画像データに対し、解像度変換と、水平解像度変換画像データの出力先の切り替えとが連続的に行われる。すなわち、ラインメモリーから異なる画像を交互に読み出すことで、データを並び替えながら解像度変換を行うことができるので、回路規模が縮小し、装置のコストを削減することができる。なお、第１のラインメモリーの容量と第２のラインメモリーの容量とを合計した容量が、入力画像データの１フレーム分の画像データを格納するのに必要な容量に達している必要はない。したがって、フレームメモリーを用いて画像データの並べ替えを行なうのに比べて、より少ないメモリーで画像処理装置を構成することができ、より低コストの画像処理装置を提供することが可能となる。
【００１０】
［適用例２］上記適用例に記載の画像処理装置において、前記ラインメモリー指定部は、前記入力画像データに基づくライン情報に応じて、前記水平解像度変換画像データを第１のラインメモリーに記憶させるか第２のラインメモリーに記憶させるかを指定することを特徴とする。
【００１１】
本適用例によれば、それぞれのラインメモリーには、垂直方向に連続した水平解像度変換画像データが記憶されるので、水平解像度変換画像データを連続的に読み出すことができ、ただちに垂直方向の解像度を変換することが可能となる。要するに、複数の画像データが右目用画像、左目用画像であった場合に、画像データをライン毎に判定した結果に基づいて、水平解像度変換画像データが右目用のラインメモリーと、左目用のラインメモリーとに適切に記録されるので、読み出し側の構成を、ラインを飛び越しながら画像データを読み出すのと比べて簡易化することができ、さらに、ラインメモリーから画像データを読み出す効率を向上させることができる。
【００１２】
［適用例３］上記適用例に記載の画像処理装置において、前記ライン情報は、前記水平方向解像度変換部から出力される前記水平解像度変換画像データの、ライン番号を含むことを特徴とする。
【００１３】
本適用例によれば、入力画像データのライン番号に基づいて水平解像度変換画像データの出力先を決定するので、ラインメモリー指定部を簡易な構成とすることが可能となる。
【００１４】
［適用例４］上記適用例に記載の画像処理装置において、前記第１のラインメモリーおよび前記第２のラインメモリーは、それぞれ、前記垂直方向解像度変換部において、前記水平解像度変換画像データの垂直方向の解像度を変換するのに必要なライン数を保持可能な容量を有することを特徴とする。
【００１５】
本適用例によれば、１フレーム分の入力画像データが完全に揃うのを待たずに垂直方向の解像度変換を開始することができる。すなわち、入力画像データの最初のラインが入力されてから、解像度変換済みの画像データが出力されるまでの遅延を、最小限にすることが可能となる。
【００１６】
［適用例５］上記適用例に記載の画像処理装置において、前記第１のラインメモリーまたは前記第２のラインメモリーのうち、それぞれに記憶された前記水平解像度変換画像データが前記ライン数に達した方から、前記水平解像度変換画像データを読み出すことを特徴とする。
【００１７】
本適用例によれば、垂直解像度変換に必要なライン数の水平解像度変換画像データが記録された方のラインメモリーから画像データを読み出し、その間に水平解像度変換された画像を他方のラインメモリーに書き出すことで、効率よく処理ができる。たとえば、立体視用の入力画像データを処理する場合、左目用画像の垂直解像度が変換できる状態になると、左目用ラインメモリーから画像データを読み出し、その間に、水平解像度変換された画像を右目用ラインメモリーに書き出すことで、効率よく処理することができる。一方のラインメモリーに対するリードアクセスを妨げることなく、他方のラインメモリーに対するライトアクセスが可能となる。
【００１８】
［適用例６］上記適用例に記載の画像処理装置において、前記出力画像データの出力方式を選択するための画像データ出力方式選択部を備えることを特徴とする。
【００１９】
本適用例によれば、解像度変換処理の済んだ出力画像データを、画像表示装置に出力する際の出力方式を選択することができる。具体的には、たとえば、入力画像データが立体視用の画像データである場合、出力画像データのライン毎に、左目用画像データと右目用画像データとをインターレースさせて出力したり、ラインの後半を右目用画像データでそれぞれ構成した出力画像データを生成して出力したりすることができる。また、左目用画像データだけが一時記憶されるフレームバッファーの出力ポートと右目用画像データだけが一時記憶されるフレームメモリーの出力ポートとをそれぞれ解放することができる。したがって、入力フォーマットの異なる様々な画像表示装置との組み合わせが可能となり、汎用性を高めることができる。
【００２０】
なお、本発明は、上記構成の画像処理装置を備えた画像表示装置、プロジェクター、または、画像処理装置における画像表示方法、その表示方法を上記構成の画像処理装置に実行させるためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体など、種々の態様で実現することができ、いずれの態様でも、上述した効果を得ることができる。
【００２１】
［適用例７］上記適用例に記載の画像処理装置において、前記水平解像度変換部は、前記入力画像データを構成する前記ラインの少なくともいずれか一方の端部から1以上の画素を複製して前記端部に連結し、前記水平解像度変換画像データを生成することを特徴とする。
【００２２】
本適用例によれば、入力画像データの端部を水平解像度変換する際に、入力画像データとは無関係な値を参照しないため、水平解像度変換画像の端部の歪を少なくすることができる。
【００２３】
［適用例８］上記適用例に記載の画像処理装置において、前記ラインが少なくとも左目用画像データと右目用画像データとを含むように構成されている場合、前記水平解像度変換部は、前記左目用画像データの右端から1以上の画素を複製して前記右端に連結し、左目用水平解像度変換画像を生成するとともに、前記右目用画像データの左端から少なくとも1以上の画素を複製して前記左端に連結し、右目用解像度変換画像データを生成することを特徴とする。
【００２４】
本適用例によれば、１走査線に左目用画像データと右目用画像データを含む、いわゆるサイドバイサイド形式の入力画像データが与えられた場合において、左目用画像データの右端部を水平解像度変換する際に、右目用画像データを参照しないため、左目用水平解像度変換画像の端部の歪を少なくすることができる。また、右目用画像データの左端部を水平解像度変換する際に、左目用画像データを参照しないため、右目用水平解像度変換画像の端部の歪を少なくすることができる。
【００２５】
［適用例９］たとえば、本適用例におけるプロジェクターは、上記適用例のいずれかに記載の画像処理装置と、前記画像処理装置から出力される前記出力画像データに基づく画像を投写する投射光学装置と、を備えることを特徴とする。したがって、本適用例に記載したプロジェクターは、上述した適用例に記載した画像処理装置が奏する効果を有する。
【００２６】
［適用例１０］また、本適用例における画像処理方法は、第１のラインメモリーと第２のラインメモリーとを備えた画像処理装置における画像処理方法であって、入力画像データの水平方向の解像度を変換して、水平解像度変換画像データを出力するステップと、前記水平解像度変換画像データを前記第１のラインメモリーに記憶させるか前記第２のラインメモリーに記憶させるかを指定するステップと、前記第１のラインメモリーおよび前記第２のラインメモリーのいずれか一方から、前記水平解像度変換画像データを読み出すステップと、前記ラインメモリー読み出し部によって読み出された前記水平解像度変換画像データの、垂直方向の解像度を変換し、出力画像として出力するステップと、を備えてなることを特徴とする。したがって、本適用例に記載した画像処理方法を実行可能に構成された電子機器は、上述した適用例に記載した画像処理装置が奏する効果を有する。
【図面の簡単な説明】
【００２７】
【図１】第１の実施形態に係るプロジェクターの構成を表すブロック図。
【図２】第１の実施形態に係る画像処理装置の構成を表すブロック図。
【図３】ライン毎に左目用画像と右目用画像とが交互に配置された入力画像を示す図。
【図４】水平解像度変換を行った後の画像を示す図。
【図５】第１の実施形態に係る画像処理装置における画像処理方法のフローチャート。
【図６】第２の実施形態に係る画像処理装置の構成を表すブロック図。
【図７】ライン毎に複数の異なった画像が配置された入力画像を示す図。
【図８】１ラインに複数の異なった画像が配置された入力画像を示す図。
【図９】ライン端部に複製した画素を連結した状態を示す図。
【発明を実施するための形態】
【００２８】
（第１の実施形態）
以下、本発明を適用した実施形態について図面を参照して説明する。
【００２９】
図１は、本実施形態に係るプロジェクターの回路構成を示すブロック図である。
図１に示すように、プロジェクター１は、画像処理装置１０、制御部２０、画像信号入力部３０、入力端子３１，３２，３３、操作部４０、電源装置５０、電源コネクター５１、画像投写部６０等を備えており、各構成要素は、プロジェクター１の筐体（不図示）の内部に収容されている。電源装置５０は、電源コネクター５１を介して供給される電源を、所定の電圧の直流に変換して各部に分配する。画像信号入力部３０は、複数の入力端子３１，３２，３３に接続されており、ＨＤＭＩ（High-Definition Multimedia Interface）、コンポジットビデオ信号、ＲＧＢ信号など、各種の映像信号を受け付けることができる。制御部２０は、プロジェクター１のユーザーが操作部４０を通じて選択した入力端子３１，３２，３３にソースを切替えるよう、画像信号入力部３０を制御する。画像信号入力部３０は、ソースとして選択された入力端子３１，３２，３３からの映像信号を、画像処理装置１０に入力可能な形式に変換して出力する。
【００３０】
画像投写部６０は、液晶駆動部６１、光源駆動部６２、ランプ６３、液晶パネル６４（６４−Ｒ，６４−Ｇ，６４−Ｂ）、投写レンズ６５等で構成されている。液晶駆動部６１は、画像処理装置１０からの出力画像データに基づいて、光変調装置としての液晶パネル６４を駆動する。ランプ６３から射出された光は、液晶パネル６４で変調されて、画像光として投写レンズ６５から投写される。
【００３１】
図２は、本実施形態に係る画像処理装置１０の概略構成を示すブロック図である。画像処理装置１０は、水平方向解像度変換部１００と、ラインメモリー指定部１１０と、左目用ラインメモリー１２０と、右目用ラインメモリー１３０と、ラインメモリー読み出し部１４０と、垂直方向解像度変換部１５０と、画像データ出力方式選択部１６０と、出力部１７０と、制御回路１８０と、を有している。制御回路１８０は制御部２０と接続され、操作部４０が受け付けた操作に基づき、制御部２０が生成した制御信号に従って、画像処理装置１０を制御する。左目用ラインメモリー１２０と、右目用ラインメモリー１３０とは、それぞれ、垂直方向解像度変換部１５０において、垂直方向の解像度変換を行なうのに必要なデータ量、すなわちライン数を記憶できる容量を備えている。
【００３２】
画像信号入力部３０から入力される入力画像データは、まず、水平方向解像度変換部１００によって水平方向の解像度が変換される。水平方向解像度変換部１００は、図３のようなライン毎に左目用入力画像データ２００Ｌ、右目用入力画像データ２００Ｒが交互に配置された画像で構成される入力画像データ２００を水平方向に解像度変換を行う。立体視に対応しない通常の画像データの垂直同期信号の周期をＶａｃｔｉｖｅとすると、入力画像データ２００の垂直同期信号の周期は、２×Ｖａｃｔｉｖｅである。ここで用いられる解像度変換の方式は、フィルター処理を用いたものであってもよいし、エッジ適応などの方法でもよい。
【００３３】
図４は、図３に示した入力画像データ２００が、水平方向解像度変換部１００によって、水平方向の解像度が変換された結果の模式図である。図４（ａ）は、左目用水平解像度変換画像データ３００Ｌを、図４（ｂ）は、右目用水平解像度変換画像データ３００Ｒを、それぞれ表している。
【００３４】
ラインメモリー指定部１１０は、ラインメモリー指定部１１０に入力される水平解像度変換画像データ３００のライン番号に基づいて、該当するライン番号の画像データを、左目用水平解像度変換画像データ３００Ｌとして左目用ラインメモリー１２０に記憶させるか、右目用水平解像度変換画像データ３００Ｒとして右目用ラインメモリー１３０に記憶させるかを指定する。フレームを跨いでも、フレームの０ライン目が左目画像３００Ｌであるならば、奇数ラインを左目用水平解像度変換画像データ３００Ｌと判定し、偶数ラインを右目用水平解像度変換画像データ３００Ｒと判定する。なお、次フレームの０ライン目が右目用であるならば、奇数ラインを右目用水平解像度変換画像データ３００Ｒと判定し、偶数ラインを左目用水平解像度変換画像データ３００Ｌと判定する。奇数ラインと偶数ラインとが、それぞれ左目用として用いられるのか、右目用として用いられるのかは、入力画像データ２００の仕様に基づいて判定することができる。
【００３５】
左目用ラインメモリー１２０および右目用ラインメモリー１３０に書き込まれる水平解像度変換画像データ３００のライン番号は、たとえば、各フレームの偶数ラインが左目用画像、奇数ラインが右目用画像である場合、左目用ラインメモリー１２０に書き込まれる画像データのライン番号は２ｎ、右目用ラインメモリー１３０に書き込まれる画像データのライン番号は２ｎ＋１として表すことができる。
各フレームの０ライン目が、フレーム毎に左目用と右目用とを切替えられる場合は、フレーム毎に偶数ラインおよび奇数ラインを書き込むラインメモリーを切り替えればよい。
【００３６】
また、判定の方法は入力画像データ２００のライン番号に限定されるものではなく、たとえば、水平解像度変換画像データ３００の水平方向の輝度差に関する情報であってもよい。この場合、入力画像データ２００あるいは水平解像度変換画像データ３００をライン毎に微分して得られる水平方向の輝度差に関する情報に基づき、水平解像度変換画像データ３００が、左目用水平解像度変換画像データ３００Ｌであるか、右目用水平解像度変換画像データ３００Ｒであるかを、判定してもよい。この判定は、ラインメモリー指定部１１０で行なってもよいし、水平方向解像度変換部１００で行なってもよい。当該判定を水平方向解像度変換部１００で行う場合は、ライン毎の判定結果がラインメモリー指定部１１０に入力される。
【００３７】
ラインメモリー読み出し部１４０は、左目用ラインメモリー１２０と、右目用ラインメモリー１３０とのうち、垂直方向解像度変換部１５０において垂直解像度の変換に必要なライン数の画像データが書き込まれた方を選択して画像データを読み出し、垂直方向解像度変換部１５０にデータを送る。
【００３８】
ここで、右目用ラインメモリー１３０に対して、右目用水平解像度変換画像データ３００Ｒを書き込んでいる間に、左目用ラインメモリー１２０から、左目用の垂直解像度変換に必要な画像データを読み出す。また、左目用水平解像度変換画像データ３００Ｌを左目用ラインメモリー１２０に書き込んでいる間に、右目用の垂直解像度変換に必要な画像データを右目用ラインメモリー１３０から読み出す。こうすることで、効率良く画像処理を行うことができる。
【００３９】
垂直方向解像度変換部１５０は、ラインメモリー読み出し部１４０から入力される画像データの垂直方向の解像度を変換する。垂直方向解像度変換部１５０から出力される画像データは、予め選択された出力方式で、出力部１７０から出力される。
【００４０】
出力部１７０は、画像出力部１７２と、フレームメモリー１７４とを含んでいる。制御回路１８０は予め設定された出力方式に基づいて画像データ出力方式選択部１６０を制御する。画像データ出力方式選択部１６０は、制御回路１８０からの指示に従って、解像度変換済みの画像データを画像出力部１７２から出力するか、フレームメモリー１７４に出力するかを選択する。さらに、出力画像データは、各種の出力方式で出力することができる。たとえば、左目用画像データと右目用画像データとを、インターレース方式で出力したり、出力画像データの１ライン上に、左目用画像データと右目用画像データとが含まれる、いわゆるサイドバイサイド方式で出力したりすることができる。また、１フレーム分の左目用出力画像データを出力した後で、１フレーム分の右目用出力画像データを、出力することもできる。
【００４１】
フレームメモリー１７４は、垂直方向の解像度が変換された画像データを格納しておくためのものであり、少なくとも、左目用フレームバッファー１７４１と右目用フレームバッファー１７４２とを割り当てることのできる容量を備えている。
【００４２】
（画像処理装置の画像処理方法）
次に、図５を参照しながら、本実施形態の画像処理装置１０における画像処理方法を説明する。
【００４３】
画像処理装置１０は、画像信号入力部３０から、入力画像データが入力されているか否かを判定する（ステップＳ１００）。入力画像データが入力されている（ステップＳ１００：Ｙｅｓ）と判定すると、水平方向解像度変換部１００において入力画像データ２００に対して水平解像度変換を行い、水平方向解像度変換画像データ３００（３００Ｌ，３００Ｒ）を出力する（ステップＳ１０２）。
続いて、ラインメモリー指定部１１０は、水平方向解像度変換画像データ３００を、左目用ラインメモリー１２０に記憶させるか、右目用ラインメモリー１３０に記憶させるかを指定する（ステップＳ１０４）。水平方向解像度変換画像データ３００は、ラインメモリー指定部１１０によって指定されたラインメモリーに記録される（ステップＳ１０６）。
ラインメモリー指定部１１０は、各々のラインメモリーに記録されたライン数をカウントし、垂直方向の解像度変換に必要なライン数に達したか否かを判定する（ステップＳ１０８）。この判定は、左目用ラインメモリー１２０および右目用ラインメモリー１３０のそれぞれに対して行なわれる。
ラインメモリーに記憶された水平方向解像度変換画像データ３００のライン数が、垂直方向の解像度変換に必要なライン数に達していないと判定されると（ステップＳ１０８：Ｎｏ）、ステップＳ１００に戻る。ラインメモリーに記憶された水平方向解像度変換画像データ３００のライン数が、垂直方向の解像度変換に必要なライン数に達していると判定されると、該当するラインメモリーのアドレスがラインメモリー読み出し部１４０に通知される（ステップＳ１０８：Ｙｅｓ）。ラインメモリー読み出し部１４０は、通知されたアドレスから水平方向解像度変換画像データ３００を読み出して垂直方向解像度変換部１５０に入力する（ステップＳ１１０）。垂直方向解像度変換部１５０は、入力された水平方向解像度変換画像データ３００を用いて、所定の倍率で垂直方向の解像度を変換する（ステップＳ１１２）。垂直方向解像度変換部１５０によって垂直方向の解像度が変換された出力画像データは、予め定められた出力方式に従って、出力部１７０に出力される（ステップＳ１１４）。
【００４４】
以上説明したように、本実施形態の画像処理装置１０によれば、以下の効果を得ることができる。
すなわち、ライン毎にそれぞれ異なる画像に由来する画像データによって構成された入力画像データ２００に対し、水平方向解像度変換部１００による水平方向の解像度変換を行ないつつ、水平解像度変換画像データの出力先であるラインメモリー（１２０，１３０）の切り替を連続的に行う。そして、垂直方向の解像度変換に必要なライン数の水平解像度変換画像データの格納が完了した方のラインメモリーから順に画像データを読み出し、垂直方向解像度変換部１５０で垂直解像度変換を行う。すなわち、解像度変換と画像データの並び替えを連続して行うことで、回路規模が縮小するので、装置のコストを削減する効果が得られる。
【００４５】
（第２の実施形態）
上述した第１の実施形態では、説明を簡単にするため左目用入力画像データ２００Ｌと右目用入力画像データ２００Ｒがライン毎に交互に配置された画像について説明をしたが、これに限定されるものではない。たとえば、図７（ａ）に示した異なる複数の画像２１１，２１２および２１３にそれぞれ対応する画像データ２１０１，２１０２および２１０３が、ライン毎にインターレースするように配置された場合、すなわち、図７（ｂ）に示した入力画像データ２１０のようなデータを処理する場合は、図６に示すように、ラインメモリー１２Ａ−１〜１２Ａ−ｍ（ｍは２以上の整数）を設けるとともに、フレームメモリー１７４に、ｍ個のフレームバッファー１７４Ａ−１〜１７４Ａ−ｍ（ｍは２以上の整数）を設けることで、第１の実施形態と同様の処理が可能である。
【００４６】
（変形例）
上記実施形態では、ライン毎に複数の画像データが配置された入力画像データについて説明した。しかしながら、本発明は、図８のように１ラインに複数の画像が含まれる入力画像データ２２０に対しても有効である。
【００４７】
図８に示した入力画像データ２２０は、水平走査線（ライン）ＨＬの前半すなわちフレームの左半分が左目用入力画像データ２２１、水平走査線ＨＬの後半すなわちフレームの右半分が右目用入力画像データ２２２によって構成されている。立体視に対応しない通常の画像データの水平同期信号の周期をＨａｃｔｉｖｅとすると、入力画像データ２２０の水平同期信号の周期は、２×Ｈａｃｔｉｖｅである。
【００４８】
このような入力画像データ２２０を処理する場合は、水平方向解像度変換部１００において、左目用入力画像データ２２１の左端付近を解像度変換する際に、直後に続く右目用入力画像データ２２２を参照すると、画像出力装置１０から出力される出力画像データの右端付近の画質に影響するので好ましくない。この問題は、左目用入力画像データ２２１の、右端部付近の画素を水平方向に折り返した画素列を使って解像度変換を行なうことにより解決することができる。しかも、このような制御は、入力画像データの画素数をカウントするカウンターの値を参照することによって、容易に実現することができる。
【００４９】
図８に示したＰｘｌｅは、左目用画像データ２２１の右端側画素列を、Ｐｘｒｔは、右目用画像データ２２２の左端側画素列を、それぞれ表している。
ここで、画像データ２２０の水平解像度変換の処理を、図９を用いて説明する。Ｐｘｌｅ１は、左目用画像データ２２１を構成するある走査線において、最も右側に位置する画素を表している。また、Ｐｘｌｅ２は、Ｐｘｌｅ１の左隣に位置する画素を表している。この実施例では、水平解像度変換部１００は、左目用画像データ２２１の右端に位置する２つの画素を複製して左目用画像の右端部に連結するものとする。水平解像度変換部２２０は、Ｐｘｌｅ１を複製してＰｘｌｅ１´を生成し、Ｐｘｌｅ１の右側に連結する。さらに、Ｐｘｌｅ２を複製してＰｘｌｗ２´を生成し、Ｐｘｌｅ１´の右側に連結する。このようにして、オリジナルの左目用画像データ２２１の右端側を、２画素分拡張した拡張画像データが生成される。拡張画像データを使って左目用画像データ２２１の右端部の水平解像度を変換することにより、右目用画像データ２２２の左端側画素を参照した場合と比べて、より歪みの少ない変換結果を得ることができる。複製する画素と、複製した画素を連結する位置を変えるだけで、右目用画像データ２２２の左端側を２画素分拡張した拡張画像データを生成することができる。なお、左目用画像データ２２１の左端側と、右目用画像データの右端側も、同様の方法で拡張できることは言うまでもない。また、このような拡張画像データの生成は、上述したいずれの実施例にも適用可能である。
【００５０】
また、水平方向解像度変換部１００は、左目用画像データの右端よりも右側に実在しない画素を生成し、実在しない画素を参照して左目用画像データの右端付近の解像度変換を行なってもよい。実在しない画素の生成には、公知の各種手法を適用することができる。また、実在しない画素をいくつ生成するかは、出力画像データに求める画質や、解像度の変換率に応じて適宜決定することができる。
【００５１】
上記実施形態では、ライン毎に複数の異なる画像に基づく画像データが配置された入力画像データを処理する例を、上記変形例では、１ライン上に複数の画像が含まれる場合を、それぞれ説明したが、入力画像データが、単一の画像に基づく画像データによって構成されていても構わない。また、１フレーム内に、複数の画像と、画像に関する情報とを含む入力画像データにも対応することができる。ここで、画像に関する情報とは、たとえば、画像の奥行きを表現するためのパラメーターを例示することができる。
【００５２】
上記実施形態では、出力方式を選択可能であることを説明したが、さらに、選択された出力方式に応じて、出力画像データが書き込まれるアドレスを切り替えられるようにしてもよい。
【００５３】
上記実施形態では、立体視可能に画像を投写するプロジェクター１の実施形態を例示したが、発明はこれに限定されるものではない。たとえば、入力画像データが立体視に対応したフォーマットである場合、プロジェクター１が投写する画像を、立体視可能な３Ｄ方式とするか、一般的な２Ｄ方式とするかを切替えられるようにしてもよい。プロジェクター１のユーザーは、画像投写部６０から投射されるメニュー画面を見ながら、いずれの方式で画像を投射させるかを、操作部４０を操作することによって選択することができる。操作部４０は、プロジェクター１の筐体に備えられた操作パネルであってもよいし、図示しないリモートコントローラーであってもよい。また、有線、無線に係わらず、プロジェクター１とネットワーク接続可能な端末装置からの遠隔操作により、画像を３Ｄ方式で投射させるか、２Ｄ方式で投射させるかを選択可能に構成してもよい。
【００５４】
上記実施形態では、光変調装置として液晶パネル６４を採用するプロジェクター１を例示して画像処理装置１０を説明したが、他の態様でも本発明を実施可能である。たとえば、光変調装置としてデジタルマイクロミラーデバイスや、反射型液晶パネルを採用するプロジェクターに、画像処理装置１０を適用することができる。また、画像処理装置１０は、プラズマディスプレイや、有機ＥＬ（Electro Luminescence）などの直視型のフラットパネルディスプレイを備えた画像表示装置にも適用することができる。
【符号の説明】
【００５５】
１…プロジェクター、１０…画像処理装置、２０…制御部、３０…画像信号入力部、３１，３２，３３…入力端子、４０…操作部、５０…電源装置、５１…電源コネクター、６０…画像投射部、６１…液晶駆動部、６２…光源駆動部、６３…ランプ、６４−Ｒ，６４−Ｇ，６４−Ｂ…液晶パネル、６５…投写レンズ、１００…水平方向解像度変換部、１１０…ラインメモリー指定部、１２０…左目用ラインメモリー、１２Ａ−１，１２Ａ−ｍ…ラインメモリー、１３０…右目用ラインメモリー、１４０…ラインメモリー読み出し部、１５０…垂直方向解像度変換部、１６０…画像データ出力方式選択部、１７０…出力部、１７２…画像出力部、１７４…フレームメモリー、１７４１…左目用フレームバッファー、１７４２…右目用フレームバッファー、１７４Ａ−１，１７４Ａ−ｍ…フレームバッファー、１８０…制御回路、２００…入力画像データ、２００Ｌ…左目用ラインメモリー入力画像データ、２００Ｒ…右目用ラインメモリー入力画像データ、２１０…入力画像データ、２１０１…画像１に対応するラインデータ、２１０２…画像２に対応するラインデータ、２１０３…画像３に対応するラインデータ、２１１…画像、２１２…画像、２１３…画像、２２０…入力画像データ、２２１…左目用入力画像データ、２２２…右目用入力画像データ、３００…水平解像度変換画像データ、３００Ｌ…左目用水平解像度変換画像データ、３００Ｒ…右目用水平解像度変換画像データ。
【技術分野】
【０００１】
本発明は、ライン毎に複数の異なった画像に由来する画像データが配置された入力画像データを処理する画像処理装置、プロジェクターおよび画像処理方法に関する。
【背景技術】
【０００２】
従来から、３次元立体映像を表現する技術として、左目用画像と右目用画像とをフレーム期間ごとに交互に表示するディスプレイと、左目のシャッター及び右目のシャッターをフレームに同期して交互に開閉するシャッター眼鏡とを組み合わせたことにより、ユーザーに立体視可能なように映像を表示する、時分割方式と呼ばれる技術が提案されている（特許文献１）。また、時分割方式以外にも、アナグリフ方式や偏光フィルター方式など、立体視用眼鏡を用いる方式が各種提案されている。
【０００３】
さらに、眼鏡を使用せず、裸眼で立体視を実現する方法として、視差バリア方式（パララックスバリア方式）などが知られている（特許文献２）
【０００４】
また、立体視用の映像信号のフォーマットや信号の伝送方法についても、さまざまな検討がされており、最近では、いわゆるデジタル家電向けのインターフェイスであるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）が立体視映像の伝送に対応したことで、今後立体視映像の市場が増大していくことが予想される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１５２８９７号公報
【特許文献２】特開２００５−２６６１１６号公報
【特許文献３】特開２００１−０７５０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
立体視映像のフォーマットとしては、左目用の画像と右目用の画像とを走査線単位でインターレースする方式が提案されている。しかしながら、特許文献１および特許文献２は、インターレース方式の立体視映像信号を効率よくリサイズすることについて、検討していない。特許文献３は、インターレース方式の映像信号をライン毎に画像の並び替えを行って、それぞれ左目用の画像と右目用の画像を再構成する例を開示しているが、このような構成では、インターレース方式の映像信号によって表される画像をリサイズするのに必要なメモリーや回路規模が増大することが問題となる。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００８】
［適用例１］本適用例は、入力画像データを処理する画像処理装置であって、前記入力画像データの水平方向の解像度を変換して、水平解像度変換画像データを出力する水平方向解像度変換部と、前記水平解像度変換画像データをライン毎に記憶する第１のラインメモリーおよび第２のラインメモリーと、前記水平解像度変換画像データを前記第１のラインメモリーに記憶させるか前記第２のラインメモリーに記憶させるかを指定するラインメモリー指定部と、前記第１のラインメモリーおよび前記第２のラインメモリーのいずれか一方から、前記水平解像度変換画像データを読み出すラインメモリー読み出し部と、前記ラインメモリー読み出し部によって読み出された前記水平解像度変換画像データの、垂直方向の解像度を変換し、出力画像データとして出力する垂直方向解像度変換部と、を備えてなることを特徴とする。
【０００９】
本適用例による画像処理装置は、入力画像データを、水平解像度変換を行いながら、指定されたラインメモリーに格納し、ラインメモリーに格納された画像データに基づいて垂直解像度変換を行う。要するに、立体視用の画像データのように、ライン毎にそれぞれ異なる画像に由来する画像データによって構成された入力画像データに対し、解像度変換と、水平解像度変換画像データの出力先の切り替えとが連続的に行われる。すなわち、ラインメモリーから異なる画像を交互に読み出すことで、データを並び替えながら解像度変換を行うことができるので、回路規模が縮小し、装置のコストを削減することができる。なお、第１のラインメモリーの容量と第２のラインメモリーの容量とを合計した容量が、入力画像データの１フレーム分の画像データを格納するのに必要な容量に達している必要はない。したがって、フレームメモリーを用いて画像データの並べ替えを行なうのに比べて、より少ないメモリーで画像処理装置を構成することができ、より低コストの画像処理装置を提供することが可能となる。
【００１０】
［適用例２］上記適用例に記載の画像処理装置において、前記ラインメモリー指定部は、前記入力画像データに基づくライン情報に応じて、前記水平解像度変換画像データを第１のラインメモリーに記憶させるか第２のラインメモリーに記憶させるかを指定することを特徴とする。
【００１１】
本適用例によれば、それぞれのラインメモリーには、垂直方向に連続した水平解像度変換画像データが記憶されるので、水平解像度変換画像データを連続的に読み出すことができ、ただちに垂直方向の解像度を変換することが可能となる。要するに、複数の画像データが右目用画像、左目用画像であった場合に、画像データをライン毎に判定した結果に基づいて、水平解像度変換画像データが右目用のラインメモリーと、左目用のラインメモリーとに適切に記録されるので、読み出し側の構成を、ラインを飛び越しながら画像データを読み出すのと比べて簡易化することができ、さらに、ラインメモリーから画像データを読み出す効率を向上させることができる。
【００１２】
［適用例３］上記適用例に記載の画像処理装置において、前記ライン情報は、前記水平方向解像度変換部から出力される前記水平解像度変換画像データの、ライン番号を含むことを特徴とする。
【００１３】
本適用例によれば、入力画像データのライン番号に基づいて水平解像度変換画像データの出力先を決定するので、ラインメモリー指定部を簡易な構成とすることが可能となる。
【００１４】
［適用例４］上記適用例に記載の画像処理装置において、前記第１のラインメモリーおよび前記第２のラインメモリーは、それぞれ、前記垂直方向解像度変換部において、前記水平解像度変換画像データの垂直方向の解像度を変換するのに必要なライン数を保持可能な容量を有することを特徴とする。
【００１５】
本適用例によれば、１フレーム分の入力画像データが完全に揃うのを待たずに垂直方向の解像度変換を開始することができる。すなわち、入力画像データの最初のラインが入力されてから、解像度変換済みの画像データが出力されるまでの遅延を、最小限にすることが可能となる。
【００１６】
［適用例５］上記適用例に記載の画像処理装置において、前記第１のラインメモリーまたは前記第２のラインメモリーのうち、それぞれに記憶された前記水平解像度変換画像データが前記ライン数に達した方から、前記水平解像度変換画像データを読み出すことを特徴とする。
【００１７】
本適用例によれば、垂直解像度変換に必要なライン数の水平解像度変換画像データが記録された方のラインメモリーから画像データを読み出し、その間に水平解像度変換された画像を他方のラインメモリーに書き出すことで、効率よく処理ができる。たとえば、立体視用の入力画像データを処理する場合、左目用画像の垂直解像度が変換できる状態になると、左目用ラインメモリーから画像データを読み出し、その間に、水平解像度変換された画像を右目用ラインメモリーに書き出すことで、効率よく処理することができる。一方のラインメモリーに対するリードアクセスを妨げることなく、他方のラインメモリーに対するライトアクセスが可能となる。
【００１８】
［適用例６］上記適用例に記載の画像処理装置において、前記出力画像データの出力方式を選択するための画像データ出力方式選択部を備えることを特徴とする。
【００１９】
本適用例によれば、解像度変換処理の済んだ出力画像データを、画像表示装置に出力する際の出力方式を選択することができる。具体的には、たとえば、入力画像データが立体視用の画像データである場合、出力画像データのライン毎に、左目用画像データと右目用画像データとをインターレースさせて出力したり、ラインの後半を右目用画像データでそれぞれ構成した出力画像データを生成して出力したりすることができる。また、左目用画像データだけが一時記憶されるフレームバッファーの出力ポートと右目用画像データだけが一時記憶されるフレームメモリーの出力ポートとをそれぞれ解放することができる。したがって、入力フォーマットの異なる様々な画像表示装置との組み合わせが可能となり、汎用性を高めることができる。
【００２０】
なお、本発明は、上記構成の画像処理装置を備えた画像表示装置、プロジェクター、または、画像処理装置における画像表示方法、その表示方法を上記構成の画像処理装置に実行させるためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体など、種々の態様で実現することができ、いずれの態様でも、上述した効果を得ることができる。
【００２１】
［適用例７］上記適用例に記載の画像処理装置において、前記水平解像度変換部は、前記入力画像データを構成する前記ラインの少なくともいずれか一方の端部から1以上の画素を複製して前記端部に連結し、前記水平解像度変換画像データを生成することを特徴とする。
【００２２】
本適用例によれば、入力画像データの端部を水平解像度変換する際に、入力画像データとは無関係な値を参照しないため、水平解像度変換画像の端部の歪を少なくすることができる。
【００２３】
［適用例８］上記適用例に記載の画像処理装置において、前記ラインが少なくとも左目用画像データと右目用画像データとを含むように構成されている場合、前記水平解像度変換部は、前記左目用画像データの右端から1以上の画素を複製して前記右端に連結し、左目用水平解像度変換画像を生成するとともに、前記右目用画像データの左端から少なくとも1以上の画素を複製して前記左端に連結し、右目用解像度変換画像データを生成することを特徴とする。
【００２４】
本適用例によれば、１走査線に左目用画像データと右目用画像データを含む、いわゆるサイドバイサイド形式の入力画像データが与えられた場合において、左目用画像データの右端部を水平解像度変換する際に、右目用画像データを参照しないため、左目用水平解像度変換画像の端部の歪を少なくすることができる。また、右目用画像データの左端部を水平解像度変換する際に、左目用画像データを参照しないため、右目用水平解像度変換画像の端部の歪を少なくすることができる。
【００２５】
［適用例９］たとえば、本適用例におけるプロジェクターは、上記適用例のいずれかに記載の画像処理装置と、前記画像処理装置から出力される前記出力画像データに基づく画像を投写する投射光学装置と、を備えることを特徴とする。したがって、本適用例に記載したプロジェクターは、上述した適用例に記載した画像処理装置が奏する効果を有する。
【００２６】
［適用例１０］また、本適用例における画像処理方法は、第１のラインメモリーと第２のラインメモリーとを備えた画像処理装置における画像処理方法であって、入力画像データの水平方向の解像度を変換して、水平解像度変換画像データを出力するステップと、前記水平解像度変換画像データを前記第１のラインメモリーに記憶させるか前記第２のラインメモリーに記憶させるかを指定するステップと、前記第１のラインメモリーおよび前記第２のラインメモリーのいずれか一方から、前記水平解像度変換画像データを読み出すステップと、前記ラインメモリー読み出し部によって読み出された前記水平解像度変換画像データの、垂直方向の解像度を変換し、出力画像として出力するステップと、を備えてなることを特徴とする。したがって、本適用例に記載した画像処理方法を実行可能に構成された電子機器は、上述した適用例に記載した画像処理装置が奏する効果を有する。
【図面の簡単な説明】
【００２７】
【図１】第１の実施形態に係るプロジェクターの構成を表すブロック図。
【図２】第１の実施形態に係る画像処理装置の構成を表すブロック図。
【図３】ライン毎に左目用画像と右目用画像とが交互に配置された入力画像を示す図。
【図４】水平解像度変換を行った後の画像を示す図。
【図５】第１の実施形態に係る画像処理装置における画像処理方法のフローチャート。
【図６】第２の実施形態に係る画像処理装置の構成を表すブロック図。
【図７】ライン毎に複数の異なった画像が配置された入力画像を示す図。
【図８】１ラインに複数の異なった画像が配置された入力画像を示す図。
【図９】ライン端部に複製した画素を連結した状態を示す図。
【発明を実施するための形態】
【００２８】
（第１の実施形態）
以下、本発明を適用した実施形態について図面を参照して説明する。
【００２９】
図１は、本実施形態に係るプロジェクターの回路構成を示すブロック図である。
図１に示すように、プロジェクター１は、画像処理装置１０、制御部２０、画像信号入力部３０、入力端子３１，３２，３３、操作部４０、電源装置５０、電源コネクター５１、画像投写部６０等を備えており、各構成要素は、プロジェクター１の筐体（不図示）の内部に収容されている。電源装置５０は、電源コネクター５１を介して供給される電源を、所定の電圧の直流に変換して各部に分配する。画像信号入力部３０は、複数の入力端子３１，３２，３３に接続されており、ＨＤＭＩ（High-Definition Multimedia Interface）、コンポジットビデオ信号、ＲＧＢ信号など、各種の映像信号を受け付けることができる。制御部２０は、プロジェクター１のユーザーが操作部４０を通じて選択した入力端子３１，３２，３３にソースを切替えるよう、画像信号入力部３０を制御する。画像信号入力部３０は、ソースとして選択された入力端子３１，３２，３３からの映像信号を、画像処理装置１０に入力可能な形式に変換して出力する。
【００３０】
画像投写部６０は、液晶駆動部６１、光源駆動部６２、ランプ６３、液晶パネル６４（６４−Ｒ，６４−Ｇ，６４−Ｂ）、投写レンズ６５等で構成されている。液晶駆動部６１は、画像処理装置１０からの出力画像データに基づいて、光変調装置としての液晶パネル６４を駆動する。ランプ６３から射出された光は、液晶パネル６４で変調されて、画像光として投写レンズ６５から投写される。
【００３１】
図２は、本実施形態に係る画像処理装置１０の概略構成を示すブロック図である。画像処理装置１０は、水平方向解像度変換部１００と、ラインメモリー指定部１１０と、左目用ラインメモリー１２０と、右目用ラインメモリー１３０と、ラインメモリー読み出し部１４０と、垂直方向解像度変換部１５０と、画像データ出力方式選択部１６０と、出力部１７０と、制御回路１８０と、を有している。制御回路１８０は制御部２０と接続され、操作部４０が受け付けた操作に基づき、制御部２０が生成した制御信号に従って、画像処理装置１０を制御する。左目用ラインメモリー１２０と、右目用ラインメモリー１３０とは、それぞれ、垂直方向解像度変換部１５０において、垂直方向の解像度変換を行なうのに必要なデータ量、すなわちライン数を記憶できる容量を備えている。
【００３２】
画像信号入力部３０から入力される入力画像データは、まず、水平方向解像度変換部１００によって水平方向の解像度が変換される。水平方向解像度変換部１００は、図３のようなライン毎に左目用入力画像データ２００Ｌ、右目用入力画像データ２００Ｒが交互に配置された画像で構成される入力画像データ２００を水平方向に解像度変換を行う。立体視に対応しない通常の画像データの垂直同期信号の周期をＶａｃｔｉｖｅとすると、入力画像データ２００の垂直同期信号の周期は、２×Ｖａｃｔｉｖｅである。ここで用いられる解像度変換の方式は、フィルター処理を用いたものであってもよいし、エッジ適応などの方法でもよい。
【００３３】
図４は、図３に示した入力画像データ２００が、水平方向解像度変換部１００によって、水平方向の解像度が変換された結果の模式図である。図４（ａ）は、左目用水平解像度変換画像データ３００Ｌを、図４（ｂ）は、右目用水平解像度変換画像データ３００Ｒを、それぞれ表している。
【００３４】
ラインメモリー指定部１１０は、ラインメモリー指定部１１０に入力される水平解像度変換画像データ３００のライン番号に基づいて、該当するライン番号の画像データを、左目用水平解像度変換画像データ３００Ｌとして左目用ラインメモリー１２０に記憶させるか、右目用水平解像度変換画像データ３００Ｒとして右目用ラインメモリー１３０に記憶させるかを指定する。フレームを跨いでも、フレームの０ライン目が左目画像３００Ｌであるならば、奇数ラインを左目用水平解像度変換画像データ３００Ｌと判定し、偶数ラインを右目用水平解像度変換画像データ３００Ｒと判定する。なお、次フレームの０ライン目が右目用であるならば、奇数ラインを右目用水平解像度変換画像データ３００Ｒと判定し、偶数ラインを左目用水平解像度変換画像データ３００Ｌと判定する。奇数ラインと偶数ラインとが、それぞれ左目用として用いられるのか、右目用として用いられるのかは、入力画像データ２００の仕様に基づいて判定することができる。
【００３５】
左目用ラインメモリー１２０および右目用ラインメモリー１３０に書き込まれる水平解像度変換画像データ３００のライン番号は、たとえば、各フレームの偶数ラインが左目用画像、奇数ラインが右目用画像である場合、左目用ラインメモリー１２０に書き込まれる画像データのライン番号は２ｎ、右目用ラインメモリー１３０に書き込まれる画像データのライン番号は２ｎ＋１として表すことができる。
各フレームの０ライン目が、フレーム毎に左目用と右目用とを切替えられる場合は、フレーム毎に偶数ラインおよび奇数ラインを書き込むラインメモリーを切り替えればよい。
【００３６】
また、判定の方法は入力画像データ２００のライン番号に限定されるものではなく、たとえば、水平解像度変換画像データ３００の水平方向の輝度差に関する情報であってもよい。この場合、入力画像データ２００あるいは水平解像度変換画像データ３００をライン毎に微分して得られる水平方向の輝度差に関する情報に基づき、水平解像度変換画像データ３００が、左目用水平解像度変換画像データ３００Ｌであるか、右目用水平解像度変換画像データ３００Ｒであるかを、判定してもよい。この判定は、ラインメモリー指定部１１０で行なってもよいし、水平方向解像度変換部１００で行なってもよい。当該判定を水平方向解像度変換部１００で行う場合は、ライン毎の判定結果がラインメモリー指定部１１０に入力される。
【００３７】
ラインメモリー読み出し部１４０は、左目用ラインメモリー１２０と、右目用ラインメモリー１３０とのうち、垂直方向解像度変換部１５０において垂直解像度の変換に必要なライン数の画像データが書き込まれた方を選択して画像データを読み出し、垂直方向解像度変換部１５０にデータを送る。
【００３８】
ここで、右目用ラインメモリー１３０に対して、右目用水平解像度変換画像データ３００Ｒを書き込んでいる間に、左目用ラインメモリー１２０から、左目用の垂直解像度変換に必要な画像データを読み出す。また、左目用水平解像度変換画像データ３００Ｌを左目用ラインメモリー１２０に書き込んでいる間に、右目用の垂直解像度変換に必要な画像データを右目用ラインメモリー１３０から読み出す。こうすることで、効率良く画像処理を行うことができる。
【００３９】
垂直方向解像度変換部１５０は、ラインメモリー読み出し部１４０から入力される画像データの垂直方向の解像度を変換する。垂直方向解像度変換部１５０から出力される画像データは、予め選択された出力方式で、出力部１７０から出力される。
【００４０】
出力部１７０は、画像出力部１７２と、フレームメモリー１７４とを含んでいる。制御回路１８０は予め設定された出力方式に基づいて画像データ出力方式選択部１６０を制御する。画像データ出力方式選択部１６０は、制御回路１８０からの指示に従って、解像度変換済みの画像データを画像出力部１７２から出力するか、フレームメモリー１７４に出力するかを選択する。さらに、出力画像データは、各種の出力方式で出力することができる。たとえば、左目用画像データと右目用画像データとを、インターレース方式で出力したり、出力画像データの１ライン上に、左目用画像データと右目用画像データとが含まれる、いわゆるサイドバイサイド方式で出力したりすることができる。また、１フレーム分の左目用出力画像データを出力した後で、１フレーム分の右目用出力画像データを、出力することもできる。
【００４１】
フレームメモリー１７４は、垂直方向の解像度が変換された画像データを格納しておくためのものであり、少なくとも、左目用フレームバッファー１７４１と右目用フレームバッファー１７４２とを割り当てることのできる容量を備えている。
【００４２】
（画像処理装置の画像処理方法）
次に、図５を参照しながら、本実施形態の画像処理装置１０における画像処理方法を説明する。
【００４３】
画像処理装置１０は、画像信号入力部３０から、入力画像データが入力されているか否かを判定する（ステップＳ１００）。入力画像データが入力されている（ステップＳ１００：Ｙｅｓ）と判定すると、水平方向解像度変換部１００において入力画像データ２００に対して水平解像度変換を行い、水平方向解像度変換画像データ３００（３００Ｌ，３００Ｒ）を出力する（ステップＳ１０２）。
続いて、ラインメモリー指定部１１０は、水平方向解像度変換画像データ３００を、左目用ラインメモリー１２０に記憶させるか、右目用ラインメモリー１３０に記憶させるかを指定する（ステップＳ１０４）。水平方向解像度変換画像データ３００は、ラインメモリー指定部１１０によって指定されたラインメモリーに記録される（ステップＳ１０６）。
ラインメモリー指定部１１０は、各々のラインメモリーに記録されたライン数をカウントし、垂直方向の解像度変換に必要なライン数に達したか否かを判定する（ステップＳ１０８）。この判定は、左目用ラインメモリー１２０および右目用ラインメモリー１３０のそれぞれに対して行なわれる。
ラインメモリーに記憶された水平方向解像度変換画像データ３００のライン数が、垂直方向の解像度変換に必要なライン数に達していないと判定されると（ステップＳ１０８：Ｎｏ）、ステップＳ１００に戻る。ラインメモリーに記憶された水平方向解像度変換画像データ３００のライン数が、垂直方向の解像度変換に必要なライン数に達していると判定されると、該当するラインメモリーのアドレスがラインメモリー読み出し部１４０に通知される（ステップＳ１０８：Ｙｅｓ）。ラインメモリー読み出し部１４０は、通知されたアドレスから水平方向解像度変換画像データ３００を読み出して垂直方向解像度変換部１５０に入力する（ステップＳ１１０）。垂直方向解像度変換部１５０は、入力された水平方向解像度変換画像データ３００を用いて、所定の倍率で垂直方向の解像度を変換する（ステップＳ１１２）。垂直方向解像度変換部１５０によって垂直方向の解像度が変換された出力画像データは、予め定められた出力方式に従って、出力部１７０に出力される（ステップＳ１１４）。
【００４４】
以上説明したように、本実施形態の画像処理装置１０によれば、以下の効果を得ることができる。
すなわち、ライン毎にそれぞれ異なる画像に由来する画像データによって構成された入力画像データ２００に対し、水平方向解像度変換部１００による水平方向の解像度変換を行ないつつ、水平解像度変換画像データの出力先であるラインメモリー（１２０，１３０）の切り替を連続的に行う。そして、垂直方向の解像度変換に必要なライン数の水平解像度変換画像データの格納が完了した方のラインメモリーから順に画像データを読み出し、垂直方向解像度変換部１５０で垂直解像度変換を行う。すなわち、解像度変換と画像データの並び替えを連続して行うことで、回路規模が縮小するので、装置のコストを削減する効果が得られる。
【００４５】
（第２の実施形態）
上述した第１の実施形態では、説明を簡単にするため左目用入力画像データ２００Ｌと右目用入力画像データ２００Ｒがライン毎に交互に配置された画像について説明をしたが、これに限定されるものではない。たとえば、図７（ａ）に示した異なる複数の画像２１１，２１２および２１３にそれぞれ対応する画像データ２１０１，２１０２および２１０３が、ライン毎にインターレースするように配置された場合、すなわち、図７（ｂ）に示した入力画像データ２１０のようなデータを処理する場合は、図６に示すように、ラインメモリー１２Ａ−１〜１２Ａ−ｍ（ｍは２以上の整数）を設けるとともに、フレームメモリー１７４に、ｍ個のフレームバッファー１７４Ａ−１〜１７４Ａ−ｍ（ｍは２以上の整数）を設けることで、第１の実施形態と同様の処理が可能である。
【００４６】
（変形例）
上記実施形態では、ライン毎に複数の画像データが配置された入力画像データについて説明した。しかしながら、本発明は、図８のように１ラインに複数の画像が含まれる入力画像データ２２０に対しても有効である。
【００４７】
図８に示した入力画像データ２２０は、水平走査線（ライン）ＨＬの前半すなわちフレームの左半分が左目用入力画像データ２２１、水平走査線ＨＬの後半すなわちフレームの右半分が右目用入力画像データ２２２によって構成されている。立体視に対応しない通常の画像データの水平同期信号の周期をＨａｃｔｉｖｅとすると、入力画像データ２２０の水平同期信号の周期は、２×Ｈａｃｔｉｖｅである。
【００４８】
このような入力画像データ２２０を処理する場合は、水平方向解像度変換部１００において、左目用入力画像データ２２１の左端付近を解像度変換する際に、直後に続く右目用入力画像データ２２２を参照すると、画像出力装置１０から出力される出力画像データの右端付近の画質に影響するので好ましくない。この問題は、左目用入力画像データ２２１の、右端部付近の画素を水平方向に折り返した画素列を使って解像度変換を行なうことにより解決することができる。しかも、このような制御は、入力画像データの画素数をカウントするカウンターの値を参照することによって、容易に実現することができる。
【００４９】
図８に示したＰｘｌｅは、左目用画像データ２２１の右端側画素列を、Ｐｘｒｔは、右目用画像データ２２２の左端側画素列を、それぞれ表している。
ここで、画像データ２２０の水平解像度変換の処理を、図９を用いて説明する。Ｐｘｌｅ１は、左目用画像データ２２１を構成するある走査線において、最も右側に位置する画素を表している。また、Ｐｘｌｅ２は、Ｐｘｌｅ１の左隣に位置する画素を表している。この実施例では、水平解像度変換部１００は、左目用画像データ２２１の右端に位置する２つの画素を複製して左目用画像の右端部に連結するものとする。水平解像度変換部２２０は、Ｐｘｌｅ１を複製してＰｘｌｅ１´を生成し、Ｐｘｌｅ１の右側に連結する。さらに、Ｐｘｌｅ２を複製してＰｘｌｗ２´を生成し、Ｐｘｌｅ１´の右側に連結する。このようにして、オリジナルの左目用画像データ２２１の右端側を、２画素分拡張した拡張画像データが生成される。拡張画像データを使って左目用画像データ２２１の右端部の水平解像度を変換することにより、右目用画像データ２２２の左端側画素を参照した場合と比べて、より歪みの少ない変換結果を得ることができる。複製する画素と、複製した画素を連結する位置を変えるだけで、右目用画像データ２２２の左端側を２画素分拡張した拡張画像データを生成することができる。なお、左目用画像データ２２１の左端側と、右目用画像データの右端側も、同様の方法で拡張できることは言うまでもない。また、このような拡張画像データの生成は、上述したいずれの実施例にも適用可能である。
【００５０】
また、水平方向解像度変換部１００は、左目用画像データの右端よりも右側に実在しない画素を生成し、実在しない画素を参照して左目用画像データの右端付近の解像度変換を行なってもよい。実在しない画素の生成には、公知の各種手法を適用することができる。また、実在しない画素をいくつ生成するかは、出力画像データに求める画質や、解像度の変換率に応じて適宜決定することができる。
【００５１】
上記実施形態では、ライン毎に複数の異なる画像に基づく画像データが配置された入力画像データを処理する例を、上記変形例では、１ライン上に複数の画像が含まれる場合を、それぞれ説明したが、入力画像データが、単一の画像に基づく画像データによって構成されていても構わない。また、１フレーム内に、複数の画像と、画像に関する情報とを含む入力画像データにも対応することができる。ここで、画像に関する情報とは、たとえば、画像の奥行きを表現するためのパラメーターを例示することができる。
【００５２】
上記実施形態では、出力方式を選択可能であることを説明したが、さらに、選択された出力方式に応じて、出力画像データが書き込まれるアドレスを切り替えられるようにしてもよい。
【００５３】
上記実施形態では、立体視可能に画像を投写するプロジェクター１の実施形態を例示したが、発明はこれに限定されるものではない。たとえば、入力画像データが立体視に対応したフォーマットである場合、プロジェクター１が投写する画像を、立体視可能な３Ｄ方式とするか、一般的な２Ｄ方式とするかを切替えられるようにしてもよい。プロジェクター１のユーザーは、画像投写部６０から投射されるメニュー画面を見ながら、いずれの方式で画像を投射させるかを、操作部４０を操作することによって選択することができる。操作部４０は、プロジェクター１の筐体に備えられた操作パネルであってもよいし、図示しないリモートコントローラーであってもよい。また、有線、無線に係わらず、プロジェクター１とネットワーク接続可能な端末装置からの遠隔操作により、画像を３Ｄ方式で投射させるか、２Ｄ方式で投射させるかを選択可能に構成してもよい。
【００５４】
上記実施形態では、光変調装置として液晶パネル６４を採用するプロジェクター１を例示して画像処理装置１０を説明したが、他の態様でも本発明を実施可能である。たとえば、光変調装置としてデジタルマイクロミラーデバイスや、反射型液晶パネルを採用するプロジェクターに、画像処理装置１０を適用することができる。また、画像処理装置１０は、プラズマディスプレイや、有機ＥＬ（Electro Luminescence）などの直視型のフラットパネルディスプレイを備えた画像表示装置にも適用することができる。
【符号の説明】
【００５５】
１…プロジェクター、１０…画像処理装置、２０…制御部、３０…画像信号入力部、３１，３２，３３…入力端子、４０…操作部、５０…電源装置、５１…電源コネクター、６０…画像投射部、６１…液晶駆動部、６２…光源駆動部、６３…ランプ、６４−Ｒ，６４−Ｇ，６４−Ｂ…液晶パネル、６５…投写レンズ、１００…水平方向解像度変換部、１１０…ラインメモリー指定部、１２０…左目用ラインメモリー、１２Ａ−１，１２Ａ−ｍ…ラインメモリー、１３０…右目用ラインメモリー、１４０…ラインメモリー読み出し部、１５０…垂直方向解像度変換部、１６０…画像データ出力方式選択部、１７０…出力部、１７２…画像出力部、１７４…フレームメモリー、１７４１…左目用フレームバッファー、１７４２…右目用フレームバッファー、１７４Ａ−１，１７４Ａ−ｍ…フレームバッファー、１８０…制御回路、２００…入力画像データ、２００Ｌ…左目用ラインメモリー入力画像データ、２００Ｒ…右目用ラインメモリー入力画像データ、２１０…入力画像データ、２１０１…画像１に対応するラインデータ、２１０２…画像２に対応するラインデータ、２１０３…画像３に対応するラインデータ、２１１…画像、２１２…画像、２１３…画像、２２０…入力画像データ、２２１…左目用入力画像データ、２２２…右目用入力画像データ、３００…水平解像度変換画像データ、３００Ｌ…左目用水平解像度変換画像データ、３００Ｒ…右目用水平解像度変換画像データ。
【特許請求の範囲】
【請求項１】
入力画像データを処理する画像処理装置であって、
前記入力画像データの水平方向の解像度を変換して、水平解像度変換画像データを出力する水平方向解像度変換部と、
前記水平解像度変換画像データをライン毎に記憶する第１のラインメモリーおよび第２のラインメモリーと、
前記水平解像度変換画像データを前記第１のラインメモリーに記憶させるか前記第２のラインメモリーに記憶させるかを指定するラインメモリー指定部と、
前記第１のラインメモリーおよび前記第２のラインメモリーのいずれか一方から、前記水平解像度変換画像データを読み出すラインメモリー読み出し部と、
前記ラインメモリー読み出し部によって読み出された前記水平解像度変換画像データの、垂直方向の解像度を変換し、出力画像データとして出力する垂直方向解像度変換部と、
を備えてなることを特徴とする画像処理装置。
【請求項２】
前記ラインメモリー指定部は、前記入力画像データに基づくライン情報に応じて、前記水平解像度変換画像データを第１のラインメモリーに記憶させるか第２のラインメモリーに記憶させるかを指定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ライン情報は、前記水平方向解像度変換部から出力される前記水平解像度変換画像データの、ライン番号を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１のラインメモリーおよび前記第２のラインメモリーは、それぞれ、前記垂直方向解像度変換部において、前記水平解像度変換画像データの垂直方向の解像度を変換するのに必要なライン数を保持可能な容量を有することを特徴とする請求項１ないし３のいずれか一項に記載の画像処理装置。
【請求項５】
前記ラインメモリー読み出し部は、前記第１のラインメモリーまたは前記第２のラインメモリーのうち、それぞれに記憶された前記水平解像度変換画像データが前記ライン数に達した方から、前記水平解像度変換画像データを読み出すことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記出力画像データの出力方式を選択するための画像データ出力方式選択部を備えることを特徴とする請求項１ないし５のいずれか一項に記載の画像処理装置。
【請求項７】
前記水平解像度変換部は、前記入力画像データを構成する走査線の端部から1以上の画素を複製して前記端部に連結し、前記水平解像度変換画像データを生成することを特徴とする請求項１ないし６のいずれか一項に記載の画像処理装置。
【請求項８】
前記走査線が、それぞれ少なくとも左目用画像データと右目用画像データとを含むように構成されている場合、
前記水平解像度変換部は、前記左目用画像データの右端から1以上の画素を複製して前記右端に連結し、左目用水平解像度変換画像を生成するとともに、前記右目用画像データの左端から少なくとも1以上の画素を複製して前記左端に連結し、右目用解像度変換画像データを生成することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
請求項１ないし８のいずれか一項に記載の画像処理装置と、
前記画像処理装置から出力される前記出力画像データに基づく画像を投写する投射光学装置と、を備えたプロジェクター。
【請求項１０】
第１のラインメモリーと第２のラインメモリーとを備えた画像処理装置における画像処理方法であって、
入力画像データの水平方向の解像度を変換して、水平解像度変換画像データを出力するステップと、
前記水平解像度変換画像データを前記第１のラインメモリーに記憶させるか前記第２のラインメモリーに記憶させるかを指定するステップと、
前記第１のラインメモリーおよび前記第２のラインメモリーのいずれか一方から、前記水平解像度変換画像データを読み出すステップと、
前記ラインメモリー読み出し部によって読み出された前記水平解像度変換画像データの、垂直方向の解像度を変換し、出力画像として出力するステップと、
を備えてなることを特徴とする画像処理方法。
【請求項１】
入力画像データを処理する画像処理装置であって、
前記入力画像データの水平方向の解像度を変換して、水平解像度変換画像データを出力する水平方向解像度変換部と、
前記水平解像度変換画像データをライン毎に記憶する第１のラインメモリーおよび第２のラインメモリーと、
前記水平解像度変換画像データを前記第１のラインメモリーに記憶させるか前記第２のラインメモリーに記憶させるかを指定するラインメモリー指定部と、
前記第１のラインメモリーおよび前記第２のラインメモリーのいずれか一方から、前記水平解像度変換画像データを読み出すラインメモリー読み出し部と、
前記ラインメモリー読み出し部によって読み出された前記水平解像度変換画像データの、垂直方向の解像度を変換し、出力画像データとして出力する垂直方向解像度変換部と、
を備えてなることを特徴とする画像処理装置。
【請求項２】
前記ラインメモリー指定部は、前記入力画像データに基づくライン情報に応じて、前記水平解像度変換画像データを第１のラインメモリーに記憶させるか第２のラインメモリーに記憶させるかを指定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ライン情報は、前記水平方向解像度変換部から出力される前記水平解像度変換画像データの、ライン番号を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１のラインメモリーおよび前記第２のラインメモリーは、それぞれ、前記垂直方向解像度変換部において、前記水平解像度変換画像データの垂直方向の解像度を変換するのに必要なライン数を保持可能な容量を有することを特徴とする請求項１ないし３のいずれか一項に記載の画像処理装置。
【請求項５】
前記ラインメモリー読み出し部は、前記第１のラインメモリーまたは前記第２のラインメモリーのうち、それぞれに記憶された前記水平解像度変換画像データが前記ライン数に達した方から、前記水平解像度変換画像データを読み出すことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記出力画像データの出力方式を選択するための画像データ出力方式選択部を備えることを特徴とする請求項１ないし５のいずれか一項に記載の画像処理装置。
【請求項７】
前記水平解像度変換部は、前記入力画像データを構成する走査線の端部から1以上の画素を複製して前記端部に連結し、前記水平解像度変換画像データを生成することを特徴とする請求項１ないし６のいずれか一項に記載の画像処理装置。
【請求項８】
前記走査線が、それぞれ少なくとも左目用画像データと右目用画像データとを含むように構成されている場合、
前記水平解像度変換部は、前記左目用画像データの右端から1以上の画素を複製して前記右端に連結し、左目用水平解像度変換画像を生成するとともに、前記右目用画像データの左端から少なくとも1以上の画素を複製して前記左端に連結し、右目用解像度変換画像データを生成することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
請求項１ないし８のいずれか一項に記載の画像処理装置と、
前記画像処理装置から出力される前記出力画像データに基づく画像を投写する投射光学装置と、を備えたプロジェクター。
【請求項１０】
第１のラインメモリーと第２のラインメモリーとを備えた画像処理装置における画像処理方法であって、
入力画像データの水平方向の解像度を変換して、水平解像度変換画像データを出力するステップと、
前記水平解像度変換画像データを前記第１のラインメモリーに記憶させるか前記第２のラインメモリーに記憶させるかを指定するステップと、
前記第１のラインメモリーおよび前記第２のラインメモリーのいずれか一方から、前記水平解像度変換画像データを読み出すステップと、
前記ラインメモリー読み出し部によって読み出された前記水平解像度変換画像データの、垂直方向の解像度を変換し、出力画像として出力するステップと、
を備えてなることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１８２１５６（Ｐ２０１１−１８２１５６Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４３８６４（Ｐ２０１０−４３８６４）
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]