画像処理装置及び画像処理方法
【課題】小さい回路規模でありながら、異なるアスペクト比の画像が入力された場合でも良好な画質を得る。
【解決手段】画像処理装置は、出力画像の座標を生成する出力画像座標生成部１０と、出力画像座標生成部１０により生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する入力画像座標生成部２０と、入力画像座標生成部２０により生成された入力画像の座標に基づいて画像データの補間処理を行う画像データ処理部３０とを備える。
【解決手段】画像処理装置は、出力画像の座標を生成する出力画像座標生成部１０と、出力画像座標生成部１０により生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する入力画像座標生成部２０と、入力画像座標生成部２０により生成された入力画像の座標に基づいて画像データの補間処理を行う画像データ処理部３０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する画像処理装置及び画像処理方法に関し、特に、液晶プロジェクタなどの投影型表示装置における幾何学的歪補正に関するものである。
【背景技術】
【０００２】
液晶プロジェクタなどの投影型表示装置は、プレゼンテーションや会議などの業務用途からホームシアターなどの家庭用途まで幅広く普及している。このため、投影型表示装置を設置する場所も様々であり、投影型表示装置と投影面とが正対していない場合には、画像が台形に歪んでしまう。例えば、図６（ａ）に示すように、投影面１に対し投影型表示装置２を下方に配置した場合、図６（ｂ）に示すように、投影面１上の表示画像は、下辺より上辺が長い台形状に歪んでしまう。そこで、入力画像の形状を投影面上でも同じ形状に見えるように、入力画像を投影前に変形させる方法が知られている。例えば、特許文献１に記載のプロジェクタでは、図７(ａ)（ｂ）に示すように、あらかじめ投影前に矩形の入力画像を投影面上とは逆の台形の出力画像に変形しておく。このように変形された出力画像は、図７（ｃ）に示すように、投影面上で矩形に表示されることになる。
【０００３】
一方、従来の投影型表示装置、及び、投影型表示装置に入力される画像のアスペクト比は４：３が主流であったが、近年のハイビジョン放送等のアスペクト比１６：９の画像が登場したことにより、アスペクト比１６：９の投影型表示装置が商品化されている。そのため、アスペクト比１６：９の画像をアスペクト比４：３の投影型表示装置で表示させる、または、アスペクト比４：３の画像をアスペクト比１６：９の投影型表示装置で表示させる組み合わせが存在する。このような組み合わせにおいて、入力画像をフル表示させると、図８に示すように、出力画像中の被写体が歪んで見えてしまう。例えば、アスペクト比４：３の画像をアスペクト比１６：９の投影型表示装置で表示させると、図８（ａ）に示すように、出力画像中の被写体が水平方向に伸びて見えてしまう。逆に、アスペクト比１６：９の画像をアスペクト比４：３の投影型表示装置で表示させると、図８（ｂ）に示すように、出力画像中の被写体が水平方向に縮んで見えてしまう。そこで、特許文献２には、このような違和感を緩和するアスペクト比変換方法が記載されている。この方法では、図９に示すように、表示画面の中央部分のアスペクト比はほぼ入力画像と一致させ、表示画面中央から周辺部に遠ざかるに従ってアスペクト比を水平方向に大きく伸ばす。これにより、入力画像をフル表示しつつ、表示画面中央部の見た目の違和感を抑制することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２２５２２６号公報
【特許文献２】特開平６−６６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
投影型表示装置のアスペクト比とは異なるアスペクト比の画像が投影型表示装置に入力された場合でも良好な画質を得ることが望まれる。そのためには、画質劣化の少ないアスペクト比変換と台形歪み補正の両方を行う必要があるが、従来技術によると、投影型表示装置の回路規模が大きく増大し、投影型表示装置がコストアップしてしまう。以下、この点を詳しく説明する。
【０００６】
図１０は、従来の台形歪み補正回路３０２のブロック図である。この台形歪み補正回路３０２は、台形歪み補正を実現するための回路であって、出力画像座標生成部１０１と、入力画像座標生成部１０２と、画像データ処理部１０３とを備えている。出力画像座標生成部１０１は、表示したい画素位置（出力画像座標）を生成し、入力画像座標生成部１０２に供給する。入力画像座標生成部１０２は、出力画像座標に対応した台形変換後の入力画素の位置（入力画像座標）を求め、画像データ処理部１０３に供給する。画像データ処理部１０３は、入力画素座標近辺の画素を補間することにより出力画素を得る。
【０００７】
図１１は、従来のアスペクト比変換回路３０１のブロック図である。このアスペクト比変換回路３０１は、画質劣化の少ないアスペクト比変換を実現するための回路であって、水平用カウンタ２０１と、入力画像座標生成部２０２と、画像データ処理部２０３とを備えている。水平用カウンタ２０１は、表示したい水平画素位置（出力画像水平座標）を指定し、入力画像座標生成部２０２に供給する。入力画像座標生成部２０２は、表示したい画素位置（出力画像座標）に対応したアスペクト比変換後の入力画素の位置（入力画像座標）を求め、画像データ処理部２０３に供給する。画像データ処理部２０３は、入力画素座標近辺の画素を補間することにより出力画素を得る。
【０００８】
ここで、画質劣化の少ないアスペクト比変換と台形歪み補正の両方を行うためには、図１２に示すように、図１０の台形歪み補正回路３０２の前段に図１１のアスペクト比変換回路３０１を接続することが考えられる。しかしながら、このような方法によると、投影型表示装置の回路規模が大きく増大し、投影型表示装置がコストアップしてしまう。
【０００９】
本発明は前記課題を解決するためになされたものであり、その目的は、小さい回路規模でありながら、異なるアスペクト比の画像が入力された場合でも良好な画質を得ることのできる画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【００１０】
前記課題を解決するために、本発明の実施形態に係る画像処理装置は、出力画像の座標を生成する出力画像座標生成部と、前記出力画像座標生成部により生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する入力画像座標生成部と、前記入力画像座標生成部により生成された入力画像の座標に基づいて画像データの補間処理を行う画像データ処理部とを備えることを特徴とする。
【００１１】
具体的には、前記入力画像生成部は、前記出力画像座標生成部により生成された出力画像の座標に対応する透視投影変換前の座標を求める逆透視投影変換部の後段に、前記逆透視投影変換部により求められた透視投影変換前の座標に対応するアスペクト比変換前の座標を求める逆アスペクト比座標変換部を接続した構成である。
【００１２】
前記逆アスペクト比座標変換部は、透視投影変換前の中間処理画像を複数個の領域に分割し、その領域ごとに任意のアスペクト比になるように拡大／縮小倍率を設定してもよい。
【００１３】
前記逆アスペクト比座標変換部は、透視投影変換前の中間処理画像上の水平方向の中央部のアスペクト比が入力画像に等しく、中央部から遠ざかるに従ってアスペクト比が変わるように拡大／縮小倍率を設定してもよい。
【００１４】
前記課題を解決するために、本発明の実施形態に係る画像処理方法は、出力画像の座標を生成する出力画像座標生成ステップと、前記出力画像座標生成ステップで生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する入力画像座標生成ステップと、前記入力画像座標生成ステップで生成された入力画像の座標に基づいて画像データの補間処理を行う画像データ処理ステップとを備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、小さい回路規模でありながら、異なるアスペクト比の画像が入力された場合でも良好な画質を得ることのできる画像処理装置及び画像処理方法を提供することが可能である。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態における画像処理装置のブロック図である。
【図２】本発明の実施形態における画像データの流れと、その処理手順を示す図である。
【図３】本発明の実施形態における画像処理装置の動作を示すフローチャートである。
【図４】本発明の実施形態における逆アスペクト比変換方法の説明図である。
【図５】本発明の実施形態における別の逆アスペクト比変換方法の説明図である。
【図６】従来の投影面上の表示画像の説明図である。
【図７】特許文献１に記載の投影面上の表示画像の説明図である。
【図８】従来のアスペクト比変換方法の説明図である。
【図９】特許文献２に記載のアスペクト比変換方法の説明図である。
【図１０】従来の台形歪み補正回路のブロック図である。
【図１１】従来のアスペクト比変換回路のブロック図である。
【図１２】従来の投影型表示装置のブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１８】
図１は、本発明の実施形態における画像処理装置のブロック図である。この画像処理装置は、投影型表示装置などに適用される装置であって、図１に示すように、出力画像座標生成部１０と、入力画像座標生成部２０と、画像データ処理部３０とを備えている。
【００１９】
出力画像座標生成部１０は、出力画像の座標を生成する処理部であって、水平用カウンタ１１と、垂直用カウンタ１２とを有する。水平用カウンタ１１は、水平方向の画素数をカウントする。垂直用カウンタ１２は、垂直方向の画素数をカウントする。
【００２０】
入力画像座標生成部２０は、出力画像座標生成部１０により生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する処理部であって、逆透視投影変換回路２１と、逆アスペクト比座標変換回路２２とを有する。逆透視投影変換回路２１は、出力画像座標生成部１０により生成された座標に対応する台形歪み補正前の座標を求める。逆アスペクト比座標変換回路２２は、逆透視投影変換回路２１により得られた座標に対応するアスペクト比変換前の座標を求める。
【００２１】
画像データ処理部３０は、入力画像座標生成部２０により生成された入力画像の座標に基づいて画像データの補間処理を行う処理部であって、入力画像バッファリング３１と、入力画像データ読み込み制御回路３２と、画像データ補間処理回路３３とを有する。入力画像バッファリング３１は、入力画像データを保持する。入力画像データ読み込み制御回路３２は、入力画像座標生成部２０により生成された座標が画像の存在する領域か否かを判定し、挿入する画像データを制御する。画像データ補間処理回路３３は、入力画像座標生成部２０により生成された座標の位置に対応する画素値を算出する。
【００２２】
以下、画像データの流れと、その処理手順について図２を用いて説明する。ここでは、１６：９のアスペクト比である入力画像ＩＭＧｉが４：３の投影型表示装置に入力された場合を想定している。この場合、黒色の矢印の方向にアスペクト比変換、透視投影変換（台形歪み補正）を行い、画像を変形することにより、投影面上で歪みが少ない投影画像ＩＭＧｓを得ることができる。このように変換された投影直前の投影型表示装置の出力画像ＩＭＧｋの各画素値ＩＭＧｋ（Ｘｋ，Ｙｋ）を得るためには、入力画像ＩＭＧｉ上のどの座標（Ｘｉ，Ｙｉ）の画素を用いて画素値ＩＭＧｋ（Ｘｋ，Ｙｋ）を生成するかを知る必要がある。そこで、出力画像ＩＭＧｋの各画素の座標に対応する入力画像の座標を逆手順（白色の矢印の方向）に導く。まず、出力画像ＩＭＧｋの座標（Ｘｋ，Ｙｋ）に対応する、台形歪み補正前の中間処理画像ＩＭＧａ上の座標（Ｘａ，Ｙａ）を求める。以降、この処理を逆透視投影変換と呼ぶ。続いて、中間処理画像ＩＭＧａ上の座標（Ｘａ，Ｙａ）に対応する入力画像ＩＭＧｉ上の座標（Ｘｉ，Ｙｉ）を求める。以降、この処理を逆アスペクト比変換と呼ぶ。このように逆透視投影変換及び逆アスペクト比変換を行うことで、出力画像ＩＭＧｋの座標（Ｘｋ，Ｙｋ）に対応する入力画像ＩＭＧｉの座標（Ｘｉ，Ｙｉ）を得ることができる。
【００２３】
図３は、本発明の実施形態における画像処理装置の動作を示すフローチャートである。以下、図３を用いて本画像処理装置の構成を動作とともに説明する。
【００２４】
まず、出力画像座標生成部１０は、出力画像の注目画素の座標（Ｘｋ，Ｙｋ）を水平用カウンタ１１と垂直用カウンタ１２を用いて決定し（ステップＳ１）、逆透視投影変換回路２１へ供給する。透視投影変換回路２１は、以下の式（１）を用いて、出力画像座標（Ｘｋ，Ｙｋ）に対応する台形歪み補正前の中間処理画像ＩＭＧａ上の座標（Ｘａ，Ｙａ）を求める（ステップＳ４）。ここで、Ａ〜Ｉはユーザが決定する変換係数であるため、Ａ〜Ｉをあらかじめ導出する必要がある（ステップＳ２〜ステップＳ３）。
【数１】
【００２５】
変換係数Ｉを１に固定し、台形歪み補正前後の各４点の座標を用いて、以下の式（２）の連立方程式を解くことにより、変換係数Ａ〜Ｈを求めることができる（ステップＳ３）。ここで、（Ｘａ０，Ｙａ０），（Ｘａ１，Ｙａ１），…は中間処理画像ＩＭＧａ上の座標であり、（Ｘｋ０，Ｙｋ０），（Ｘｋ１，Ｙｋ１），…は出力画像ＩＭＧｋ上の座標である。
【数２】
【００２６】
台形歪み補正前後の各４点の座標は、例えば次のような手順で決定することができる（ステップＳ２）。まず、ユーザは、投影面上の投影された画像ＩＭＧｓを見ながら４角の画素位置を手動で移動する。次に、投影面上の画像ＩＭＧｓの台形歪みが改善されたと思う位置で移動をやめる。このときの移動前後の画素位置がそのまま各４点の座標に対応する。逆透視投影変換回路２１は、求めた台形歪み補正前の座標（Ｘａ，Ｙａ）を逆アスペクト比座標変換回路２２に供給する。
【００２７】
逆アスペクト比座標変換回路２２は、あらかじめ、図４（ａ）に示すように、中間処理画像ＩＭＧａを複数個の短冊状の領域に分割し、その領域ごとに任意のアスペクト比になるように拡大／縮小倍率ｋ１，ｋ２，…を設定する（ステップＳ５）。そして、式（３）に示すように、座標（Ｘａ，Ｙａ）がどの領域内に存在するか否かを判定し、その領域における拡大／縮小倍率ｋを用いて中間処理画像ＩＭＧａ上の座標（Ｘａ，Ｙａ）に対応する入力画像ＩＭＧｉ上の座標（Ｘｉ，Ｙｉ）を求める（ステップＳ６）。ここで、図４（ｂ）に示すように、Ｘｉ１，Ｘｉ２，Ｘｉ３は、座標Ｘａ１，Ｘａ２，Ｘａ３における入力画像ＩＭＧｉ上の水平座標である。
【数３】
【００２８】
上記は逆アスペクト比変換方法の一例であり、他の方法を採用することも可能である。すなわち、アスペクト比変換では、中間処理画像ＩＭＧａ上の水平方向の中央部のアスペクト比が入力画像ＩＭＧｉに等しく、中央部から遠ざかるに従ってアスペクト比が変わることが望ましい場合が多い。そこで、倍率ｋを水平方向の画素毎に変化させるようにしてもよい。その一例を式（４）に示す。
【数４】
【００２９】
ここで、Ｎは水平画素数であり、ａ，ｂはユーザが任意に決定することができる係数である。式（４）において、ａ＝−３，ｂ＝１の場合の水平画素位置Ｘａと倍率ｋの関係を図５に示す。この図に示すように、倍率ｋは、座標の中央部では等倍（ｋ＝１）であり、中央部から遠ざかるに従って小さくなり、座標の両端で最も小さくなる。このように、画素毎に倍率ｋを変化させることにより、水平画素毎にアスペクト比を変化させる。逆アスペクト比座標変換回路２２は、求めた座標（Ｘｉ，Ｙｉ）を入力画像データ読み込み制御回路３２，画像データ補間処理回路３３に供給する。
【００３０】
入力画像データ読み込み制御回路３２は、逆アスペクト比座標変換回路２２により求められた座標（Ｘｉ，Ｙｉ）が入力画像データに含まれているか否かを判定する（ステップＳ７）。含まれている場合は、入力画像データを保持している入力画像バッファリング３１から座標（Ｘｉ，Ｙｉ）の周辺数画素の画像データを読み出す（ステップＳ８）。含まれていない場合は、背景としてあらかじめ準備している画像データを読み出す（ステップＳ９）。このように読み出した画像データを画像データ補間処理回路３３に供給する。
【００３１】
画像データ補間処理回路３３は、入力画像データ読み込み制御回路３２により得られた画像データを用いて補間処理を行い（ステップＳ１０）、出力画像データを求める。すなわち、逆アスペクト比座標変換回路２２により求められた出力画像ＩＭＧｋの座標（Ｘｋ，Ｙｋ）に対応する入力画像ＩＭＧｉの座標（Ｘｉ，Ｙｉ）は、画素が存在しうる座標（Ｘｉ＝整数，Ｙｉ＝整数）とはならず、通常は画素と画素の間の座標（ＸｉまたはＹｉが小数）になってしまう。そこで、式（５）に示す双一次畳み込みや、双三次畳み込みなどの内挿法により、入力画像データ読み込み制御回路３２により得られた画像データを用いて補間処理を行う。これにより、入力画素座標近辺の画素が補間され、出力画素データが得られる。
【数５】
【００３２】
以上のように、本発明の実施形態における画像処理装置は、小さい回路規模でありながら、異なるアスペクト比の画像が入力された場合でも良好な画質を得ることができる。すなわち、出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成するようにしているので、図１０の台形歪み補正回路３０２及び図１１のアスペクト比変換回路３０１の両方に存在する画像データ処理部を１つに共有化することができる。これにより、回路規模を削減することができ、投影型表示装置のコストアップを抑えることが可能となる。
【００３３】
また、本発明の実施形態における画像処理装置は、逆透視投影変換回路２１の後段に逆アスペクト比座標変換回路２２を接続した構成を採用しているため、良好な画質を効率よく得ることができる。すなわち、接続順序を逆にした構成（逆アスペクト比座標変換回路２２の後段に逆透視投影変換回路２１を接続した構成）によっても、画像データ処理部を１つに共有化することができる。しかし、このような構成によると、画像が樽型に歪む不具合があり、この歪みを補正する必要が生じる。そのため、良好な画質を効率よく得るためには、前記した通り、逆透視投影変換回路２１の後段に逆アスペクト比座標変換回路２２を接続した構成が望ましい。
【００３４】
なお、ここでは、画質劣化の少ないアスペクト比変換を行うため、画面中央部のアスペクト比を入力画像のアスペクト比にほぼ一致させる例を示した。しかし、画像の重要な部分は画面中央付近とは限らない。そこで、画面中の任意の部分のアスペクト比を入力画像のアスペクト比にほぼ一致させるようにしてもよい。すなわち、画面を複数の領域に分割し、その領域ごとに画面の拡大／縮小倍率ｋをユーザが指定する構成を採用することも可能である。
【００３５】
また、本発明は、画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な処理部をステップとする画像処理方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。このようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【符号の説明】
【００３６】
１０…出力画像座標生成部
２０…入力画像座標生成部
２１…逆透視投影変換回路（逆透視投影変換部）
２２…逆アスペクト比座標変換回路（逆アスペクト比座標変換部）
３０…画像データ処理部
【技術分野】
【０００１】
本発明は、画像を処理する画像処理装置及び画像処理方法に関し、特に、液晶プロジェクタなどの投影型表示装置における幾何学的歪補正に関するものである。
【背景技術】
【０００２】
液晶プロジェクタなどの投影型表示装置は、プレゼンテーションや会議などの業務用途からホームシアターなどの家庭用途まで幅広く普及している。このため、投影型表示装置を設置する場所も様々であり、投影型表示装置と投影面とが正対していない場合には、画像が台形に歪んでしまう。例えば、図６（ａ）に示すように、投影面１に対し投影型表示装置２を下方に配置した場合、図６（ｂ）に示すように、投影面１上の表示画像は、下辺より上辺が長い台形状に歪んでしまう。そこで、入力画像の形状を投影面上でも同じ形状に見えるように、入力画像を投影前に変形させる方法が知られている。例えば、特許文献１に記載のプロジェクタでは、図７(ａ)（ｂ）に示すように、あらかじめ投影前に矩形の入力画像を投影面上とは逆の台形の出力画像に変形しておく。このように変形された出力画像は、図７（ｃ）に示すように、投影面上で矩形に表示されることになる。
【０００３】
一方、従来の投影型表示装置、及び、投影型表示装置に入力される画像のアスペクト比は４：３が主流であったが、近年のハイビジョン放送等のアスペクト比１６：９の画像が登場したことにより、アスペクト比１６：９の投影型表示装置が商品化されている。そのため、アスペクト比１６：９の画像をアスペクト比４：３の投影型表示装置で表示させる、または、アスペクト比４：３の画像をアスペクト比１６：９の投影型表示装置で表示させる組み合わせが存在する。このような組み合わせにおいて、入力画像をフル表示させると、図８に示すように、出力画像中の被写体が歪んで見えてしまう。例えば、アスペクト比４：３の画像をアスペクト比１６：９の投影型表示装置で表示させると、図８（ａ）に示すように、出力画像中の被写体が水平方向に伸びて見えてしまう。逆に、アスペクト比１６：９の画像をアスペクト比４：３の投影型表示装置で表示させると、図８（ｂ）に示すように、出力画像中の被写体が水平方向に縮んで見えてしまう。そこで、特許文献２には、このような違和感を緩和するアスペクト比変換方法が記載されている。この方法では、図９に示すように、表示画面の中央部分のアスペクト比はほぼ入力画像と一致させ、表示画面中央から周辺部に遠ざかるに従ってアスペクト比を水平方向に大きく伸ばす。これにより、入力画像をフル表示しつつ、表示画面中央部の見た目の違和感を抑制することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２２５２２６号公報
【特許文献２】特開平６−６６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
投影型表示装置のアスペクト比とは異なるアスペクト比の画像が投影型表示装置に入力された場合でも良好な画質を得ることが望まれる。そのためには、画質劣化の少ないアスペクト比変換と台形歪み補正の両方を行う必要があるが、従来技術によると、投影型表示装置の回路規模が大きく増大し、投影型表示装置がコストアップしてしまう。以下、この点を詳しく説明する。
【０００６】
図１０は、従来の台形歪み補正回路３０２のブロック図である。この台形歪み補正回路３０２は、台形歪み補正を実現するための回路であって、出力画像座標生成部１０１と、入力画像座標生成部１０２と、画像データ処理部１０３とを備えている。出力画像座標生成部１０１は、表示したい画素位置（出力画像座標）を生成し、入力画像座標生成部１０２に供給する。入力画像座標生成部１０２は、出力画像座標に対応した台形変換後の入力画素の位置（入力画像座標）を求め、画像データ処理部１０３に供給する。画像データ処理部１０３は、入力画素座標近辺の画素を補間することにより出力画素を得る。
【０００７】
図１１は、従来のアスペクト比変換回路３０１のブロック図である。このアスペクト比変換回路３０１は、画質劣化の少ないアスペクト比変換を実現するための回路であって、水平用カウンタ２０１と、入力画像座標生成部２０２と、画像データ処理部２０３とを備えている。水平用カウンタ２０１は、表示したい水平画素位置（出力画像水平座標）を指定し、入力画像座標生成部２０２に供給する。入力画像座標生成部２０２は、表示したい画素位置（出力画像座標）に対応したアスペクト比変換後の入力画素の位置（入力画像座標）を求め、画像データ処理部２０３に供給する。画像データ処理部２０３は、入力画素座標近辺の画素を補間することにより出力画素を得る。
【０００８】
ここで、画質劣化の少ないアスペクト比変換と台形歪み補正の両方を行うためには、図１２に示すように、図１０の台形歪み補正回路３０２の前段に図１１のアスペクト比変換回路３０１を接続することが考えられる。しかしながら、このような方法によると、投影型表示装置の回路規模が大きく増大し、投影型表示装置がコストアップしてしまう。
【０００９】
本発明は前記課題を解決するためになされたものであり、その目的は、小さい回路規模でありながら、異なるアスペクト比の画像が入力された場合でも良好な画質を得ることのできる画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【００１０】
前記課題を解決するために、本発明の実施形態に係る画像処理装置は、出力画像の座標を生成する出力画像座標生成部と、前記出力画像座標生成部により生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する入力画像座標生成部と、前記入力画像座標生成部により生成された入力画像の座標に基づいて画像データの補間処理を行う画像データ処理部とを備えることを特徴とする。
【００１１】
具体的には、前記入力画像生成部は、前記出力画像座標生成部により生成された出力画像の座標に対応する透視投影変換前の座標を求める逆透視投影変換部の後段に、前記逆透視投影変換部により求められた透視投影変換前の座標に対応するアスペクト比変換前の座標を求める逆アスペクト比座標変換部を接続した構成である。
【００１２】
前記逆アスペクト比座標変換部は、透視投影変換前の中間処理画像を複数個の領域に分割し、その領域ごとに任意のアスペクト比になるように拡大／縮小倍率を設定してもよい。
【００１３】
前記逆アスペクト比座標変換部は、透視投影変換前の中間処理画像上の水平方向の中央部のアスペクト比が入力画像に等しく、中央部から遠ざかるに従ってアスペクト比が変わるように拡大／縮小倍率を設定してもよい。
【００１４】
前記課題を解決するために、本発明の実施形態に係る画像処理方法は、出力画像の座標を生成する出力画像座標生成ステップと、前記出力画像座標生成ステップで生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する入力画像座標生成ステップと、前記入力画像座標生成ステップで生成された入力画像の座標に基づいて画像データの補間処理を行う画像データ処理ステップとを備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、小さい回路規模でありながら、異なるアスペクト比の画像が入力された場合でも良好な画質を得ることのできる画像処理装置及び画像処理方法を提供することが可能である。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態における画像処理装置のブロック図である。
【図２】本発明の実施形態における画像データの流れと、その処理手順を示す図である。
【図３】本発明の実施形態における画像処理装置の動作を示すフローチャートである。
【図４】本発明の実施形態における逆アスペクト比変換方法の説明図である。
【図５】本発明の実施形態における別の逆アスペクト比変換方法の説明図である。
【図６】従来の投影面上の表示画像の説明図である。
【図７】特許文献１に記載の投影面上の表示画像の説明図である。
【図８】従来のアスペクト比変換方法の説明図である。
【図９】特許文献２に記載のアスペクト比変換方法の説明図である。
【図１０】従来の台形歪み補正回路のブロック図である。
【図１１】従来のアスペクト比変換回路のブロック図である。
【図１２】従来の投影型表示装置のブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１８】
図１は、本発明の実施形態における画像処理装置のブロック図である。この画像処理装置は、投影型表示装置などに適用される装置であって、図１に示すように、出力画像座標生成部１０と、入力画像座標生成部２０と、画像データ処理部３０とを備えている。
【００１９】
出力画像座標生成部１０は、出力画像の座標を生成する処理部であって、水平用カウンタ１１と、垂直用カウンタ１２とを有する。水平用カウンタ１１は、水平方向の画素数をカウントする。垂直用カウンタ１２は、垂直方向の画素数をカウントする。
【００２０】
入力画像座標生成部２０は、出力画像座標生成部１０により生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する処理部であって、逆透視投影変換回路２１と、逆アスペクト比座標変換回路２２とを有する。逆透視投影変換回路２１は、出力画像座標生成部１０により生成された座標に対応する台形歪み補正前の座標を求める。逆アスペクト比座標変換回路２２は、逆透視投影変換回路２１により得られた座標に対応するアスペクト比変換前の座標を求める。
【００２１】
画像データ処理部３０は、入力画像座標生成部２０により生成された入力画像の座標に基づいて画像データの補間処理を行う処理部であって、入力画像バッファリング３１と、入力画像データ読み込み制御回路３２と、画像データ補間処理回路３３とを有する。入力画像バッファリング３１は、入力画像データを保持する。入力画像データ読み込み制御回路３２は、入力画像座標生成部２０により生成された座標が画像の存在する領域か否かを判定し、挿入する画像データを制御する。画像データ補間処理回路３３は、入力画像座標生成部２０により生成された座標の位置に対応する画素値を算出する。
【００２２】
以下、画像データの流れと、その処理手順について図２を用いて説明する。ここでは、１６：９のアスペクト比である入力画像ＩＭＧｉが４：３の投影型表示装置に入力された場合を想定している。この場合、黒色の矢印の方向にアスペクト比変換、透視投影変換（台形歪み補正）を行い、画像を変形することにより、投影面上で歪みが少ない投影画像ＩＭＧｓを得ることができる。このように変換された投影直前の投影型表示装置の出力画像ＩＭＧｋの各画素値ＩＭＧｋ（Ｘｋ，Ｙｋ）を得るためには、入力画像ＩＭＧｉ上のどの座標（Ｘｉ，Ｙｉ）の画素を用いて画素値ＩＭＧｋ（Ｘｋ，Ｙｋ）を生成するかを知る必要がある。そこで、出力画像ＩＭＧｋの各画素の座標に対応する入力画像の座標を逆手順（白色の矢印の方向）に導く。まず、出力画像ＩＭＧｋの座標（Ｘｋ，Ｙｋ）に対応する、台形歪み補正前の中間処理画像ＩＭＧａ上の座標（Ｘａ，Ｙａ）を求める。以降、この処理を逆透視投影変換と呼ぶ。続いて、中間処理画像ＩＭＧａ上の座標（Ｘａ，Ｙａ）に対応する入力画像ＩＭＧｉ上の座標（Ｘｉ，Ｙｉ）を求める。以降、この処理を逆アスペクト比変換と呼ぶ。このように逆透視投影変換及び逆アスペクト比変換を行うことで、出力画像ＩＭＧｋの座標（Ｘｋ，Ｙｋ）に対応する入力画像ＩＭＧｉの座標（Ｘｉ，Ｙｉ）を得ることができる。
【００２３】
図３は、本発明の実施形態における画像処理装置の動作を示すフローチャートである。以下、図３を用いて本画像処理装置の構成を動作とともに説明する。
【００２４】
まず、出力画像座標生成部１０は、出力画像の注目画素の座標（Ｘｋ，Ｙｋ）を水平用カウンタ１１と垂直用カウンタ１２を用いて決定し（ステップＳ１）、逆透視投影変換回路２１へ供給する。透視投影変換回路２１は、以下の式（１）を用いて、出力画像座標（Ｘｋ，Ｙｋ）に対応する台形歪み補正前の中間処理画像ＩＭＧａ上の座標（Ｘａ，Ｙａ）を求める（ステップＳ４）。ここで、Ａ〜Ｉはユーザが決定する変換係数であるため、Ａ〜Ｉをあらかじめ導出する必要がある（ステップＳ２〜ステップＳ３）。
【数１】
【００２５】
変換係数Ｉを１に固定し、台形歪み補正前後の各４点の座標を用いて、以下の式（２）の連立方程式を解くことにより、変換係数Ａ〜Ｈを求めることができる（ステップＳ３）。ここで、（Ｘａ０，Ｙａ０），（Ｘａ１，Ｙａ１），…は中間処理画像ＩＭＧａ上の座標であり、（Ｘｋ０，Ｙｋ０），（Ｘｋ１，Ｙｋ１），…は出力画像ＩＭＧｋ上の座標である。
【数２】
【００２６】
台形歪み補正前後の各４点の座標は、例えば次のような手順で決定することができる（ステップＳ２）。まず、ユーザは、投影面上の投影された画像ＩＭＧｓを見ながら４角の画素位置を手動で移動する。次に、投影面上の画像ＩＭＧｓの台形歪みが改善されたと思う位置で移動をやめる。このときの移動前後の画素位置がそのまま各４点の座標に対応する。逆透視投影変換回路２１は、求めた台形歪み補正前の座標（Ｘａ，Ｙａ）を逆アスペクト比座標変換回路２２に供給する。
【００２７】
逆アスペクト比座標変換回路２２は、あらかじめ、図４（ａ）に示すように、中間処理画像ＩＭＧａを複数個の短冊状の領域に分割し、その領域ごとに任意のアスペクト比になるように拡大／縮小倍率ｋ１，ｋ２，…を設定する（ステップＳ５）。そして、式（３）に示すように、座標（Ｘａ，Ｙａ）がどの領域内に存在するか否かを判定し、その領域における拡大／縮小倍率ｋを用いて中間処理画像ＩＭＧａ上の座標（Ｘａ，Ｙａ）に対応する入力画像ＩＭＧｉ上の座標（Ｘｉ，Ｙｉ）を求める（ステップＳ６）。ここで、図４（ｂ）に示すように、Ｘｉ１，Ｘｉ２，Ｘｉ３は、座標Ｘａ１，Ｘａ２，Ｘａ３における入力画像ＩＭＧｉ上の水平座標である。
【数３】
【００２８】
上記は逆アスペクト比変換方法の一例であり、他の方法を採用することも可能である。すなわち、アスペクト比変換では、中間処理画像ＩＭＧａ上の水平方向の中央部のアスペクト比が入力画像ＩＭＧｉに等しく、中央部から遠ざかるに従ってアスペクト比が変わることが望ましい場合が多い。そこで、倍率ｋを水平方向の画素毎に変化させるようにしてもよい。その一例を式（４）に示す。
【数４】
【００２９】
ここで、Ｎは水平画素数であり、ａ，ｂはユーザが任意に決定することができる係数である。式（４）において、ａ＝−３，ｂ＝１の場合の水平画素位置Ｘａと倍率ｋの関係を図５に示す。この図に示すように、倍率ｋは、座標の中央部では等倍（ｋ＝１）であり、中央部から遠ざかるに従って小さくなり、座標の両端で最も小さくなる。このように、画素毎に倍率ｋを変化させることにより、水平画素毎にアスペクト比を変化させる。逆アスペクト比座標変換回路２２は、求めた座標（Ｘｉ，Ｙｉ）を入力画像データ読み込み制御回路３２，画像データ補間処理回路３３に供給する。
【００３０】
入力画像データ読み込み制御回路３２は、逆アスペクト比座標変換回路２２により求められた座標（Ｘｉ，Ｙｉ）が入力画像データに含まれているか否かを判定する（ステップＳ７）。含まれている場合は、入力画像データを保持している入力画像バッファリング３１から座標（Ｘｉ，Ｙｉ）の周辺数画素の画像データを読み出す（ステップＳ８）。含まれていない場合は、背景としてあらかじめ準備している画像データを読み出す（ステップＳ９）。このように読み出した画像データを画像データ補間処理回路３３に供給する。
【００３１】
画像データ補間処理回路３３は、入力画像データ読み込み制御回路３２により得られた画像データを用いて補間処理を行い（ステップＳ１０）、出力画像データを求める。すなわち、逆アスペクト比座標変換回路２２により求められた出力画像ＩＭＧｋの座標（Ｘｋ，Ｙｋ）に対応する入力画像ＩＭＧｉの座標（Ｘｉ，Ｙｉ）は、画素が存在しうる座標（Ｘｉ＝整数，Ｙｉ＝整数）とはならず、通常は画素と画素の間の座標（ＸｉまたはＹｉが小数）になってしまう。そこで、式（５）に示す双一次畳み込みや、双三次畳み込みなどの内挿法により、入力画像データ読み込み制御回路３２により得られた画像データを用いて補間処理を行う。これにより、入力画素座標近辺の画素が補間され、出力画素データが得られる。
【数５】
【００３２】
以上のように、本発明の実施形態における画像処理装置は、小さい回路規模でありながら、異なるアスペクト比の画像が入力された場合でも良好な画質を得ることができる。すなわち、出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成するようにしているので、図１０の台形歪み補正回路３０２及び図１１のアスペクト比変換回路３０１の両方に存在する画像データ処理部を１つに共有化することができる。これにより、回路規模を削減することができ、投影型表示装置のコストアップを抑えることが可能となる。
【００３３】
また、本発明の実施形態における画像処理装置は、逆透視投影変換回路２１の後段に逆アスペクト比座標変換回路２２を接続した構成を採用しているため、良好な画質を効率よく得ることができる。すなわち、接続順序を逆にした構成（逆アスペクト比座標変換回路２２の後段に逆透視投影変換回路２１を接続した構成）によっても、画像データ処理部を１つに共有化することができる。しかし、このような構成によると、画像が樽型に歪む不具合があり、この歪みを補正する必要が生じる。そのため、良好な画質を効率よく得るためには、前記した通り、逆透視投影変換回路２１の後段に逆アスペクト比座標変換回路２２を接続した構成が望ましい。
【００３４】
なお、ここでは、画質劣化の少ないアスペクト比変換を行うため、画面中央部のアスペクト比を入力画像のアスペクト比にほぼ一致させる例を示した。しかし、画像の重要な部分は画面中央付近とは限らない。そこで、画面中の任意の部分のアスペクト比を入力画像のアスペクト比にほぼ一致させるようにしてもよい。すなわち、画面を複数の領域に分割し、その領域ごとに画面の拡大／縮小倍率ｋをユーザが指定する構成を採用することも可能である。
【００３５】
また、本発明は、画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な処理部をステップとする画像処理方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。このようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【符号の説明】
【００３６】
１０…出力画像座標生成部
２０…入力画像座標生成部
２１…逆透視投影変換回路（逆透視投影変換部）
２２…逆アスペクト比座標変換回路（逆アスペクト比座標変換部）
３０…画像データ処理部
【特許請求の範囲】
【請求項１】
出力画像の座標を生成する出力画像座標生成部と、
前記出力画像座標生成部により生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する入力画像座標生成部と、
前記入力画像座標生成部により生成された入力画像の座標に基づいて画像データの補間処理を行う画像データ処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力画像生成部は、前記出力画像座標生成部により生成された出力画像の座標に対応する透視投影変換前の座標を求める逆透視投影変換部の後段に、前記逆透視投影変換部により求められた透視投影変換前の座標に対応するアスペクト比変換前の座標を求める逆アスペクト比座標変換部を接続した構成であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記逆アスペクト比座標変換部は、透視投影変換前の中間処理画像を複数個の領域に分割し、その領域ごとに任意のアスペクト比になるように拡大／縮小倍率を設定することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記逆アスペクト比座標変換部は、透視投影変換前の中間処理画像上の水平方向の中央部のアスペクト比が入力画像に等しく、中央部から遠ざかるに従ってアスペクト比が変わるように拡大／縮小倍率を設定することを特徴とする請求項２記載の画像処理装置。
【請求項５】
出力画像の座標を生成する出力画像座標生成ステップと、
前記出力画像座標生成ステップで生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する入力画像座標生成ステップと、
前記入力画像座標生成ステップで生成された入力画像の座標に基づいて画像データの補間処理を行う画像データ処理ステップと、
を備えることを特徴とする画像処理方法。
【請求項１】
出力画像の座標を生成する出力画像座標生成部と、
前記出力画像座標生成部により生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する入力画像座標生成部と、
前記入力画像座標生成部により生成された入力画像の座標に基づいて画像データの補間処理を行う画像データ処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力画像生成部は、前記出力画像座標生成部により生成された出力画像の座標に対応する透視投影変換前の座標を求める逆透視投影変換部の後段に、前記逆透視投影変換部により求められた透視投影変換前の座標に対応するアスペクト比変換前の座標を求める逆アスペクト比座標変換部を接続した構成であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記逆アスペクト比座標変換部は、透視投影変換前の中間処理画像を複数個の領域に分割し、その領域ごとに任意のアスペクト比になるように拡大／縮小倍率を設定することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記逆アスペクト比座標変換部は、透視投影変換前の中間処理画像上の水平方向の中央部のアスペクト比が入力画像に等しく、中央部から遠ざかるに従ってアスペクト比が変わるように拡大／縮小倍率を設定することを特徴とする請求項２記載の画像処理装置。
【請求項５】
出力画像の座標を生成する出力画像座標生成ステップと、
前記出力画像座標生成ステップで生成された出力画像の座標に対応する入力画像の座標を逆透視投影変換及び逆アスペクト比変換を行うことで生成する入力画像座標生成ステップと、
前記入力画像座標生成ステップで生成された入力画像の座標に基づいて画像データの補間処理を行う画像データ処理ステップと、
を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−５１４０（Ｐ２０１３−５１４０Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３２９５４（Ｐ２０１１−１３２９５４）
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]