画像処理装置、画像処理方法
【課題】 必要なメモリ帯域のピーク値が小さく、かつ、ハードウェア実装時の回路量が小さい、あるいはソフトウェア実装時の処理性能が高い画像変形技術を提供すること。
【解決手段】 画素位置（ｘｉ、ｙｉ）の写像画素位置（ｘｏ、ｙｏ）を求める。（ｘｏの小数部＋０．５）の小数部が既定値以上か及び／又は（ｙｏの小数部＋０．５）の小数部が既定値以上かの組み合わせに対応する複数の参照画素位置を取得し、逆写像を行い、画素位置（ｘｉ’、ｙｉ’）を求める。画素位置（ｘｏの整数部ｘｏｃ、ｙｏの整数部ｙｏｃ）に逆写像を行い、画素位置（ｘｉ”、ｙｉ”）を求める。画素位置（ｘｉ”、ｙｉ”）、（ｘｉ’、ｙｉ’）のうちｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置のｘ座標値の小数部及びｙ座標値の小数部と、画素位置（ｘｉ、ｙｉ）の周辺画素の画素値と、を用いた補間処理を行う。
【解決手段】 画素位置（ｘｉ、ｙｉ）の写像画素位置（ｘｏ、ｙｏ）を求める。（ｘｏの小数部＋０．５）の小数部が既定値以上か及び／又は（ｙｏの小数部＋０．５）の小数部が既定値以上かの組み合わせに対応する複数の参照画素位置を取得し、逆写像を行い、画素位置（ｘｉ’、ｙｉ’）を求める。画素位置（ｘｏの整数部ｘｏｃ、ｙｏの整数部ｙｏｃ）に逆写像を行い、画素位置（ｘｉ”、ｙｉ”）を求める。画素位置（ｘｉ”、ｙｉ”）、（ｘｉ’、ｙｉ’）のうちｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置のｘ座標値の小数部及びｙ座標値の小数部と、画素位置（ｘｉ、ｙｉ）の周辺画素の画素値と、を用いた補間処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変形技術に関するものである。
【背景技術】
【０００２】
従来の画像変形を行う画像処理装置では、まず入力画素を１画面分メモリに記憶する。次に、出力画素の走査順に、出力画素の座標値から入力画素の座標値を座標変換の逆変換によって算出する。さらに、逆変換で得られた入力画素の座標値の整数部を用いて入力画素の近傍の画素をメモリから読み出し、近傍の画素と入力画素の座標値の小数部とを用いて補間計算によって出力画素の値を決定する操作を繰り返す。これらの操作により画像変形を行う画像処理を実現していた。上記方法を以下では、「読み出し時座標変換」と呼ぶ。例えば、特許文献１では、出力画像をタイルに分割し、分割されたタイル毎に読み出し時座標変換を行う画像処理方法が示されている。
【０００３】
ところで、フロントプロジェクタの台形補正やカメラのレンズ補正を行う場合、入力画像から出力画像への拡大率は最小０．６倍〜最大１．２５倍程度になる。さらに、映像入出力をリアルタイムで実現しなくてはならないという制約がある。映像入出力を１［ｐｉｘｅｌ／ｃｙｃ］で行うという制約下で上記に示す画像処理方法を実装すると、必要なメモリ帯域のピーク値が書き込みと読み出しの合計で（１＋１／拡大率の最小値）［ｐｉｘｅｌ／ｃｙｃ］になってしまう。例えば拡大率の最小値が０．６倍であればピーク時に２．６７［ｐｉｘｅｌ／ｃｙｃ］のメモリ帯域が必要になってしまう。
【０００４】
これに対し、以下で「書き込み時座標変換」と呼ぶ方式がある。この方式は、まず、走査順に入力される入力画素に対して座標変換によって出力座標を算出する。次に、出力座標の整数部からメモリの格納先アドレスを算出する。さらに、出力座標の整数部から座標変換の逆変換により入力画像中の座標を求める。逆変換により求めた座標の整数部が元々の入力画素の座標に一致するときに、入力画素とその近傍の画素と、座標変換の逆変換によって求めた座標値の小数部とを用いて出力する画素値を補完計算によって求める。この画素値を先に求めた格納先アドレスに格納する。
【０００５】
書き込み時座標変換方式における必要なメモリ帯域のピーク値は、書き込みと読み出しの合計で（１＋拡大率の最大値）［ｐｉｘｅｌ／ｃｙｃ］になる。拡大率の最大値が１．２５倍の時、この値は２．２５［ｐｉｘｅｌ／ｃｙｃ］になり、想定する拡大率の範囲内では読み出し時座標変換よりメモリ帯域のピーク値を小さくすることができる。
【０００６】
しかしながら、上記のままの書き込み時座標変換では、出力されない画素が発生することがあるため、対策が必要である。例えば、書き込み時座標変換を行っている特許文献２では、入力画素の座標をサブピクセル単位で走査することで出力されない画素が発生することを防いでいる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１３５０９６号公報
【特許文献２】特開平６−１４９９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１の方式では、必要なメモリ帯域のピーク値が、想定する拡大率の範囲内で大きくなってしまう。特許文献２の方式では、サブピクセルでの走査をＸ軸方向とＹ軸方向で共に１／２ピクセルとした場合でも座標変換で４点分、逆変換で４点分の演算が必要になる。射影変換は座標変換と逆変換の演算量が同じで、どちらの演算にも除算が含まれる。このため、特許文献２の方式では、ハードウェアで実装したときの回路量が大きくなり、ソフトウェア実装であれば処理性能が低下してしまう。
【０００９】
本発明はこのような問題に鑑みてなされたものであり、必要なメモリ帯域のピーク値が小さく、かつ、ハードウェア実装時の回路量が小さい、あるいはソフトウェア実装時の処理性能が高い画像変形技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、入力画像に対して画像変形処理を行うことで出力画像を生成する画像処理装置であって、前記入力画像に対して前記画像変形処理を行うことで該入力画像中の画素位置（ｘｉ、ｙｉ）が写像される画素位置（ｘｏ、ｙｏ）を求める手段と、ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせに対して予め設定された複数の参照画素位置を取得する取得手段と、前記複数の参照画素位置のそれぞれに対して前記写像の逆写像を行うことで、画素位置（ｘｉ’、ｙｉ’）を求める手段と、前記ｘｏの整数部ｘｏｃ及びｙｏの整数部ｙｏｃで表される画素位置（ｘｏｃ、ｙｏｃ）に対して前記逆写像を行うことで、画素位置（ｘｉ”、ｙｉ”）を求める手段と、前記画素位置（ｘｉ”、ｙｉ”）、前記複数の参照画素位置のそれぞれについて求めた前記画素位置（ｘｉ’、ｙｉ’）、のうち、ｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置を特定する特定手段と、前記特定手段が特定した画素位置のｘ座標値の小数部及びｙ座標値の小数部と、前記入力画像中の画素位置（ｘｉ、ｙｉ）の周辺画素位置における画素の画素値と、を用いた補間処理を行うことにより、前記出力画像上の画素位置（ｘｏｃ、ｙｏｃ）における画素値を求める算出手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明の構成によれば、必要なメモリ帯域のピーク値が小さく、かつ、ハードウェア実装時の回路量が小さい、あるいはソフトウェア実装時の処理性能が高い画像変形技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置の機能構成例を示すブロック図。
【図２】出力座標算出部１０６のより詳細な機能構成例を示すブロック図。
【図３】出力画素周辺座標生成部２０３のより詳細な機能構成例を示すブロック図。
【図４】サブ領域判定部２０７の動作を説明する為のグラフ。
【図５】サブ領域判定部２０７の動作の変形例を説明するためのグラフ。
【図６】画像処理装置の機能構成例を示すブロック図。
【図７】出力座標算出部６０６の機能構成例を示すブロック図。
【図８】領域を求める処理を説明するグラフ。
【図９】領域を求める処理を説明するグラフ。
【図１０】領域を求める処理を説明するグラフ。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１４】
［第１の実施形態］
本実施形態では、座標変換後の出力座標の小数部によって２領域に分割することで座標変換（座標逆変換）が必要な周辺画素数を中心座標も含めて５点まで削減する例と、４領域に分割することで４点まで削減する例とを示す。どの様な領域に分割するかは任意であり、その結果、逆変換（逆写像）が必要な周辺画素数が何点まで削減されるかは領域分割方法によって変わってくる。しかし、どの様な領域に分割するかは容易に変更することができる。
【００１５】
また、本実施形態では、画像変形処理の一例として、射影変換を行う場合について説明するが、画素位置（座標）の座標変換とその逆変換が存在するのであれば、射影変換以外の幾何変換にも適用することができる。
【００１６】
先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。画像処理装置には、画像変形処理を行う対象となる画像（入力画像）が入力されるのであるが、本実施形態ではこの入力画像が画素単位で入力されるものとして説明する。しかし、入力画像をどのようにして画像処理装置に入力するのかについては特に限定するものではない。
【００１７】
画像処理装置に入力された入力画素の画素値（若しくは画像処理装置内のメモリから読み出された画素値）は、入力画素値１２１として入力画素記憶部１０１に格納されると共に、出力座標算出部１０６にも入力される。
【００１８】
画素補間処理部１０２は、入力画素に対応する出力画像上の画素の画素値を求める為に必要な画素（入力画素の周辺画素位置における画素）の画素値を入力周辺画素値１２２として入力画素記憶部１０１から読み出す。更に画素補間処理部１０２は、入力画素について出力座標算出部１０６が求めた各画素の画素位置（ｘ座標値とｙ座標値）の小数部１２７を、出力座標算出部１０６から取得する。そして画素補間処理部１０２は、読み出した入力周辺画素値１２２と、取得した各画素の画素位置の小数部１２７と、を用いて補間処理を行い、入力画素に対応する出力画像上の画素の画素値を求める。
【００１９】
補間処理には様々な補間技術を適用することができるが、例えば、バイリニア補間を行う場合、入力画素を含む２×２ピクセルからバイリニア補間を行い、補間された画素を出力する。また、バイキュービック補間を行う場合、入力画素を含む４×４ピクセルからバイキュービック補間を行い、補間された画素を出力する。
【００２０】
そして画素補間処理部１０２は、求めた画素値を入力補間画素値１２３としてメモリ書き込み部１０３に対して送出する。
【００２１】
メモリ書き込み部１０３は、出力座標算出部１０６から「入力画素に対応する出力画像上の画素の画素位置の整数部１２８」を受け取り、受け取った整数部１２８で表される画素位置に対応する記憶部１０４内のアドレスを特定する。そしてメモリ書き込み部１０３は、画素補間処理部１０２から受け取った入力補間画素値１２３を書き込み画素値１２４として、この特定したアドレスに格納する。
【００２２】
ランダムなアドレスに対する書き込みは低速である。しかし、連続するメモリアドレスへの書き込みが高速であるＤＲＡＭのようなメモリを記憶部１０４として用いる場合、メモリ書き込み部１０３内で入力補間画素値１２３のバッファリングを行う。そして、複数の入力補間画素値１２３をまとめて記憶部１０４に書き出すようにする。
【００２３】
メモリ読み出し部１０５は、記憶部１０４に格納されている射影変換済みの画像の各画素の画素値を順次読み出し、出力画素値１２６として出力する。出力する順序については特に限定するものではないが、ラスタ順や縦方向を主走査とする方式や、タイルに分割してタイル毎に読み出しを行う方法などが考えられる。
【００２４】
次に、出力座標算出部１０６のより詳細な機能構成例について、図２のブロック図を用いて説明する。入力画素座標生成部２０１は、入力画素値１２１を受け取ると、この入力画素の入力画像上（入力画像中）における画素位置を求める。例えば、入力画素値１２１の中にＶＳＹＮＣ、ＨＳＹＮＣ信号が含まれているとする。この場合、入力画素座標生成部２０１はＶＳＹＮＣを受けると、Ｙ座標を０にリセットする。また入力画素座標生成部２０１は、ＨＳＹＮＣを受けると、Ｘ座標を０にリセットすると共に、前回のＨＳＹＮＣ信号を受けたときから画素値が入力されるとＹ座標を＋１する。画素値が入力された時はＸ座標を＋１する。そして入力画素座標生成部２０１は、このようにしてカウントしたＸ座標、Ｙ座標をセットにして、入力画素座標値２２１として座標変換部２０２及び入力座標比較部２０５に対して送出する。なお、入力画素値１２１に入力画素の画素位置が含まれている場合には、この画素位置をそのまま入力画素座標値２２１として、座標変換部２０２及び入力座標比較部２０５に対して送出する。
【００２５】
座標変換部２０２は、射影変換用のマトリクスを用いて、入力画素座標値２２１に対する射影変換を行い、射影変換後の座標値を出力画素座標値２２２として求める。このマトリクスは、ｍ１１〜ｍ３３を成分とする３×３の行列で表される。この行列を用いて入力画素座標値２２１（ｘｉ，ｙｉ）に対する射影変換を行うことで、この入力画素座標値２２１（ｘｉ，ｙｉ）が写像される画素座標位置である出力画素座標値２２２（ｘｏ，ｙｏ）を求める。
【００２６】
この時、２×２ピクセルのバイリニア補間や４×４ピクセルのバイキュービックフィルタなどの偶数次のフィルタであればフィルタの中心座標が入力画素座標の中心から（＋０．５，＋０．５）ずれている。そのため、（ｘｉ＋０．５，ｙｉ＋０．５）に対する座標変換を行う。奇数次のフィルタであればフィルタの中心座標が（ｘｉ，ｙｉ）と同じであるため、（ｘｉ，ｙｉ）に対する座標変換を行う。以下に示す例は偶数次フィルタの時の出力画素座標値２２２（ｘｏ，ｙｏ）算出式である。
【００２７】
ｘｏ０＝ｍ１１・（ｘｉ＋０．５）＋ｍ１２・（ｙｉ＋０．５）＋ｍ１３
ｙｏ０＝ｍ２１・（ｘｉ＋０．５）＋ｍ２２・（ｙｉ＋０．５）＋ｍ２３
ｚｏ０＝ｍ３１・（ｘｉ＋０．５）＋ｍ３２・（ｙｉ＋０．５）＋ｍ３３
ｘｏ＝ｘｏ０／ｚｏ０
ｙｏ＝ｙｏ０／ｚｏ０
そして座標変換部２０２は、このようにして求めた出力画素座標値２２２（ｘｏ、ｙｏ）を、後段の出力画素周辺座標生成部２０３に対して送出する。
【００２８】
出力画素周辺座標生成部２０３は、ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせに対して予め設定された複数の参照画素位置を取得する。
【００２９】
出力画素周辺座標生成部２０３のより詳細な機能構成例について、図３のブロック図を用いて説明する。出力座標量子化部２０６は、出力画素座標値２２２（ｘｏ、ｙｏ）に対して以下の式を適用することで、ｘｏの整数部ｘｏｃ、ｙｏの整数部ｙｏｃを算出する。
【００３０】
ｘｏｃ＝ｆｌｏｏｒ（ｘｏ＋０．５）
ｙｏｃ＝ｆｌｏｏｒ（ｙｏ＋０．５）
なお、ｆｌｏｏｒ（ｘ）関数は、ｘ以下の最大の整数を返す関数である。そして出力座標量子化部２０６は、画素位置（ｘｏｃ、ｙｏｃ）を、出力画素座標整数部２３１として、後段のサブ領域判定部２０７に対して出力する。
【００３１】
一方、出力座標量子化部２０６は、出力画素座標値２２２（ｘｏ、ｙｏ）に対して以下の式を適用することで、ｘｏの小数部ｘｏｆ、ｙｏの小数部ｙｏｆを算出する。ここでは、後の判定を０≦ｘｏｆ＜１，０≦ｙｏｆ＜１で行うためにｘｏ，ｙｏからそれぞれの整数部を減じた後に０．５を加えているが、判定の都合によってｘｏｆ，ｙｏｆの算出式を変えることもできる。
【００３２】
ｘｏｆ＝ｘｏ−ｆｌｏｏｒ（ｘｏ＋０．５）＋０．５
ｙｏｆ＝ｙｏ−ｆｌｏｏｒ（ｙｏ＋０．５）＋０．５
そして出力座標量子化部２０６は、このようにして求めたｘｏｆ、ｙｏｆを、出力画素座標小数部２３３として、後段のサブ領域判定部２０７に対して出力する。
【００３３】
サブ領域判定部２０７は、ｘｏｆが既定値以上であるか否か及び／又はｙｏｆが既定値以上であるか否かの組み合わせを特定する。ここで、サブ領域判定部２０７の動作について、図４を用いて説明する。図４のグラフにおいて横軸はｘｏｆ、縦軸はｙｏｆを示す。
【００３４】
図４において領域３０１は、次のような条件を満たす領域である。先ず、画素位置（ｘｏｃ、ｙｏｃ）の右に隣接する画素位置（ｘｏｃ＋１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ１、ｑ１）であったとする。このとき、ｐ１の整数部がｘｉと一致し、且つｑ１の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０１である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０１内に位置する場合、画素位置（ｘｏｃ＋１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られるｐ１、ｑ１のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００３５】
以下に上記の射影変換の逆変換を行い（ｐｏ，ｑｏ）から（ｐｉ，ｑｉ）を求める式と、偶数次フィルタで補間係数ｋを０≦ｋ＜１の範囲とする時の（ｐｉ，ｑｉ）から整数部（ｐｉｃ，ｑｉｃ）を算出する式を示す。なお、奇数次フィルタで補間係数ｋを−０．５≦ｋ＜０．５とするときはｐｉ，ｑｉに０．５を加えて整数部（ｐｉｃ，ｑｉｃ）を求める。
【００３６】
ｐｉ０＝ｒ１１・ｐｏ＋ｒ１２・ｑｏ＋ｒ１３
ｑｉ０＝ｒ２１・ｐｏ＋ｒ２２・ｑｏ＋ｒ２３
ｒｉ０＝ｒ３１・ｐｏ＋ｒ３２・ｑｏ＋ｒ３３
ｐｉ＝ｐｉ０／ｒｉ０
ｑｉ＝ｑｉ０／ｒｉ０
但し、（ｒ１１−ｒ３３）は（ｍ１１−ｍ３３）の逆行列である。射影変換に限定すれば、（ｒ１１−ｒ３３）は（ｍ１１−ｍ３３）の逆行列の定数倍であってもよい。
【００３７】
ｐｉｃ＝ｆｌｏｏｒ（ｐｉ）
ｑｉｃ＝ｆｌｏｏｒ（ｑｉ）
同様に、画素位置（ｘｏｃ、ｙｏｃ）の下に隣接する画素位置（ｘｏｃ、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ２、ｑ２）であったとする。このとき、ｐ２の整数部がｘｉと一致し、且つｑ２の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０２である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０２内に位置する場合、画素位置（ｘｏｃ、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られるｐ２、ｑ２のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００３８】
同様に、画素位置（ｘｏｃ、ｙｏｃ）の左下に隣接する画素位置（ｘｏｃ−１、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ３、ｑ３）であったとする。このとき、ｐ３の整数部がｘｉと一致し、且つｑ３の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１１である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１１内に位置する場合、画素位置（ｘｏｃ−１、ｙｏｃ＋１）に上記の射影変換の逆変換を施すことで得られるｐ３、ｑ３のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００３９】
同様に、画素位置（ｘｏｃ、ｙｏｃ）の左に隣接する画素位置（ｘｏｃ−１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ４、ｑ４）であったとする。このとき、ｐ４の整数部がｘｉと一致し、且つｑ４の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０３である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０３内に位置する場合、画素位置（ｘｏｃ−１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られるｐ４、ｑ４のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００４０】
同様に、画素位置（ｘｏｃ、ｙｏｃ）の上に隣接する画素位置（ｘｏｃ、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ５、ｑ５）であったとする。このとき、ｐ５の整数部がｘｉと一致し、且つｑ５の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０４である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０４内に位置する場合、画素位置（ｘｏｃ、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られるｐ５、ｑ５のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００４１】
同様に、画素位置（ｘｏｃ、ｙｏｃ）の右上に隣接する画素位置（ｘｏｃ＋１、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ６、ｑ６）であったとする。このとき、ｐ６の整数部がｘｉと一致し、且つｑ６の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１３である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１３内に位置する場合、画素位置（ｘｏｃ＋１、ｙｏｃ−１）に上記の射影変換の逆変換を施すことで得られるｐ６、ｑ６のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００４２】
なお、図４では、画素位置（ｘｏｃ−１、ｙｏｃ−１）、（ｘｏｃ＋１、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置は、ｘ座標値の整数部＝ｘｉ且つｙ座標値の整数部＝ｙｉという条件は満たしていないことになっている。
【００４３】
然るに、図４を例に取り説明すると、サブ領域判定部２０７は、出力画素座標小数部２３３としてのｘｏｆが、０≦ｘｏｆ＜０．５の範囲（サブ領域）に属しているのかそれとも０．５≦ｘｏｆ＜１の範囲（サブ領域）に属しているのかを判定する。そしてサブ領域判定部２０７は、この判定の結果を、後段のサブ領域周辺座標出力部２０８に対して通知する。
【００４４】
サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆが、０≦ｘｏｆ＜０．５の範囲（サブ領域）に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００４５】
（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ−１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ−１、ｙｏｃ＋１）
一方、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆが、０．５≦ｘｏｆ＜１．０の範囲（サブ領域）に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００４６】
（ｘｏｃ＋１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ＋１、ｙｏｃ−１）
そしてサブ領域周辺座標出力部２０８は、上記のように、ｘｏｆの属する範囲に応じて決まる参照画素位置と、画素位置（ｘｏｃ、ｙｏｃ）と、を出力画素周辺座標値２２３として出力する。
【００４７】
なお、ｘｏｆの属する範囲に応じて参照画素位置を決定する方法は特に限定するものではなく、様々な方法が考え得る。例えば、ｘｏｆの属する範囲毎に、対応する参照画素位置を登録したテーブルを用いて、上記の求めたｘｏｃに対応する参照画素位置をこのテーブルから取得しても良い。
【００４８】
座標逆変換部２０４は、出力画素周辺座標値２２３としてのそれぞれの画素位置に対して、上記の射影変換の逆変換を施すことで、出力画素周辺座標値２２３としてのそれぞれの画素位置に対応する逆変換座標値を求める。ここで、ｘｏｆの属する範囲に応じて決まる参照画素位置に対して、上記の射影変換の逆変換を施すことで得られる画素位置を（ｘｉ’、ｙｉ’）と表記する。また、画素位置（ｘｏｃ、ｙｏｃ）に対して上記の射影変換の逆変換を施す（計算する）ことで得られる画素位置を（ｘｉ”、ｙｉ”）と表記する。
【００４９】
そして座標逆変換部２０４は、この求めたそれぞれの逆変換座標値（ｘｉ’、ｙｉ’）、（ｘｉ”、ｙｉ”）を入力比較座標値２２４として、後段の入力座標比較部２０５に対して送出する。
【００５０】
入力座標比較部２０５は、画素位置（ｘｉ”、ｙｉ”）、それぞれの（ｘｉ’、ｙｉ’）、のうち、ｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置を特定する。そして入力座標比較部２０５は、特定した画素位置のｘ座標値の小数部及びｙ座標値の小数部を小数部１２７として画素補間処理部１０２に送出し、画素位置（ｘｏｃ、ｙｏｃ）１２８はメモリ書き込み部１０３に対して送出する。これにより画素補間処理部１０２は、上記の補間処理を行うことで、出力画像上の画素位置（ｘｏｃ、ｙｏｃ）における画素値を求めることができる。また、メモリ書き込み部１０３は、画素位置（ｘｏｃ、ｙｏｃ）に対応する記憶部１０４上のアドレスに、画素位置（ｘｏｃ、ｙｏｃ）における画素値を格納することができる。
【００５１】
＜変形例＞
サブ領域判定部２０７の動作の変形例について、図５を用いて説明する。図５のグラフにおいて横軸はｘｏｆ、縦軸はｙｏｆを示す。図５に示した参照番号が指し示す対象は、形状こそ違うものの、基本的な事項については図４と同じである。
【００５２】
図５において領域３１２は、次のような条件を満たす領域である。先ず、画素位置（ｘｏｃ、ｙｏｃ）の左上に隣接する画素位置（ｘｏｃ−１、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ７、ｑ７）であったとする。このとき、ｐ７の整数部がｘｉと一致し、且つｑ７の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１２である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１２内に位置する場合、画素位置（ｘｏｃ−１、ｙｏｃ−１）に上記の射影変換の逆変換を施すことで得られるｐ７、ｑ７のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００５３】
同様に、画素位置（ｘｏｃ、ｙｏｃ）の右下に隣接する画素位置（ｘｏｃ＋１、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ８、ｑ８）であったとする。このとき、ｐ８の整数部がｘｉと一致し、且つｑ８の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１０である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１０内に位置する場合、画素位置（ｘｏｃ＋１、ｙｏｃ＋１）に上記の射影変換の逆変換を施すことで得られるｐ８、ｑ８のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００５４】
本変形例の場合、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．０≦ｘｏｆ＜０．５、０．０≦ｙｏｆ＜０．５の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００５５】
（ｘｏｃ−１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ−１、ｙｏｃ−１）
また、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．５≦ｘｏｆ＜１．０、０．０≦ｙｏｆ＜０．５の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００５６】
（ｘｏｃ＋１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ＋１、ｙｏｃ−１）
また、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．０≦ｘｏｆ＜０．５、０．５≦ｙｏｆ＜１．０の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００５７】
（ｘｏｃ−１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ−１、ｙｏｃ＋１）
また、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．５≦ｘｏｆ＜１．０、０．５≦ｙｏｆ＜１．０の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００５８】
（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ＋１、ｙｏｃ ）
（ｘｏｃ＋１、ｙｏｃ＋１）
このように、ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせについては様々なものがあり、第１の実施形態や本変形例に限定するものではない。そして何れにせよ、それぞれの組み合わせには、予め設定された複数の参照画素位置が対応付けられているので、どのような組み合わせを想定しても、対応する参照画素位置群は一意に特定することができる。
【００５９】
以上の説明により、本変形例を含めた本実施形態によれば、座標変換（座標逆変換）が必要な周辺画素の数を削減することができる。必要となる座標変換数を従来より少なくすることができるため、回路量を従来の書き込み時座標変換方式より少なくすることができる。
【００６０】
また、必要なメモリ帯域のピーク値が小さいまま、ハードウェア実装したときの回路量を小さくすることができる、あるいはソフトウェア実装した時に処理性能が高い射影変換を行うことができる。
【００６１】
［第２の実施形態］
本実施形態に係る画像処理装置の機能構成例について、図６のブロック図を用いて説明する。図６において図１と同じ構成用件については同じ参照番号を付けており、その説明は省略する。本実施形態に係る画像処理装置は、図１に示した構成において、出力座標算出部１０６を出力座標算出部６０６に置き換えたものであり、この出力座標算出部６０６には、上記のマトリクスのデータである変形パラメータ１２９が入力される。然るに、出力座標算出部６０６以外の構成用件については第１の実施形態で説明したとおりであるため、以下ではこの出力座標算出部６０６について説明する。
【００６２】
尚、以下の説明では、第１の実施形態でｘｏ、ｙｏ、ｘｏｃ、ｙｏｃと表したものをそれぞれｘｏｔ、ｙｏｔ、ｘｏｔＣ、ｙｏｔＣと表記する。即ち、変数名が異なるだけで、指し示すものは同じであり、例えば、ｘｏとｘｏｔとは指し示すものは同じである。
【００６３】
出力座標算出部６０６の機能構成例について、図７のブロック図を用いて説明する。図７において図２と同じ構成用件については同じ参照番号を付けており、その説明は省略する。
【００６４】
座標変換部２０２は、第１の実施形態で説明したマトリクスのデータとしての変形パラメータ１２９を受けると、この変形パラメータ１２９を用いて第１の実施形態と同様にして、入力画素座標値２２１に対する射影変換を行う。そして座標変換部２０２は、この射影変換により得られた座標値を出力画素座標値２２２として、後段の出力画素周辺座標生成部２０３に対して送出する。
【００６５】
判定条件生成部７０３は、変形パラメータ１２９を受けると、この変形パラメータ１２９を用いて、参照画素位置を決定するための条件を生成する。そして判定条件生成部７０３は、この生成した条件を、判定条件７０４として出力画素周辺座標生成部２０３に対して供給する。判定条件生成部７０３の動作について、詳しくは後述する。
【００６６】
座標逆変換部２０４は、第１の実施形態で説明したマトリクスのデータとしての変形パラメータ１２９を受けると、この変形パラメータ１２９を用いて第１の実施形態と同様にして、出力画素周辺座標値２２３に対して射影変換の逆変換を行う。そして座標逆変換部２０４は、この逆変換により得られた逆変換座標値を入力画素周辺座標値７０１として、後段の座標出力部７０２に対して送出する。
【００６７】
座標出力部７０２は、入力画素周辺座標値７０１のｘ座標値の小数部及びｙ座標値の小数部を小数部１２７として画素補間処理部１０２に送出する。更に座標出力部７０２は、画素位置（ｘｏｔＣ、ｙｏｔＣ）を整数部１２８としてメモリ書き込み部１０３に送出する。
【００６８】
出力座標算出部６０６は、一例として画像変形を行わない場合は、１つの入力画素値１２１に対して、１つの整数部１２８及び１つの小数部１２７を出力する。具体的には、変形パラメータ１２９がｍ１１〜ｍ３３からなる３ｘ３の単位行列のときがこのような場合に当たる。また、その他の例として、画像変形が拡大部分を含むときは、１つの入力画素値１２１に対して、複数の整数部１２８及び小数部１２７が出力される場合がある。
【００６９】
出力画素周辺座標生成部２０３は先ず、ｘｏの小数部ｘｏｔｆ、ｙｏの小数部ｙｏｔｆを以下の式により求める。
【００７０】
ｘｏｔｆ＝ｘｏｔ−ｆｌｏｏｒ（ｘｏｔ＋０．５）＋０．５
ｙｏｔｆ＝ｙｏｔ−ｆｌｏｏｒ（ｙｏｔ＋０．５）＋０．５
そして出力画素周辺座標生成部２０３は、ｘｏｔｆ及びｙｏｔｆが、判定条件７０４を満たす場合には、この判定条件７０４に対応する複数の参照画素位置を取得する。そして出力画素周辺座標生成部２０３は、この取得した複数の参照画素位置と、画素位置（ｘｏｔＣ、ｙｏｔＣ）と、を出力画素周辺座標値２２３として出力する。ここで、出力画素周辺座標生成部２０３が出力画素周辺座標値２２３として出力する可能性があるものは、以下の９個の座標値である。
【００７１】
（ｘｏｔＣ−１，ｙｏｔＣ−１）
（ｘｏｔＣ＋０，ｙｏｔＣ−１）
（ｘｏｔＣ＋１，ｙｏｔＣ−１）
（ｘｏｔＣ−１，ｙｏｔＣ＋０）
（ｘｏｔＣ＋０，ｙｏｔＣ＋０）
（ｘｏｔＣ＋１，ｙｏｔＣ＋０）
（ｘｏｔＣ−１，ｙｏｔＣ＋１）
（ｘｏｔＣ＋０，ｙｏｔＣ＋１）
（ｘｏｔＣ＋１，ｙｏｔＣ＋１）
図８のグラフにおいて横軸はｘｏｔｆ、縦軸はｙｏｔｆを示す。図８において領域８０１は、次のような条件を満たす領域である。先ず、画素位置（ｘｏｔＣ、ｙｏｔＣ）の左上に隣接する画素位置（ｘｏｔＣ−１、ｙｏｔＣ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ１、ｑ１）であったとする。このとき、ｐ１の整数部がｘｉと一致し、且つｑ１の整数部がｙｉと一致するような、ｘｏｔｆ、ｙｏｔｆの範囲が領域８０１である。然るに、求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が領域８０１内に位置する場合、画素位置（ｘｏｔＣ−１、ｙｏｔＣ−１）に上記の射影変換の逆変換を施して得られるｐ１、ｑ１のそれぞれの整数部はｘｉ、ｙｉと一致する。これは、他の領域８００，８０２〜８０５，８０８についても同様である。なお、それぞれの領域は重なる場合があり、図８では見易さの都合上、４つに分けて図示している。また、図８では、出力画素周辺座標生成部２０３が出力画素周辺座標値２２３として出力する可能性があるものは、以下の７個の座標値としている。
【００７２】
（ｘｏｔＣ−１，ｙｏｔＣ−１）
（ｘｏｔＣ＋０，ｙｏｔＣ−１）
（ｘｏｔＣ−１，ｙｏｔＣ＋０）
（ｘｏｔＣ＋０，ｙｏｔＣ＋０）
（ｘｏｔＣ＋１，ｙｏｔＣ＋０）
（ｘｏｔＣ＋０，ｙｏｔＣ＋１）
（ｘｏｔＣ＋１，ｙｏｔＣ＋１）
判定条件生成部７０３は、それぞれの領域８００〜８０５，８０８を規定するパラメータを判定条件７０４として出力画素周辺座標生成部２０３に対して送出する。例えば、図８に示す如く、領域８０１は、直線Ａ８０６と直線Ｂ８０７とｘｏｔｆ軸とｙｏｔｆ軸とによって囲まれている。直線Ａ８０６と直線Ｂ８０７は以下のとおり表わすことができる。
【００７３】
ｙ＝Ａ１・ｘ＋Ａ２ （直線Ａ）
ｙ＝Ｂ１・ｘ＋Ｂ２ （直線Ｂ）
然るに、判定条件生成部７０３は、領域８０１を規定するパラメータとして、以下の条件を示すパラメータを生成する。
【００７４】
０．０ ≦ ｘｏｔｆ ≦ １．０
０．０ ≦ ｙｏｔｆ ≦ １．０
ｙｏｔｆ ≧ Ａ１・ｘｏｔｆ＋Ａ２ （直線Ａ）
ｙｏｔｆ ≧ Ｂ１・ｘｏｔｆ＋Ｂ２ （直線Ｂ）
また判定条件生成部７０３は、他の領域８００，８０２〜８０５，８０８についてもこのような、それぞれの領域を規定するパラメータを生成する。そして判定条件生成部７０３は、それぞれの領域８００〜８０５，８０８について生成したパラメータをまとめて判定条件７０４として出力画素周辺座標生成部２０３に対して送出する。
【００７５】
ここで、各領域を規定するためのパラメータを求めるための方法について説明する。各領域は、変形パラメータ１２９に依存しているため、各領域を規定するためのパラメータは、この変形パラメータ１２９を用いて生成されることになる。具体的には、各隣接画素座標値に対応する領域を囲む直線式の傾き係数と切片係数を求める。
【００７６】
四角形が記されている図９（ａ）の入力画像（ｘｉ−ｙｉ平面）に対して変形パラメータ１２９を用いた画像変形処理を行うことで、変形した四角形が記されている図９（ｂ）の出力画像（ｘｏｔ−ｙｏｔ平面）が得られたとする。図９（ａ）の四角形は頂点（入力端点）９０２〜９０５で構成されており、図９（ｂ）の四角形は頂点（出力端点）９０６〜９０９で構成されている。
【００７７】
各領域の求め方について、図１０を用いて説明する。図９（ａ）に示した入力端点９０２〜９０５のうち１つを入力端点５０５として選び、画像変形処理による入力端点５０５の変換後の端点を出力端点５０７として求める。出力端点５０７の画素位置を（Ａｘｏ，Ａｙｏ）とすると、画素位置（ｆｌｏｏｒ（Ａｘｏ）＋０．５、ｆｌｏｏｒ（Ａｙｏ）＋０．５）に出力中心点５０６を設定する。
【００７８】
次に、画像変形処理の逆変換処理による出力中心点５０６の変換後の点を入力中心点５０８として求める。入力中心点５０８の画素位置を（Ａｃｘｉ，Ａｃｙｉ）とすると、以下の４つの画素位置にそれぞれ入力近傍点５０９〜５１２を設定する。
【００７９】
（Ａｃｘｉ−０．５，Ａｃｙｉ＋０．５）
（Ａｃｘｉ＋０．５，Ａｃｙｉ＋０．５）
（Ａｃｘｉ＋０．５，Ａｃｙｉ＋０．５）
（Ａｃｘｉ−０．５，Ａｃｙｉ−０．５）
次に、画像変形処理による入力近傍点５０９〜５１２の変換後の点をそれぞれ出力近傍点５１４〜５１７として求める。そして出力近傍点５１４〜５１７で囲まれている領域のうち、０．０≦ｘｏｔ＜１．０且つ０．０≦ｙｏｔ＜１．０を満たす領域内を、判定領域５１８として求める。
【００８０】
以上の判定領域５１８を求めるための処理を、入力端点９０２〜９０５のそれぞれについて行い、それぞれの領域について求めた判定領域５１８の和集合としての領域を、画素位置（ｘｏｔＣ，ｙｏｔＣ）に対する領域として出力する。同様の処理を、出力座標系５０１において出力中心点５０６を選択するとき、±１．０の８つの隣接画素座標に対して実行し、全ての領域を求めることができる。
【００８１】
出力画素周辺座標生成部２０３はこの判定条件７０４を受けると、判定条件７０４に含まれているそれぞれのパラメータを参照する。そして出力画素周辺座標生成部２０３は、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が領域８００〜８０５，８０８の何れに属しているのかを判定する。そして出力画素周辺座標生成部２０３は、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が属していると判定した領域に対応する画素位置（参照画素位置）を出力する。
【００８２】
例えば、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が、領域８０１内に位置している場合、画素位置（ｘｏｔＣ−１、ｙｏｔＣ−１）を参照画素位置として出力する。このようにして出力画素周辺座標生成部２０３は、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が属していると判定した領域に対応する画素位置（参照画素位置）を出力する。
【００８３】
このように、本実施形態では、変形パラメータ１２９をもとに判定条件７０４を生成し、判定条件７０４にもとづき入力画素値１２１に対応する出力画素周辺座標値２２３を選択する。拡大率が２倍未満のとき、出力画素周辺座標値２２３の候補は９点だが、ここまでの説明のとおり、判定条件７０４を用いることで、出力画素周辺座標値２２３を４点以下に削減できる。この結果、座標逆変換部２０４による逆変換回数を削減できる。必要となる座標変換数を従来より少なくすることができるため、回路量を従来の書き込み時座標変換方式より少なくすることができる。また、必要なメモリ帯域のピーク値が小さいまま、ハードウェア実装したときの回路量が小さい、あるいはソフトウェア実装した時に処理性能が高い射影変形を行う画像処理技術を実現することができる。なお、本実施形態は、拡大率が任意の倍率の場合にも近傍点数を増やすことで同様に拡張可能である。
【００８４】
また、図１〜３，６，７に示した各部のうち、メモリとして機能するもの以外については、ソフトウェア（コンピュータプログラム）で実現させても良い。この場合、このメモリを有し、且つこのソフトウェアをインストールしたコンピュータは、このコンピュータが有するＣＰＵがこのソフトウェアを実行することで、上記の画像処理装置として機能することになる。もちろん、図１〜３，６，７に示した全ての構成用件をハードウェアで実現させても良いし、一部をソフトウェアとして実現させても良い。
【００８５】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像変形技術に関するものである。
【背景技術】
【０００２】
従来の画像変形を行う画像処理装置では、まず入力画素を１画面分メモリに記憶する。次に、出力画素の走査順に、出力画素の座標値から入力画素の座標値を座標変換の逆変換によって算出する。さらに、逆変換で得られた入力画素の座標値の整数部を用いて入力画素の近傍の画素をメモリから読み出し、近傍の画素と入力画素の座標値の小数部とを用いて補間計算によって出力画素の値を決定する操作を繰り返す。これらの操作により画像変形を行う画像処理を実現していた。上記方法を以下では、「読み出し時座標変換」と呼ぶ。例えば、特許文献１では、出力画像をタイルに分割し、分割されたタイル毎に読み出し時座標変換を行う画像処理方法が示されている。
【０００３】
ところで、フロントプロジェクタの台形補正やカメラのレンズ補正を行う場合、入力画像から出力画像への拡大率は最小０．６倍〜最大１．２５倍程度になる。さらに、映像入出力をリアルタイムで実現しなくてはならないという制約がある。映像入出力を１［ｐｉｘｅｌ／ｃｙｃ］で行うという制約下で上記に示す画像処理方法を実装すると、必要なメモリ帯域のピーク値が書き込みと読み出しの合計で（１＋１／拡大率の最小値）［ｐｉｘｅｌ／ｃｙｃ］になってしまう。例えば拡大率の最小値が０．６倍であればピーク時に２．６７［ｐｉｘｅｌ／ｃｙｃ］のメモリ帯域が必要になってしまう。
【０００４】
これに対し、以下で「書き込み時座標変換」と呼ぶ方式がある。この方式は、まず、走査順に入力される入力画素に対して座標変換によって出力座標を算出する。次に、出力座標の整数部からメモリの格納先アドレスを算出する。さらに、出力座標の整数部から座標変換の逆変換により入力画像中の座標を求める。逆変換により求めた座標の整数部が元々の入力画素の座標に一致するときに、入力画素とその近傍の画素と、座標変換の逆変換によって求めた座標値の小数部とを用いて出力する画素値を補完計算によって求める。この画素値を先に求めた格納先アドレスに格納する。
【０００５】
書き込み時座標変換方式における必要なメモリ帯域のピーク値は、書き込みと読み出しの合計で（１＋拡大率の最大値）［ｐｉｘｅｌ／ｃｙｃ］になる。拡大率の最大値が１．２５倍の時、この値は２．２５［ｐｉｘｅｌ／ｃｙｃ］になり、想定する拡大率の範囲内では読み出し時座標変換よりメモリ帯域のピーク値を小さくすることができる。
【０００６】
しかしながら、上記のままの書き込み時座標変換では、出力されない画素が発生することがあるため、対策が必要である。例えば、書き込み時座標変換を行っている特許文献２では、入力画素の座標をサブピクセル単位で走査することで出力されない画素が発生することを防いでいる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１３５０９６号公報
【特許文献２】特開平６−１４９９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１の方式では、必要なメモリ帯域のピーク値が、想定する拡大率の範囲内で大きくなってしまう。特許文献２の方式では、サブピクセルでの走査をＸ軸方向とＹ軸方向で共に１／２ピクセルとした場合でも座標変換で４点分、逆変換で４点分の演算が必要になる。射影変換は座標変換と逆変換の演算量が同じで、どちらの演算にも除算が含まれる。このため、特許文献２の方式では、ハードウェアで実装したときの回路量が大きくなり、ソフトウェア実装であれば処理性能が低下してしまう。
【０００９】
本発明はこのような問題に鑑みてなされたものであり、必要なメモリ帯域のピーク値が小さく、かつ、ハードウェア実装時の回路量が小さい、あるいはソフトウェア実装時の処理性能が高い画像変形技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、入力画像に対して画像変形処理を行うことで出力画像を生成する画像処理装置であって、前記入力画像に対して前記画像変形処理を行うことで該入力画像中の画素位置（ｘｉ、ｙｉ）が写像される画素位置（ｘｏ、ｙｏ）を求める手段と、ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせに対して予め設定された複数の参照画素位置を取得する取得手段と、前記複数の参照画素位置のそれぞれに対して前記写像の逆写像を行うことで、画素位置（ｘｉ’、ｙｉ’）を求める手段と、前記ｘｏの整数部ｘｏｃ及びｙｏの整数部ｙｏｃで表される画素位置（ｘｏｃ、ｙｏｃ）に対して前記逆写像を行うことで、画素位置（ｘｉ”、ｙｉ”）を求める手段と、前記画素位置（ｘｉ”、ｙｉ”）、前記複数の参照画素位置のそれぞれについて求めた前記画素位置（ｘｉ’、ｙｉ’）、のうち、ｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置を特定する特定手段と、前記特定手段が特定した画素位置のｘ座標値の小数部及びｙ座標値の小数部と、前記入力画像中の画素位置（ｘｉ、ｙｉ）の周辺画素位置における画素の画素値と、を用いた補間処理を行うことにより、前記出力画像上の画素位置（ｘｏｃ、ｙｏｃ）における画素値を求める算出手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明の構成によれば、必要なメモリ帯域のピーク値が小さく、かつ、ハードウェア実装時の回路量が小さい、あるいはソフトウェア実装時の処理性能が高い画像変形技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置の機能構成例を示すブロック図。
【図２】出力座標算出部１０６のより詳細な機能構成例を示すブロック図。
【図３】出力画素周辺座標生成部２０３のより詳細な機能構成例を示すブロック図。
【図４】サブ領域判定部２０７の動作を説明する為のグラフ。
【図５】サブ領域判定部２０７の動作の変形例を説明するためのグラフ。
【図６】画像処理装置の機能構成例を示すブロック図。
【図７】出力座標算出部６０６の機能構成例を示すブロック図。
【図８】領域を求める処理を説明するグラフ。
【図９】領域を求める処理を説明するグラフ。
【図１０】領域を求める処理を説明するグラフ。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１４】
［第１の実施形態］
本実施形態では、座標変換後の出力座標の小数部によって２領域に分割することで座標変換（座標逆変換）が必要な周辺画素数を中心座標も含めて５点まで削減する例と、４領域に分割することで４点まで削減する例とを示す。どの様な領域に分割するかは任意であり、その結果、逆変換（逆写像）が必要な周辺画素数が何点まで削減されるかは領域分割方法によって変わってくる。しかし、どの様な領域に分割するかは容易に変更することができる。
【００１５】
また、本実施形態では、画像変形処理の一例として、射影変換を行う場合について説明するが、画素位置（座標）の座標変換とその逆変換が存在するのであれば、射影変換以外の幾何変換にも適用することができる。
【００１６】
先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。画像処理装置には、画像変形処理を行う対象となる画像（入力画像）が入力されるのであるが、本実施形態ではこの入力画像が画素単位で入力されるものとして説明する。しかし、入力画像をどのようにして画像処理装置に入力するのかについては特に限定するものではない。
【００１７】
画像処理装置に入力された入力画素の画素値（若しくは画像処理装置内のメモリから読み出された画素値）は、入力画素値１２１として入力画素記憶部１０１に格納されると共に、出力座標算出部１０６にも入力される。
【００１８】
画素補間処理部１０２は、入力画素に対応する出力画像上の画素の画素値を求める為に必要な画素（入力画素の周辺画素位置における画素）の画素値を入力周辺画素値１２２として入力画素記憶部１０１から読み出す。更に画素補間処理部１０２は、入力画素について出力座標算出部１０６が求めた各画素の画素位置（ｘ座標値とｙ座標値）の小数部１２７を、出力座標算出部１０６から取得する。そして画素補間処理部１０２は、読み出した入力周辺画素値１２２と、取得した各画素の画素位置の小数部１２７と、を用いて補間処理を行い、入力画素に対応する出力画像上の画素の画素値を求める。
【００１９】
補間処理には様々な補間技術を適用することができるが、例えば、バイリニア補間を行う場合、入力画素を含む２×２ピクセルからバイリニア補間を行い、補間された画素を出力する。また、バイキュービック補間を行う場合、入力画素を含む４×４ピクセルからバイキュービック補間を行い、補間された画素を出力する。
【００２０】
そして画素補間処理部１０２は、求めた画素値を入力補間画素値１２３としてメモリ書き込み部１０３に対して送出する。
【００２１】
メモリ書き込み部１０３は、出力座標算出部１０６から「入力画素に対応する出力画像上の画素の画素位置の整数部１２８」を受け取り、受け取った整数部１２８で表される画素位置に対応する記憶部１０４内のアドレスを特定する。そしてメモリ書き込み部１０３は、画素補間処理部１０２から受け取った入力補間画素値１２３を書き込み画素値１２４として、この特定したアドレスに格納する。
【００２２】
ランダムなアドレスに対する書き込みは低速である。しかし、連続するメモリアドレスへの書き込みが高速であるＤＲＡＭのようなメモリを記憶部１０４として用いる場合、メモリ書き込み部１０３内で入力補間画素値１２３のバッファリングを行う。そして、複数の入力補間画素値１２３をまとめて記憶部１０４に書き出すようにする。
【００２３】
メモリ読み出し部１０５は、記憶部１０４に格納されている射影変換済みの画像の各画素の画素値を順次読み出し、出力画素値１２６として出力する。出力する順序については特に限定するものではないが、ラスタ順や縦方向を主走査とする方式や、タイルに分割してタイル毎に読み出しを行う方法などが考えられる。
【００２４】
次に、出力座標算出部１０６のより詳細な機能構成例について、図２のブロック図を用いて説明する。入力画素座標生成部２０１は、入力画素値１２１を受け取ると、この入力画素の入力画像上（入力画像中）における画素位置を求める。例えば、入力画素値１２１の中にＶＳＹＮＣ、ＨＳＹＮＣ信号が含まれているとする。この場合、入力画素座標生成部２０１はＶＳＹＮＣを受けると、Ｙ座標を０にリセットする。また入力画素座標生成部２０１は、ＨＳＹＮＣを受けると、Ｘ座標を０にリセットすると共に、前回のＨＳＹＮＣ信号を受けたときから画素値が入力されるとＹ座標を＋１する。画素値が入力された時はＸ座標を＋１する。そして入力画素座標生成部２０１は、このようにしてカウントしたＸ座標、Ｙ座標をセットにして、入力画素座標値２２１として座標変換部２０２及び入力座標比較部２０５に対して送出する。なお、入力画素値１２１に入力画素の画素位置が含まれている場合には、この画素位置をそのまま入力画素座標値２２１として、座標変換部２０２及び入力座標比較部２０５に対して送出する。
【００２５】
座標変換部２０２は、射影変換用のマトリクスを用いて、入力画素座標値２２１に対する射影変換を行い、射影変換後の座標値を出力画素座標値２２２として求める。このマトリクスは、ｍ１１〜ｍ３３を成分とする３×３の行列で表される。この行列を用いて入力画素座標値２２１（ｘｉ，ｙｉ）に対する射影変換を行うことで、この入力画素座標値２２１（ｘｉ，ｙｉ）が写像される画素座標位置である出力画素座標値２２２（ｘｏ，ｙｏ）を求める。
【００２６】
この時、２×２ピクセルのバイリニア補間や４×４ピクセルのバイキュービックフィルタなどの偶数次のフィルタであればフィルタの中心座標が入力画素座標の中心から（＋０．５，＋０．５）ずれている。そのため、（ｘｉ＋０．５，ｙｉ＋０．５）に対する座標変換を行う。奇数次のフィルタであればフィルタの中心座標が（ｘｉ，ｙｉ）と同じであるため、（ｘｉ，ｙｉ）に対する座標変換を行う。以下に示す例は偶数次フィルタの時の出力画素座標値２２２（ｘｏ，ｙｏ）算出式である。
【００２７】
ｘｏ０＝ｍ１１・（ｘｉ＋０．５）＋ｍ１２・（ｙｉ＋０．５）＋ｍ１３
ｙｏ０＝ｍ２１・（ｘｉ＋０．５）＋ｍ２２・（ｙｉ＋０．５）＋ｍ２３
ｚｏ０＝ｍ３１・（ｘｉ＋０．５）＋ｍ３２・（ｙｉ＋０．５）＋ｍ３３
ｘｏ＝ｘｏ０／ｚｏ０
ｙｏ＝ｙｏ０／ｚｏ０
そして座標変換部２０２は、このようにして求めた出力画素座標値２２２（ｘｏ、ｙｏ）を、後段の出力画素周辺座標生成部２０３に対して送出する。
【００２８】
出力画素周辺座標生成部２０３は、ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせに対して予め設定された複数の参照画素位置を取得する。
【００２９】
出力画素周辺座標生成部２０３のより詳細な機能構成例について、図３のブロック図を用いて説明する。出力座標量子化部２０６は、出力画素座標値２２２（ｘｏ、ｙｏ）に対して以下の式を適用することで、ｘｏの整数部ｘｏｃ、ｙｏの整数部ｙｏｃを算出する。
【００３０】
ｘｏｃ＝ｆｌｏｏｒ（ｘｏ＋０．５）
ｙｏｃ＝ｆｌｏｏｒ（ｙｏ＋０．５）
なお、ｆｌｏｏｒ（ｘ）関数は、ｘ以下の最大の整数を返す関数である。そして出力座標量子化部２０６は、画素位置（ｘｏｃ、ｙｏｃ）を、出力画素座標整数部２３１として、後段のサブ領域判定部２０７に対して出力する。
【００３１】
一方、出力座標量子化部２０６は、出力画素座標値２２２（ｘｏ、ｙｏ）に対して以下の式を適用することで、ｘｏの小数部ｘｏｆ、ｙｏの小数部ｙｏｆを算出する。ここでは、後の判定を０≦ｘｏｆ＜１，０≦ｙｏｆ＜１で行うためにｘｏ，ｙｏからそれぞれの整数部を減じた後に０．５を加えているが、判定の都合によってｘｏｆ，ｙｏｆの算出式を変えることもできる。
【００３２】
ｘｏｆ＝ｘｏ−ｆｌｏｏｒ（ｘｏ＋０．５）＋０．５
ｙｏｆ＝ｙｏ−ｆｌｏｏｒ（ｙｏ＋０．５）＋０．５
そして出力座標量子化部２０６は、このようにして求めたｘｏｆ、ｙｏｆを、出力画素座標小数部２３３として、後段のサブ領域判定部２０７に対して出力する。
【００３３】
サブ領域判定部２０７は、ｘｏｆが既定値以上であるか否か及び／又はｙｏｆが既定値以上であるか否かの組み合わせを特定する。ここで、サブ領域判定部２０７の動作について、図４を用いて説明する。図４のグラフにおいて横軸はｘｏｆ、縦軸はｙｏｆを示す。
【００３４】
図４において領域３０１は、次のような条件を満たす領域である。先ず、画素位置（ｘｏｃ、ｙｏｃ）の右に隣接する画素位置（ｘｏｃ＋１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ１、ｑ１）であったとする。このとき、ｐ１の整数部がｘｉと一致し、且つｑ１の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０１である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０１内に位置する場合、画素位置（ｘｏｃ＋１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られるｐ１、ｑ１のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００３５】
以下に上記の射影変換の逆変換を行い（ｐｏ，ｑｏ）から（ｐｉ，ｑｉ）を求める式と、偶数次フィルタで補間係数ｋを０≦ｋ＜１の範囲とする時の（ｐｉ，ｑｉ）から整数部（ｐｉｃ，ｑｉｃ）を算出する式を示す。なお、奇数次フィルタで補間係数ｋを−０．５≦ｋ＜０．５とするときはｐｉ，ｑｉに０．５を加えて整数部（ｐｉｃ，ｑｉｃ）を求める。
【００３６】
ｐｉ０＝ｒ１１・ｐｏ＋ｒ１２・ｑｏ＋ｒ１３
ｑｉ０＝ｒ２１・ｐｏ＋ｒ２２・ｑｏ＋ｒ２３
ｒｉ０＝ｒ３１・ｐｏ＋ｒ３２・ｑｏ＋ｒ３３
ｐｉ＝ｐｉ０／ｒｉ０
ｑｉ＝ｑｉ０／ｒｉ０
但し、（ｒ１１−ｒ３３）は（ｍ１１−ｍ３３）の逆行列である。射影変換に限定すれば、（ｒ１１−ｒ３３）は（ｍ１１−ｍ３３）の逆行列の定数倍であってもよい。
【００３７】
ｐｉｃ＝ｆｌｏｏｒ（ｐｉ）
ｑｉｃ＝ｆｌｏｏｒ（ｑｉ）
同様に、画素位置（ｘｏｃ、ｙｏｃ）の下に隣接する画素位置（ｘｏｃ、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ２、ｑ２）であったとする。このとき、ｐ２の整数部がｘｉと一致し、且つｑ２の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０２である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０２内に位置する場合、画素位置（ｘｏｃ、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られるｐ２、ｑ２のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００３８】
同様に、画素位置（ｘｏｃ、ｙｏｃ）の左下に隣接する画素位置（ｘｏｃ−１、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ３、ｑ３）であったとする。このとき、ｐ３の整数部がｘｉと一致し、且つｑ３の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１１である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１１内に位置する場合、画素位置（ｘｏｃ−１、ｙｏｃ＋１）に上記の射影変換の逆変換を施すことで得られるｐ３、ｑ３のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００３９】
同様に、画素位置（ｘｏｃ、ｙｏｃ）の左に隣接する画素位置（ｘｏｃ−１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ４、ｑ４）であったとする。このとき、ｐ４の整数部がｘｉと一致し、且つｑ４の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０３である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０３内に位置する場合、画素位置（ｘｏｃ−１、ｙｏｃ）に対して上記の射影変換の逆変換を施すことで得られるｐ４、ｑ４のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００４０】
同様に、画素位置（ｘｏｃ、ｙｏｃ）の上に隣接する画素位置（ｘｏｃ、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ５、ｑ５）であったとする。このとき、ｐ５の整数部がｘｉと一致し、且つｑ５の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３０４である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３０４内に位置する場合、画素位置（ｘｏｃ、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られるｐ５、ｑ５のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００４１】
同様に、画素位置（ｘｏｃ、ｙｏｃ）の右上に隣接する画素位置（ｘｏｃ＋１、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ６、ｑ６）であったとする。このとき、ｐ６の整数部がｘｉと一致し、且つｑ６の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１３である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１３内に位置する場合、画素位置（ｘｏｃ＋１、ｙｏｃ−１）に上記の射影変換の逆変換を施すことで得られるｐ６、ｑ６のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００４２】
なお、図４では、画素位置（ｘｏｃ−１、ｙｏｃ−１）、（ｘｏｃ＋１、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置は、ｘ座標値の整数部＝ｘｉ且つｙ座標値の整数部＝ｙｉという条件は満たしていないことになっている。
【００４３】
然るに、図４を例に取り説明すると、サブ領域判定部２０７は、出力画素座標小数部２３３としてのｘｏｆが、０≦ｘｏｆ＜０．５の範囲（サブ領域）に属しているのかそれとも０．５≦ｘｏｆ＜１の範囲（サブ領域）に属しているのかを判定する。そしてサブ領域判定部２０７は、この判定の結果を、後段のサブ領域周辺座標出力部２０８に対して通知する。
【００４４】
サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆが、０≦ｘｏｆ＜０．５の範囲（サブ領域）に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００４５】
（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ−１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ−１、ｙｏｃ＋１）
一方、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆが、０．５≦ｘｏｆ＜１．０の範囲（サブ領域）に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００４６】
（ｘｏｃ＋１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ＋１、ｙｏｃ−１）
そしてサブ領域周辺座標出力部２０８は、上記のように、ｘｏｆの属する範囲に応じて決まる参照画素位置と、画素位置（ｘｏｃ、ｙｏｃ）と、を出力画素周辺座標値２２３として出力する。
【００４７】
なお、ｘｏｆの属する範囲に応じて参照画素位置を決定する方法は特に限定するものではなく、様々な方法が考え得る。例えば、ｘｏｆの属する範囲毎に、対応する参照画素位置を登録したテーブルを用いて、上記の求めたｘｏｃに対応する参照画素位置をこのテーブルから取得しても良い。
【００４８】
座標逆変換部２０４は、出力画素周辺座標値２２３としてのそれぞれの画素位置に対して、上記の射影変換の逆変換を施すことで、出力画素周辺座標値２２３としてのそれぞれの画素位置に対応する逆変換座標値を求める。ここで、ｘｏｆの属する範囲に応じて決まる参照画素位置に対して、上記の射影変換の逆変換を施すことで得られる画素位置を（ｘｉ’、ｙｉ’）と表記する。また、画素位置（ｘｏｃ、ｙｏｃ）に対して上記の射影変換の逆変換を施す（計算する）ことで得られる画素位置を（ｘｉ”、ｙｉ”）と表記する。
【００４９】
そして座標逆変換部２０４は、この求めたそれぞれの逆変換座標値（ｘｉ’、ｙｉ’）、（ｘｉ”、ｙｉ”）を入力比較座標値２２４として、後段の入力座標比較部２０５に対して送出する。
【００５０】
入力座標比較部２０５は、画素位置（ｘｉ”、ｙｉ”）、それぞれの（ｘｉ’、ｙｉ’）、のうち、ｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置を特定する。そして入力座標比較部２０５は、特定した画素位置のｘ座標値の小数部及びｙ座標値の小数部を小数部１２７として画素補間処理部１０２に送出し、画素位置（ｘｏｃ、ｙｏｃ）１２８はメモリ書き込み部１０３に対して送出する。これにより画素補間処理部１０２は、上記の補間処理を行うことで、出力画像上の画素位置（ｘｏｃ、ｙｏｃ）における画素値を求めることができる。また、メモリ書き込み部１０３は、画素位置（ｘｏｃ、ｙｏｃ）に対応する記憶部１０４上のアドレスに、画素位置（ｘｏｃ、ｙｏｃ）における画素値を格納することができる。
【００５１】
＜変形例＞
サブ領域判定部２０７の動作の変形例について、図５を用いて説明する。図５のグラフにおいて横軸はｘｏｆ、縦軸はｙｏｆを示す。図５に示した参照番号が指し示す対象は、形状こそ違うものの、基本的な事項については図４と同じである。
【００５２】
図５において領域３１２は、次のような条件を満たす領域である。先ず、画素位置（ｘｏｃ、ｙｏｃ）の左上に隣接する画素位置（ｘｏｃ−１、ｙｏｃ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ７、ｑ７）であったとする。このとき、ｐ７の整数部がｘｉと一致し、且つｑ７の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１２である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１２内に位置する場合、画素位置（ｘｏｃ−１、ｙｏｃ−１）に上記の射影変換の逆変換を施すことで得られるｐ７、ｑ７のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００５３】
同様に、画素位置（ｘｏｃ、ｙｏｃ）の右下に隣接する画素位置（ｘｏｃ＋１、ｙｏｃ＋１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ８、ｑ８）であったとする。このとき、ｐ８の整数部がｘｉと一致し、且つｑ８の整数部がｙｉと一致するような、ｘｏｆ、ｙｏｆの範囲が領域３１０である。然るに、上記の式で求めたｘｏｆ、ｙｏｆによって表される位置（ｘｏｆ、ｙｏｆ）が領域３１０内に位置する場合、画素位置（ｘｏｃ＋１、ｙｏｃ＋１）に上記の射影変換の逆変換を施すことで得られるｐ８、ｑ８のそれぞれの整数部はｘｉ、ｙｉと一致する。
【００５４】
本変形例の場合、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．０≦ｘｏｆ＜０．５、０．０≦ｙｏｆ＜０．５の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００５５】
（ｘｏｃ−１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ−１、ｙｏｃ−１）
また、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．５≦ｘｏｆ＜１．０、０．０≦ｙｏｆ＜０．５の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００５６】
（ｘｏｃ＋１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ−１）
（ｘｏｃ＋１、ｙｏｃ−１）
また、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．０≦ｘｏｆ＜０．５、０．５≦ｙｏｆ＜１．０の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００５７】
（ｘｏｃ−１、ｙｏｃ ）
（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ−１、ｙｏｃ＋１）
また、サブ領域周辺座標出力部２０８は、出力画素座標小数部２３３としてのｘｏｆ、ｙｏｆがそれぞれ、０．５≦ｘｏｆ＜１．０、０．５≦ｙｏｆ＜１．０の範囲に属している旨の通知を受けると、以下の画素位置を参照画素位置として決定する。
【００５８】
（ｘｏｃ 、ｙｏｃ＋１）
（ｘｏｃ＋１、ｙｏｃ ）
（ｘｏｃ＋１、ｙｏｃ＋１）
このように、ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせについては様々なものがあり、第１の実施形態や本変形例に限定するものではない。そして何れにせよ、それぞれの組み合わせには、予め設定された複数の参照画素位置が対応付けられているので、どのような組み合わせを想定しても、対応する参照画素位置群は一意に特定することができる。
【００５９】
以上の説明により、本変形例を含めた本実施形態によれば、座標変換（座標逆変換）が必要な周辺画素の数を削減することができる。必要となる座標変換数を従来より少なくすることができるため、回路量を従来の書き込み時座標変換方式より少なくすることができる。
【００６０】
また、必要なメモリ帯域のピーク値が小さいまま、ハードウェア実装したときの回路量を小さくすることができる、あるいはソフトウェア実装した時に処理性能が高い射影変換を行うことができる。
【００６１】
［第２の実施形態］
本実施形態に係る画像処理装置の機能構成例について、図６のブロック図を用いて説明する。図６において図１と同じ構成用件については同じ参照番号を付けており、その説明は省略する。本実施形態に係る画像処理装置は、図１に示した構成において、出力座標算出部１０６を出力座標算出部６０６に置き換えたものであり、この出力座標算出部６０６には、上記のマトリクスのデータである変形パラメータ１２９が入力される。然るに、出力座標算出部６０６以外の構成用件については第１の実施形態で説明したとおりであるため、以下ではこの出力座標算出部６０６について説明する。
【００６２】
尚、以下の説明では、第１の実施形態でｘｏ、ｙｏ、ｘｏｃ、ｙｏｃと表したものをそれぞれｘｏｔ、ｙｏｔ、ｘｏｔＣ、ｙｏｔＣと表記する。即ち、変数名が異なるだけで、指し示すものは同じであり、例えば、ｘｏとｘｏｔとは指し示すものは同じである。
【００６３】
出力座標算出部６０６の機能構成例について、図７のブロック図を用いて説明する。図７において図２と同じ構成用件については同じ参照番号を付けており、その説明は省略する。
【００６４】
座標変換部２０２は、第１の実施形態で説明したマトリクスのデータとしての変形パラメータ１２９を受けると、この変形パラメータ１２９を用いて第１の実施形態と同様にして、入力画素座標値２２１に対する射影変換を行う。そして座標変換部２０２は、この射影変換により得られた座標値を出力画素座標値２２２として、後段の出力画素周辺座標生成部２０３に対して送出する。
【００６５】
判定条件生成部７０３は、変形パラメータ１２９を受けると、この変形パラメータ１２９を用いて、参照画素位置を決定するための条件を生成する。そして判定条件生成部７０３は、この生成した条件を、判定条件７０４として出力画素周辺座標生成部２０３に対して供給する。判定条件生成部７０３の動作について、詳しくは後述する。
【００６６】
座標逆変換部２０４は、第１の実施形態で説明したマトリクスのデータとしての変形パラメータ１２９を受けると、この変形パラメータ１２９を用いて第１の実施形態と同様にして、出力画素周辺座標値２２３に対して射影変換の逆変換を行う。そして座標逆変換部２０４は、この逆変換により得られた逆変換座標値を入力画素周辺座標値７０１として、後段の座標出力部７０２に対して送出する。
【００６７】
座標出力部７０２は、入力画素周辺座標値７０１のｘ座標値の小数部及びｙ座標値の小数部を小数部１２７として画素補間処理部１０２に送出する。更に座標出力部７０２は、画素位置（ｘｏｔＣ、ｙｏｔＣ）を整数部１２８としてメモリ書き込み部１０３に送出する。
【００６８】
出力座標算出部６０６は、一例として画像変形を行わない場合は、１つの入力画素値１２１に対して、１つの整数部１２８及び１つの小数部１２７を出力する。具体的には、変形パラメータ１２９がｍ１１〜ｍ３３からなる３ｘ３の単位行列のときがこのような場合に当たる。また、その他の例として、画像変形が拡大部分を含むときは、１つの入力画素値１２１に対して、複数の整数部１２８及び小数部１２７が出力される場合がある。
【００６９】
出力画素周辺座標生成部２０３は先ず、ｘｏの小数部ｘｏｔｆ、ｙｏの小数部ｙｏｔｆを以下の式により求める。
【００７０】
ｘｏｔｆ＝ｘｏｔ−ｆｌｏｏｒ（ｘｏｔ＋０．５）＋０．５
ｙｏｔｆ＝ｙｏｔ−ｆｌｏｏｒ（ｙｏｔ＋０．５）＋０．５
そして出力画素周辺座標生成部２０３は、ｘｏｔｆ及びｙｏｔｆが、判定条件７０４を満たす場合には、この判定条件７０４に対応する複数の参照画素位置を取得する。そして出力画素周辺座標生成部２０３は、この取得した複数の参照画素位置と、画素位置（ｘｏｔＣ、ｙｏｔＣ）と、を出力画素周辺座標値２２３として出力する。ここで、出力画素周辺座標生成部２０３が出力画素周辺座標値２２３として出力する可能性があるものは、以下の９個の座標値である。
【００７１】
（ｘｏｔＣ−１，ｙｏｔＣ−１）
（ｘｏｔＣ＋０，ｙｏｔＣ−１）
（ｘｏｔＣ＋１，ｙｏｔＣ−１）
（ｘｏｔＣ−１，ｙｏｔＣ＋０）
（ｘｏｔＣ＋０，ｙｏｔＣ＋０）
（ｘｏｔＣ＋１，ｙｏｔＣ＋０）
（ｘｏｔＣ−１，ｙｏｔＣ＋１）
（ｘｏｔＣ＋０，ｙｏｔＣ＋１）
（ｘｏｔＣ＋１，ｙｏｔＣ＋１）
図８のグラフにおいて横軸はｘｏｔｆ、縦軸はｙｏｔｆを示す。図８において領域８０１は、次のような条件を満たす領域である。先ず、画素位置（ｘｏｔＣ、ｙｏｔＣ）の左上に隣接する画素位置（ｘｏｔＣ−１、ｙｏｔＣ−１）に対して上記の射影変換の逆変換を施すことで得られる画素位置が（ｐ１、ｑ１）であったとする。このとき、ｐ１の整数部がｘｉと一致し、且つｑ１の整数部がｙｉと一致するような、ｘｏｔｆ、ｙｏｔｆの範囲が領域８０１である。然るに、求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が領域８０１内に位置する場合、画素位置（ｘｏｔＣ−１、ｙｏｔＣ−１）に上記の射影変換の逆変換を施して得られるｐ１、ｑ１のそれぞれの整数部はｘｉ、ｙｉと一致する。これは、他の領域８００，８０２〜８０５，８０８についても同様である。なお、それぞれの領域は重なる場合があり、図８では見易さの都合上、４つに分けて図示している。また、図８では、出力画素周辺座標生成部２０３が出力画素周辺座標値２２３として出力する可能性があるものは、以下の７個の座標値としている。
【００７２】
（ｘｏｔＣ−１，ｙｏｔＣ−１）
（ｘｏｔＣ＋０，ｙｏｔＣ−１）
（ｘｏｔＣ−１，ｙｏｔＣ＋０）
（ｘｏｔＣ＋０，ｙｏｔＣ＋０）
（ｘｏｔＣ＋１，ｙｏｔＣ＋０）
（ｘｏｔＣ＋０，ｙｏｔＣ＋１）
（ｘｏｔＣ＋１，ｙｏｔＣ＋１）
判定条件生成部７０３は、それぞれの領域８００〜８０５，８０８を規定するパラメータを判定条件７０４として出力画素周辺座標生成部２０３に対して送出する。例えば、図８に示す如く、領域８０１は、直線Ａ８０６と直線Ｂ８０７とｘｏｔｆ軸とｙｏｔｆ軸とによって囲まれている。直線Ａ８０６と直線Ｂ８０７は以下のとおり表わすことができる。
【００７３】
ｙ＝Ａ１・ｘ＋Ａ２ （直線Ａ）
ｙ＝Ｂ１・ｘ＋Ｂ２ （直線Ｂ）
然るに、判定条件生成部７０３は、領域８０１を規定するパラメータとして、以下の条件を示すパラメータを生成する。
【００７４】
０．０ ≦ ｘｏｔｆ ≦ １．０
０．０ ≦ ｙｏｔｆ ≦ １．０
ｙｏｔｆ ≧ Ａ１・ｘｏｔｆ＋Ａ２ （直線Ａ）
ｙｏｔｆ ≧ Ｂ１・ｘｏｔｆ＋Ｂ２ （直線Ｂ）
また判定条件生成部７０３は、他の領域８００，８０２〜８０５，８０８についてもこのような、それぞれの領域を規定するパラメータを生成する。そして判定条件生成部７０３は、それぞれの領域８００〜８０５，８０８について生成したパラメータをまとめて判定条件７０４として出力画素周辺座標生成部２０３に対して送出する。
【００７５】
ここで、各領域を規定するためのパラメータを求めるための方法について説明する。各領域は、変形パラメータ１２９に依存しているため、各領域を規定するためのパラメータは、この変形パラメータ１２９を用いて生成されることになる。具体的には、各隣接画素座標値に対応する領域を囲む直線式の傾き係数と切片係数を求める。
【００７６】
四角形が記されている図９（ａ）の入力画像（ｘｉ−ｙｉ平面）に対して変形パラメータ１２９を用いた画像変形処理を行うことで、変形した四角形が記されている図９（ｂ）の出力画像（ｘｏｔ−ｙｏｔ平面）が得られたとする。図９（ａ）の四角形は頂点（入力端点）９０２〜９０５で構成されており、図９（ｂ）の四角形は頂点（出力端点）９０６〜９０９で構成されている。
【００７７】
各領域の求め方について、図１０を用いて説明する。図９（ａ）に示した入力端点９０２〜９０５のうち１つを入力端点５０５として選び、画像変形処理による入力端点５０５の変換後の端点を出力端点５０７として求める。出力端点５０７の画素位置を（Ａｘｏ，Ａｙｏ）とすると、画素位置（ｆｌｏｏｒ（Ａｘｏ）＋０．５、ｆｌｏｏｒ（Ａｙｏ）＋０．５）に出力中心点５０６を設定する。
【００７８】
次に、画像変形処理の逆変換処理による出力中心点５０６の変換後の点を入力中心点５０８として求める。入力中心点５０８の画素位置を（Ａｃｘｉ，Ａｃｙｉ）とすると、以下の４つの画素位置にそれぞれ入力近傍点５０９〜５１２を設定する。
【００７９】
（Ａｃｘｉ−０．５，Ａｃｙｉ＋０．５）
（Ａｃｘｉ＋０．５，Ａｃｙｉ＋０．５）
（Ａｃｘｉ＋０．５，Ａｃｙｉ＋０．５）
（Ａｃｘｉ−０．５，Ａｃｙｉ−０．５）
次に、画像変形処理による入力近傍点５０９〜５１２の変換後の点をそれぞれ出力近傍点５１４〜５１７として求める。そして出力近傍点５１４〜５１７で囲まれている領域のうち、０．０≦ｘｏｔ＜１．０且つ０．０≦ｙｏｔ＜１．０を満たす領域内を、判定領域５１８として求める。
【００８０】
以上の判定領域５１８を求めるための処理を、入力端点９０２〜９０５のそれぞれについて行い、それぞれの領域について求めた判定領域５１８の和集合としての領域を、画素位置（ｘｏｔＣ，ｙｏｔＣ）に対する領域として出力する。同様の処理を、出力座標系５０１において出力中心点５０６を選択するとき、±１．０の８つの隣接画素座標に対して実行し、全ての領域を求めることができる。
【００８１】
出力画素周辺座標生成部２０３はこの判定条件７０４を受けると、判定条件７０４に含まれているそれぞれのパラメータを参照する。そして出力画素周辺座標生成部２０３は、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が領域８００〜８０５，８０８の何れに属しているのかを判定する。そして出力画素周辺座標生成部２０３は、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が属していると判定した領域に対応する画素位置（参照画素位置）を出力する。
【００８２】
例えば、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が、領域８０１内に位置している場合、画素位置（ｘｏｔＣ−１、ｙｏｔＣ−１）を参照画素位置として出力する。このようにして出力画素周辺座標生成部２０３は、上記の式で求めたｘｏｔｆ、ｙｏｔｆによって表される位置（ｘｏｔｆ、ｙｏｔｆ）が属していると判定した領域に対応する画素位置（参照画素位置）を出力する。
【００８３】
このように、本実施形態では、変形パラメータ１２９をもとに判定条件７０４を生成し、判定条件７０４にもとづき入力画素値１２１に対応する出力画素周辺座標値２２３を選択する。拡大率が２倍未満のとき、出力画素周辺座標値２２３の候補は９点だが、ここまでの説明のとおり、判定条件７０４を用いることで、出力画素周辺座標値２２３を４点以下に削減できる。この結果、座標逆変換部２０４による逆変換回数を削減できる。必要となる座標変換数を従来より少なくすることができるため、回路量を従来の書き込み時座標変換方式より少なくすることができる。また、必要なメモリ帯域のピーク値が小さいまま、ハードウェア実装したときの回路量が小さい、あるいはソフトウェア実装した時に処理性能が高い射影変形を行う画像処理技術を実現することができる。なお、本実施形態は、拡大率が任意の倍率の場合にも近傍点数を増やすことで同様に拡張可能である。
【００８４】
また、図１〜３，６，７に示した各部のうち、メモリとして機能するもの以外については、ソフトウェア（コンピュータプログラム）で実現させても良い。この場合、このメモリを有し、且つこのソフトウェアをインストールしたコンピュータは、このコンピュータが有するＣＰＵがこのソフトウェアを実行することで、上記の画像処理装置として機能することになる。もちろん、図１〜３，６，７に示した全ての構成用件をハードウェアで実現させても良いし、一部をソフトウェアとして実現させても良い。
【００８５】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
入力画像に対して画像変形処理を行うことで出力画像を生成する画像処理装置であって、
前記入力画像に対して前記画像変形処理を行うことで該入力画像中の画素位置（ｘｉ、ｙｉ）が写像される画素位置（ｘｏ、ｙｏ）を求める手段と、
ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせに対して予め設定された複数の参照画素位置を取得する取得手段と、
前記複数の参照画素位置のそれぞれに対して前記写像の逆写像を行うことで、画素位置（ｘｉ’、ｙｉ’）を求める手段と、
前記ｘｏの整数部ｘｏｃ及びｙｏの整数部ｙｏｃで表される画素位置（ｘｏｃ、ｙｏｃ）に対して前記逆写像を行うことで、画素位置（ｘｉ”、ｙｉ”）を求める手段と、
前記画素位置（ｘｉ”、ｙｉ”）、前記複数の参照画素位置のそれぞれについて求めた前記画素位置（ｘｉ’、ｙｉ’）、のうち、ｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置を特定する特定手段と、
前記特定手段が特定した画素位置のｘ座標値の小数部及びｙ座標値の小数部と、前記入力画像中の画素位置（ｘｉ、ｙｉ）の周辺画素位置における画素の画素値と、を用いた補間処理を行うことにより、前記出力画像上の画素位置（ｘｏｃ、ｙｏｃ）における画素値を求める算出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段は、
ｘｏの小数部ｘｏｆが０．０≦ｘｏｆ＜０．５であれば、（ｘｏｃ、ｙｏｃ＋１）、（ｘｏｃ−１、ｙｏｃ）、（ｘｏｃ、ｙｏｃ−１）、（ｘｏｃ−１、ｙｏｃ＋１）を前記参照画素位置として取得し、
ｘｏの小数部ｘｏｆが０．５≦ｘｏｆ＜１．０であれば、（ｘｏｃ＋１、ｙｏｃ）、（ｘｏｃ、ｙｏｃ＋１）、（ｘｏｃ、ｙｏｃ−１）、（ｘｏｃ＋１、ｙｏｃ−１）を前記参照画素位置として取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、
ｘｏの小数部ｘｏｆが０．０≦ｘｏｆ＜０．５且つｙｏの小数部ｙｏｆが０．０≦ｙｏｆ＜０．５であれば、（ｘｏｃ−１、ｙｏｃ）、（ｘｏｃ、ｙｏｃ−１）、（ｘｏｃ−１、ｙｏｃ−１）を前記参照画素位置として取得し、
ｘｏの小数部ｘｏｆが０．０≦ｘｏｆ＜０．５且つｙｏの小数部ｙｏｆが０．５≦ｙｏｆ＜１．０であれば、（ｘｏｃ−１、ｙｏｃ）、（ｘｏｃ、ｙｏｃ＋１）、（ｘｏｃ−１、ｙｏｃ＋１）を前記参照画素位置として取得し、
ｘｏの小数部ｘｏｆが０．５≦ｘｏｆ＜１．０且つｙｏの小数部ｙｏｆが０．０≦ｙｏｆ＜０．５であれば、（ｘｏｃ＋１、ｙｏｃ）、（ｘｏｃ、ｙｏｃ−１）、（ｘｏｃ＋１、ｙｏｃ−１）を前記参照画素位置として取得し、
ｘｏの小数部ｘｏｆが０．５≦ｘｏｆ＜１．０且つｙｏの小数部ｙｏｆが０．５≦ｙｏｆ＜１．０であれば、（ｘｏｃ、ｙｏｃ＋１）、（ｘｏｃ＋１、ｙｏｃ）、（ｘｏｃ＋１、ｙｏｃ＋１）を前記参照画素位置として取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
入力画像に対して画像変形処理を行うことで出力画像を生成する画像処理装置が行う画像処理方法であって、
前記画像処理装置の写像手段が、前記入力画像に対して前記画像変形処理を行うことで該入力画像中の画素位置（ｘｉ、ｙｉ）が写像される画素位置（ｘｏ、ｙｏ）を求める工程と、
前記画像処理装置の取得手段が、ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせに対して予め設定された複数の参照画素位置を取得する取得工程と、
前記画像処理装置の逆写像手段が、前記複数の参照画素位置のそれぞれに対して前記写像の逆写像を行うことで、画素位置（ｘｉ’、ｙｉ’）を求める工程と、
前記画像処理装置の計算手段が、前記ｘｏの整数部ｘｏｃ及びｙｏの整数部ｙｏｃで表される画素位置（ｘｏｃ、ｙｏｃ）に対して前記逆写像を行うことで、画素位置（ｘｉ”、ｙｉ”）を求める工程と、
前記画像処理装置の特定手段が、前記画素位置（ｘｉ”、ｙｉ”）、前記複数の参照画素位置のそれぞれについて求めた前記画素位置（ｘｉ’、ｙｉ’）、のうち、ｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置を特定する特定工程と、
前記画像処理装置の算出手段が、前記特定工程で特定した画素位置のｘ座標値の小数部及びｙ座標値の小数部と、前記入力画像中の画素位置（ｘｉ、ｙｉ）の周辺画素位置における画素の画素値と、を用いた補間処理を行うことにより、前記出力画像上の画素位置（ｘｏｃ、ｙｏｃ）における画素値を求める算出工程と
を備えることを特徴とする画像処理方法。
【請求項５】
コンピュータを請求項１乃至３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【請求項１】
入力画像に対して画像変形処理を行うことで出力画像を生成する画像処理装置であって、
前記入力画像に対して前記画像変形処理を行うことで該入力画像中の画素位置（ｘｉ、ｙｉ）が写像される画素位置（ｘｏ、ｙｏ）を求める手段と、
ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせに対して予め設定された複数の参照画素位置を取得する取得手段と、
前記複数の参照画素位置のそれぞれに対して前記写像の逆写像を行うことで、画素位置（ｘｉ’、ｙｉ’）を求める手段と、
前記ｘｏの整数部ｘｏｃ及びｙｏの整数部ｙｏｃで表される画素位置（ｘｏｃ、ｙｏｃ）に対して前記逆写像を行うことで、画素位置（ｘｉ”、ｙｉ”）を求める手段と、
前記画素位置（ｘｉ”、ｙｉ”）、前記複数の参照画素位置のそれぞれについて求めた前記画素位置（ｘｉ’、ｙｉ’）、のうち、ｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置を特定する特定手段と、
前記特定手段が特定した画素位置のｘ座標値の小数部及びｙ座標値の小数部と、前記入力画像中の画素位置（ｘｉ、ｙｉ）の周辺画素位置における画素の画素値と、を用いた補間処理を行うことにより、前記出力画像上の画素位置（ｘｏｃ、ｙｏｃ）における画素値を求める算出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段は、
ｘｏの小数部ｘｏｆが０．０≦ｘｏｆ＜０．５であれば、（ｘｏｃ、ｙｏｃ＋１）、（ｘｏｃ−１、ｙｏｃ）、（ｘｏｃ、ｙｏｃ−１）、（ｘｏｃ−１、ｙｏｃ＋１）を前記参照画素位置として取得し、
ｘｏの小数部ｘｏｆが０．５≦ｘｏｆ＜１．０であれば、（ｘｏｃ＋１、ｙｏｃ）、（ｘｏｃ、ｙｏｃ＋１）、（ｘｏｃ、ｙｏｃ−１）、（ｘｏｃ＋１、ｙｏｃ−１）を前記参照画素位置として取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、
ｘｏの小数部ｘｏｆが０．０≦ｘｏｆ＜０．５且つｙｏの小数部ｙｏｆが０．０≦ｙｏｆ＜０．５であれば、（ｘｏｃ−１、ｙｏｃ）、（ｘｏｃ、ｙｏｃ−１）、（ｘｏｃ−１、ｙｏｃ−１）を前記参照画素位置として取得し、
ｘｏの小数部ｘｏｆが０．０≦ｘｏｆ＜０．５且つｙｏの小数部ｙｏｆが０．５≦ｙｏｆ＜１．０であれば、（ｘｏｃ−１、ｙｏｃ）、（ｘｏｃ、ｙｏｃ＋１）、（ｘｏｃ−１、ｙｏｃ＋１）を前記参照画素位置として取得し、
ｘｏの小数部ｘｏｆが０．５≦ｘｏｆ＜１．０且つｙｏの小数部ｙｏｆが０．０≦ｙｏｆ＜０．５であれば、（ｘｏｃ＋１、ｙｏｃ）、（ｘｏｃ、ｙｏｃ−１）、（ｘｏｃ＋１、ｙｏｃ−１）を前記参照画素位置として取得し、
ｘｏの小数部ｘｏｆが０．５≦ｘｏｆ＜１．０且つｙｏの小数部ｙｏｆが０．５≦ｙｏｆ＜１．０であれば、（ｘｏｃ、ｙｏｃ＋１）、（ｘｏｃ＋１、ｙｏｃ）、（ｘｏｃ＋１、ｙｏｃ＋１）を前記参照画素位置として取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
入力画像に対して画像変形処理を行うことで出力画像を生成する画像処理装置が行う画像処理方法であって、
前記画像処理装置の写像手段が、前記入力画像に対して前記画像変形処理を行うことで該入力画像中の画素位置（ｘｉ、ｙｉ）が写像される画素位置（ｘｏ、ｙｏ）を求める工程と、
前記画像処理装置の取得手段が、ｘｏの小数部に０．５を加えた値の小数部が既定値以上であるか否か及び／又はｙｏの小数部に０．５を加えた値の小数部が既定値以上であるか否かの組み合わせに対して予め設定された複数の参照画素位置を取得する取得工程と、
前記画像処理装置の逆写像手段が、前記複数の参照画素位置のそれぞれに対して前記写像の逆写像を行うことで、画素位置（ｘｉ’、ｙｉ’）を求める工程と、
前記画像処理装置の計算手段が、前記ｘｏの整数部ｘｏｃ及びｙｏの整数部ｙｏｃで表される画素位置（ｘｏｃ、ｙｏｃ）に対して前記逆写像を行うことで、画素位置（ｘｉ”、ｙｉ”）を求める工程と、
前記画像処理装置の特定手段が、前記画素位置（ｘｉ”、ｙｉ”）、前記複数の参照画素位置のそれぞれについて求めた前記画素位置（ｘｉ’、ｙｉ’）、のうち、ｘ座標値の整数部及びｙ座標値の整数部がそれぞれｘｉ、ｙｉと同じである画素位置を特定する特定工程と、
前記画像処理装置の算出手段が、前記特定工程で特定した画素位置のｘ座標値の小数部及びｙ座標値の小数部と、前記入力画像中の画素位置（ｘｉ、ｙｉ）の周辺画素位置における画素の画素値と、を用いた補間処理を行うことにより、前記出力画像上の画素位置（ｘｏｃ、ｙｏｃ）における画素値を求める算出工程と
を備えることを特徴とする画像処理方法。
【請求項５】
コンピュータを請求項１乃至３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−４０３１（Ｐ２０１３−４０３１Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３７７３７（Ｐ２０１１−１３７７３７）
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]