画像処理装置および画像処理方法
【課題】画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすようにする。
【解決手段】変換座標出力部１０１は、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）を出力する。キー信号縮小率化部１０５は、キー信号のレベルに応じた縮小率を出力する。フィルタ係数出力部１０７は、キー信号縮小率化部１０５からの縮小率に基づき、入力画像のピクセル単位で、キー信号のレベルに応じたローパスのフィルタ係数を出力する。レンダリング部１０８は、ピクセル毎のキー信号のレベルに応じたフィルタ係数で、入力画像データＶinにローパスのフィルタリングを施す。そして、レンダリング部１０８は、出力画像の各ピクセルに対応して、フィルタリング後の入力画像データＶinの各画素データのうち、Ｘ，Ｙ座標に対応した画素データを用いて、出力画像データＶoutを構成する画素データを得る。
【解決手段】変換座標出力部１０１は、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）を出力する。キー信号縮小率化部１０５は、キー信号のレベルに応じた縮小率を出力する。フィルタ係数出力部１０７は、キー信号縮小率化部１０５からの縮小率に基づき、入力画像のピクセル単位で、キー信号のレベルに応じたローパスのフィルタ係数を出力する。レンダリング部１０８は、ピクセル毎のキー信号のレベルに応じたフィルタ係数で、入力画像データＶinにローパスのフィルタリングを施す。そして、レンダリング部１０８は、出力画像の各ピクセルに対応して、フィルタリング後の入力画像データＶinの各画素データのうち、Ｘ，Ｙ座標に対応した画素データを用いて、出力画像データＶoutを構成する画素データを得る。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、画像に変形処理を施して特殊効果を発生させる画像処理装置等に関する。
【背景技術】
【０００２】
従来、映像編集システムなどでは、２次元空間や３次元空間における座標変換によって画像に縮小、移動、回転などの変形処理を施すことが行われている（例えば、特許文献１，２参照）。
【０００３】
図１２は、従来の画像処理装置２１０の構成例を示している。変換座標出力部２１１には、図示しないシステムコントローラ等の外部機器からどのような画像変形を行うかを示す画像変形パラメータが供給される。画像変形は、例えば、縮小、移動、回転などである。この変換座標出力部２１１では、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）が出力される。この変換座標出力部２１１では、座標変換処理により、入力画像の座標と出力画像の座標との対応関係が決定される。
【０００４】
この変換座標出力部２１１から出力されるＸ，Ｙ座標は、縮小率算出部２１２に供給される。縮小率算出部２１２では、変換座標出力部２１１から出力されるＸ，Ｙ座標に基づいて、画像の縮小率が算出される。この縮小率算出部２１２では、例えば、出力画像の水平方向に隣接する２ピクセルに対応して出力される入力画像の座標の水平方向成分の差に基づいて、水平方向の画像の縮小率が算出される。同様に、縮小率算出部２１２では、例えば、出力画像の垂直方向に隣接する２ピクセルに対応して出力される入力画像の座標の垂直方向成分の差に基づいて、垂直方向の画像の縮小率が算出される。
【０００５】
この縮小率算出部２１２で算出される水平方向および垂直方向の画像の縮小率は、フィルタ係数出力部２１３に供給される。このフィルタ係数出力部２１３からは、画像の縮小率に対応したフィルタ係数が出力される。このフィルタ係数は、画像の縮小に伴って発生するエリアシング（折り返し歪み）を軽減するためのものである。レンダリング部２１４では、入力画像データＶinに対して、水平方向および垂直方向に、例えばＦＩＲ（Finite ImpulseResponse）フィルタにより、ローパスのフィルタリングが施される。そのため、フィルタ係数出力部２１３から出力されるフィルタ係数には、水平方向の所定数のタップ分の係数と、垂直方向の所定数のタップ分の係数が含まれる。
【０００６】
レンダリング部２１４には、入力画像データＶinが供給されると共に、変換座標出力部２１１から出力されるＸ，Ｙ座標と、フィルタ係数出力部２１３から出力されるフィルタ係数が供給される。このレンダリング部２１４では、入力画像データＶinに対して、フィルタ係数出力部２１３から出力されるフィルタ係数を用いたフィルタリングが施される。
【０００７】
そして、このレンダリング部２１４では、出力画像の各ピクセルに対応して、フィルタリング後の入力画像データＶinの各画素データのうち、Ｘ，Ｙ座標に対応した画素データが用いられて、出力画像データＶoutを構成する画素データが得られる。この場合、レンダリング部２１４では、例えば、複数個の画素データを使用した補間処理が行われることで、各ピクセル位置に精度よく対応した画素データが生成される。
【０００８】
図１３は、上述の図１２に示す画像処理装置２１０における処理例を示している。入力画像データＶinが、例えば、図１３（ａ）に示すような画像を表示する画像データであるとする。縮小の変形処理が行われる場合には、変換座標出力部２１１からその変形処理のためのＸ，Ｙ座標が出力されてレンダリング部２１４に送られる。そのため、レンダリング部２１４では、例えば、図１３（ｂ）に示すような画像を表示する出力画像データＶoutが得られる。また、縮小および回転の変形処理が行われる場合には、同様にして、レンダリング部２１４では、例えば、図１３（ｃ）に示すような画像を表示する出力画像データＶoutが得られる。
【０００９】
また、従来、映像編集システムなどでは、入力画像データ等から作成されたキー信号に基づいて複数の画像データを合成する処理を施すことが行われている（例えば、特許文献３参照）。
【００１０】
図１４は、従来の画像処理装置２２０の構成例を示している。キー信号生成部２２１には、入力画像データＶinaが供給される。このキー信号生成部２２１では、入力画像データＶinaに基づいて、キー信号（ＫＥＹ信号）が生成される。例えば、キー信号生成部２２１では、ピクセル毎に、入力画像データＶinaを構成する輝度データＹのレベルに応じた、所定ビットのキー信号が生成される。また、例えば、キー信号生成部２２１では、ピクセル毎に、入力画像データＶinaを構成する青色差データＣｂおよび赤色差データＣｒのレベル（彩度、色相）に応じた所定ビットのキー信号が生成される。
【００１１】
このキー信号生成部２２１で生成されるキー信号は、キー信号選択／合成部２２２に供給される。また、このキー信号選択／合成部２２２には、図示しないシステムコントローラ等の外部機器から外部キー信号（外部ＫＥＹ信号）が供給される。この外部キー信号は、上述のキー信号生成部２２１と同様のキー信号生成部により、入力画像データＶinaとは異なる他の画像データに基づいて生成されたものである。
【００１２】
このキー信号選択／合成部２２２では、図示しないシステムコントローラ等の外部機器による制御により、キー信号生成部２２１で生成されたキー信号および外部キー信号のいずれか、または双方が合成されて得られたキー信号が出力される。キー信号の合成は、例えば、αブレンドにより行われる。
【００１３】
このキー信号選択／合成部２２２から出力されるキー信号は、画像合成部２２３に供給される。この画像合成部２２３には、上述したようにキー信号の生成のために使用された入力画像データＶinaが入力される共に、入力画像データＶinbが入力されている。この画像合成部２２３では、キー信号選択／合成部２２２から出力されるキー信号に基づいて、入力画像データＶinaと入力画像データＶinbとが合成されて、出力画像データＶoutが得られる。
【００１４】
この画像合成部２２３では、例えば、キー信号選択／合成部２２２から出力されるキー信号がその最大値が１となるように正規化され、正規化されたキー信号を用いたαブレンド処理による合成が行われる。すなわち、画像合成部２２３では、以下の（１）式に基づいて、入力画像データＶinaと入力画像データＶinbとが合成される。この（１）式において、ｓｋ′は、キー信号の正規化値である。
Ｖout＝Ｖina＊ｓｋ′＋Ｖinb＊（１−ｓｋ′） ・・・（１）
【００１５】
図１５は、上述の図１４に示す画像処理装置２２０における処理例を示している。入力画像データＶinaが、例えば、図１５（ａ）に示すようなブルーバック画像を表示する画像データであるとする。また、入力画像データＶinbが、例えば、図１５（ｂ）に示すような画像を表示する画像データであるとする。キー信号生成部２２１が入力画像データＶinaのうち、ブルーバック部分を特定してキー信号（ＫＥＹ信号）とする場合には、キー信号生成部２２１では、図１５（ｃ）に示すようにキー信号が生成される。
【００１６】
そして、キー信号選択／合成部２２２においてキー信号生成部２２１で生成されるキー信号が選択されて出力される場合、画像合成部２２３では、例えば、図１５（ｄ）に示すような画像を表示する出力画像データＶoutが得られる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００２−８３３１６号公報
【特許文献２】特開２００７−１３８７４号公報
【特許文献３】特開平９−６５２０３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
この発明の目的は、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことを可能とした画像処理装置を提供することにある。
【課題を解決するための手段】
【００１９】
この発明の概念は、
出力画像のピクセル単位で、対応する入力画像の座標を出力する変換座標出力部と、
キー信号を用いて、上記入力画像のピクセル単位で、該キー信号のレベルに応じたローパスのフィルタ係数を出力するフィルタ係数出力部と、
入力画像データに上記フィルタ係数出力部から出力されるフィルタ係数でフィルタリングを施し、上記出力画像の各ピクセルに対応して、上記フィルタリングが施された後の入力画像データを構成する各画像データのうち、上記変換座標出力部から出力される座標に対応した画素データを用いて出力画像データを構成する画素データを得る画像処理部と
を備える画像処理装置にある。
【００２０】
この発明においては、変換座標出力部により、出力画像のピクセル単位で、対応する入力画像の座標が出力される。また、フィルタ係数出力部から、入力画像のピクセル単位で、キー信号のレベルに応じたローパスのフィルタ係数が出力される。
【００２１】
例えば、キー信号として、入力画像データに基づいてキー信号生成部で生成されたキー信号、または入力画像データとは異なる他の画像データに基づいて生成された外部キー信号が用いられる。また、例えば、キー信号として、入力画像データに基づいて生成されたキー信号と外部キー信号とが合成されて得られたキー信号が用いられる。他の画像データは、例えば、自然画像または人工画像の画像データとされる。ここで、自然画像の画像データは、撮影されて得られた画像データを意味する。また、人工画像の画像データは、人工的に作成された画像データを意味する。
【００２２】
画像処理部により、入力画像データに、フィルタ係数出力部から出力されるフィルタ係数でフィルタリングが施される。そして、画像処理部により、出力画像の各ピクセルに対応して、フィルタリングが施された後の入力画像データを構成する各画素データのうち、変換座標出力部から出力される変動座標に対応した画素データが用いられて、出力画像データを構成する画素データが得られる。
【００２３】
このように、画像処理部では、入力画像のピクセル単位で得られたキー信号のレベルに応じたローパスのフィルタ係数が用いられて入力画像データにフィルタリングが施される。そして、画像処理部では、出力画像のピクセル単位で出力画像データを構成する画素データを得る際に、フィルタリングが施された後の入力画像データが用いられる。そのため、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【００２４】
この発明において、例えば、入力画像データは輝度データおよび色差データを含み、画像処理部は、輝度データの処理を行う輝度データ処理部と、色差データの処理を行う色差データ処理部とを有し、輝度データ処理部および色差データ処理部のいずれか、または双方において、フィルタ係数出力部から出力されるフィルタ係数でローパスのフィルタリングが施される、ようにしてもよい。これにより、輝度または色についてだけ、あるいは双方について、上述の特殊な画像効果をもたらすことが可能となる。
【００２５】
この発明において、例えば、フィルタ係数出力部で用いられるキー信号を所定の時間単位で加工するキー信号加工部をさらに備える、ようにしてもよい。この場合、フィルタ係数が所定の時間単位で変化したものとなる。そのため、画像の特定箇所にもたらされる動きや絵画調のような特殊な画像効果を所定の時間単位で変化させることができる。
【００２６】
また、この発明において、例えば、変換座標出力部から出力される座標に基づいて縮小率を算出する縮小率算出部と、キー信号を用い、このキー信号のレベルに応じた縮小率を出力するキー信号縮小率化部をさらに備え、フィルタ係数出力部は、縮小率算出部で算出される縮小率とキー信号縮小率化部から出力される縮小率とが合成されて得られた縮小率に応じたフィルタ係数を出力する、ようにしてもよい。これにより、画像処理部で縮小の変形処理が行われる場合、エリアシング（折り返し歪み）の発生を軽減できると共に、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【００２７】
また、この発明において、例えば、変換座標出力部から出力される座標に基づいて縮小率を算出する縮小率算出部と、キー信号を用い、該キー信号のレベルに応じた縮小率を出力するキー信号縮小率化部と、縮小率算出部で算出される縮小率およびキー信号縮小率化部から出力される縮小率のいずれか、または双方が合成されて得られた縮小率を出力する縮小率出力部をさらに備え、フィルタ係数出力部は、縮小率出力部から出力される縮小率に応じたフィルタ係数を出力する、ようにしてもよい。これにより、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことを有効または無効にできる。また、これにより、画像処理部で縮小の変形処理が行われる場合、エリアシング（折り返し歪み）の発生を軽減しつつ、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことができる。
【発明の効果】
【００２８】
この発明によれば、出力画像のピクセル単位で出力画像データを構成する画素データを得る際に、入力画像のピクセル単位で得られたキー信号のレベルに応じたローパスのフィルタ係数でフィルタリングが施された後の入力画像データが用いられるものであり、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【図面の簡単な説明】
【００２９】
【図１】この発明の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】変換座標出力部が、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標を出力することを説明するための図である。
【図３】フィルタ係数出力部に用意されているモード（縮小率とフィルタ係数の関係）の一例を示す図である。
【図４】フィルタ係数出力部が０倍から１倍の係数リストであるフィルタ係数テーブルを備えていることを示す図である。
【図５】フィルタ係数出力部が備えるフィルタ係数テーブル（０倍から１倍の係数リスト）の一例を示す図である。
【図６】キー信号生成部で生成されたキー信号のレベルに応じて出力されるフィルタ係数の一例を説明するための図である。
【図７】画像処理装置を構成するレンダリング部が輝度データ処理部および色差データ処理部を有していることを示すブロック図である。
【図８】この発明の画像効果例を説明するためのキー信号、入力画像および出力画像の一例を示す図である。
【図９】この発明の他の画像効果例を説明するための入力画像の一例を示す図である。
【図１０】この発明の他の画像効果例を説明するための出力画像の一例を示す図である。
【図１１】この発明の変形例としての画像処理装置の構成例を示すブロック図である。
【図１２】２次元空間や３次元空間における座標変換によって画像に縮小、回転などの変形処理を施す従来の画像処理装置の構成例を示す図である。
【図１３】２次元空間や３次元空間における座標変換によって画像に縮小、回転などの変形処理を施す従来の画像処理装置における処理例を示す図である。
【図１４】入力画像データ等から作成されたキー信号に基づいて複数の画像データを合成する処理を施す従来の画像処理装置の構成例を示す図である。
【図１５】入力画像データ等から作成されたキー信号に基づいて複数の画像データを合成する処理を施す従来の画像処理装置の処理例を示す図である。
【発明を実施するための形態】
【００３０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００３１】
＜１．実施の形態＞
［画像処理装置の構成］
図１は、実施の形態としての画像処理装置１００の構成例を示している。画像処理装置１００は、変換座標出力部１０１と、縮小率算出部１０２と、キー信号生成部１０３と、キー信号選択／合成部１０４と、キー信号縮小率化部１０５と、縮小率選択／合成部１０６と、フィルタ係数出力部１０７と、レンダリング部１０８を有している。
【００３２】
変換座標出力部１０１は、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）を出力する。画像変形パラメータは、どのような画像変形を行うかを示す。画像変形は、例えば、縮小、移動、回転などである。この画像変形パラメータは、図示しないシステムコントローラ等の外部機器から供給される。
【００３３】
変換座標出力部１０１は、以下のような座標変換処理により、入力画像の座標と出力画像の座標との対応関係を決定する。すなわち、変換座標出力部１０１は、２次元の入力画像を３次元空間のＸＹ平面上のオブジェクトと見なして３次元に拡張し、この３次元空間で、このオブジェクトに対して画像変形パラメータに応じた変形を施す。その後、変換座標出力部１０１は、３次元空間で変形されたオブジェクトを２次元のＸＹ平面に投影する。
【００３４】
例えば、入力画像の座標を図２（ａ）に示すようにＸ，Ｙ座標とし、出力画像の座標を図２（ｂ）に示すようにｘ，ｙ座標とする。変換座標出力部１０１は、出力画像の各ピクセルの座標（ｘ，ｙ）に対応した、入力画像の座標（Ｘ，Ｙ）を出力する。図２は、画像に縮小の変形処理を施す例を示している。変換座標出力部１０１は、例えば、出力画像の座標（ｘ１，ｙ１）、（ｘ２，ｙ２），（ｘ３，ｙ３）、（ｘ４，ｙ４）のピクセルで、それぞれ、入力画像の座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）を出力する。
【００３５】
縮小率算出部１０２は、変換座標出力部１０１から出力される座標に基づいて、画像の宿小率を算出する。縮小率算出部１０２は、例えば、出力画像の水平方向に隣接する２ピクセルに対応して出力される入力画像の座標の水平方向成分の差に基づいて、水平方向の画像の縮小率を算出する。同様に、縮小率算出部１０２は、例えば、出力画像の垂直方向に隣接する２ピクセルに対応して出力される入力画像の座標の垂直方向成分の差に基づいて、垂直方向の画像の縮小率を算出する。
【００３６】
キー信号生成部１０３は、入力画像データＶinに基づいて、キー信号（ＫＥＹ信号）を生成する。例えば、キー信号生成部１０３は、ピクセル毎に、入力画像データＶinを構成する輝度データＹのレベルに応じた、所定ビットのキー信号を生成する。また、例えば、キー信号生成部１０３は、ピクセル毎に、入力画像データＶinを構成する青色差データＣｂおよび赤色差データＣｒのレベル（彩度、色相）に応じた所定ビットのキー信号を生成する。ここで、キー信号が１ビットの信号であるとき２値の信号となり、キー信号が２ビット以上であるときは４値以上の信号となる。
【００３７】
キー信号選択／合成部１０４は、図示しないシステムコントローラ等の外部機器からの制御により、キー信号生成部１０３で生成されたキー信号および外部キー信号（外部ＫＥＹ信号）のいずれか、または双方が合成されて得られたキー信号を出力する。キー信号の合成は、例えば、αブレンドにより行われる。このキー信号選択／合成部１０４は、キー信号出力部を構成している。
【００３８】
外部キー信号は、上述のキー信号生成部１０３と同様のキー信号生成部により、入力画像データＶinとは異なる他の画像データに基づいて生成されたものである。例えば、入力画像データＶinは自然画像の画像データであり、他の画像データは自然画像の画像データまたは人工画像の画像データである。自然画像の画像データとは、撮影されて得られた画像データである。これに対して、人工画像の画像データとは、人工的に作成された画像データである。
【００３９】
キー信号縮小率化部１０５は、キー信号選択／合成部１０４から出力されるキー信号を用い、このキー信号のレベルに応じた縮小率を出力する。このキー信号縮小率化部１０５は、例えば、キー信号選択／合成部１０４から出力されるキー信号ｓｋをその最大値が１となるように正規化し、１からその正規化値ｓｋ′を差し引いた値（１−ｓｋ′）を縮小率とする。なお、キー信号縮小率化部１０５でキー信号に基づいて縮小率を得る方法は上述した方法に限定されず、予め定義したその他の関数を用いて、キー信号から縮小率を得るようにしてもよい。
【００４０】
縮小率選択／合成部１０６は、図示しないシステムコントローラ等の外部機器からの制御により、縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５から出力される縮小率のいずれか、または双方が合成されて得られた縮小率を出力する。例えば、縮小率の合成処理として、縮小率算出部１０２で算出される縮小率にキー信号縮小率化部１０５から出力される縮小率を乗算することが考えられる。また、例えば、縮小率の合成処理として、縮小率算出部１０２で算出される縮小率からキー信号縮小率化部１０５から出力される縮小率を減算することが考えられる。この縮小率選択／合成部１０６は、縮小率出力部を構成している。
【００４１】
フィルタ係数出力部１０７は、縮小率選択／合成部１０６から出力された縮小率に対応したローパスのフィルタ係数を出力する。フィルタ係数出力部１０７には、縮小率とフィルタ係数の関係が関数化された複数のモードが用意されており、各モードが選択的に利用される。
【００４２】
図３には、２つのモード例が示されている。図３（ａ）に示すモードは、縮小率（Ｘ）とフィルタ係数（Ｙ）との関係が、Ｙ＝ａＸ（ａ＝１０）の関数で表される。このモードでは、縮小率Ｘが０．８であるとき、出力すべきフィルタ係数は「フィルタ係数８」に決定される。また、図３（ｂ）に示すモードは、縮小率（Ｘ）とフィルタ係数（Ｙ）との関係が、Ｙ＝ａＸ（ａ＝５）の関数で表される。このモードでは、縮小率Ｘが０．８であるとき、出力すべきフィルタ係数は「フィルタ係数４」に決定される。
【００４３】
この「フィルタ係数４」は、図３（ａ）に示すモードにおいて、縮小率Ｘが０．４であるときのフィルタ係数である。そのため、図３（ｂ）に示すモードを使用する場合、図３（ａ）に示すモードを使用する場合に比べて、全体的により深くフィルタ効果がかけられることになる。
【００４４】
フィルタ係数出力部１０７は、図４に示すように、フィルタ係数テーブルを備えている。このフィルタ係数テーブルは、０倍から１倍の係数リストである。図５は、フィルタ係数テーブルの一例を示している。この例では、０倍に対応しているのがフィルタ係数０であり、１倍に対応しているのがフィルタ係数１０である。フィルタ係数出力部１０７は、このフィルタ係数テーブルと、選択されたモード（図３参照）に応じて、水平、垂直の縮小率にそれぞれ対応したフィルタ係数を決定する。
【００４５】
図６（ａ）は、キー信号生成部１０３で生成されたキー信号のレベルに応じて出力されるフィルタ係数の一例を示している。例えば、１０ビットのキー信号ｓｋのレベルが「５１２」であるとき、キー信号縮小率化部１０５から出力される縮小率は、１からキー信号ｓｋの正規化値ｓｋ′である「０．５」が差し引かれた値である「０．５」となる。そして、この場合、フィルタ係数出力部１０７からは、図３（ａ）に示すモードを使用するときには、図６（ｂ）に示すように、「フィルタ係数５」が出力される。
【００４６】
なお、レンダリング部１０８では、入力画像データＶinに対して、水平方向および垂直方向に、例えばＦＩＲ（Finite Impulse Response）フィルタにより、フィルタリングが施される。そのため、フィルタ係数出力部１０７から出力されるフィルタ係数には、水平方向の所定数のタップ分の係数と、垂直方向の所定数のタップ分の係数が含まれる。
【００４７】
また、レンダリング部１０８では、入力画像データＶinを構成する輝度データＹ、青色差データＣｂおよび赤色差データＣｒに対して個々にフィルタリングが施される。そのため、フィルタ係数出力部１０７から出力されるフィルタ係数には、輝度データ用のフィルタ係数と、色差データ用のフィルタ係数が含まれる。
【００４８】
レンダリング部１０８は、入力画像データＶinに対して、フィルタ係数出力部１０７から出力されるフィルタ係数を用いたフィルタリングを施す。また、レンダリング部１０８は、出力画像の各ピクセルに対応して、出力画像データＶoutを構成する画素データを得る。
【００４９】
この場合、レンダリング部１０８は、フィルタリング後の入力画像データＶinの各画素データのうち、変換座標出力部１０１から出力されるＸ，Ｙ座標に対応した画素データを用いて、出力画像の各ピクセルに対応した画素データを生成する。なお、この場合、レンダリング部１０８は、例えば、複数個の画素データを使用した補間処理を行うことで、各ピクセル位置に精度よく対応した画素データを生成する。このレンダリング部１０８は、画像処理部を構成している。
【００５０】
図７は、レンダリング部１０８の構成例を示している。入力画像データＶinは、輝度データＹおよび色差データＣ（青色差データＣｂ、赤色差データＣｒ）を含んでいる。レンダリング部１０８は、入力画像データＶinを構成する輝度データＹを処理して、出力画像データＶoutを構成する輝度データＹ′を出力する輝度データ処理部１０８Ｙを有している。また、レンダリング部１０８は、入力画像データＶinを構成する色差データＣを処理して、出力画像データＶoutを構成する色差データＣ′を出力する色差データ処理部１０８Ｃを有している。
【００５１】
輝度データ処理部１０８Ｙは、輝度データＹに対して、フィルタ係数出力部１０７から出力される輝度データ用のフィルタ係数を用いたフィルタリングを施す。そして、輝度データ処理部１０８Ｙは、フィルタリング後の輝度データＹを構成する各画素データのうち、変換座標出力部１０１から出力されるＸ，Ｙ座標に対応した画素データを用いて、輝度データＹ′を構成する各画素データを生成する。
【００５２】
色差データ処理部１０８Ｃは、色差データＹに対して、フィルタ係数出力部１０７から出力される色差データ用のフィルタ係数を用いたフィルタリングを施す。そして、色差データ処理部１０８Ｃは、フィルタリング後の色差データＣを構成する各画素データのうち、変換座標出力部１０１から出力されるＸ，Ｙ座標に対応した画素データを用いて、色差データＣ′を構成する各画素データを生成する。
【００５３】
上述したように、輝度データ処理部１０８Ｙでは輝度データＹに対してフィルタリングが行われ、色差データ処理部１０８Ｃでは色差データＣに対してフィルタリングが行われる。この場合、フィルタ係数出力部１０７から供給されるフィルタ係数に応じて、輝度データ処理部１０８Ｙおよび色差データ処理部１０８Ｃのいずれか、または双方において、ローパスのフィルタリングが施される。
【００５４】
輝度データ処理部１０８Ｙや色差データ処理部１０８Ｃでローパスのフィルタリングが行われるか否かは、フィルタ係数出力部１０７で出力されるフィルタ係数により決定される。フィルタ係数出力部１０７は、図示しないシステムコントローラ等の外部機器からの制御により、以下のように、輝度データ用および色差データ用のフィルタ係数を出力する。
【００５５】
縮小率選択／合成部１０６からキー信号縮小率化部１０５で算出される縮小率が出力されるとき、輝度データ処理部１０８Ｙおよび色差データ処理部１０８Ｃのいずれか、または双方でローパスのフィルタリングが施される。このとき、フィルタ係数出力部１０７からは、例えば、以下のように、輝度データ用および色差データ用のフィルタ係数が出力される。
【００５６】
輝度データ処理部１０８Ｙでのみローパスのフィルタリングを施す場合について説明する。この場合、フィルタ係数出力部１０７は、輝度データ用のフィルタ係数として縮小率選択／合成部１０６から出力される縮小率に対応したフィルタ係数を出力する。この場合、フィルタ係数出力部１０７は、色差データ用のフィルタ係数としては縮小率＝１．０のフィルタ係数を出力する。
【００５７】
この場合、レンダリング部１０８の輝度データ処理部１０８Ｙでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、輝度データＹに対してローパスのフィルタリングが施される。一方、レンダリング部１０８の色差データ処理部１０８Ｃには、フィルタ係数出力部１０７から縮小率＝１．０のフィルタ係数が供給されることから、色差データＣに対してローパスのフィルタリングは施されない。
【００５８】
また、色差データ処理部１０８Ｃでのみローパスのフィルタリングを施す場合について説明する。この場合、フィルタ係数出力部１０７は、色差データ用のフィルタ係数として縮小率選択／合成部１０６から出力される縮小率に対応したフィルタ係数を出力する。この場合、フィルタ係数出力部１０７は、輝度データ用のフィルタ係数としては縮小率＝１．０のフィルタ係数を出力する。
【００５９】
この場合、レンダリング部１０８の色差データ処理部１０８Ｃでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、色差データＣに対してローパスのフィルタリングが施される。一方、レンダリング部１０８の輝度データ処理部１０８Ｙには、フィルタ係数出力部１０７から縮小率＝１．０のフィルタ係数が供給されることから、輝度データＹに対してローパスのフィルタリングは施されない。
【００６０】
また、輝度データ処理部１０８Ｙおよび色差データ処理部１０８Ｃの双方でローパスのフィルタリングを施す場合について説明する。この場合、フィルタ係数出力部１０７は、輝度データ用および色差データ用のフィルタ係数として縮小率選択／合成部１０６から出力される縮小率に対応したフィルタ係数を出力する。
【００６１】
この場合、レンダリング部１０８の輝度データ処理部１０８Ｙでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、輝度データＹに対してローパスのフィルタリングが施される。また、レンダリング部１０８の色差データ処理部１０８Ｃでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、色差データＣに対してローパスのフィルタリングが施される。
【００６２】
縮小率選択／合成部１０６から縮小率算出部１０２で算出される縮小率が出力されるとき、輝度データ処理部１０８Ｙおよび色差データ処理部１０８Ｃの双方でローパスのフィルタリングが施される。縮小率選択／合成部１０６から縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５で得られる縮小率が合成されて得られた縮小率が出力されるときも同様とされる。このとき、フィルタ係数出力部１０７からは、例えば、以下のように、輝度データ用および色差データ用のフィルタ係数が出力される。
【００６３】
フィルタ係数出力部１０７は、輝度データ用および色差データ用のフィルタ係数として縮小率選択／合成部１０６から出力される縮小率に対応したフィルタ係数を出力する。この場合、レンダリング部１０８の輝度データ処理部１０８Ｙでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、輝度データＹに対してローパスのフィルタリングが施される。また、レンダリング部１０８の色差データ処理部１０８Ｃでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、色差データＣに対してローパスのフィルタリングが施される。
【００６４】
図１に示す画像処理装置１００の動作を説明する。変換座標出力部１０１には、図示しないシステムコントローラ等の外部機器からどのような画像変形を行うかを示す画像変形パラメータが供給される。画像変形は、例えば、縮小、移動、回転などである。この変換座標出力部１０１からは、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）が出力される。この変換座標出力部１０１では、座標変換処理により、入力画像の座標と出力画像の座標との対応関係が決定される。
【００６５】
この変換座標出力部１０１から出力されるＸ，Ｙ座標は、縮小率算出部１０２に供給される。縮小率算出部１０２では、このＸ，Ｙ座標に基づいて、水平方向および垂直方向の画像の縮小率が算出される。このように算出される画像の縮小率は、縮小率選択／合成部１０６に供給される。
【００６６】
また、キー信号生成部１０３には、入力画像データＶinが供給される。このキー信号生成部１０３では、入力画像データＶinに基づいて、キー信号（ＫＥＹ信号）が生成される。例えば、キー信号生成部１０３では、ピクセル毎に、入力画像データＶinを構成する輝度データＹのレベルに応じた、所定ビットのキー信号が生成される。また、例えば、キー信号生成部１０３では、ピクセル毎に、入力画像データＶinを構成する青色差データＣｂおよび赤色差データＣｒのレベル（彩度、色相）に応じた所定ビットのキー信号が生成される。
【００６７】
このキー信号生成部１０３で生成されるキー信号は、キー信号選択／合成部１０４に供給される。また、このキー信号選択／合成部１０４には、図示しないシステムコントローラ等の外部機器から外部キー信号（外部ＫＥＹ信号）が供給される。この外部キー信号は、上述のキー信号生成部１０３と同様のキー信号生成部により、入力画像データＶinとは異なる他の画像データに基づいて生成されたものである。
【００６８】
このキー信号選択／合成部１０４では、図示しないシステムコントローラ等の外部機器による制御により、キー信号生成部１０３で生成されたキー信号および外部キー信号のいずれか、または双方が合成されて得られたキー信号が出力される。キー信号の合成は、例えば、αブレンドにより行われる。このキー信号選択／合成部１０４から出力されるキー信号は、キー信号縮小率化部１０５に供給される。
【００６９】
キー信号縮小率化部１０５では、キー信号選択／合成部１０４から出力されるキー信号が用いられ、このキー信号のレベルに応じた縮小率が得られる。例えば、このキー信号縮小率化部１０５では、キー信号選択／合成部１０４から出力されるキー信号ｓｋがその最大値が１となるように正規化され、１からその正規化値ｓｋ′が差し引かれた値（１−ｓｋ′）が縮小率とされる。このキー信号縮小率化部１０５から出力される縮小率は、縮小率選択／合成部１０６に供給される。
【００７０】
縮小率選択／合成部１０６では、図示しないシステムコントローラ等の外部機器からの制御により、縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５から出力される縮小率の選択または合成が行われる。例えば、縮小率選択／合成部１０６からは、縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５から出力される縮小率のいずれかが選択されて出力される。
【００７１】
また、例えば、縮小率選択／合成部１０６からは、縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５から出力される縮小率が合成されて得られた縮小率が出力される。この場合、縮小率の合成処理として、例えば、縮小率算出部１０２で算出される縮小率にキー信号縮小率化部１０５から出力される縮小率を乗算すること等が行われる。この縮小率選択／合成部１０６から出力される縮小率は、フィルタ係数出力部１０７に供給される。
【００７２】
フィルタ係数出力部１０７からは、縮小率選択／合成部１０６から供給される縮小率に対応したフィルタ係数が出力される。このフィルタ係数は、縮小率選択／合成部１０６から縮小率算出部１０２で算出される縮小率が出力される場合、画像の縮小に伴って発生するエリアシング（折り返し歪み）を軽減するためのものとなる。また、このフィルタ係数は、縮小率選択／合成部１０６からキー信号縮小率化部１０５で得られる縮小率が出力される場合、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすためのものとなる。
【００７３】
さらに、このフィルタ係数は、縮小率選択／合成部１０６から縮小率算出部１０２およびキー信号縮小率化部１０５の双方の縮小率が合成されて得られた縮小率が出力される場合、このフィルタ係数は、以下の目的を持つものとなる。すなわち、このフィルタ係数は、画像の縮小に伴って発生するエリアシング（折り返し歪み）を軽減すると共に、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすためのものとなる。
【００７４】
レンダリング部１０８には、入力画像データＶinが供給されると共に、フィルタ係数出力部１０７から出力されるフィルタ係数および変換座標出力部１０１から出力されるＸ，Ｙ座標が供給される。このレンダリング部１０８では、入力画像データＶinに対して、フィルタ係数出力部１０７から出力されるフィルタ係数を用いたフィルタリングが施される。
【００７５】
このフィルタリングにより、画像の縮小変形に伴うエリアシング（折り返し歪み）の発生が軽減され、あるいは画像の特定箇所に動きや絵画調のような特殊な画像効果がもたらされる。すなわち、フィルタ係数出力部１０７から出力されるフィルタ係数が縮小率算出部１０２で算出される縮小率に応じたものである場合、画像の縮小変形に伴うエリアシング（折り返し歪み）の発生が軽減される。
【００７６】
また、フィルタ係数出力部１０７から出力されるフィルタ係数がキー信号縮小率化部１０５で生成される縮小率に応じたものである場合、画像の特定箇所に動きや絵画調のような特殊な画像効果がもたらされる。この場合、フィルタ係数出力部１０７において、輝度データ用のフィルタ係数のみがキー信号縮小率化部１０５で生成される縮小率に応じたものとされることで、輝度についてだけ上述の特殊な画像効果がもたらされる。
【００７７】
また、この場合、フィルタ係数出力部１０７において、色差データ用のフィルタ係数のみがキー信号縮小率化部１０５で生成される縮小率に応じたものとされることで、色についてだけ上述の特殊な画像効果がもたらされる。さらに、この場合、輝度データ用および色差データ用の双方のフィルタ係数がキー信号縮小率化部１０５で生成される縮小率に応じたものとされることで、輝度および色の双方について上述の特殊な画像効果がもたらされる。
【００７８】
また、このレンダリング部１０８では、出力画像の各ピクセルに対応して、出力画像データＶoutを構成する画素データが得られる。この場合、レンダリング部１０８では、出力画像の各ピクセルに対応して、フィルタリング後の入力画像データＶinの各画素データのうち、変換座標出力部１０１から出力されるＸ，Ｙ座標に対応した画素データが用いられる。そのため、レンダリング部１０８で得られる出力画像データＶoutは、画像変形パラメータが示す画像変形が施された出力画像を表示するものとなる。
【００７９】
上述したように、図１に示す画像処理装置１００において、キー信号縮小率化部１０５では、キー信号選択／合成部１０４から出力されるキー信号が用いられ、このキー信号が正規化される等してこのキー信号のレベルに応じた縮小率が得られる。この縮小率が縮小率選択／合成部１０６を通じてフィルタ係数出力部１０７に供給される場合、フィルタ係数出力部１０７からレンダリング部１０８に供給される入力画像の各ピクセルに対応したフィルタ係数は、ピクセル毎のキー信号のレベルに応じたものとなる。
【００８０】
また、縮小率選択／合成部１０６からフィルタ係数出力部１０７にキー信号縮小率化部１０５および縮小率算出部１０２の双方の縮小率が合成された縮小率が供給される場合も同様である。すなわち、この場合も、フィルタ係数出力部１０７からレンダリング部１０８に供給される入力画像の各ピクセルに対応したフィルタ係数は、ピクセル毎のキー信号のレベルに応じたものとなる。
【００８１】
したがって、これらの場合、レンダリング部１０８では、入力画像の各ピクセルに対応して、ピクセル毎のキー信号のレベルに応じたフィルタ係数で、入力画像データＶinにローパスのフィルタリングが施される。そのため、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【００８２】
また、図１に示す画像処理装置１００において、輝度データ用のフィルタ係数のみ、色差データ用のフィルタ係数のみ、あるいはそれら双方のフィルタ係数を、キー信号縮小率化部１０５で生成される縮小率に応じたものとすることができる。そのため、輝度または色についてだけ、あるいは双方について、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【００８３】
また、図１に示す画像処理装置１００において、縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５から出力される縮小率のいずれか、または双方が合成されて得られた縮小率を出力する縮小率選択／合成部１０６が備えられる。そのため、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことを有効または無効にできる。また、縮小の変形処理が行われる場合、エリアシング（折り返し歪み）の発生を軽減しつつ、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことができる。
【００８４】
図８は、輝度および色の双方について、画像の特定箇所に動きや絵画調のような特殊な画像効果がもたらされる画像効果例を示している。この場合、キー信号生成部１０３では、例えば、入力画像データＶinの色差データＣinに基づいて、図８（ａ）に示すキー信号が生成される。
【００８５】
この例では、この図８（ａ）に示すキー信号がキー信号選択／合成部１０４を通じてキー信号縮小率化部１０５に供給され、さらにこのキー信号縮小率化部１０５で得られた縮小率が縮小率選択／合成部１０６を通じてフィルタ係数出力部１０７に供給される。そして、この例では、フィルタ係数出力部１０７で、輝度データ用および色差データ用の双方のフィルタ係数として、図８（ａ）に示すキー信号のレベルに応じたローパスのフィルタ係数が出力されるものとする。
【００８６】
図８（ｂ）は入力画像データＶinによる画像（入力画像）を示しており、図８（ｃ）は出力画像データＶoutによる画像（出力画像）を示している。図８（ａ）に示すキー信号は、入力画像の特定色相（この例では花びらの色相）以外の部分でそのレベルが高くなっている。上述したように、キー信号縮小率化部１０５では、例えば、キー信号選択／合成部１０４から出力されるキー信号ｓｋがその最大値が１となるように正規化され、１からその正規化値ｓｋ′が差し引かれた値（１−ｓｋ′）が縮小率とされる。
【００８７】
入力画像の特定色相の箇所は縮小率＝１．０に近く、逆に、入力画像の特定色相以外の箇所は縮小率＝０．０に近くなる。そのため、フィルタ係数出力部１０７から出力されるフィルタ係数は、入力画像の特定色相以外の箇所に対応してより深くフィルタ効果がかけられるものとされる。したがって、図８（ｃ）に示す出力画像では、特定色相以外の箇所に、より深くフィルタ効果、すなわち動きや絵画調のような特殊な画像効果がかかっている。
【００８８】
次に、輝度についてのみ、画像の特定箇所に動きや絵画調のような特殊な画像効果がもたらされる画像効果例を説明する。この場合、キー信号生成部１０３により入力画像データＶinの輝度データＹに基づいて生成されたキー信号が、キー信号選択／合成部１０４を通じてキー信号縮小率化部１０５に供給される。そして、このキー信号縮小率化部１０５で得られた縮小率が縮小率選択／合成部１０６を通じてフィルタ係数出力部１０７に供給される。そして、この例では、フィルタ係数出力部１０７で、輝度データ用のフィルタ係数として、キー信号のレベルに応じたローパスのフィルタ係数が出力され、色差データ用のフィルタ係数は縮小率が１．０に対応したものとされる。
【００８９】
図９は入力画像データＶinによる画像（入力画像）を示しており、図１０は出力画像データＶoutによる画像（出力画像）を示している。キー信号縮小率化部１０５に供給されるキー信号は入力画像の輝度の高い部分でそのレベルが高くなっている。上述したように、キー信号縮小率化部１０５では、例えば、キー信号選択／合成部１０４から出力されるキー信号ｓｋがその最大値が１となるように正規化され、１からその正規化値ｓｋ′が差し引かれた値（１−ｓｋ′）が縮小率とされる。
【００９０】
入力画像の低輝度箇所は縮小率＝１．０に近く、逆に、入力画像の高輝度箇所は縮小率＝０．０に近くなる。そのため、フィルタ係数出力部１０７から出力される輝度データ用のフィルタ係数は、入力画像の高輝度箇所に対応してより深くフィルタ効果がかけられるものとされる。したがって、図１０に示す出力画像では、高輝度箇所の輝度についてより深くフィルタ効果、すなわち動きや絵画調のような特殊な画像効果がかかっている。この場合、色についてはフィルタ効果がかからないので、塗り絵のような絵画調の画像効果が得られる。
【００９１】
なお、図８（ｃ）および図１０は、「画像変形なし」の場合を示している。しかし、図示は省略するが、縮小、移動、回転などの画像変形が施される場合にあっても、変形された画像の例えば高輝度箇所で動きや絵画調のような特殊な画像効果が強く表れるようになる。
【００９２】
＜２．変形例＞
なお、上述の図１に示す画像処理装置１００においては、変換座標出力部１０１からは、どのような画像変形を行うかを示す画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）が出力される。そのため、レンダリング部１０８で得られる出力画像データＶoutは、画像変形パラメータが示す画像変形が施された出力画像を表示できるものとなる。しかし、この発明は、画像変形の機能を持たない画像処理装置にも適用できる。
【００９３】
図１１は、画像変換機能を持たない画像処理装置１００Ａの構成例を示している。この図１１において、図１と対応する部分には同一符号を付し、適宜その詳細説明を省略する。この画像処理装置１００Ａは、変換座標出力部１０１Ａと、キー信号生成部１０３と、キー信号選択／合成部１０４と、フィルタ係数出力部１０７Ａと、レンダリング部１０８を有している。
【００９４】
変換座標出力部１０１Ａでは、出力画像のピクセル単位で、対応する入力画像のＸ，Ｙ座標が出力される。この変換座標出力部１０１Ａには、図１に示す画像処理装置１００の変換座標出力部１０１とは異なり、画像変形パラメータは供給されない。そのため、この変換画像出力部１０１Ａからは、図１に示す画像処理装置１００の変換座標出力部１０１において、「画像変形なし」の場合と同様のＸ，Ｙ座標が出力される。つまり、変換座標出力部１０１Ａからは、出力画像の各ピクセルに対して、そのピクセルの座標（ｘ，ｙ）と同じ入力画像の座標（Ｘ，Ｙ）が出力される。
【００９５】
フィルタ係数出力部１０７Ａには、キー信号選択／合成部１０４から出力されるキー信号が供給される。このフィルタ係数出力部１０７Ａからは、キー信号選択／合成部１０５から供給されるキー信号のレベルに応じたフィルタ係数が出力される。このフィルタ係数は画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすためのものとなる。
【００９６】
フィルタ係数出力部１０７Ａでは、図１に示す画像処理装置１００において、縮小率選択／合成部１０６からフィルタ係数出力部１０７にキー信号縮小率化部１０５で得られる縮小率が供給される場合と同様のフィルタ係数が出力される。この場合、図１に示す画像処理装置１００においてキー信号縮小率化部１０５の処理が省略されたものと考えることができる。
【００９７】
レンダリング部１０８には、入力画像データＶinが供給されると共に、フィルタ係数出力部１０７Ａから出力されるフィルタ係数および変換座標出力部１０１Ａから出力されるＸ，Ｙ座標が供給される。このレンダリング部１０８では、入力画像データＶinに対して、フィルタ係数出力部１０７Ａから出力されるフィルタ係数を用いたフィルタリングが施される。そして、レンダリング部１０８では、出力画像の各ピクセルに対応して、入力画像データＶinの各画素データのうち、変換座標出力部１０１Ａから出力されるＸ，Ｙ座標に対応した画素データが用いられ、出力画像データＶoutを構成する画素データが得られる。
【００９８】
この図１１に示す画像処理装置１００Ａのその他は、図１に示す画像処理装置１００と同様に構成され、同様の動作をする。
【００９９】
この図１１に示す画像処理装置１００Ａにおいては、図１に示す画像処理装置１００とは異なって、画像変形の処理は行われない。しかし、フィルタ係数出力部１０７Ａからレンダリング部１０８に供給される入力画像の各ピクセルに対応したフィルタ係数は、ピクセル毎のキー信号のレベルに応じたものとなる。そのため、レンダリング部１０８では、入力画像の各ピクセルに対応して、ピクセル毎のキー信号のレベルに応じたフィルタ係数で、入力画像データＶinにローパスのフィルタリングが施される。そのため、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【０１００】
また、上述していないが、例えば、図１、図１１に示す画像処理装置１００，１００Ａにおいて、キー信号生成部１０３で生成されるキー信号（ＫＥＹ信号）を、所定の時間単位、例えば１フレームあるいは複数フレームの単位などで加工することも考えられる。この場合、キー信号生成部１０３は、入力画像データＶinに基づいて生成されたキー信号を、所定の時間単位で加工して出力する。この意味で、キー信号生成部１０３は、キー信号加工部を構成する。
【０１０１】
キー信号生成部１０３は、キー信号の加工処理として、例えば入力画像データＶinに基づいて生成されたキー信号に加算するオフセット値を、所定の時間単位で変化させる。あるいは、キー信号生成部１０３は、キー信号の加工処理として、例えば、入力画像データＶinに基づいて生成されたキー信号に乗算する係数値を、所定の時間単位で変化させる。
【０１０２】
このようにキー信号生成部１０３で生成されるキー信号が所定の時間単位で加工されることで、フィルタ係数出力部１０７Ａから出力されるキー信号のレベルに応じたフィルタ係数が所定の時間単位で変化したものとなる。そのため、画像の特定箇所にもたらされる動きや絵画調のような特殊な画像効果を所定の時間単位で変化させることができる。
【０１０３】
なお、キー信号の加工処理は、上述したようにキー信号生成部１０３で生成されるキー信号に対して行う他に、外部キー信号（外部ＫＥＹ信号）に対して、あるいはキー信号選択／合成部１０４から出力されるキー信号に対して行う構成としてもよい。
【産業上の利用可能性】
【０１０４】
この発明は、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことができ、例えば放送局等の映像編集システム等に適用できる。
【符号の説明】
【０１０５】
１００，１００Ａ・・・画像処理装置
１０１，１０１Ａ・・・変換座標出力部
１０２・・・縮小率算出部
１０３・・・キー信号生成部
１０４・・・キー信号選択／合成部
１０５・・・キー信号縮小率化部
１０６・・・縮小率選択／合成部
１０７，１０７Ａ・・・フィルタ係数出力部
１０８・・・レンダリング部
１０８Ｙ・・・輝度データ処理部
１０８Ｃ・・・色差データ処理部
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、画像に変形処理を施して特殊効果を発生させる画像処理装置等に関する。
【背景技術】
【０００２】
従来、映像編集システムなどでは、２次元空間や３次元空間における座標変換によって画像に縮小、移動、回転などの変形処理を施すことが行われている（例えば、特許文献１，２参照）。
【０００３】
図１２は、従来の画像処理装置２１０の構成例を示している。変換座標出力部２１１には、図示しないシステムコントローラ等の外部機器からどのような画像変形を行うかを示す画像変形パラメータが供給される。画像変形は、例えば、縮小、移動、回転などである。この変換座標出力部２１１では、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）が出力される。この変換座標出力部２１１では、座標変換処理により、入力画像の座標と出力画像の座標との対応関係が決定される。
【０００４】
この変換座標出力部２１１から出力されるＸ，Ｙ座標は、縮小率算出部２１２に供給される。縮小率算出部２１２では、変換座標出力部２１１から出力されるＸ，Ｙ座標に基づいて、画像の縮小率が算出される。この縮小率算出部２１２では、例えば、出力画像の水平方向に隣接する２ピクセルに対応して出力される入力画像の座標の水平方向成分の差に基づいて、水平方向の画像の縮小率が算出される。同様に、縮小率算出部２１２では、例えば、出力画像の垂直方向に隣接する２ピクセルに対応して出力される入力画像の座標の垂直方向成分の差に基づいて、垂直方向の画像の縮小率が算出される。
【０００５】
この縮小率算出部２１２で算出される水平方向および垂直方向の画像の縮小率は、フィルタ係数出力部２１３に供給される。このフィルタ係数出力部２１３からは、画像の縮小率に対応したフィルタ係数が出力される。このフィルタ係数は、画像の縮小に伴って発生するエリアシング（折り返し歪み）を軽減するためのものである。レンダリング部２１４では、入力画像データＶinに対して、水平方向および垂直方向に、例えばＦＩＲ（Finite ImpulseResponse）フィルタにより、ローパスのフィルタリングが施される。そのため、フィルタ係数出力部２１３から出力されるフィルタ係数には、水平方向の所定数のタップ分の係数と、垂直方向の所定数のタップ分の係数が含まれる。
【０００６】
レンダリング部２１４には、入力画像データＶinが供給されると共に、変換座標出力部２１１から出力されるＸ，Ｙ座標と、フィルタ係数出力部２１３から出力されるフィルタ係数が供給される。このレンダリング部２１４では、入力画像データＶinに対して、フィルタ係数出力部２１３から出力されるフィルタ係数を用いたフィルタリングが施される。
【０００７】
そして、このレンダリング部２１４では、出力画像の各ピクセルに対応して、フィルタリング後の入力画像データＶinの各画素データのうち、Ｘ，Ｙ座標に対応した画素データが用いられて、出力画像データＶoutを構成する画素データが得られる。この場合、レンダリング部２１４では、例えば、複数個の画素データを使用した補間処理が行われることで、各ピクセル位置に精度よく対応した画素データが生成される。
【０００８】
図１３は、上述の図１２に示す画像処理装置２１０における処理例を示している。入力画像データＶinが、例えば、図１３（ａ）に示すような画像を表示する画像データであるとする。縮小の変形処理が行われる場合には、変換座標出力部２１１からその変形処理のためのＸ，Ｙ座標が出力されてレンダリング部２１４に送られる。そのため、レンダリング部２１４では、例えば、図１３（ｂ）に示すような画像を表示する出力画像データＶoutが得られる。また、縮小および回転の変形処理が行われる場合には、同様にして、レンダリング部２１４では、例えば、図１３（ｃ）に示すような画像を表示する出力画像データＶoutが得られる。
【０００９】
また、従来、映像編集システムなどでは、入力画像データ等から作成されたキー信号に基づいて複数の画像データを合成する処理を施すことが行われている（例えば、特許文献３参照）。
【００１０】
図１４は、従来の画像処理装置２２０の構成例を示している。キー信号生成部２２１には、入力画像データＶinaが供給される。このキー信号生成部２２１では、入力画像データＶinaに基づいて、キー信号（ＫＥＹ信号）が生成される。例えば、キー信号生成部２２１では、ピクセル毎に、入力画像データＶinaを構成する輝度データＹのレベルに応じた、所定ビットのキー信号が生成される。また、例えば、キー信号生成部２２１では、ピクセル毎に、入力画像データＶinaを構成する青色差データＣｂおよび赤色差データＣｒのレベル（彩度、色相）に応じた所定ビットのキー信号が生成される。
【００１１】
このキー信号生成部２２１で生成されるキー信号は、キー信号選択／合成部２２２に供給される。また、このキー信号選択／合成部２２２には、図示しないシステムコントローラ等の外部機器から外部キー信号（外部ＫＥＹ信号）が供給される。この外部キー信号は、上述のキー信号生成部２２１と同様のキー信号生成部により、入力画像データＶinaとは異なる他の画像データに基づいて生成されたものである。
【００１２】
このキー信号選択／合成部２２２では、図示しないシステムコントローラ等の外部機器による制御により、キー信号生成部２２１で生成されたキー信号および外部キー信号のいずれか、または双方が合成されて得られたキー信号が出力される。キー信号の合成は、例えば、αブレンドにより行われる。
【００１３】
このキー信号選択／合成部２２２から出力されるキー信号は、画像合成部２２３に供給される。この画像合成部２２３には、上述したようにキー信号の生成のために使用された入力画像データＶinaが入力される共に、入力画像データＶinbが入力されている。この画像合成部２２３では、キー信号選択／合成部２２２から出力されるキー信号に基づいて、入力画像データＶinaと入力画像データＶinbとが合成されて、出力画像データＶoutが得られる。
【００１４】
この画像合成部２２３では、例えば、キー信号選択／合成部２２２から出力されるキー信号がその最大値が１となるように正規化され、正規化されたキー信号を用いたαブレンド処理による合成が行われる。すなわち、画像合成部２２３では、以下の（１）式に基づいて、入力画像データＶinaと入力画像データＶinbとが合成される。この（１）式において、ｓｋ′は、キー信号の正規化値である。
Ｖout＝Ｖina＊ｓｋ′＋Ｖinb＊（１−ｓｋ′） ・・・（１）
【００１５】
図１５は、上述の図１４に示す画像処理装置２２０における処理例を示している。入力画像データＶinaが、例えば、図１５（ａ）に示すようなブルーバック画像を表示する画像データであるとする。また、入力画像データＶinbが、例えば、図１５（ｂ）に示すような画像を表示する画像データであるとする。キー信号生成部２２１が入力画像データＶinaのうち、ブルーバック部分を特定してキー信号（ＫＥＹ信号）とする場合には、キー信号生成部２２１では、図１５（ｃ）に示すようにキー信号が生成される。
【００１６】
そして、キー信号選択／合成部２２２においてキー信号生成部２２１で生成されるキー信号が選択されて出力される場合、画像合成部２２３では、例えば、図１５（ｄ）に示すような画像を表示する出力画像データＶoutが得られる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００２−８３３１６号公報
【特許文献２】特開２００７−１３８７４号公報
【特許文献３】特開平９−６５２０３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
この発明の目的は、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことを可能とした画像処理装置を提供することにある。
【課題を解決するための手段】
【００１９】
この発明の概念は、
出力画像のピクセル単位で、対応する入力画像の座標を出力する変換座標出力部と、
キー信号を用いて、上記入力画像のピクセル単位で、該キー信号のレベルに応じたローパスのフィルタ係数を出力するフィルタ係数出力部と、
入力画像データに上記フィルタ係数出力部から出力されるフィルタ係数でフィルタリングを施し、上記出力画像の各ピクセルに対応して、上記フィルタリングが施された後の入力画像データを構成する各画像データのうち、上記変換座標出力部から出力される座標に対応した画素データを用いて出力画像データを構成する画素データを得る画像処理部と
を備える画像処理装置にある。
【００２０】
この発明においては、変換座標出力部により、出力画像のピクセル単位で、対応する入力画像の座標が出力される。また、フィルタ係数出力部から、入力画像のピクセル単位で、キー信号のレベルに応じたローパスのフィルタ係数が出力される。
【００２１】
例えば、キー信号として、入力画像データに基づいてキー信号生成部で生成されたキー信号、または入力画像データとは異なる他の画像データに基づいて生成された外部キー信号が用いられる。また、例えば、キー信号として、入力画像データに基づいて生成されたキー信号と外部キー信号とが合成されて得られたキー信号が用いられる。他の画像データは、例えば、自然画像または人工画像の画像データとされる。ここで、自然画像の画像データは、撮影されて得られた画像データを意味する。また、人工画像の画像データは、人工的に作成された画像データを意味する。
【００２２】
画像処理部により、入力画像データに、フィルタ係数出力部から出力されるフィルタ係数でフィルタリングが施される。そして、画像処理部により、出力画像の各ピクセルに対応して、フィルタリングが施された後の入力画像データを構成する各画素データのうち、変換座標出力部から出力される変動座標に対応した画素データが用いられて、出力画像データを構成する画素データが得られる。
【００２３】
このように、画像処理部では、入力画像のピクセル単位で得られたキー信号のレベルに応じたローパスのフィルタ係数が用いられて入力画像データにフィルタリングが施される。そして、画像処理部では、出力画像のピクセル単位で出力画像データを構成する画素データを得る際に、フィルタリングが施された後の入力画像データが用いられる。そのため、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【００２４】
この発明において、例えば、入力画像データは輝度データおよび色差データを含み、画像処理部は、輝度データの処理を行う輝度データ処理部と、色差データの処理を行う色差データ処理部とを有し、輝度データ処理部および色差データ処理部のいずれか、または双方において、フィルタ係数出力部から出力されるフィルタ係数でローパスのフィルタリングが施される、ようにしてもよい。これにより、輝度または色についてだけ、あるいは双方について、上述の特殊な画像効果をもたらすことが可能となる。
【００２５】
この発明において、例えば、フィルタ係数出力部で用いられるキー信号を所定の時間単位で加工するキー信号加工部をさらに備える、ようにしてもよい。この場合、フィルタ係数が所定の時間単位で変化したものとなる。そのため、画像の特定箇所にもたらされる動きや絵画調のような特殊な画像効果を所定の時間単位で変化させることができる。
【００２６】
また、この発明において、例えば、変換座標出力部から出力される座標に基づいて縮小率を算出する縮小率算出部と、キー信号を用い、このキー信号のレベルに応じた縮小率を出力するキー信号縮小率化部をさらに備え、フィルタ係数出力部は、縮小率算出部で算出される縮小率とキー信号縮小率化部から出力される縮小率とが合成されて得られた縮小率に応じたフィルタ係数を出力する、ようにしてもよい。これにより、画像処理部で縮小の変形処理が行われる場合、エリアシング（折り返し歪み）の発生を軽減できると共に、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【００２７】
また、この発明において、例えば、変換座標出力部から出力される座標に基づいて縮小率を算出する縮小率算出部と、キー信号を用い、該キー信号のレベルに応じた縮小率を出力するキー信号縮小率化部と、縮小率算出部で算出される縮小率およびキー信号縮小率化部から出力される縮小率のいずれか、または双方が合成されて得られた縮小率を出力する縮小率出力部をさらに備え、フィルタ係数出力部は、縮小率出力部から出力される縮小率に応じたフィルタ係数を出力する、ようにしてもよい。これにより、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことを有効または無効にできる。また、これにより、画像処理部で縮小の変形処理が行われる場合、エリアシング（折り返し歪み）の発生を軽減しつつ、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことができる。
【発明の効果】
【００２８】
この発明によれば、出力画像のピクセル単位で出力画像データを構成する画素データを得る際に、入力画像のピクセル単位で得られたキー信号のレベルに応じたローパスのフィルタ係数でフィルタリングが施された後の入力画像データが用いられるものであり、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【図面の簡単な説明】
【００２９】
【図１】この発明の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】変換座標出力部が、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標を出力することを説明するための図である。
【図３】フィルタ係数出力部に用意されているモード（縮小率とフィルタ係数の関係）の一例を示す図である。
【図４】フィルタ係数出力部が０倍から１倍の係数リストであるフィルタ係数テーブルを備えていることを示す図である。
【図５】フィルタ係数出力部が備えるフィルタ係数テーブル（０倍から１倍の係数リスト）の一例を示す図である。
【図６】キー信号生成部で生成されたキー信号のレベルに応じて出力されるフィルタ係数の一例を説明するための図である。
【図７】画像処理装置を構成するレンダリング部が輝度データ処理部および色差データ処理部を有していることを示すブロック図である。
【図８】この発明の画像効果例を説明するためのキー信号、入力画像および出力画像の一例を示す図である。
【図９】この発明の他の画像効果例を説明するための入力画像の一例を示す図である。
【図１０】この発明の他の画像効果例を説明するための出力画像の一例を示す図である。
【図１１】この発明の変形例としての画像処理装置の構成例を示すブロック図である。
【図１２】２次元空間や３次元空間における座標変換によって画像に縮小、回転などの変形処理を施す従来の画像処理装置の構成例を示す図である。
【図１３】２次元空間や３次元空間における座標変換によって画像に縮小、回転などの変形処理を施す従来の画像処理装置における処理例を示す図である。
【図１４】入力画像データ等から作成されたキー信号に基づいて複数の画像データを合成する処理を施す従来の画像処理装置の構成例を示す図である。
【図１５】入力画像データ等から作成されたキー信号に基づいて複数の画像データを合成する処理を施す従来の画像処理装置の処理例を示す図である。
【発明を実施するための形態】
【００３０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００３１】
＜１．実施の形態＞
［画像処理装置の構成］
図１は、実施の形態としての画像処理装置１００の構成例を示している。画像処理装置１００は、変換座標出力部１０１と、縮小率算出部１０２と、キー信号生成部１０３と、キー信号選択／合成部１０４と、キー信号縮小率化部１０５と、縮小率選択／合成部１０６と、フィルタ係数出力部１０７と、レンダリング部１０８を有している。
【００３２】
変換座標出力部１０１は、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）を出力する。画像変形パラメータは、どのような画像変形を行うかを示す。画像変形は、例えば、縮小、移動、回転などである。この画像変形パラメータは、図示しないシステムコントローラ等の外部機器から供給される。
【００３３】
変換座標出力部１０１は、以下のような座標変換処理により、入力画像の座標と出力画像の座標との対応関係を決定する。すなわち、変換座標出力部１０１は、２次元の入力画像を３次元空間のＸＹ平面上のオブジェクトと見なして３次元に拡張し、この３次元空間で、このオブジェクトに対して画像変形パラメータに応じた変形を施す。その後、変換座標出力部１０１は、３次元空間で変形されたオブジェクトを２次元のＸＹ平面に投影する。
【００３４】
例えば、入力画像の座標を図２（ａ）に示すようにＸ，Ｙ座標とし、出力画像の座標を図２（ｂ）に示すようにｘ，ｙ座標とする。変換座標出力部１０１は、出力画像の各ピクセルの座標（ｘ，ｙ）に対応した、入力画像の座標（Ｘ，Ｙ）を出力する。図２は、画像に縮小の変形処理を施す例を示している。変換座標出力部１０１は、例えば、出力画像の座標（ｘ１，ｙ１）、（ｘ２，ｙ２），（ｘ３，ｙ３）、（ｘ４，ｙ４）のピクセルで、それぞれ、入力画像の座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）を出力する。
【００３５】
縮小率算出部１０２は、変換座標出力部１０１から出力される座標に基づいて、画像の宿小率を算出する。縮小率算出部１０２は、例えば、出力画像の水平方向に隣接する２ピクセルに対応して出力される入力画像の座標の水平方向成分の差に基づいて、水平方向の画像の縮小率を算出する。同様に、縮小率算出部１０２は、例えば、出力画像の垂直方向に隣接する２ピクセルに対応して出力される入力画像の座標の垂直方向成分の差に基づいて、垂直方向の画像の縮小率を算出する。
【００３６】
キー信号生成部１０３は、入力画像データＶinに基づいて、キー信号（ＫＥＹ信号）を生成する。例えば、キー信号生成部１０３は、ピクセル毎に、入力画像データＶinを構成する輝度データＹのレベルに応じた、所定ビットのキー信号を生成する。また、例えば、キー信号生成部１０３は、ピクセル毎に、入力画像データＶinを構成する青色差データＣｂおよび赤色差データＣｒのレベル（彩度、色相）に応じた所定ビットのキー信号を生成する。ここで、キー信号が１ビットの信号であるとき２値の信号となり、キー信号が２ビット以上であるときは４値以上の信号となる。
【００３７】
キー信号選択／合成部１０４は、図示しないシステムコントローラ等の外部機器からの制御により、キー信号生成部１０３で生成されたキー信号および外部キー信号（外部ＫＥＹ信号）のいずれか、または双方が合成されて得られたキー信号を出力する。キー信号の合成は、例えば、αブレンドにより行われる。このキー信号選択／合成部１０４は、キー信号出力部を構成している。
【００３８】
外部キー信号は、上述のキー信号生成部１０３と同様のキー信号生成部により、入力画像データＶinとは異なる他の画像データに基づいて生成されたものである。例えば、入力画像データＶinは自然画像の画像データであり、他の画像データは自然画像の画像データまたは人工画像の画像データである。自然画像の画像データとは、撮影されて得られた画像データである。これに対して、人工画像の画像データとは、人工的に作成された画像データである。
【００３９】
キー信号縮小率化部１０５は、キー信号選択／合成部１０４から出力されるキー信号を用い、このキー信号のレベルに応じた縮小率を出力する。このキー信号縮小率化部１０５は、例えば、キー信号選択／合成部１０４から出力されるキー信号ｓｋをその最大値が１となるように正規化し、１からその正規化値ｓｋ′を差し引いた値（１−ｓｋ′）を縮小率とする。なお、キー信号縮小率化部１０５でキー信号に基づいて縮小率を得る方法は上述した方法に限定されず、予め定義したその他の関数を用いて、キー信号から縮小率を得るようにしてもよい。
【００４０】
縮小率選択／合成部１０６は、図示しないシステムコントローラ等の外部機器からの制御により、縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５から出力される縮小率のいずれか、または双方が合成されて得られた縮小率を出力する。例えば、縮小率の合成処理として、縮小率算出部１０２で算出される縮小率にキー信号縮小率化部１０５から出力される縮小率を乗算することが考えられる。また、例えば、縮小率の合成処理として、縮小率算出部１０２で算出される縮小率からキー信号縮小率化部１０５から出力される縮小率を減算することが考えられる。この縮小率選択／合成部１０６は、縮小率出力部を構成している。
【００４１】
フィルタ係数出力部１０７は、縮小率選択／合成部１０６から出力された縮小率に対応したローパスのフィルタ係数を出力する。フィルタ係数出力部１０７には、縮小率とフィルタ係数の関係が関数化された複数のモードが用意されており、各モードが選択的に利用される。
【００４２】
図３には、２つのモード例が示されている。図３（ａ）に示すモードは、縮小率（Ｘ）とフィルタ係数（Ｙ）との関係が、Ｙ＝ａＸ（ａ＝１０）の関数で表される。このモードでは、縮小率Ｘが０．８であるとき、出力すべきフィルタ係数は「フィルタ係数８」に決定される。また、図３（ｂ）に示すモードは、縮小率（Ｘ）とフィルタ係数（Ｙ）との関係が、Ｙ＝ａＸ（ａ＝５）の関数で表される。このモードでは、縮小率Ｘが０．８であるとき、出力すべきフィルタ係数は「フィルタ係数４」に決定される。
【００４３】
この「フィルタ係数４」は、図３（ａ）に示すモードにおいて、縮小率Ｘが０．４であるときのフィルタ係数である。そのため、図３（ｂ）に示すモードを使用する場合、図３（ａ）に示すモードを使用する場合に比べて、全体的により深くフィルタ効果がかけられることになる。
【００４４】
フィルタ係数出力部１０７は、図４に示すように、フィルタ係数テーブルを備えている。このフィルタ係数テーブルは、０倍から１倍の係数リストである。図５は、フィルタ係数テーブルの一例を示している。この例では、０倍に対応しているのがフィルタ係数０であり、１倍に対応しているのがフィルタ係数１０である。フィルタ係数出力部１０７は、このフィルタ係数テーブルと、選択されたモード（図３参照）に応じて、水平、垂直の縮小率にそれぞれ対応したフィルタ係数を決定する。
【００４５】
図６（ａ）は、キー信号生成部１０３で生成されたキー信号のレベルに応じて出力されるフィルタ係数の一例を示している。例えば、１０ビットのキー信号ｓｋのレベルが「５１２」であるとき、キー信号縮小率化部１０５から出力される縮小率は、１からキー信号ｓｋの正規化値ｓｋ′である「０．５」が差し引かれた値である「０．５」となる。そして、この場合、フィルタ係数出力部１０７からは、図３（ａ）に示すモードを使用するときには、図６（ｂ）に示すように、「フィルタ係数５」が出力される。
【００４６】
なお、レンダリング部１０８では、入力画像データＶinに対して、水平方向および垂直方向に、例えばＦＩＲ（Finite Impulse Response）フィルタにより、フィルタリングが施される。そのため、フィルタ係数出力部１０７から出力されるフィルタ係数には、水平方向の所定数のタップ分の係数と、垂直方向の所定数のタップ分の係数が含まれる。
【００４７】
また、レンダリング部１０８では、入力画像データＶinを構成する輝度データＹ、青色差データＣｂおよび赤色差データＣｒに対して個々にフィルタリングが施される。そのため、フィルタ係数出力部１０７から出力されるフィルタ係数には、輝度データ用のフィルタ係数と、色差データ用のフィルタ係数が含まれる。
【００４８】
レンダリング部１０８は、入力画像データＶinに対して、フィルタ係数出力部１０７から出力されるフィルタ係数を用いたフィルタリングを施す。また、レンダリング部１０８は、出力画像の各ピクセルに対応して、出力画像データＶoutを構成する画素データを得る。
【００４９】
この場合、レンダリング部１０８は、フィルタリング後の入力画像データＶinの各画素データのうち、変換座標出力部１０１から出力されるＸ，Ｙ座標に対応した画素データを用いて、出力画像の各ピクセルに対応した画素データを生成する。なお、この場合、レンダリング部１０８は、例えば、複数個の画素データを使用した補間処理を行うことで、各ピクセル位置に精度よく対応した画素データを生成する。このレンダリング部１０８は、画像処理部を構成している。
【００５０】
図７は、レンダリング部１０８の構成例を示している。入力画像データＶinは、輝度データＹおよび色差データＣ（青色差データＣｂ、赤色差データＣｒ）を含んでいる。レンダリング部１０８は、入力画像データＶinを構成する輝度データＹを処理して、出力画像データＶoutを構成する輝度データＹ′を出力する輝度データ処理部１０８Ｙを有している。また、レンダリング部１０８は、入力画像データＶinを構成する色差データＣを処理して、出力画像データＶoutを構成する色差データＣ′を出力する色差データ処理部１０８Ｃを有している。
【００５１】
輝度データ処理部１０８Ｙは、輝度データＹに対して、フィルタ係数出力部１０７から出力される輝度データ用のフィルタ係数を用いたフィルタリングを施す。そして、輝度データ処理部１０８Ｙは、フィルタリング後の輝度データＹを構成する各画素データのうち、変換座標出力部１０１から出力されるＸ，Ｙ座標に対応した画素データを用いて、輝度データＹ′を構成する各画素データを生成する。
【００５２】
色差データ処理部１０８Ｃは、色差データＹに対して、フィルタ係数出力部１０７から出力される色差データ用のフィルタ係数を用いたフィルタリングを施す。そして、色差データ処理部１０８Ｃは、フィルタリング後の色差データＣを構成する各画素データのうち、変換座標出力部１０１から出力されるＸ，Ｙ座標に対応した画素データを用いて、色差データＣ′を構成する各画素データを生成する。
【００５３】
上述したように、輝度データ処理部１０８Ｙでは輝度データＹに対してフィルタリングが行われ、色差データ処理部１０８Ｃでは色差データＣに対してフィルタリングが行われる。この場合、フィルタ係数出力部１０７から供給されるフィルタ係数に応じて、輝度データ処理部１０８Ｙおよび色差データ処理部１０８Ｃのいずれか、または双方において、ローパスのフィルタリングが施される。
【００５４】
輝度データ処理部１０８Ｙや色差データ処理部１０８Ｃでローパスのフィルタリングが行われるか否かは、フィルタ係数出力部１０７で出力されるフィルタ係数により決定される。フィルタ係数出力部１０７は、図示しないシステムコントローラ等の外部機器からの制御により、以下のように、輝度データ用および色差データ用のフィルタ係数を出力する。
【００５５】
縮小率選択／合成部１０６からキー信号縮小率化部１０５で算出される縮小率が出力されるとき、輝度データ処理部１０８Ｙおよび色差データ処理部１０８Ｃのいずれか、または双方でローパスのフィルタリングが施される。このとき、フィルタ係数出力部１０７からは、例えば、以下のように、輝度データ用および色差データ用のフィルタ係数が出力される。
【００５６】
輝度データ処理部１０８Ｙでのみローパスのフィルタリングを施す場合について説明する。この場合、フィルタ係数出力部１０７は、輝度データ用のフィルタ係数として縮小率選択／合成部１０６から出力される縮小率に対応したフィルタ係数を出力する。この場合、フィルタ係数出力部１０７は、色差データ用のフィルタ係数としては縮小率＝１．０のフィルタ係数を出力する。
【００５７】
この場合、レンダリング部１０８の輝度データ処理部１０８Ｙでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、輝度データＹに対してローパスのフィルタリングが施される。一方、レンダリング部１０８の色差データ処理部１０８Ｃには、フィルタ係数出力部１０７から縮小率＝１．０のフィルタ係数が供給されることから、色差データＣに対してローパスのフィルタリングは施されない。
【００５８】
また、色差データ処理部１０８Ｃでのみローパスのフィルタリングを施す場合について説明する。この場合、フィルタ係数出力部１０７は、色差データ用のフィルタ係数として縮小率選択／合成部１０６から出力される縮小率に対応したフィルタ係数を出力する。この場合、フィルタ係数出力部１０７は、輝度データ用のフィルタ係数としては縮小率＝１．０のフィルタ係数を出力する。
【００５９】
この場合、レンダリング部１０８の色差データ処理部１０８Ｃでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、色差データＣに対してローパスのフィルタリングが施される。一方、レンダリング部１０８の輝度データ処理部１０８Ｙには、フィルタ係数出力部１０７から縮小率＝１．０のフィルタ係数が供給されることから、輝度データＹに対してローパスのフィルタリングは施されない。
【００６０】
また、輝度データ処理部１０８Ｙおよび色差データ処理部１０８Ｃの双方でローパスのフィルタリングを施す場合について説明する。この場合、フィルタ係数出力部１０７は、輝度データ用および色差データ用のフィルタ係数として縮小率選択／合成部１０６から出力される縮小率に対応したフィルタ係数を出力する。
【００６１】
この場合、レンダリング部１０８の輝度データ処理部１０８Ｙでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、輝度データＹに対してローパスのフィルタリングが施される。また、レンダリング部１０８の色差データ処理部１０８Ｃでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、色差データＣに対してローパスのフィルタリングが施される。
【００６２】
縮小率選択／合成部１０６から縮小率算出部１０２で算出される縮小率が出力されるとき、輝度データ処理部１０８Ｙおよび色差データ処理部１０８Ｃの双方でローパスのフィルタリングが施される。縮小率選択／合成部１０６から縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５で得られる縮小率が合成されて得られた縮小率が出力されるときも同様とされる。このとき、フィルタ係数出力部１０７からは、例えば、以下のように、輝度データ用および色差データ用のフィルタ係数が出力される。
【００６３】
フィルタ係数出力部１０７は、輝度データ用および色差データ用のフィルタ係数として縮小率選択／合成部１０６から出力される縮小率に対応したフィルタ係数を出力する。この場合、レンダリング部１０８の輝度データ処理部１０８Ｙでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、輝度データＹに対してローパスのフィルタリングが施される。また、レンダリング部１０８の色差データ処理部１０８Ｃでは、フィルタ係数出力部１０７から供給されるフィルタ係数により、色差データＣに対してローパスのフィルタリングが施される。
【００６４】
図１に示す画像処理装置１００の動作を説明する。変換座標出力部１０１には、図示しないシステムコントローラ等の外部機器からどのような画像変形を行うかを示す画像変形パラメータが供給される。画像変形は、例えば、縮小、移動、回転などである。この変換座標出力部１０１からは、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）が出力される。この変換座標出力部１０１では、座標変換処理により、入力画像の座標と出力画像の座標との対応関係が決定される。
【００６５】
この変換座標出力部１０１から出力されるＸ，Ｙ座標は、縮小率算出部１０２に供給される。縮小率算出部１０２では、このＸ，Ｙ座標に基づいて、水平方向および垂直方向の画像の縮小率が算出される。このように算出される画像の縮小率は、縮小率選択／合成部１０６に供給される。
【００６６】
また、キー信号生成部１０３には、入力画像データＶinが供給される。このキー信号生成部１０３では、入力画像データＶinに基づいて、キー信号（ＫＥＹ信号）が生成される。例えば、キー信号生成部１０３では、ピクセル毎に、入力画像データＶinを構成する輝度データＹのレベルに応じた、所定ビットのキー信号が生成される。また、例えば、キー信号生成部１０３では、ピクセル毎に、入力画像データＶinを構成する青色差データＣｂおよび赤色差データＣｒのレベル（彩度、色相）に応じた所定ビットのキー信号が生成される。
【００６７】
このキー信号生成部１０３で生成されるキー信号は、キー信号選択／合成部１０４に供給される。また、このキー信号選択／合成部１０４には、図示しないシステムコントローラ等の外部機器から外部キー信号（外部ＫＥＹ信号）が供給される。この外部キー信号は、上述のキー信号生成部１０３と同様のキー信号生成部により、入力画像データＶinとは異なる他の画像データに基づいて生成されたものである。
【００６８】
このキー信号選択／合成部１０４では、図示しないシステムコントローラ等の外部機器による制御により、キー信号生成部１０３で生成されたキー信号および外部キー信号のいずれか、または双方が合成されて得られたキー信号が出力される。キー信号の合成は、例えば、αブレンドにより行われる。このキー信号選択／合成部１０４から出力されるキー信号は、キー信号縮小率化部１０５に供給される。
【００６９】
キー信号縮小率化部１０５では、キー信号選択／合成部１０４から出力されるキー信号が用いられ、このキー信号のレベルに応じた縮小率が得られる。例えば、このキー信号縮小率化部１０５では、キー信号選択／合成部１０４から出力されるキー信号ｓｋがその最大値が１となるように正規化され、１からその正規化値ｓｋ′が差し引かれた値（１−ｓｋ′）が縮小率とされる。このキー信号縮小率化部１０５から出力される縮小率は、縮小率選択／合成部１０６に供給される。
【００７０】
縮小率選択／合成部１０６では、図示しないシステムコントローラ等の外部機器からの制御により、縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５から出力される縮小率の選択または合成が行われる。例えば、縮小率選択／合成部１０６からは、縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５から出力される縮小率のいずれかが選択されて出力される。
【００７１】
また、例えば、縮小率選択／合成部１０６からは、縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５から出力される縮小率が合成されて得られた縮小率が出力される。この場合、縮小率の合成処理として、例えば、縮小率算出部１０２で算出される縮小率にキー信号縮小率化部１０５から出力される縮小率を乗算すること等が行われる。この縮小率選択／合成部１０６から出力される縮小率は、フィルタ係数出力部１０７に供給される。
【００７２】
フィルタ係数出力部１０７からは、縮小率選択／合成部１０６から供給される縮小率に対応したフィルタ係数が出力される。このフィルタ係数は、縮小率選択／合成部１０６から縮小率算出部１０２で算出される縮小率が出力される場合、画像の縮小に伴って発生するエリアシング（折り返し歪み）を軽減するためのものとなる。また、このフィルタ係数は、縮小率選択／合成部１０６からキー信号縮小率化部１０５で得られる縮小率が出力される場合、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすためのものとなる。
【００７３】
さらに、このフィルタ係数は、縮小率選択／合成部１０６から縮小率算出部１０２およびキー信号縮小率化部１０５の双方の縮小率が合成されて得られた縮小率が出力される場合、このフィルタ係数は、以下の目的を持つものとなる。すなわち、このフィルタ係数は、画像の縮小に伴って発生するエリアシング（折り返し歪み）を軽減すると共に、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすためのものとなる。
【００７４】
レンダリング部１０８には、入力画像データＶinが供給されると共に、フィルタ係数出力部１０７から出力されるフィルタ係数および変換座標出力部１０１から出力されるＸ，Ｙ座標が供給される。このレンダリング部１０８では、入力画像データＶinに対して、フィルタ係数出力部１０７から出力されるフィルタ係数を用いたフィルタリングが施される。
【００７５】
このフィルタリングにより、画像の縮小変形に伴うエリアシング（折り返し歪み）の発生が軽減され、あるいは画像の特定箇所に動きや絵画調のような特殊な画像効果がもたらされる。すなわち、フィルタ係数出力部１０７から出力されるフィルタ係数が縮小率算出部１０２で算出される縮小率に応じたものである場合、画像の縮小変形に伴うエリアシング（折り返し歪み）の発生が軽減される。
【００７６】
また、フィルタ係数出力部１０７から出力されるフィルタ係数がキー信号縮小率化部１０５で生成される縮小率に応じたものである場合、画像の特定箇所に動きや絵画調のような特殊な画像効果がもたらされる。この場合、フィルタ係数出力部１０７において、輝度データ用のフィルタ係数のみがキー信号縮小率化部１０５で生成される縮小率に応じたものとされることで、輝度についてだけ上述の特殊な画像効果がもたらされる。
【００７７】
また、この場合、フィルタ係数出力部１０７において、色差データ用のフィルタ係数のみがキー信号縮小率化部１０５で生成される縮小率に応じたものとされることで、色についてだけ上述の特殊な画像効果がもたらされる。さらに、この場合、輝度データ用および色差データ用の双方のフィルタ係数がキー信号縮小率化部１０５で生成される縮小率に応じたものとされることで、輝度および色の双方について上述の特殊な画像効果がもたらされる。
【００７８】
また、このレンダリング部１０８では、出力画像の各ピクセルに対応して、出力画像データＶoutを構成する画素データが得られる。この場合、レンダリング部１０８では、出力画像の各ピクセルに対応して、フィルタリング後の入力画像データＶinの各画素データのうち、変換座標出力部１０１から出力されるＸ，Ｙ座標に対応した画素データが用いられる。そのため、レンダリング部１０８で得られる出力画像データＶoutは、画像変形パラメータが示す画像変形が施された出力画像を表示するものとなる。
【００７９】
上述したように、図１に示す画像処理装置１００において、キー信号縮小率化部１０５では、キー信号選択／合成部１０４から出力されるキー信号が用いられ、このキー信号が正規化される等してこのキー信号のレベルに応じた縮小率が得られる。この縮小率が縮小率選択／合成部１０６を通じてフィルタ係数出力部１０７に供給される場合、フィルタ係数出力部１０７からレンダリング部１０８に供給される入力画像の各ピクセルに対応したフィルタ係数は、ピクセル毎のキー信号のレベルに応じたものとなる。
【００８０】
また、縮小率選択／合成部１０６からフィルタ係数出力部１０７にキー信号縮小率化部１０５および縮小率算出部１０２の双方の縮小率が合成された縮小率が供給される場合も同様である。すなわち、この場合も、フィルタ係数出力部１０７からレンダリング部１０８に供給される入力画像の各ピクセルに対応したフィルタ係数は、ピクセル毎のキー信号のレベルに応じたものとなる。
【００８１】
したがって、これらの場合、レンダリング部１０８では、入力画像の各ピクセルに対応して、ピクセル毎のキー信号のレベルに応じたフィルタ係数で、入力画像データＶinにローパスのフィルタリングが施される。そのため、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【００８２】
また、図１に示す画像処理装置１００において、輝度データ用のフィルタ係数のみ、色差データ用のフィルタ係数のみ、あるいはそれら双方のフィルタ係数を、キー信号縮小率化部１０５で生成される縮小率に応じたものとすることができる。そのため、輝度または色についてだけ、あるいは双方について、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【００８３】
また、図１に示す画像処理装置１００において、縮小率算出部１０２で算出される縮小率およびキー信号縮小率化部１０５から出力される縮小率のいずれか、または双方が合成されて得られた縮小率を出力する縮小率選択／合成部１０６が備えられる。そのため、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことを有効または無効にできる。また、縮小の変形処理が行われる場合、エリアシング（折り返し歪み）の発生を軽減しつつ、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことができる。
【００８４】
図８は、輝度および色の双方について、画像の特定箇所に動きや絵画調のような特殊な画像効果がもたらされる画像効果例を示している。この場合、キー信号生成部１０３では、例えば、入力画像データＶinの色差データＣinに基づいて、図８（ａ）に示すキー信号が生成される。
【００８５】
この例では、この図８（ａ）に示すキー信号がキー信号選択／合成部１０４を通じてキー信号縮小率化部１０５に供給され、さらにこのキー信号縮小率化部１０５で得られた縮小率が縮小率選択／合成部１０６を通じてフィルタ係数出力部１０７に供給される。そして、この例では、フィルタ係数出力部１０７で、輝度データ用および色差データ用の双方のフィルタ係数として、図８（ａ）に示すキー信号のレベルに応じたローパスのフィルタ係数が出力されるものとする。
【００８６】
図８（ｂ）は入力画像データＶinによる画像（入力画像）を示しており、図８（ｃ）は出力画像データＶoutによる画像（出力画像）を示している。図８（ａ）に示すキー信号は、入力画像の特定色相（この例では花びらの色相）以外の部分でそのレベルが高くなっている。上述したように、キー信号縮小率化部１０５では、例えば、キー信号選択／合成部１０４から出力されるキー信号ｓｋがその最大値が１となるように正規化され、１からその正規化値ｓｋ′が差し引かれた値（１−ｓｋ′）が縮小率とされる。
【００８７】
入力画像の特定色相の箇所は縮小率＝１．０に近く、逆に、入力画像の特定色相以外の箇所は縮小率＝０．０に近くなる。そのため、フィルタ係数出力部１０７から出力されるフィルタ係数は、入力画像の特定色相以外の箇所に対応してより深くフィルタ効果がかけられるものとされる。したがって、図８（ｃ）に示す出力画像では、特定色相以外の箇所に、より深くフィルタ効果、すなわち動きや絵画調のような特殊な画像効果がかかっている。
【００８８】
次に、輝度についてのみ、画像の特定箇所に動きや絵画調のような特殊な画像効果がもたらされる画像効果例を説明する。この場合、キー信号生成部１０３により入力画像データＶinの輝度データＹに基づいて生成されたキー信号が、キー信号選択／合成部１０４を通じてキー信号縮小率化部１０５に供給される。そして、このキー信号縮小率化部１０５で得られた縮小率が縮小率選択／合成部１０６を通じてフィルタ係数出力部１０７に供給される。そして、この例では、フィルタ係数出力部１０７で、輝度データ用のフィルタ係数として、キー信号のレベルに応じたローパスのフィルタ係数が出力され、色差データ用のフィルタ係数は縮小率が１．０に対応したものとされる。
【００８９】
図９は入力画像データＶinによる画像（入力画像）を示しており、図１０は出力画像データＶoutによる画像（出力画像）を示している。キー信号縮小率化部１０５に供給されるキー信号は入力画像の輝度の高い部分でそのレベルが高くなっている。上述したように、キー信号縮小率化部１０５では、例えば、キー信号選択／合成部１０４から出力されるキー信号ｓｋがその最大値が１となるように正規化され、１からその正規化値ｓｋ′が差し引かれた値（１−ｓｋ′）が縮小率とされる。
【００９０】
入力画像の低輝度箇所は縮小率＝１．０に近く、逆に、入力画像の高輝度箇所は縮小率＝０．０に近くなる。そのため、フィルタ係数出力部１０７から出力される輝度データ用のフィルタ係数は、入力画像の高輝度箇所に対応してより深くフィルタ効果がかけられるものとされる。したがって、図１０に示す出力画像では、高輝度箇所の輝度についてより深くフィルタ効果、すなわち動きや絵画調のような特殊な画像効果がかかっている。この場合、色についてはフィルタ効果がかからないので、塗り絵のような絵画調の画像効果が得られる。
【００９１】
なお、図８（ｃ）および図１０は、「画像変形なし」の場合を示している。しかし、図示は省略するが、縮小、移動、回転などの画像変形が施される場合にあっても、変形された画像の例えば高輝度箇所で動きや絵画調のような特殊な画像効果が強く表れるようになる。
【００９２】
＜２．変形例＞
なお、上述の図１に示す画像処理装置１００においては、変換座標出力部１０１からは、どのような画像変形を行うかを示す画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）が出力される。そのため、レンダリング部１０８で得られる出力画像データＶoutは、画像変形パラメータが示す画像変形が施された出力画像を表示できるものとなる。しかし、この発明は、画像変形の機能を持たない画像処理装置にも適用できる。
【００９３】
図１１は、画像変換機能を持たない画像処理装置１００Ａの構成例を示している。この図１１において、図１と対応する部分には同一符号を付し、適宜その詳細説明を省略する。この画像処理装置１００Ａは、変換座標出力部１０１Ａと、キー信号生成部１０３と、キー信号選択／合成部１０４と、フィルタ係数出力部１０７Ａと、レンダリング部１０８を有している。
【００９４】
変換座標出力部１０１Ａでは、出力画像のピクセル単位で、対応する入力画像のＸ，Ｙ座標が出力される。この変換座標出力部１０１Ａには、図１に示す画像処理装置１００の変換座標出力部１０１とは異なり、画像変形パラメータは供給されない。そのため、この変換画像出力部１０１Ａからは、図１に示す画像処理装置１００の変換座標出力部１０１において、「画像変形なし」の場合と同様のＸ，Ｙ座標が出力される。つまり、変換座標出力部１０１Ａからは、出力画像の各ピクセルに対して、そのピクセルの座標（ｘ，ｙ）と同じ入力画像の座標（Ｘ，Ｙ）が出力される。
【００９５】
フィルタ係数出力部１０７Ａには、キー信号選択／合成部１０４から出力されるキー信号が供給される。このフィルタ係数出力部１０７Ａからは、キー信号選択／合成部１０５から供給されるキー信号のレベルに応じたフィルタ係数が出力される。このフィルタ係数は画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすためのものとなる。
【００９６】
フィルタ係数出力部１０７Ａでは、図１に示す画像処理装置１００において、縮小率選択／合成部１０６からフィルタ係数出力部１０７にキー信号縮小率化部１０５で得られる縮小率が供給される場合と同様のフィルタ係数が出力される。この場合、図１に示す画像処理装置１００においてキー信号縮小率化部１０５の処理が省略されたものと考えることができる。
【００９７】
レンダリング部１０８には、入力画像データＶinが供給されると共に、フィルタ係数出力部１０７Ａから出力されるフィルタ係数および変換座標出力部１０１Ａから出力されるＸ，Ｙ座標が供給される。このレンダリング部１０８では、入力画像データＶinに対して、フィルタ係数出力部１０７Ａから出力されるフィルタ係数を用いたフィルタリングが施される。そして、レンダリング部１０８では、出力画像の各ピクセルに対応して、入力画像データＶinの各画素データのうち、変換座標出力部１０１Ａから出力されるＸ，Ｙ座標に対応した画素データが用いられ、出力画像データＶoutを構成する画素データが得られる。
【００９８】
この図１１に示す画像処理装置１００Ａのその他は、図１に示す画像処理装置１００と同様に構成され、同様の動作をする。
【００９９】
この図１１に示す画像処理装置１００Ａにおいては、図１に示す画像処理装置１００とは異なって、画像変形の処理は行われない。しかし、フィルタ係数出力部１０７Ａからレンダリング部１０８に供給される入力画像の各ピクセルに対応したフィルタ係数は、ピクセル毎のキー信号のレベルに応じたものとなる。そのため、レンダリング部１０８では、入力画像の各ピクセルに対応して、ピクセル毎のキー信号のレベルに応じたフィルタ係数で、入力画像データＶinにローパスのフィルタリングが施される。そのため、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことが可能となる。
【０１００】
また、上述していないが、例えば、図１、図１１に示す画像処理装置１００，１００Ａにおいて、キー信号生成部１０３で生成されるキー信号（ＫＥＹ信号）を、所定の時間単位、例えば１フレームあるいは複数フレームの単位などで加工することも考えられる。この場合、キー信号生成部１０３は、入力画像データＶinに基づいて生成されたキー信号を、所定の時間単位で加工して出力する。この意味で、キー信号生成部１０３は、キー信号加工部を構成する。
【０１０１】
キー信号生成部１０３は、キー信号の加工処理として、例えば入力画像データＶinに基づいて生成されたキー信号に加算するオフセット値を、所定の時間単位で変化させる。あるいは、キー信号生成部１０３は、キー信号の加工処理として、例えば、入力画像データＶinに基づいて生成されたキー信号に乗算する係数値を、所定の時間単位で変化させる。
【０１０２】
このようにキー信号生成部１０３で生成されるキー信号が所定の時間単位で加工されることで、フィルタ係数出力部１０７Ａから出力されるキー信号のレベルに応じたフィルタ係数が所定の時間単位で変化したものとなる。そのため、画像の特定箇所にもたらされる動きや絵画調のような特殊な画像効果を所定の時間単位で変化させることができる。
【０１０３】
なお、キー信号の加工処理は、上述したようにキー信号生成部１０３で生成されるキー信号に対して行う他に、外部キー信号（外部ＫＥＹ信号）に対して、あるいはキー信号選択／合成部１０４から出力されるキー信号に対して行う構成としてもよい。
【産業上の利用可能性】
【０１０４】
この発明は、画像の特定箇所に動きや絵画調のような特殊な画像効果をもたらすことができ、例えば放送局等の映像編集システム等に適用できる。
【符号の説明】
【０１０５】
１００，１００Ａ・・・画像処理装置
１０１，１０１Ａ・・・変換座標出力部
１０２・・・縮小率算出部
１０３・・・キー信号生成部
１０４・・・キー信号選択／合成部
１０５・・・キー信号縮小率化部
１０６・・・縮小率選択／合成部
１０７，１０７Ａ・・・フィルタ係数出力部
１０８・・・レンダリング部
１０８Ｙ・・・輝度データ処理部
１０８Ｃ・・・色差データ処理部
【特許請求の範囲】
【請求項１】
出力画像のピクセル単位で、対応する入力画像の座標を出力する変換座標出力部と、
キー信号を用いて、上記入力画像のピクセル単位で、該キー信号のレベルに応じたローパスのフィルタ係数を出力するフィルタ係数出力部と、
入力画像データに上記フィルタ係数出力部から出力されるフィルタ係数でフィルタリングを施し、上記出力画像の各ピクセルに対応して、上記フィルタリングが施された後の入力画像データを構成する各画像データのうち、上記変換座標出力部から出力される座標に対応した画素データを用いて出力画像データを構成する画素データを得る画像処理部と
を備える画像処理装置。
【請求項２】
上記入力画像データは輝度データおよび色差データを含み、
上記画像処理部は、上記輝度データの処理を行う輝度データ処理部と、上記色差データの処理を行う色差データ処理部とを有し、
上記輝度データ処理部および上記色差データ処理部のいずれか、または双方において、上記フィルタ係数出力部から出力されるフィルタ係数でローパスのフィルタリングが施される
請求項１に記載の画像処理装置。
【請求項３】
上記入力画像データに基づいて、キー信号を生成するキー信号生成部をさらに備え、
上記フィルタ係数出力部は、上記キー信号生成部で生成されたキー信号を用いて、上記フィルタ係数を出力する
請求項１に記載の画像処理装置。
【請求項４】
上記フィルタ係数出力部は、上記入力画像データとは異なる他の画像データに基づいて生成された外部キー信号を用いて上記フィルタ係数を出力する
請求項１に記載の画像処理装置。
【請求項５】
上記他の画像データは、撮影されて得られた自然画像の画像データまたは人工的に作成された人工画像の画像データである
請求項４に記載の画像処理装置。
【請求項６】
上記入力画像データに基づいて、キー信号を生成するキー信号生成部と、
上記キー信号生成部で生成されたキー信号および上記入力画像データとは異なる画像データに基づいて生成された外部キー信号のいずれか、または双方が合成されて得られたキー信号を出力するキー信号出力部とをさらに備え、
上記フィルタ係数出力部は、上記キー信号出力部から出力されたキー信号を用いて、上記フィルタ係数を出力する
請求項１に記載の画像処理装置。
【請求項７】
上記フィルタ係数出力部で用いられるキー信号を所定の時間単位で加工するキー信号加工部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
上記変換座標出力部から出力される座標に基づいて縮小率を算出する縮小率算出部と、
上記キー信号を用い、該キー信号のレベルに応じた縮小率を出力するキー信号縮小率化部をさらに備え、
上記フィルタ係数出力部は、上記縮小率算出部で算出される縮小率と上記キー信号縮小率化部から出力される縮小率とが合成されて得られた縮小率に応じたフィルタ係数を出力する
請求項１に記載の画像処理装置。
【請求項９】
上記変換座標出力部から出力される座標に基づいて縮小率を算出する縮小率算出部と、
上記キー信号を用い、該キー信号のレベルに応じた縮小率を出力するキー信号縮小率化部と、
上記縮小率算出部で算出される縮小率および上記キー信号縮小率化部から出力される縮小率のいずれか、または双方が合成されて得られた縮小率を出力する縮小率出力部をさらに備え、
上記フィルタ係数出力部は、上記縮小率出力部から出力される縮小率に応じたフィルタ係数を出力する
請求項１に記載の画像処理装置。
【請求項１０】
出力画像のピクセル単位で、対応する入力画像の座標を出力する変換座標出力ステップと、
キー信号を用いて、上記入力画像のピクセル単位で、該キー信号のレベルに応じたローパスのフィルタ係数を出力するフィルタ係数出力ステップと、
入力画像データに上記フィルタ係数出力ステップで出力されるフィルタ係数でフィルタリングを施し、上記出力画像の各ピクセルに対応して、上記フィルタリングが施された後の入力画像データを構成する各画像データのうち、上記変換座標出力ステップで出力される座標に対応した画素データを用いて出力画像データを構成する画素データを得る画像処理ステップと
を備える画像処理方法。
【請求項１】
出力画像のピクセル単位で、対応する入力画像の座標を出力する変換座標出力部と、
キー信号を用いて、上記入力画像のピクセル単位で、該キー信号のレベルに応じたローパスのフィルタ係数を出力するフィルタ係数出力部と、
入力画像データに上記フィルタ係数出力部から出力されるフィルタ係数でフィルタリングを施し、上記出力画像の各ピクセルに対応して、上記フィルタリングが施された後の入力画像データを構成する各画像データのうち、上記変換座標出力部から出力される座標に対応した画素データを用いて出力画像データを構成する画素データを得る画像処理部と
を備える画像処理装置。
【請求項２】
上記入力画像データは輝度データおよび色差データを含み、
上記画像処理部は、上記輝度データの処理を行う輝度データ処理部と、上記色差データの処理を行う色差データ処理部とを有し、
上記輝度データ処理部および上記色差データ処理部のいずれか、または双方において、上記フィルタ係数出力部から出力されるフィルタ係数でローパスのフィルタリングが施される
請求項１に記載の画像処理装置。
【請求項３】
上記入力画像データに基づいて、キー信号を生成するキー信号生成部をさらに備え、
上記フィルタ係数出力部は、上記キー信号生成部で生成されたキー信号を用いて、上記フィルタ係数を出力する
請求項１に記載の画像処理装置。
【請求項４】
上記フィルタ係数出力部は、上記入力画像データとは異なる他の画像データに基づいて生成された外部キー信号を用いて上記フィルタ係数を出力する
請求項１に記載の画像処理装置。
【請求項５】
上記他の画像データは、撮影されて得られた自然画像の画像データまたは人工的に作成された人工画像の画像データである
請求項４に記載の画像処理装置。
【請求項６】
上記入力画像データに基づいて、キー信号を生成するキー信号生成部と、
上記キー信号生成部で生成されたキー信号および上記入力画像データとは異なる画像データに基づいて生成された外部キー信号のいずれか、または双方が合成されて得られたキー信号を出力するキー信号出力部とをさらに備え、
上記フィルタ係数出力部は、上記キー信号出力部から出力されたキー信号を用いて、上記フィルタ係数を出力する
請求項１に記載の画像処理装置。
【請求項７】
上記フィルタ係数出力部で用いられるキー信号を所定の時間単位で加工するキー信号加工部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
上記変換座標出力部から出力される座標に基づいて縮小率を算出する縮小率算出部と、
上記キー信号を用い、該キー信号のレベルに応じた縮小率を出力するキー信号縮小率化部をさらに備え、
上記フィルタ係数出力部は、上記縮小率算出部で算出される縮小率と上記キー信号縮小率化部から出力される縮小率とが合成されて得られた縮小率に応じたフィルタ係数を出力する
請求項１に記載の画像処理装置。
【請求項９】
上記変換座標出力部から出力される座標に基づいて縮小率を算出する縮小率算出部と、
上記キー信号を用い、該キー信号のレベルに応じた縮小率を出力するキー信号縮小率化部と、
上記縮小率算出部で算出される縮小率および上記キー信号縮小率化部から出力される縮小率のいずれか、または双方が合成されて得られた縮小率を出力する縮小率出力部をさらに備え、
上記フィルタ係数出力部は、上記縮小率出力部から出力される縮小率に応じたフィルタ係数を出力する
請求項１に記載の画像処理装置。
【請求項１０】
出力画像のピクセル単位で、対応する入力画像の座標を出力する変換座標出力ステップと、
キー信号を用いて、上記入力画像のピクセル単位で、該キー信号のレベルに応じたローパスのフィルタ係数を出力するフィルタ係数出力ステップと、
入力画像データに上記フィルタ係数出力ステップで出力されるフィルタ係数でフィルタリングを施し、上記出力画像の各ピクセルに対応して、上記フィルタリングが施された後の入力画像データを構成する各画像データのうち、上記変換座標出力ステップで出力される座標に対応した画素データを用いて出力画像データを構成する画素データを得る画像処理ステップと
を備える画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１０９２８０（Ｐ２０１１−１０９２８０Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６０４０７（Ｐ２００９−２６０４０７）
【出願日】平成２１年１１月１３日（２００９．１１．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１３日（２００９．１１．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]