画像処理装置および方法、並びにプログラム
【課題】画像に対して絵画調の効果を高速で与えることができるようにする。
【解決手段】ストローク変形特性計算部は、ストローク方向計算部からのブラシのストローク方向を示す信号を用いて、探索範囲を計算し、計算した探索範囲上で、点描変形特性計算部から供給される点描パターンの画像が最小値となる位置を検出する。ストローク変形特性計算部は、最小値の探索が終了したら、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形処理部に供給する。本開示は、例えば、撮像した画像を処理して表示するデジタルビデオカメラに適用することができる。
【解決手段】ストローク変形特性計算部は、ストローク方向計算部からのブラシのストローク方向を示す信号を用いて、探索範囲を計算し、計算した探索範囲上で、点描変形特性計算部から供給される点描パターンの画像が最小値となる位置を検出する。ストローク変形特性計算部は、最小値の探索が終了したら、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形処理部に供給する。本開示は、例えば、撮像した画像を処理して表示するデジタルビデオカメラに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法、並びにプログラムに関し、特に、画像に対して絵画調の効果を高速で与えることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
入力された画像を元に、絵画風に変換された出力画像を得る手法がある。このような手法は、Non Phtotorealistic Rendering(NPR)と呼ばれる。NPR手法の１つとして、筆のストロークに似たパターンを画像に与えることで、油彩画のような風合いを持った画像を得る手法が知られている。
【０００３】
例えば、特許文献１においては、入力画像に対して、ある楕円領域をその中央の画素値で置き換える処理を繰り返すことで、筆のストロークに似たパターンを生成し、油彩画風の出力画像を得るアルゴリズムが提案されている。
【０００４】
また、非特許文献１においては、出力画像にブラシのパターン画像を繰り返し描画していき、入力画像と出力画像の間の二乗誤差を小さくしていくことで、油彩画風の出力画像を得るアルゴリズムが提案されている。この手法では、描画するブラシの形状を変更することで、出力画像の画風を変更することが可能である。例えば、円形のブラシを用いることにより、点描風の出力画像を得ることができ、自由な軌跡のブラシパターン（Curved Brush Stroke）を用いることにより、印象派風の出力画像を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−４４８６７号公報
【非特許文献】
【０００６】
【非特許文献１】A. Hertzmann, “Painterly Rendering with Curved Brush Strokes of Multiple Sizes,” Proc. Sgigraph 98, ACM Press, 1998, pp.453-460
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の提案および非特許文献１に記載の提案の場合、望ましい出力画像を得るまでに繰り返しブラシの描画を行う必要があった。例えば、ある画素の出力値を決めるまでに、何度も値を更新する必要があった。
【０００８】
このため、特許文献１に記載の提案および非特許文献１に記載の提案においては、望ましい出力画像を得るまでに、処理時間が長くかかっていた。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、画像に対して絵画調の効果を高速で与えることができるものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の画像処理装置は、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部を備える。
【００１１】
前記変形特性情報を生成する変形特性生成部をさらに備えることができる。
【００１２】
前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する点描変形特性生成部と、ストローク方向の情報から求められる探索範囲を用いて、ストロークの変形特性情報を生成するストローク変形特性生成部とを備えることができる。
【００１３】
前記点描変形特性生成部は、前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部とを備え、前記ストローク変形特性生成部は、前記ストローク方向の情報から前記探索範囲を決定する探索範囲決定部と、前記点描座標検出部により座標が検出された画素の値からなる点描パターン画像上の画素についての前記探索範囲内で、最小値または最大値となる画素の座標を検出するストローク座標検出部と、前記点描パターン画像上の画素と、前記ストローク座標検出部により座標が検出された画素との位置関係を計算し、前記ストロークの変形特性情報を生成するストローク変形特性計算部とを備えることができる。
【００１４】
前記点描の変形特性情報と、前記ストロークの変形特性情報とを合成する変形特性合成部をさらに備え、前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形することができる。
【００１５】
前記変形処理部は、前記点描変形特性生成部により生成された前記点描の変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する点描変形処理部と、前記ストローク変形特性生成部により生成された前記ストロークの変形特性情報に基づいて、前記点描変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記点描変形処理部により変形された画像を変形するストローク変形処理部とを備えることができる。
【００１６】
前記点描の変形特性情報が示す特性の調整を行う点描変形特性調整部と、前記ストロークの変形特性情報が示す特性の調整を行うストローク変形特性調整部とをさらに備えることができる。
【００１７】
前記点描の変形特性情報が示す特性の調整の度合いと前記ストロークの変形特性情報が示す特性の調整の度合いの複数の組み合わせを選択するための選択手段をさらに備え、前記点描変形特性調整部および前記ストローク変形特性調整部は、ユーザによる前記組み合わせの選択に応じて、前記点描の変形特性情報が示す特性の調整および前記ストロークの変形特性情報が示す特性の調整をそれぞれ行うことができる。
【００１８】
前記変形特性生成部は、ランダムパターン画像と第１のストローク方向の情報から求められる第１の探索範囲とを用いて、第１のストロークの変形特性情報を生成する第１のストローク変形特性生成部と、前記第１のストローク方向の情報が回転された情報である第２のストローク方向の情報から求められる第２の探索範囲を用いて、第２のストロークの変形特性情報を生成する第２のストローク変形特性生成部とを備えることができる。
【００１９】
前記第１のストローク変形特性生成部は、前記第１のストローク方向の情報から前記第１の探索範囲を決定する第１の探索範囲決定部と、前記ランダムパターン画像上の画素についての前記第１の探索範囲内で、最小値または最大値となる画素の座標を検出する第１の座標検出部と、前記ランダムパターン画像上の画素と、前記第１の座標検出部により座標が検出された画素との位置関係を計算し、前記第１のストロークの変形特性情報を生成する第１のストローク変形特性計算部とを備え、前記第２のストローク変形特性生成部は、前記第２のストローク方向の情報から前記第２の探索範囲を決定する第２の探索領域決定部と、前記第１の座標検出部により座標が検出された画素の値からなるストロークパターン画像上の画素についての前記第２の探索範囲内で、最小値または最大値となる画素の座標を検出する第２の座標検出部と、前記ストロークパターン画像上の画素と、前記第２の座標検出部により座標が検出された画素の位置関係を計算し、前記第２のストロークの変形特性情報を生成する第２のストローク変形特性計算部とを備えることができる。
【００２０】
前記第１のストロークの変形特性情報と、前記第２のストロークの変形特性情報とを合成する変形特性合成部をさらに備え、前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形することができる。
【００２１】
前記変形処理部は、前記第１のストローク変形特性生成部により生成された前記第１のストロークの変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する第１の変形処理部と、前記第２のストローク変形特性生成部により生成された前記第２のストロークの変形特性情報に基づいて、前記第１のストロークの変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記第１のストロークの変形処理部により変形された画像を変形する第２の変形処理部とを備えることができる。
【００２２】
前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成することができる。
【００２３】
前記変形特性生成部は、前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部とを備えることができる。
【００２４】
前記変形処理部に入力される前記入力画像に対してジッタを加算するジッタ加算部と、前記変形処理部により変形された画像に対して高域強調処理を行う鮮鋭化処理部とをさらに備えることができる。
【００２５】
前記変形特性情報が示す特性を調整する変形特性調整部と、前記ジッタおよび前記高域強調処理の強弱の調整を行う強弱調整部とをさらに備えることができる。
【００２６】
前記変形特性情報が示す特性の調整の度合い、並びに前記ジッタおよび前記高域強調処理の調整の度合いの複数の組み合わせを選択するための選択手段をさらに備え、前記変形特性調整部および前記強弱調整部は、ユーザによる前記組み合わせの選択に応じて、前記変形特性情報が示す特性の調整、並びに前記ジッタおよび前記高域強調処理の前記強弱の調整をそれぞれ行うことができる。
【００２７】
前記変形特性生成部により生成された前記変形特性情報を保持するメモリをさらに備えることができる。
【００２８】
前記変形特性情報を保持するメモリをさらに備えることができる。
【００２９】
前記変形特性情報は、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成される。
【００３０】
本開示の一側面の画像処理方法は、画像処理装置が、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する。
【００３１】
本開示の一側面のプログラムは、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部として、コンピュータを機能させる。
【００３２】
本開示の一側面においては、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像が変形される。
【発明の効果】
【００３３】
本開示によれば、画像に対して絵画調の効果を高速で与えることができる。
【図面の簡単な説明】
【００３４】
【図１】本技術を適用した画像処理装置としてのデジタルビデオカメラの構成例を示すブロック図である。
【図２】DSPの構成例を示すブロック図である。
【図３】絵画調変換処理部の構成例を示すブロック図である。
【図４】点描変形特性計算部の構成例を示すブロック図である。
【図５】変形特性計算および変形処理を説明する図である。
【図６】変形処理部の構成例を示すブロック図である。
【図７】画像処理の例を説明するフローチャートである。
【図８】絵画調変形処理の例を説明するフローチャートである。
【図９】変形特性計算処理の例を説明するフローチャートである。
【図１０】画素単位の変形特性計算処理の例を説明するフローチャートである。
【図１１】変形処理の例を説明するフローチャートである。
【図１２】絵画調変換処理部の他の構成例を示すブロック図である。
【図１３】鮮鋭化処理部の他の構成例を示すブロック図である。
【図１４】フィルタ特性の設定例を示す図である。
【図１５】探索範囲の広さに応じたフィルタ特性を説明する図である。
【図１６】絵画調変形処理の例を説明するフローチャートである。
【図１７】鮮鋭化処理の例を説明するフローチャートである
【図１８】調整ボタンとパラメータとの関係を示す図である。
【図１９】調整ボタンとパラメータとの関係を示す図である。
【図２０】絵画調変換処理部の他の構成例を示すブロック図である。
【図２１】絵画調変換処理部の他の構成例を示すブロック図である。
【図２２】点描変形特性計算部の構成例を示すブロック図である。
【図２３】ストローク変形特性計算部の構成例を示すブロック図である。
【図２４】変形特性計算および変形処理を説明する図である。
【図２５】絵画調変形処理の例を説明するフローチャートである。
【図２６】変形処理を説明する図である。
【図２７】ストロークパターン変形特性計算処理の例を説明するフローチャートである。
【図２８】ストロークパターン変形特性計算処理を説明する図である。
【図２９】本技術の効果を説明するための従来技術を説明する図である。
【図３０】本技術の効果を説明する図である。
【図３１】探索範囲の例を示す図である。
【図３２】絵画調変換処理部の他の構成例を示すブロック図である。
【図３３】絵画調変形処理の例を説明するフローチャートである。
【図３４】絵画調変換処理部の他の構成例を示すブロック図である。
【図３５】絵画調変形処理の例を説明するフローチャートである。
【図３６】絵画調変換処理部の他の構成例を示すブロック図である。
【図３７】絵画調変形処理の例を説明するフローチャートである。
【図３８】調整ボタンとパラメータとの関係を示す図である。
【図３９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３５】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（点描処理）
２．第２の実施の形態（油絵処理（点描処理＋ストローク処理））
３．第３の実施の形態（コンピュータ）
【００３６】
＜第１の実施の形態＞
［デジタルビデオカメラの構成例］
図１は、本開示を適用した画像処理装置としての、デジタルビデオカメラの一実施の形態を示すブロック図である。
【００３７】
図１に示されるデジタルビデオカメラ１００は、被写体を撮像し、その被写体の画像を表示したり、画像データを記録したりする。また、図１に示されるデジタルビデオカメラ１００は、入力画像を元に、絵画調に変換された出力画像を得る。
【００３８】
デジタルビデオカメラ１００は、レンズ１０１、絞り１０２、画像センサ１０３、および相関２重サンプリング回路（CDS（Correlated Double Sampling circuit））１０４を有する。デジタルビデオカメラ１００は、A/D（Analog/Digital）コンバータ１０５、DSP（Digital Signal Processor）ブロック１０６、およびタイミングジェネレータ（TG（Timing Generator））１０７を有する。また、デジタルビデオカメラ１００は、LCD（Liquid Crystal Display）ドライバ１０８、LCD１０９、およびCODEC（coder/decoder）１１０を有する。さらに、デジタルビデオカメラ１００は、メモリ１１１、CPU（Central Processing Unit）１１２、入力デバイス１１３、およびバス１１４を有する。
【００３９】
なお、DSPブロック１０６は、信号処理用のプロセッサ（例えば、DSP）と画像データを保持するRAM（Random Access Memory）などのメモリなどにより構成されるブロックである。DSPブロック１０６は、プロセッサが所定のプログラムを実行することにより、後述する画像処理を行う。また、以下、DSPブロック１０６を、単にDSP１０６と称する。
【００４０】
レンズ１０１および絞り１０２などからなる光学系を通過した被写体からの入射光は、まず画像センサ１０３に到達する。画像センサ１０３は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等、任意の撮像素子を有する。画像センサ１０３は、入射光を電気信号に光電変換する。
【００４１】
画像センサ１０３は、光電変換できるものであればどのようなものであってもよい。
【００４２】
画像センサ１０３から出力された電気信号は、相関２重サンプリング回路１０４によってノイズが除去され、A/Dコンバータ１０５によってデジタル化される。A/Dコンバータ１０５は、どのようなものであってもよいが、より多くの階調数のデジタルデータに変換できる方が望ましい。例えば、A/Dコンバータ１０５は、入力される電気信号を、通常のデジタルビデオカメラの階調数（例えば、１０乃至１２ビット程度のデータにより表現できる階調数）よりも多い階調数（例えば、１４乃至１６ビット程度のデータにより表現できる階調数）の画像データに変換するようにしてもよい。
【００４３】
A/Dコンバータ１０５によりデジタル化された画像データは、DSP１０６内のメモリに一時的に格納される。タイミングジェネレータ１０７は、一定のフレームレートにより画像データが取り込まれるように、相関２重サンプリング回路１０４、A/Dコンバータ１０５、および、DSP１０６により構成される信号処理系を制御する。すなわち、DSP１０６には、一定のフレームレートで画像データのストリームが供給される。
【００４４】
DSP１０６は、後述する絵画調変換処理を画像データに施した後、画像処理を施した画像データを、必要に応じて、LCDドライバ１０８またはCODEC１１０に供給する。
【００４５】
LCDドライバ１０８は、DSP１０６から供給される画像データをアナログの画像信号に変換する。LCDドライバ１０８は、デジタルビデオカメラのファインダであるLCD１０９にアナログの画像信号を供給し、画像信号に基づく画像を表示させる。
【００４６】
CODEC１１０は、DSP１０６から供給される画像データを所定の方式により符号化し、符号化した画像データを、例えば、半導体、磁気記録媒体、光磁気記録媒体、または光記録媒体などの任意の記録媒体よりなるメモリ１１１に記録させる。
【００４７】
CPU１１２は、例えば、ユーザがシャッタボタン等の操作ボタンなどにより構成される入力デバイス１１３を操作することにより入力された指令などに基づいて、デジタルビデオカメラ１００の全体の処理を制御する。また、DSP１０６、タイミングジェネレータ１０７、CODEC１１０、メモリ１１１、LCD１０９、CPU１１２、および入力デバイス１１３は、バス１１４を介して相互に接続されている。
【００４８】
［DSPの構成例］
図２は、DSP１０６の内部のプロセッサ（演算ユニット）が、所定のプログラムを実行することにより実現される機能の構成の例を示すブロック図である。DSP１０６の内部のプロセッサが所定のプログラムを実行することにより、図２のDSP１０６の各部を含む機能が実現される。DSP１０６は、ホワイトバランス処理部１３１、デモザイク処理部１３２、階調補正処理部１３３、ガンマ補正処理部１３４、YC変換処理部１３５、および絵画調変換処理部１３６を含むように構成されている。
【００４９】
ホワイトバランス処理部１３１は、A/Dコンバータ１０５によりA/D変換された、動画像などの画像データであるモザイク画像を取得する。モザイク画像は、Ｒ，Ｇ，Ｂのうちのいずれかの色成分に対応するデータが１つの画素に格納され、ベイヤ配列と呼ばれる色配列に従って各画素が配置されている画像であり、RAWデータとも呼ばれている。
【００５０】
ホワイトバランス処理部１３１は、取得したモザイク画像の各画素の画素値に適切な係数をかけることにより、被写体の無彩色の部分の色バランスが実際に無彩色となるように、モザイク画像のホワイトバランスを調整する。ホワイトバランス処理部１３１は、ホワイトバランスを調整したモザイク画像をデモザイク処理部１３２に供給する。なお、以下、ホワイトバランスが調整されたモザイク画像をＭｗとする。
【００５１】
デモザイク処理部１３２は、ホワイトバランス処理部１３１から供給されたモザイク画像Ｍｗに対して、１つの画素がＲ，Ｇ，Ｂ成分を全て有するようにするデモザイク処理を施す。これにより、Ｒ，Ｇ，Ｂの３つの色成分にそれぞれ対応するＲ画像、Ｇ画像、Ｂ画像の３つの画像データが生成される。デモザイク処理部１３２は、生成したＲ画像、Ｇ画像、Ｂ画像の３つの画像データを階調補正処理部１３３に供給する。
【００５２】
なお、以下において、Ｒ画像、Ｇ画像、Ｂ画像の３つの画像データをまとめてRGB画像とも称する。また、以下において、モザイク画像の画素位置ｐにおける画素値をＭ(ｐ)とする。さらに、以下において、デモザイク処理が施された画像データの画素位置ｐにおける画素値を［Rw(p)，Gw(p)，Bw(p)］とする。ここで、Rw(p)はＲ成分の画素値であり、Gw(p)はＧ成分の画素値であり、Bw(p)はＢ成分の画素値である。
【００５３】
階調補正処理部１３３は、RGB画像に階調補正処理を施し、階調補正処理を施したRGB画像をガンマ補正処理部１３４に供給する。なお、以下において、階調補正処理が施された画像データの画素位置ｐにおける画素値を［Ru(p)，Gu(p)，Bu(p)］とする。ここで、Ru(p)はＲ成分の画素値であり、Gu(p)はＧ成分の画素値であり、Bu(p)はＢ成分の画素値である。
【００５４】
ガンマ補正処理部１３４は、階調変換されたRGB画像にガンマ補正を施す。ガンマ補正処理部１３４は、ガンマ補正を施したRGB画像をYC変換処理部１３５に供給する。なお、以下、ガンマ補正が施された画像データの画素位置ｐにおける画素値を［Ruγ(p)，Guγ(p)，Buγ(p)］とする。ここで、Ruγ(p)はＲ成分の画素値であり、Guγ(p)はＧ成分の画素値であり、Buγ(p)はＢ成分の画素値である。
【００５５】
YC変換処理部１３５は、ガンマ補正が施されたRGB画像に対して、YCマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度成分（Ｙ成分）により構成されるＹ画像、および、色差成分（CbまたはCr成分）により構成されるＣ画像を生成する。YC変換処理部１３５は、生成したＹ画像およびＣ画像を、絵画調変換処理部１３６に供給する。なお、以下、YC変換処理部１３５から出力される画像データの画素位置ｐにおける画素値を［Y(p)，C(p)］とする。ここで、Y(p)はＹ画像における輝度成分の値であり、C(p)はＣ画像における色差成分の値である。また、以下、Ｃ画像のCb成分をCb(p)と称し、Ｃ画像のCr成分をCr(p)と称する。
【００５６】
絵画調変換処理部１３６は、YC変換処理部１３５からのＹ画像およびＣ画像である入力画像に対して、絵画調変換処理を行い、絵画調に変形された画像を、保存画像として、必要に応じて、LCDドライバ１０８またはCODEC１１０に供給する。なお、入力画像は、Ｙ画像およびＣ画像に限らない。絵画調変換処理部１３６においては、例えば、点描画風の空間パターンや印象派風のブラシのストロークの空間パターンを生成するための変形特性が計算され、それに従って、絵画調の画像への変換が行われる。
【００５７】
この変形特性とは、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための特性のことである。点描画風の空間パターンを生成するための変形特性は、基本となる単純な図形パターン（例えば、円形や多角形）からなる領域への２次元の変形特性であって、ランダムパターン画像と所定の探索範囲とを用いて生成される。この２次元の変形特性により、入力画像が、点描画像に変形される。
【００５８】
印象派風のブラシのストロークの空間パターンを生成するための変形特性は、１次元の変形特性であって、ストローク方向の情報から求められる探索範囲を用いて生成される。この１次元の変形特性により、２次元の変形特性により変形された点描画像が、さらに、長い筆触の画像に変形される。
【００５９】
［絵画調変換処理部の構成例］
図３は、絵画調変換処理部１３６の構成例を示すブロック図である。図３に示される絵画調変換処理部１３６は、点描風の空間パターン（以下、適宜、点描パターンとも称する）を生成するための変形特性を計算し、計算された変形特性を用いた変形を入力画像に対して行う。
【００６０】
絵画調変換処理部１３６は、変形処理部１４１および点描変形特性計算部１４２を含むように構成される。
【００６１】
変形処理部１４１には、YC変換処理部１３５からの入力画像と、点描変形特性計算部１４２からの変形特性マップが供給される。変形処理部１４１は、点描変形特性計算部１４２からの変形特性マップが示す変形特性に従って、YC変換処理部１３５からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
【００６２】
点描変形特性計算部１４２には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。点描変形特性計算部１４２は、供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンを生成するための変形特性を計算する。すなわち、点描変形特性計算部１４２は、探索範囲が示す領域の中でランダムパターンが最小値となる画素への変形特性（相対位置、位置関係）を計算する。
【００６３】
点描変形特性計算部１４２は、計算した変形特性を、変形特性マップとして、変形処理部１４１に供給する。
【００６４】
［点描変形特性計算部の構成例］
図４は、点描変形特性計算部１４２の構成例を示すブロック図である。図４の例においては、点描変形特性計算部１４２は、LPF（Low-pass filter）１５１、最小値座標検出部１５２、および変形特性計算部１５３を含むように構成される。
【００６５】
ランダムパターンを示す画像は、LPF１５１に供給される。このランダムパターンのサイズは任意である。例えば、入力画像より小さいサイズのランダムパターンの場合、パターンをタイル状に複数個並べて用いればよい。
【００６６】
LPF１５１は、ランダムパターンの画像に対して高周波成分をカットし、高周波成分をカットしたランダムパターンの画像を、最小値座標検出部１５２に供給する。
【００６７】
探索範囲を示す領域は、最小値座標検出部１５２に供給される。最小値座標検出部１５２に入力される探索範囲の右側に示される中心に＋がある丸は、ある画素（＋で表わされている）を中心とする探索範囲を表している。探索範囲は、点描で描かれる点（円形領域）のサイズに相当する。例えば、探索範囲は、大きさの異なるものを複数持つようにして、入力画像の領域毎に切り替えて使うようにしてもよい。
【００６８】
最小値座標検出部１５２は、選択した画素についての探索範囲が示す領域において、最小値を与える画素の座標（位置）を検出する。探索範囲が示す領域における最小値のことを、以下、局所最小値とも称する。最小値座標検出部１５２は、選択した画素の座標と検出した座標とを、変形特性計算部１５３に供給する。図４の最小値座標検出部２１から出力される座標の下に示される中心に＋がある丸は、上述したように探索範囲を表しており、探索範囲内の他の＋は、探索範囲における最小値の座標を表している。
【００６９】
変形特性計算部１５３は、点描風の空間パターンを生成するために、選択した画素の座標と検出した座標との差を計算し、計算された差を示す相対位置を変形特性マップとして、変形処理部１４１に供給する。図４の変形特性計算部１５３から出力される相対位置の下に示される矢印は、相対位置を表している。この出力（相対位置）は、入力画像の各画素に対してそれぞれ定義される。
【００７０】
図５を参照して具体的に説明する。図５の例においては、変形処理部１４１に入力される入力画像１６１が示されている。図中左の入力画像１６１上には、局所最小値を持つ画素１６２が示されている。なお、変形特性は、変形処理が選択する入力画素の位置を表しているので、図５の例において、変形特性１６４を示す矢印の方向は、変形処理による値の伝播方向とは逆方向を向いている。
【００７１】
矢印１に示されるように、入力画像１６１上の画素１６２の周辺の画素（探索範囲の領域１６３内の画素）では、変形特性１６４に従った変形が行われて、画素１６２の画素が出力される。その結果、矢印２が示す図中右の入力画像１６１上に示されるように、画素１６２の値が、探索範囲の領域１６３に広げられる（伝播される）。
【００７２】
すなわち、変形特性計算部１５３は、変形処理部１４１に入力される入力画像１６１において局所最小値を持つ画素１６２の値を、探索範囲の領域１６３に広げる変形特性１６４を計算する。
【００７３】
そして、変形処理部１４１においては、入力画像において局所最小値を持つ画素１６２の値を、計算された変形特性１６４に従って、探索範囲の領域１６３に広げる変形が行われる。
【００７４】
なお、変形特性１６４の各画素の変形特性には順番がある。探索範囲の領域１６３に、他の局所最小値の影響がなければ、探索範囲の領域１６３に示されるように点描状（円形状）をしているが、探索範囲の領域１６３にて他のより小さい局所最小値の領域との重なりがある場合には、円形状ではなく、他の局所最小値による画素の変形特性により欠けた歪な形となる。これは、つまり、より値の小さい局所最小値からつくられた変形特性ほど、より上層（表面側）に塗られた筆触を表していると解釈できる。下層の筆触は、より上層の筆触が塗られることによって裏に隠される。
【００７５】
したがって、基となる形状は、領域１６３に示されるような円形であるが、実際には、変形処理部１４１は、下層に位置する画素については、上述したような歪な形に広げる変形を行う。ただし、この歪な形状は、すべての画素に対しての変形が行われることにより、上層に位置する画素の変形特性結果の円形状の領域が上にあるので、結果として、円形状の集まり（点描）に見える。なお、このことは、説明は省略するが、図２１以降に説明するブラシストロークの画像（長い筆触の画像）についても同様のことがいえる。
【００７６】
また、上記説明においては、点描の説明として、円形状として説明したが、必ずしも、円や楕円でなくてもよく、結果として点描状に見えるのであれば、多角形や、矩形に近い形を用いることもできる。
【００７７】
さらに、上述した図４の例の点描変形特性計算部１４２においては、LPF１５１が備えられている。ただし、点描変形特性計算部１４２から出力されるのは、変形特性マップであって、画像が出力されることはないので、LPF１５１は除かれてもよい。
【００７８】
［変形処理部の構成例］
図６は、変形処理部１４１の構成例を示すブロック図である。図６の例においては、変形処理部１４１は、変形部１７１を含むように構成される。なお、変形部１７１は、本開示を適用した画像処理装置の最小単位の構成である。
【００７９】
変形部１７１には、YC変換処理部１３５から、変形処理を行う対象の入力画像が供給される。また、変形部１７１には、点描変形特性計算部１４２から、変形特性マップが供給される。
【００８０】
変形部１７１は、変形特性マップが示す変形特性（相対位置）に従って、入力画像を変形し、変形処理後の出力画像を、後段に出力する。点描風の効果の変形特性が入力されることにより、変形部１７１においては、点描処理が実現される。
【００８１】
[画像処理の流れ]
次に、図７のフローチャートを参照して、デジタルビデオカメラ１００のDSP１０６により実行される画像処理について説明する。なお、この処理は、例えば、図１のデジタルビデオカメラ１００による撮影が開始され、A/Dコンバータ１０５からDSP１０６への画像データ（モザイク画像）の供給が開始されたときに開始される。また、DSP１０６に供給された画像データは、DSP１０６の図示せぬ内部のメモリに格納される。
【００８２】
ステップＳ１０１において、ホワイトバランス処理部１３１は、モザイク画像を読み込む。具体的には、ホワイトバランス処理部１３１は、DSP１０６の図示せぬ内部のメモリに格納されている先頭のフレームのモザイク画像を読み込む。
【００８３】
ステップＳ１０２において、ホワイトバランス処理部１３１は、取得したモザイク画像のホワイトバランスを調整し、デモザイク処理部１３２に供給する。
【００８４】
ステップＳ１０３において、デモザイク処理部１３２は、デモザイク処理を行う。すなわち、デモザイク処理部１３２は、ホワイトバランス処理部１３１からのモザイク画像にデモザイク処理を施してRGB画像を生成し、階調補正処理部１３３に供給する。
【００８５】
ステップＳ１０４において、階調補正処理部１３３は、階調補正処理を行い、デモザイク処理部１３２からのRGB画像の階調を補正する。そして、階調補正処理部１３３は、階調の補正されたRGB画像をガンマ補正処理部１３４に供給する。
【００８６】
ステップＳ１０５において、ガンマ補正処理部１３４は、階調補正処理部１３３からのRGB画像にガンマ補正を施してYC変換処理部１３５に供給する。
【００８７】
ステップＳ１０６において、YC変換処理部１３５は、YC変換処理を行う。例えば、YC変換処理部１３５は、ガンマ補正処理部１３４からのRGB画像に対してYCマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、RGB画像からＹ画像およびＣ画像を生成する。YC変換処理部１３５は、Ｙ画像およびＣ画像を、絵画調変換処理部１３６に供給する。
【００８８】
ステップＳ１０７において、絵画調変換処理部１３６は、絵画調変換処理を行う。この絵画調変換処理の詳細は、図８を参照して後述される。
【００８９】
ステップＳ１０８において、絵画調変換処理部１３６は、絵画調に変換された画像を、保存画像として、LCDドライバ１０８またはCODEC１１０に出力する。
【００９０】
これに対応して、例えば、LCDドライバ１０８は、DSP１０６から供給される画像データをアナログの画像信号に変換し、LCD１０９にアナログの画像信号を供給し、画像信号に基づく画像を表示させる。
【００９１】
または、これに対応して、例えば、CODEC１１０は、DSP１０６から供給される画像データを所定の方式により符号化し、符号化した画像データを、メモリ１１１に記録させる。
【００９２】
以上のようにして、デジタルビデオカメラ１００により画像処理が行われる。
【００９３】
[絵画調変換処理の流れ]
次に、図８のフローチャートを参照して、図７のステップＳ１０７における絵画調変換処理について説明する。
【００９４】
点描変形特性計算部１４２には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。
【００９５】
ステップＳ１１１において、点描変形特性計算部１４２は、供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンである点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図９を参照して後述される。点描変形特性計算部１４２は、計算した変形特性を、変形特性マップとして、変形処理部１４１に供給する。
【００９６】
また、変形処理部１４１には、YC変換処理部１３５からの入力画像が供給される。
【００９７】
ステップＳ１１２において、変形処理部１４１は、点描変形特性計算部１４２からの変形特性マップが示す変形特性に従って、YC変換処理部１３５からの入力画像を変形する。この変形処理は、図１１を参照して後述される。変形処理部１４１は、変形後の画像を、出力画像として後段に供給する。
【００９８】
[変形特性計算処理の流れ]
次に、図９のフローチャートを参照して、図８のステップＳ１１１における変形特性計算処理について説明する。
【００９９】
ステップＳ１２１において、LPF１５１は、ランダムパターンを、最小値座標検出部１５２は、探索範囲を入力する。
【０１００】
ステップＳ１２２において、LPF１５１は、ランダムパターンの画像に、ローパスフィルタをかけ、ローパスフィルタ後の画像を、最小値座標検出部１５２に供給する。
【０１０１】
ステップＳ１２３において、最小値座標検出部１５２は、各画素の周囲（探索範囲が示す領域）で、最小値を与える画素の位置（座標）を探索し、探索した座標を、変形特性計算部１５３に供給する。
【０１０２】
ステップＳ１２４において、変形特性計算部１５３は、探索対象の画素から、探索した最小値の画素位置への変形特性（相対位置）を計算し、計算された変形特性を、変形特性マップとして、変形部１７１に出力する。
【０１０３】
ここで、上述したステップＳ１２３およびＳ１２４の処理は、画素単位の処理であり、その詳細については、次の図１０を参照して説明する。図１０は、画素単位の変形特性計算処理を説明するフローチャートである。
【０１０４】
最小値座標検出部１５２は、ステップＳ１３１において、LPF１５１からの画像のうち、未処理の画素を選択し、ステップＳ１３２において、供給された探索範囲に基づいて、選択した画素を中心とした探索範囲を決定する。
【０１０５】
最小値座標検出部１５２は、ステップＳ１３３において、選択した画素を中心とした探索範囲が示す領域から、最小値の画素を探索する。最小値座標検出部１５２は、選択した画素の座標と検出した最小値の座標とを、変形特性計算部１５３に供給する。
【０１０６】
ステップＳ１３４において、変形特性計算部１５３は、最小値座標検出部１５２からの座標情報を用いて、最小値の画素位置と、選択した画素の位置の差を計算し、計算された差を示す相対位置を、変形特性マップに記憶する。
【０１０７】
ステップＳ１３５において、最小値座標検出部１５２は、未処理の画素があるか否かを判定し、未処理の画素があると判定した場合、ステップＳ１３１に戻り、それ以降の処理を繰り返す。
【０１０８】
一方、ステップＳ１３５において、未処理の画素がないと判定された場合、画素単位の変形特性計算処理は終了される。
【０１０９】
[変形処理の流れ]
次に、図１１のフローチャートを参照して、図８のステップＳ１１２における変形処理について説明する。
【０１１０】
変形部１７１には、YC変換処理部１３５から、変形処理を行う対象の入力画像が供給される。また、変形部１７１には、点描変形特性計算部１４２から、変形特性マップが供給される。
【０１１１】
変形部１７１は、ステップＳ１４１において、入力画像のうち、未処理の画素を選択し、ステップＳ１４２において、変形特性マップが示す変形特性（相対位置）から、選択した画素での変形特性（相対位置）（例えば、図５の変形特性１６４）を取得する。
【０１１２】
ステップＳ１４３において、変形部１７１は、その選択した画素の代わりに、取得した変形特性が示す先の入力画素（例えば、図５の最小値の画素１６２）を出力する。すなわち、選択した画素の画素値の代わりに、最小値の画素の画素値が出力される。
【０１１３】
変形部１７１は、ステップＳ１４４において、未処理の画素があるか否かを判定し、未処理の画素があると判定した場合、ステップＳ１４１に戻り、それ以降の処理を繰り返す。
【０１１４】
一方、ステップＳ１４４において、未処理の画素がないと判定された場合、変形処理は終了される。
【０１１５】
以上のように、点描風の空間パターンを生成するための変形特性が計算され、計算された変形特性を用いた変形が入力画像に対して行われる。すなわち、計算された変形特性に従って、画素値が伝播される。これにより、簡単かつ高速に点描風の画像を得ることができる。
【０１１６】
［絵画調変換処理部の他の構成例］
図１２は、絵画調変換処理部１３６の構成例を示すブロック図である。図１２に示される絵画調変換処理部１３６は、図３の絵画調変換処理部１３６を拡張した例であり、出力の筆触（タッチ）の強さを調整可能な構成を有している。
【０１１７】
絵画調変換処理部１３６は、図３の絵画調変換処理部１３６と同様に、変形処理部１４１および点描変形特性計算部１４２を含むように構成される。
【０１１８】
さらに、図１２の絵画調変換処理部１３６は、ジッタ加算部１８１と鮮鋭化処理部１８２を有している。
【０１１９】
絵画調変換処理部１３６において、ジッタ加算部１８１は、変形処理部１４１の前段に備えられ、鮮鋭化処理部１８２は、変形処理部１４１の後段に備えられる。
【０１２０】
YC変換処理部１３５からの入力画像は、ジッタ加算部１８１に供給される。また、ジッタ加算部１８１には、例えば、図１のCPU１１２などからランダムパターンが供給される。ジッタ加算部１８１は、ランダムパターンを用いて、入力画像に対してジッタを付与し、ジッタの付与された画像を、変形処理部１４１に供給する。
【０１２１】
変形処理部１４１は、点描変形特性計算部１４２からの変形特性マップに従って、ジッタ加算部１８１からのジッタの付与された画像に変形を行い、変形が行われた画像を、鮮鋭化処理部１８２に供給する。
【０１２２】
鮮鋭化処理部１８２は、変形が行われた画像に対して鮮鋭化処理を行い、鮮鋭化された画像を、出力画像として後段に供給する。
【０１２３】
このように構成することにより、ジッタの強さを調整して、点描のそれぞれの点の色のばらつきを大きくすることができるので、点の間のコントラストが高くなり、強い筆触が得られるようになる。すなわち、点の間のコントラストと、境界の明瞭さの２つの特性により、筆触の強さを調整することができる。
【０１２４】
［鮮鋭化処理部の他の構成例］
図１３は、鮮鋭化処理部１８２の構成例を示すブロック図である。
【０１２５】
図１３の鮮鋭化処理部１８２は、ハイパスフィルタ１９１、減算器１９２、乗算器１９３、および加算器１９４を含むように構成される。
【０１２６】
変形処理部１４１からの画像の信号は、ハイパスフィルタ１９１と加算器１９４に入力される。ハイパスフィルタ１９１には、図１のCPU１１２や入力デバイス１１３からのフィルタ係数などが供給される。ハイパスフィルタ１９１は、フィルタ係数などに対応してフィルタ特性を設定する。ハイパスフィルタ１９１は、入力画像の信号に対して、設定したフィルタ特性でのハイパスフィルタを行い、フィルタ後の高周波成分の信号を、乗算器１９３に出力する。
【０１２７】
減算器１９２には、１と、図１のCPU１１２や入力デバイス１１３などからのゲインとが供給される。減算器１９２は、１からゲインを減算し、その値を乗算器１９３に出力する。
【０１２８】
乗算器１９３は、ハイパスフィルタ１９１の高周波成分の信号に対して、１からゲインを減算した値を乗算することで、高周波成分をゲインで強調し、ゲインで強調された高周波成分の信号を、加算器１９４に出力する。
【０１２９】
加算器１９４は、入力画像の信号と、強調された高周波成分の信号とを合成して、合成された画像を、変形処理部１４１に出力する。
【０１３０】
ここで、筆触の強調を実現するための鮮鋭化処理においては、筆触の特性（強さなど）に応じて、ハイパスフィルタ１９１のフィルタ特性（すなわち、周波数帯域）が設定される。
【０１３１】
例えば、図１４に示されるように、「筆触の強調」に適した帯域のフィルタ特性が設定される。図１４の例においては、筆触の強さは、絵画調処理の種類と点描の半径によって表されている。すなわち、点描の半径とフィルタ特性には相関がある。
【０１３２】
図１４の例においては、絵画調処理が点描処理であって、探索範囲（点描の半径）が２ピクセルである場合、フィルタ特性（カットオフ周波数）は、４ピクセルに設定されることが示されている。また、絵画調処理が点描処理であって、探索範囲（点描の半径）が３ピクセルである場合、フィルタ特性（カットオフ周波数）は、５ピクセルに設定されることが示されている。
【０１３３】
さらに、絵画調処理が点描処理であって、探索範囲（点描の半径）が４ピクセルである場合、フィルタ特性（カットオフ周波数）は、７ピクセルに設定されることが示されている。また、絵画調処理が油絵処理であって、探索範囲（点描の半径）が２ピクセルである場合、フィルタ特性（カットオフ周波数）は、５ピクセルに設定されることが示されている。
【０１３４】
なお、油絵処理は、図２１以降に後述される点描処理とストローク処理が組み合わされた処理のことである。
【０１３５】
筆触の強さを調整するときには、途中結果を保持するメモリを備えるようにして、そこに保持しておくことにより、高速に再処理が可能である。例えば、鮮鋭化処理部１８２だけを調整するときには、変形処理部１４１からの出力を、そのメモリに保持しておき、再利用すればよい。また、例えば、ジッタ加算部１８１の強さを調整する際には点描変形特性計算部１４２の出力を、そのメモリに保持しておき、再利用することが可能である。このようにすることで、筆触の強さの調整時には、一部の演算を省くことができるので、処理が高速化される。
【０１３６】
また、筆触の強さ以外にも、探索範囲の大きさを変更することなとでも、出力画像の筆触の風合いを変化させることが可能である。例えば、図１５に示されるように、探索範囲を大きくするほど、フィルタ特性のピクセルも大きくなり、粗い描写の筆触画像となる。
【０１３７】
図１５の例においては、左から順に、探索範囲を徐々に広く（大きく）した変形後の画像Ａ、画像Ｂ、および画像Ｃが示されている。すなわち、３つの画像のうち、探索範囲が一番狭い画像Ａは、一番細かい筆触の画像であり、探索範囲が一番広い画像Ｃは、一番粗い筆触の画像である。また、探索範囲が画像Ａより広く画像Ｃより狭い画像Ｂの筆触は、画像Ａよりも粗く、画像Ｃよりも細かい。
【０１３８】
このように、点描変形特性計算部１４２に入力される探索範囲を調整するための調整部を点描変形特性計算部１４２や絵画調変換処理部１３６に備えるようにしてもよい。
【０１３９】
[絵画調変換処理の流れ]
次に、図１６のフローチャートを参照して、図１２の絵画調変換処理部１３６が実行する絵画調変換処理について説明する。なお、この絵画調変換処理は、図７のステップＳ１０７における絵画調変換処理の一例であり、図８の絵画調変換処理の他の例である。
【０１４０】
点描変形特性計算部１４２には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。
【０１４１】
ステップＳ１６１において、点描変形特性計算部１４２は、供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンである点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図９を参照して上述された変形特性計算処理と基本的に同様の処理であり、その説明は繰り返しになるので省略する。
【０１４２】
点描変形特性計算部１４２は、計算した変形特性を、変形特性マップとして、変形処理部１４１に供給する。
【０１４３】
ジッタ加算部１８１は、ステップＳ１６２において、CPU１１２などからのランダムパターンを用いて、YC変換処理部１３５から入力画像に対してジッタを加算（付与）する。ジッタ加算部１８１は、ジッタが付与された画像を、変形処理部１４１に供給する。
【０１４４】
ステップＳ１６３において、変形処理部１４１は、点描変形特性計算部１４２からの変形特性マップに従って、ジッタ加算部１８１からの入力画像を変形する。この変形処理は、図１１を参照して上述された変形処理と基本的に同様の処理であり、その説明は繰り返しになるので省略する。変形処理部１４１は、変形後の画像を、鮮鋭化処理部１８２に供給する。
【０１４５】
鮮鋭化処理部１８２は、ステップＳ１６４において、変形後の画像に対して鮮鋭化処理を行う。この鮮鋭化処理は、図１７を参照して後述される。ステップＳ１６４の処理により鮮鋭化された画像は、出力画像として後段に供給される。
【０１４６】
[鮮鋭化処理の流れ]
次に、図１７のフローチャートを参照して、図１６のステップＳ１６４における鮮鋭化処理について説明する。
【０１４７】
ステップＳ１８１において、ハイパスフィルタ１９１は、上述した図１４の例に示される絵画調処理の種類や、タップ数に対応するフィルタ特性を設定する。
【０１４８】
ステップＳ１８２において、ハイパスフィルタ１９１は、設定したフィルタ特性を用いて、入力画像の信号から高周波成分を抽出し、抽出した高周波成分の信号を、乗算器１９３に出力する。
【０１４９】
ステップＳ１８３において、乗算器１９３は、ハイパスフィルタ１９１の高周波成分の信号に対して、減算器１９２からの１からゲインを減算した値を乗算することで、高周波成分をゲインで強調する。乗算器１９３は、ゲインで強調された高周波成分の信号を、加算器１９４に出力する。
【０１５０】
ステップＳ１８４において、加算器１９４は、入力画像の信号と、強調された高周波成分の信号とを合成して、合成された画像を、変形処理部１４１に出力する。
【０１５１】
以上のように、点描処理後の画像の筆触の強さも調整することができる。すなわち、点の間のコントラストと境界の明瞭さの、２つの特性で筆触の強さを調整することができる。換言するに、絵画調変換処理部１３６においては、これら２つの特性で筆触の強さを調整可能な調整部を備えることができる。
【０１５２】
なお、筆触の風合いの調整は、画像処理に慣れていないユーザによっては非直感的である。そこで、画像処理に慣れていないユーザにも簡単に扱えるように、ユーザにとって直感的な観点で扱える、ユーザにより選択可能な、図１８または図１９に示すような調整ボタンを提示する。そして、ユーザの調整ボタンの選択に応じて、例えば、入力デバイス１１３などから得られる値がジッタや鮮鋭化や探索範囲の内部パラメータに変換される。この変換は、例えば、上述した調整部などにより、一次関数やテーブル演算により行われる。
【０１５３】
図１８は、ユーザが選択する調整ボタンと、探索範囲（点描半径）、ジッタ量（強さ）、および鮮鋭化（高域ゲイン）の各パラメータの関係を示す図である。
【０１５４】
図１８の例においては、ユーザにより「効果：強」ボタンが選択されると、その選択の入力は、探索範囲が５ピクセルであり、ジッタ量が±３２であり、鮮鋭化が×１．５のパラメータに変換されることが示されている。すなわち、「効果：強」ボタンの入力は、強い筆触の効果が得られるようなパラメータに変換される。
【０１５５】
また、ユーザにより「効果：中」ボタンが選択されると、その選択の入力は、探索範囲が３ピクセルであり、ジッタ量が±１６であり、鮮鋭化が×１．４のパラメータに変換されることが示されている。すなわち、「効果：中」ボタンの入力は、筆触の効果が中ぐらいになるようなパラメータに変換される。
【０１５６】
さらに、ユーザにより「効果：弱」ボタンが選択されると、その選択の入力は、探索範囲が２ピクセルであり、ジッタ量が０であり、鮮鋭化が×１．０のパラメータに変換されることが示されている。すなわち、「効果：弱」ボタンの入力は、弱い筆触の効果が得られるようなパラメータに変換される。
【０１５７】
図１９は、ユーザが選択する調整ボタンと、探索範囲（点描半径）、ジッタ量（強さ）、および鮮鋭化（高域ゲイン）の各パラメータの関係の他の例を示す図である。
【０１５８】
図１９の例においては、ユーザにより「繊細」ボタンが選択されると、その選択の入力は、探索範囲が２ピクセルであり、ジッタ量が±３２であり、鮮鋭化が×１．０のパラメータに変換されることが示されている。すなわち、「繊細」ボタンの入力は、繊細な筆触の効果が得られるようなパラメータに変換される。
【０１５９】
また、ユーザにより「大胆」ボタンが選択されると、その選択の入力は、探索範囲が５ピクセルであり、ジッタ量が±１６であり、鮮鋭化が×１．２のパラメータに変換されることが示されている。すなわち、「大胆」ボタンの入力は、大胆な筆触の効果が得られるようなパラメータに変換される。
【０１６０】
さらに、ユーザにより「明確」ボタンが選択されると、その選択の入力は、探索範囲が３ピクセルであり、ジッタ量が±３２であり、鮮鋭化が×１．５のパラメータに変換されることが示されている。すなわち、「明確」ボタンの入力は、明確な筆触の効果が得られるようなパラメータに変換される。
【０１６１】
以上のような調整ボタンを備える（表示制御する）ようにすることで、ユーザにも直感的に筆触の調整を行うことができる。
【０１６２】
なお、上述した図３や図１２の絵画調変換処理部１３６においては、変形処理部１４１と点描変形特性計算部１４２を別々のブロックとして示したが、変形処理部１４１と点描変形特性計算部１４２を１つのブロックとして実装してもよい。すなわち、図示は省略されているが、変形処理部１４１と点描変形特性計算部１４２には変形特性マップを記憶するメモリが備えられているが、このようにすることで、変形特性マップをメモリ上に保存する必要がなくなり、処理メモリを節約することができる。
【０１６３】
また、上記説明においては、変形特性マップの生成と変形特性の適用の両方を組み合わせた処理を説明したが、変形特性マップを予め作成してメモリに記憶しておき、それを用いるように構成してもよい。すなわち、変形特性マップの生成と、変形特性マップの適用を分割した実装にしてもよい。なお、このメモリは、内部メモリであってもよいし、外部メモリであってもよい。
【０１６４】
［絵画調変換処理部の他の構成例］
図２０は、絵画調変換処理部１３６の構成例を示すブロック図である。図２０に示される絵画調変換処理部１３６は、変換処理部１４１を備える点は、図３の絵画調変換処理部１３６と共通している。
【０１６５】
絵画調変換処理部１３６は、点描変形特性計算部１４２が、メモリ１９５に入れ替わった点が、図３の絵画調変換処理部１３６と異なっている。
【０１６６】
メモリ１９５は、本処理の前、あるいは、装置の出荷前など事前に、他の画像処理装置などに設けられた図４の構成の点描変形特性計算部１４２などにより予め計算された変形特性マップを記憶している。すなわち、変形特性マップは、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成されたものである。
【０１６７】
変形処理部１４１には、YC変換処理部１３５からの入力画像と、メモリ１９５からの変形特性マップが供給される。変形処理部１４１は、メモリ１９５からの変形特性マップが示す変形特性に従って、YC変換処理部１３５からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
【０１６８】
図２０のように絵画調変形処理部を構成することもできる。このように構成することで、変形特性マップを生成するための計算の負荷を軽減したり、処理時間を短縮することができる。
【０１６９】
さらに、上記説明においては、点描風の画像に変形する点描処理について説明したが、上述した点描処理だけでは、出力画像の点描にブラシの流れが感じられず、絵画らしさに乏しい。また、印象派風のブラシのストロークの表現が困難であるなど、表現力にも劣る。なお、ストロークとは、例えば、上述した印象派の画家に代表される、画家の手の動きや筆遣いの躍動感（リズム）を伝える運動感のある筆触のことをいう。
【０１７０】
これに対して、次に、点描処理と筆の流れの表現を与える処理（ブラシストローク処理）とを組み合わせることで、より絵画らしい印象を持った出力を得る手法について説明する。なお、この点描処理とブラシストローク処理とを組み合わせた処理を、以下、油絵処理とも称する。また、以下、単に、ストロークと称しても、それは、ブラシストロークを意味しているものとする。
【０１７１】
＜第２の実施の形態＞
［絵画調変換処理部の他の構成例］
図２１は、絵画調変換処理部１３６の構成例を示すブロック図である。図２１に示される絵画調変換処理部１３６は、点描風の空間パターンを生成するための変形特性を計算し、筆の流れに似た空間パターン（ストロークの空間パターン）を生成するための変形特性を計算し、計算された変形特性を用いた変形を入力画像に対して行う。
【０１７２】
絵画調変換処理部１３６は、点描変形特性計算部２０１、ストローク変形特性計算部２０２、変形処理部２０３、変形処理部２０４、およびストローク方向計算部２０５を含むように構成される。
【０１７３】
点描変形特性計算部２０１は、図３の点描変形特性計算部１４２と同様に、図１のCPU１１２などから供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンを生成するための変形特性を計算する。すなわち、点描変形特性計算部２０１は、探索範囲の中でランダムパターンが最小値となる画素への変形特性（相対位置）を計算する。点描変形特性計算部２０１は、計算した変形特性を、変形特性マップとして、変形処理部２０３に供給する。
【０１７４】
点描変形特性計算部２０１は、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部２０２に出力するようにした点が、図３の点描変形特性計算部１４２と異なる。
【０１７５】
ストローク変形特性計算部２０２には、点描変形特性計算部２０１からの点描パターンの画像と、ストローク方向計算部２０５からのブラシのストローク方向を示す信号（フローベクトル情報とも称する）が供給される。
【０１７６】
ストローク変形特性計算部２０２は、フローベクトルを用いて、探索範囲を計算し、計算した探索範囲上で、供給される点描パターンの画像が最小値となる位置を検出する。ストローク変形特性計算部２０２は、最小値の探索が終了したら、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形処理部２０４に供給する。
【０１７７】
変形処理部２０３は、図３の変形処理部１４１と同様に、図６で示したように構成される。変形処理部２０３は、点描変形特性計算部２０１からの変形特性マップに従って、YC変換処理部１３５からの入力画像に変形を行い、変形が行われた画像（点描画像）を、変形処理部２０４に供給する。
【０１７８】
変形処理部２０４は、図３の変形処理部１４１と同様に、図６で示したように構成される。変形処理部２０４は、ストローク変形特性計算部２０２からの変形特性マップに従って、変形処理部２０３からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
【０１７９】
ストローク方向計算部２０５は、YC変換処理部１３５からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部２０５は、計算したストローク方向の情報を、ストローク変形特性計算部２０２に供給する。ストローク方向計算部２０５においては、例えば、H.Kang,”Flow-based Image Abstraction”,2009や、J.E.Kyprianidis,”Image and Video Abstraction by Coherence-Enhancing Filtering”,2011などに記載されている手法が用いられる。
【０１８０】
ストローク変形特性計算部２０２においては、このようにして計算されるフローベクトルを用いることにより、単に画像の輝度勾配を用いるのに比して、方向の安定した筆触を得ることができる。
【０１８１】
［点描変形特性計算部の構成例］
図２２は、点描変形特性計算部２０１の構成例を示すブロック図である。図２２の点描変形特性計算部２０１は、LPF１５１、変形特性計算部１５３、および最小値座標検出部２１１を含むように構成されている。
【０１８２】
図２２の点描変形特性計算部２０１は、LPF１５１と変形特性計算部１５３を備えている点が図４の点描変形特性計算部１４２と共通している。なお、共通している部分については、繰り返しになるのでその説明を省略する。
【０１８３】
図２２の点描変形特性計算部２０１は、最小値座標検出部１５２の代わりに、最小値座標検出部２１１が追加されている点が図４の点描変形特性計算部１４２と異なっている。
【０１８４】
最小値座標検出部２１１は、図４の最小値座標検出部１５２と同様に、選択した画素についての探索範囲が示す領域において、最小値を与える画素の座標（位置）を検出する。最小値座標検出部２１１は、選択した画素の座標と検出した座標とを、変形特性計算部１５３に供給する。
【０１８５】
最小値座標検出部２１１は、図４の最小値座標検出部１５２と異なり、さらに、局所最小値をその探索範囲の領域に広げた、局所最小値の画像である点描パターンを、ストローク変形特性計算部２０２に出力する。
【０１８６】
［ストローク変形特性計算部の構成例］
図２３は、ストローク変形特性計算部２０２の構成例を示すブロック図である。図２３の例においては、ストローク変形特性計算部２０２は、経路決定部２２１、最小値座標検出部２２２、および変形特性計算部２２３を含むように構成される。
【０１８７】
経路決定部２２１には、ストローク方向計算部２０５からブラシのストローク方向の情報として、フローベクトル情報が供給される。フローベクトル情報は、各画素に対してそれぞれ定義されており、以降、画像に対するフローベクトル情報の集合を、フローベクトル画像とも適宜称する。経路決定部２２１は、ストローク方向計算部２０５からのフローベクトル情報から、探索範囲を計算し、計算した探索範囲を最小値座標検出部２２２に供給する。
【０１８８】
さらに、最小値座標検出部２２２には、点描変形特性計算部２０１からの点描パターンが、入力画像として供給される。最小値座標検出部２２２は、探索範囲の経路上で、点描パターン画像が、最小値を与える画素の座標（位置）を検出する。最小値座標検出部２２２は、選択した画素の座標と検出した座標とを、変形特性計算部２２３に供給する。
【０１８９】
変形特性計算部２２３は、ストロークの空間パターン（以下、単にストロークパターンとも称する）を生成するために、選択した画素の座標と検出した座標との差を計算し、計算された差を示す相対位置を変形特性マップとして、変形処理部２０４に供給する。
【０１９０】
図２４を参照して具体的に説明する。図２４の例の左側には、図２３の最小値座標検出部２２２に入力される局所最小値を持つ領域２３２を有する入力画像２３１と、図２２の経路決定部２２１に入力されるフローベクトル情報２３３が示されている。
【０１９１】
矢印１に示されるように、入力画像２３１に、選択画素（経路始点）２３４を通る、経路決定部２２１により決定された探索経路２３５（矢印）が示されている。最小値座標検出部２２２は、入力画像の局所最小値を持つ領域２３２における探索経路２３５上の画素を検出し、選択画素２３４の座標と、局所最小値の領域２３２の探索経路上の座標（以下、局所最小値の座標と称する）を、変形特性計算部２２３に供給する。
【０１９２】
矢印２に示されるように、変形特性計算部２２３は、対象画素２３４の座標と、局所最小値の座標との差２３６を計算し、計算された差２３６を示す相対位置を変形特性マップとして、変形処理部２０４に供給する。
【０１９３】
変形処理部２０４には、点描パターンにより局所最小値の画素が、局所最小値の領域２３２に変形された画像２３７が入力される。変形処理部２０４は、差２３６を示す相対位置である変形特性マップに従って、画像２３７に対して変形を行う。これにより、矢印３に示されるように、画像２３７の局所最小値の領域２３２が探索経路に沿った領域２３８に広げられる。
【０１９４】
すなわち、処理全体を通して適用される変形を考えると、まず、変形処理部２０３においては、図５を参照して上述したように、入力画像１６１において局所最小値を持つ画素１６２の周辺の画素に変形特性１６４に従った変形が行われ、画素１６２の値が、探索範囲の領域１６３に広げられる（画素値を伝播させる）変形が行われる。
【０１９５】
そして、変形処理部２０４においては、図２４に示されるように、入力画像において、変形処理部２０３により広げられた局所最小値を持つ領域２３２の周辺の画素（探索経路に沿った領域２３８内の画素）では、差２３６を示す相対位置である変形特性マップに従った変形が行われて、領域２３２の画素が出力される。その結果、画像２３７に示されるように、領域２３２の値が、探索経路に沿った領域２３８に広げられる。すなわち、変形処理部２０４においては、入力画像において、変形処理部２０３により広げられた局所最小値を持つ領域２３２を、計算された変形特性２３６に従って、探索経路に沿った領域２３８に広げる変形が行われる。
【０１９６】
以上のように構成することで、入力画像のランダムな位置の画素値を周囲に広げて、長さと幅とを持った筆触パターンを生成することができる。
【０１９７】
[絵画調変換処理の流れ]
次に、図２５のフローチャートを参照して、図２１の絵画調変換処理部１３６による絵画調変換処理について説明する。なお、図２５の絵画調変換処理は、図７のステップＳ１０７における絵画調変換処理の一例であり、図８および図１６の絵画調変換処理の他の例である。
【０１９８】
ストローク方向計算部２０５は、ステップＳ２０１において、YC変換処理部１３５からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部２０５からのストローク方向の情報は、ストローク変形特性計算部２０２に供給される。
【０１９９】
点描変形特性計算部２０１には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。点描変形特性計算部２０１は、ステップＳ２０２において、点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図９を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
【０２００】
ただし、点描変形特性計算部２０１は、図３の点描変形特性計算部１４２と異なり、計算した変形特性を、変形特性マップとして変形処理部１４１に供給するだけでなく、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部２０２に出力する。
【０２０１】
ストローク変形特性計算部２０２には、点描変形特性計算部２０１からの点描パターンの画像と、ストローク方向計算部２０５からのブラシのストローク方向を示す信号（フローベクトルとも称する）が供給される。
【０２０２】
ストローク変形特性計算部２０２は、ステップＳ２０３において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理については、図２７を参照して後述する。
【０２０３】
ストローク変形特性計算部２０２は、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形処理部２０４に供給する。
【０２０４】
変形処理部２０３は、ステップＳ２０４において、点描変形特性計算部２０１からの変形特性マップが示す点描の変形特性に従って、YC変換処理部１３５からの入力画像に変形を行い、点描画像（変形が行われた画像）を得る。変形処理部２０３は、得た点描画像を、変形処理部２０４に供給する。
【０２０５】
変形処理部２０４は、ステップＳ２０５において、ストローク変形特性計算部２０２からのストロークの変形特性マップに従って、変形処理部２０３からの入力画像（点描画像）を変形する。そして、変形処理部２０４は、変形が行われた画像を、出力画像として後段に供給する。
【０２０６】
ここで、図２６を参照して、ステップＳ２０４およびＳ２０５の変形処理について具体的に説明する。
【０２０７】
図２６の例においては、変形処理部２０３に入力される入力画像２４１、変形処理部２０３により変形され、変形処理部２０４に入力される点描画像２４２、変形処理部２０４により変形された画像２４３が示されている。
【０２０８】
図２６に示されるように、変形処理部２０３に入力される入力画像２４１の局所最小値の画素２４１ａは、変形処理部２０３による変形（画素値の伝播）により領域２４２ａに示されるように空間的に広げられる。
【０２０９】
そして、領域２４２ａは、変形処理部２０４による変形（画素値の伝播）により、領域２４３ａに示されるように、供給されたフローベクトルの方向へこすったように引き延ばされる。
【０２１０】
すなわち、画素が面状（２次元的）に変形されることで、粗いストロークパターン（長い筆触の画像）が完成する。
【０２１１】
ステップＳ２０４およびＳ２０５においては、以上のように絵画調変形処理が行われる。
【０２１２】
なお、ステップＳ２０４およびＳ２０５の各変形処理の詳細は、図１１を参照して上述した変形処理と基本的に同様の処理を行うため、それらの詳細な説明は繰り返しになるので省略する。
【０２１３】
次に、図２７のフローチャートを参照して、図２５のステップＳ２０３におけるストロークパターン変形特性処理について説明する。なお、本処理の説明においては、適宜、図２８が参照される。
【０２１４】
ステップＳ２１１において、最小値座標検出部２２２は、未処理画素（位置Ｐ）と、その画素Ｐに対応するフローの方向Ｄを取得する。
【０２１５】
すなわち、最小値座標検出部２２２は、点描変形特性計算部２０１からの点描パターンである入力画像から未処理画素Ｐを取得する。また、最小値座標検出部２２２は、経路決定部２２１により決定された探索範囲から、その画素Ｐに対応するフローの方向Ｄを取得する。
【０２１６】
なお、図２８の例は、後述するステップＳ２１６直後の例が示されている。Ｐは始点の画素を表している。Ｄｐ，Ｄｐ´，Ｄｍ，Ｄｍ´は、フローベクトルであり、角度は１８０度しか持っていない。Ｐｐは、プラス側の画素位置、Ｐｍは、マイナス側の画素位置を表している。Ｐｍｉｎは、最小値画素の位置を表している。
【０２１７】
ステップＳ２１２において、最小値座標検出部２２２は、ＰｐをＰとし、ＰｍをＰとし、ＤｐをＤとし、Ｄｍを−Ｄとし、ＰｍｉｎをＰとする。
【０２１８】
ステップＳ２１３において、最小値座標検出部２２２は、次のサンプリング位置を計算する。具体的には、Ｐｐ＋ＤｐをＰｐとし、Ｐｍ＋ＤｍをＰｍにする。
【０２１９】
最小値座標検出部２２２は、ステップＳ２１４において、Ｉ（Ｐｐ）＜Ｉ（Ｐｍｉｎ）、すなわち、Ｐｐの画素値よりＰｍｉｎの画素値が小さいならば、ＰｍｉｎをＰｂで更新する。
【０２２０】
最小値座標検出部２２２は、ステップＳ２１５において、Ｉ（Ｐｍ）＜Ｉ（Ｐｍｉｎ）、すなわち、Ｐｐの画素値よりＰｍｉｎの画素値が小さいならば、ＰｍｉｎをＰｍで更新する。
【０２２１】
最小値座標検出部２２２は、ステップＳ２１６において、ＰｐおよびＰｍでのフローの方向Ｄｐ´およびＤｍ´をそれぞれ取得する。
【０２２２】
ステップＳ２１７において、最小値座標検出部２２２は、Ｄｐ´およびＤｍ´の方向を整列して、ＤｐおよびＤｍを更新する。すなわち、フローベクトルだけでは、次のトラッキング方向が定まらないので、フローを整列させる必要がある。
【０２２３】
例えば、内積Ｄｐ・Ｄｐ´＜０ならば、Ｄｐ←−Ｄｐ´とし、内積Ｄｐ・Ｄｐ´≧０ならば、Ｄｐ←Ｄｐ´とし、Ｄｍについても同様に、内積Ｄｍ・Ｄｍ´＜０ならば、Ｄｍ←−Ｄｍ´とし、内積Ｄｍ・Ｄｍ´≧０ならば、Ｄｍ←Ｄｍ´として、フローを整列させる。
【０２２４】
なお、上記説明においては、フローの整列方法として内積を用いる方法を説明したが、他の方法を用いるようにしてもよい。
【０２２５】
ステップＳ２１８において、最小値座標検出部２２２は、ストローク長さ分の計算が終了したか否かを判定する。ステップＳ２１８において、まだストローク長さ分の計算が終了していないと判定された場合、処理はステップＳ２１３に戻りそれ以降の処理が繰り返される。
【０２２６】
ステップＳ２１８において、ストローク長さ分の計算が終了したと判定された場合、処理はステップＳ２１９に進む。変形特性計算部２２３は、ステップＳ２１９において、変形特性（Ｐｍｉｎ−Ｐ）を、変形特性マップとして変形処理部２０４に出力する。
【０２２７】
ステップＳ２２０において、最小値座標検出部２２２は、入力画像における全画素の計算が完了したか否かを判定する。ステップＳ２２０において、まだ全画素の計算が終了していないと判定された場合、処理はステップＳ２０１に戻りそれ以降の処理が繰り返される。
【０２２８】
ステップＳ２２０において、ストローク長さ分の計算が終了したと判定された場合、ストロークパターン変形特性処理は終了される。
【０２２９】
[効果の説明]
以上のようにして変形処理を行うことにより、上述した特許文献１および非特許文献１に記載の提案のように、望ましい出力画像を得るまでに繰り返しブラシの描画を行う方法（以下、繰り返し処理法と称する）と比して、処理時間を短縮することができる。
【０２３０】
また、特許文献１および非特許文献１に記載の提案においては、筆触の方向を、対象画素での信号レベルの勾配（輝度勾配）に直交する方向にとっていた。このため、楕円や長い筆触の形状のブラシを用いると、画像に含まれるノイズが原因で筆触の方向が乱されて、美しいストロークが得られないことがあった。また、円形のブラシを用いた場合（＝点描の場合）、ノイズによる筆触の方向の乱れの影響は受けないが、筆の流れが表現されないため、絵画感に乏しい結果になっていた。
【０２３１】
これに対して、本技術によれば、フローベクトルを用いるようにしたので、単に画像の輝度勾配を用いるのに比して、方向の安定した筆触を得ることができる。
【０２３２】
また、上述した繰り返し法以外のアルゴリズムとして、出力対象の画素に対して線分の経路上の最大値を移動させる処理と考えて、この移動特性を入力画像に適用できるようにした手法がR.Lukac,”Computational Photography:Methods and Applications,”CRC Press,2011,pp.386-387に記載されている。この手法は、Cross Continuous Glass Patterns（以下、CCGP）と呼ばれている。CCGPを用いると、任意の入力画像に対して、高速に筆触のパターンを与えることができる。
【０２３３】
図２９は、本技術と比較するための従来のCCGPの手法を説明する図である。図２９の例においては、入力画像２５１、変形処理画像２５２、および出力画像２５３が示されている。
【０２３４】
従来のCCGPにおいては、入力画像２５１におけるある画素２５１ａについて、矢印２５２ａのように長さが変形されることで、画素２５１ａがライン２５３ａに変形された出力画像２５３が得られる。
【０２３５】
ただし、このCCGPでは、曲線状の変形を行うことができるが、細い筆触パターンしか得ることができなかった。すなわち、筆触の長さは調整可能であるが、筆触の幅（太さ）を調整することが困難であった。そのため、例えば、点描が表現できない、あるいは、効果が調整しにくいなど、実現可能な絵画効果が限定されてしまっていた。
【０２３６】
図３０の例においては、本技術による変形処理画像２６１および出力画像２６２が示されている。
【０２３７】
図２９を参照して上述したCCGPの手法に対して、本技術においては、図２９の入力画像２５１における画素２５１ａについて、長さと幅を有する面状の２次元領域２６２ａに広げるための変形特性２６１ａを生成することが可能である。これにより、画素２５１ａが、２次元領域２６２ａに変形された出力画像２６２を得ることができる。
【０２３８】
すなわち、本技術においては、筆触パターンが幅を持つことができるので、CCGP手法よりも絵画らしい表現が可能になる。また、点描の大きさと筆触パターンの長さとを調整することにより、例えば、画家のジョルジュ・スーラの画風に似た点描風の処理や、印象派風の長い筆触（ブラシストロークの処理など、さまざまな筆触のバリエーションを、簡単に高速に実現することができる。
【０２３９】
図３１は、経路決定部２２１における探索範囲の例を示している。経路決定部２２１において、ストロークパターンの探索範囲を短く設定することにより、左側に示されるような点描風の短い筆触パターンを実現することができる。一方、ストロークパターンの探索範囲を長く設定することにより、右側に示されるようなストロークの長い筆触パターンを実現することができる。
【０２４０】
図３１の例においては、左から順に、探索範囲を徐々に長くした変形後の画像Ａ、画像Ｂ、および画像Ｃが示されている。すなわち、３つの画像のうち、探索範囲が一番短い画像Ａは、一番短い筆触の画像であり、探索範囲が一番長い画像Ｃは、一番長い筆触の画像である。また、探索範囲が画像Ａより長く画像Ｃより短い画像Ｂの筆触は、画像Ａよりも長く、画像Ｃよりも短い。
【０２４１】
このように、経路決定部２２１で決定される探索範囲を設定することが可能な調整部をストローク変形特性計算部２０２や絵画調変換処理部１３６に備えるようにしてもよい。
【０２４２】
なお、上記説明においては、点描の変形処理とストロークの変形処理とを行う例を説明したが、次に説明するように、変形特性を合成することにより、変形処理を１度だけ行うことも可能である。
【０２４３】
［絵画調変換処理部の他の構成例］
図３２は、絵画調変換処理部１３６の構成例を示すブロック図である。
【０２４４】
図３２の例において、絵画調変換処理部１３６は、点描変形特性計算部２０１、ストローク変形特性計算部２０２、ストローク方向計算部２０５、変形特性合成部３０１、および変形処理部３０２を含むように構成される。
【０２４５】
図３２の絵画調変換処理部１３６は、点描変形特性計算部２０１、ストローク変形特性計算部２０２、およびストローク方向計算部２０５を備える点は、図２１の絵画調変換処理部１３６と共通している。なお、共通している部については、その説明が繰り返しになるので省略する。
【０２４６】
図３２の絵画調変換処理部１３６は、変形特性合成部３０１が追加された点、並びに、変形処理部２０３および２０４が、変形処理部３０２に入れ替わった点が、図２１の絵画調変換処理部１３６と異なっている。
【０２４７】
すなわち、変形特性合成部３０１は、点描変形特性計算部２０１により計算された点描の変形特性と、ストローク変形特性計算部２０２により計算されたストロークの変形特性とを入力し、その２つの特性を合成する。合成処理としては、例えば、変形特性のベクトルの足し算が行われる。変形特性合成部３０１は、合成した変形特性を、変形特性マップとして、変形処理部３０２に供給する。
【０２４８】
変形処理部３０２は、図３の変形処理部１４１と同様に、図６で示したように構成される。変形処理部３０２は、変形特性合成部３０１からの変形特性マップに従って、YC変換処理部１３５からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
【０２４９】
[絵画調変換処理の流れ]
次に、図３３のフローチャートを参照して、図３２の絵画調変換処理部１３６による絵画調変換処理について説明する。なお、図３２の絵画調変換処理は、図７のステップＳ１０７における絵画調変換処理の一例であり、図８、図１６、および図２５の絵画調変換処理の他の例である。
【０２５０】
ストローク方向計算部２０５は、ステップＳ３０１において、YC変換処理部１３５からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部２０５からのストローク方向の情報（信号）は、ストローク変形特性計算部２０２に供給される。
【０２５１】
点描変形特性計算部２０１には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。点描変形特性計算部２０１は、ステップＳ３０２において、点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図９を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
【０２５２】
ただし、点描変形特性計算部２０１は、図３の点描変形特性計算部１４２と異なり、計算した変形特性を、変形特性マップとして、変形処理部１４１に供給するだけでなく、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部２０２に出力する。
【０２５３】
ストローク変形特性計算部２０２には、点描変形特性計算部２０１からの点描パターンの画像と、ストローク方向計算部２０５からのブラシのストローク方向を示す情報（フローベクトル）が供給される。
【０２５４】
ストローク変形特性計算部２０２は、ステップＳ３０３において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理については、図２７を参照して上述したストロークパターン変形特性計算処理と基本的に同様の処理を行い、繰り返しになるのでその説明は省略する。
【０２５５】
ストローク変形特性計算部２０２は、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形処理部２０４に供給する。
【０２５６】
変形特性合成部３０１は、ステップＳ３０４において、点描変形特性計算部２０１からの点描の変形特性と、ストローク変形特性計算部２０２からのストロークの変形特性を合成する。変形特性合成部３０１は、合成した変形特性を、変形特性マップとして変形処理部３０２に供給する。
【０２５７】
変形処理部３０２は、ステップＳ３０５において、変形特性合成部３０１からの合成された変形特性マップに従って、YC変換処理部１３５からの入力画像を変形する。そして、変形処理部３０２、変形が行われた画像を、出力画像として後段に供給する。
【０２５８】
以上のように、点描の変形特性と、ストロークの変形特性とを合成して、変形処理を１回で済ませてしまうことも可能である。このように構成することで、処理をさらに高速化することが可能である。
【０２５９】
なお、上記説明においては、点描の変形を行うために点描の変形特性計算を行う例を示してきたが、次に説明するように、例えば、点描処理の代わりに、複数の方向の異なるストローク変形を組み合わせるようにすることも可能である。
【０２６０】
［絵画調変換処理部の他の構成例］
図３４は、絵画調変換処理部１３６の構成例を示すブロック図である。
【０２６１】
図３４の例において、絵画調変換処理部１３６は、ストローク変形特性計算部２０２、ストローク方向計算部２０５、変形特性合成部３０１、変形処理部３０２、９０度回転部３１１、およびストローク変形特性計算部３１２を含むように構成される。
【０２６２】
図３４の絵画調変換処理部１３６は、ストローク変形特性計算部２０２、ストローク方向計算部２０５、変形特性合成部３０１、および変形処理部３０２を備える点は、図２１の絵画調変換処理部１３６と共通している。なお、共通している部については、その説明が繰り返しになるので省略する。
【０２６３】
図３４の絵画調変換処理部１３６は、点描変形特性計算部２０１が除かれた点、並びに、９０度回転部３１１およびストローク変形特性計算部３１２が追加された点が、図３２の絵画調変換処理部１３６と異なっている。
【０２６４】
すなわち、ストローク方向計算部２０５からのブラシのストローク方向の情報は、ストローク変形特性計算部２０２の他に、９０度回転部３１１にも供給される。
【０２６５】
９０度回転部３１１は、ストローク方向計算部２０５からのブラシのストローク方向の情報を、９０度回転する。なお、９０度回転部３１１による回転角度は、ブラシのストローク方向と異なる方向となる角度であって、ストローク方向に対して厚みが付く角度であれば、９０度に限定されない。９０度回転部３１１は、９０度に回転したブラシのストローク方向の情報を、ストローク変形特性計算部３１２に供給する。
【０２６６】
ストローク変形特性計算部３１２には、さらに、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンが供給される。
【０２６７】
ストローク変形特性計算部３１２は、ストローク変形特性計算部２０２と同様に構成される。すなわち、ストローク変形特性計算部３１２は、図２１を参照して上述したストローク変形特性計算部２０２の構成と基本的に同様に構成される。
【０２６８】
ストローク変形特性計算部３１２は、９０度回転されたフローベクトルを用いて、探索範囲を計算し、計算した探索範囲上で、供給されるランダムパターンの画像が最小値となる位置を検出する。ストローク変形特性計算部３１２は、最小値の探索が終了したら、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形特性合成部３０１に供給する。
【０２６９】
また、ストローク変形特性計算部３１２は、局所最小値の画像からなる筆触パターン（すなわち、局所最小値をその探索範囲の領域に広げた、局所最小値の画像である筆触パターン）を、ストローク変形特性計算部２０２に出力する。
【０２７０】
なお、図３４の例においては、ストローク変形特性計算部３１２へ入力されるフローベクトルに対して回転させるように構成したが、それに代えて、ストローク変形特性計算部２０２へ入力されるフローベクトルを回転させるように構成してもよい。
【０２７１】
[絵画調変換処理の流れ]
次に、図３５のフローチャートを参照して、図３４の絵画調変換処理部１３６による絵画調変換処理について説明する。なお、図３５の絵画調変換処理も、図７のステップＳ１０７における絵画調変換処理の一例であり、図８、図１６、図２５、および図３３の絵画調変換処理の他の例である。
【０２７２】
ストローク方向計算部２０５は、ステップＳ３１１において、YC変換処理部１３５からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部２０５からのストローク方向の情報は、９０度回転部３１１およびストローク変形特性計算部２０２に供給される。
【０２７３】
９０度回転部３１１は、ステップＳ３１２において、ストローク方向計算部２０５からのストローク方向の情報（フローベクトル）を９０度回転する。９０度回転部３１１は、９０度回転したブラシのストローク方向の情報を、ストローク変形特性計算部３１２に供給する。
【０２７４】
ストローク変形特性計算部３１２には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンが供給される。ストローク変形特性計算部３１２は、ステップＳ３１２において、９０度回転後のブラシのストロークパターンを生成するための変形特性を計算する。この変形特性計算処理は、図２７を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
【０２７５】
ただし、ストローク変形特性計算部３１２は、計算した変形特性を、変形特性マップとして、変形特性合成部３０１に供給するだけでなく、局所最小値の画像からなる筆触パターンを、ストローク変形特性計算部２０２に出力する。
【０２７６】
ストローク変形特性計算部２０２には、ストローク変形特性計算部３１２からの筆触パターンの画像と、ストローク方向計算部２０５からのブラシのストローク方向を示す信号が供給される。
【０２７７】
ストローク変形特性計算部２０２は、ステップＳ３１４において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理については、図２７を参照して上述したストロークパターン変形特性計算処理と基本的に同様の処理を行い、繰り返しになるのでその説明は省略する。
【０２７８】
ストローク変形特性計算部２０２は、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形特性合成部３０１に供給する。
【０２７９】
変形特性合成部３０１は、ステップＳ３１５において、ストローク変形特性計算部３１２からの９０度回転したストロークの変形特性と、ストローク変形特性計算部２０２からのストロークの変形特性を合成する。変形特性合成部３０１は、合成した変形特性を、変形特性マップとして変形処理部３０２に供給する。
【０２８０】
変形処理部３０２は、ステップＳ３１６において、変形特性合成部３０１からの合成された変形特性マップに従って、YC変換処理部１３５からの入力画像を変形する。そして、変形処理部３０２、変形が行われた画像を、出力画像として後段に供給する。
【０２８１】
以上のように、２次元領域の変形特性を作るにあたり、点描の変形特性（２次元）とストロークの変形特性（１次元）を用いる代わりに、複数の方向の異なるストローク変形（１次元）を組み合わせて用いるようにしてもよい。
【０２８２】
なお、点描の変形特性の代わりに、ストロークを回転させたものの変形特性を生成する場合でも、変形特性を合成せずに、変形処理を２回行う構成にすることも可能である。
【０２８３】
［絵画調変換処理部の他の構成例］
図３６は、絵画調変換処理部１３６の構成例を示すブロック図である。図３６に示される絵画調変換処理部１３６は、図２１の絵画調変換処理部１３６を拡張した例であり、図１２の例と同様に、出力の筆触の強さを調整可能な構成を有している。
【０２８４】
絵画調変換処理部１３６は、図２１の絵画調変換処理部１３６と同様に、点描変形特性計算部２０１、ストローク変形特性計算部２０２、変形処理部２０３、変形処理部２０４、およびストローク方向計算部２０５を含むように構成される。
【０２８５】
さらに、図３６の絵画調変換処理部１３６は、図１２の絵画調変換処理部１３６と同様に、ジッタ加算部１８１と鮮鋭化処理部１８２を有している。
【０２８６】
図３６の絵画調変換処理部１３６において、ジッタ加算部１８１は、変形処理部２０３の前段に備えられ、鮮鋭化処理部１８２は、変形処理部２０４の後段に備えられる。
【０２８７】
YC変換処理部１３５からの入力画像は、ジッタ加算部１８１に供給される。また、ジッタ加算部１８１には、例えば、図１のCPU１１２などからランダムパターンが供給される。ジッタ加算部１８１は、ランダムパターンを用いて、入力画像に対してジッタを加算し、ジッタが加算された画像を、変形処理部２０３に供給する。
【０２８８】
変形処理部２０３は、点描変形特性計算部２０１からの変形特性マップに従って、ジッタ加算部１８１からのジッタが加算された画像に変形を行い、変形が行われた画像を、変形処理部２０４に供給する。
【０２８９】
変形処理部２０４は、図３の変形処理部１４１と同様に、図６で示したように構成される。変形処理部２０４は、ストローク変形特性計算部２０２からの変形特性マップに従って、変形処理部２０３からの入力画像に変形を行い、変形が行われた画像を、鮮鋭化処理部１８２に供給する。
【０２９０】
鮮鋭化処理部１８２は、変形が行われた画像に対して鮮鋭化処理を行い、鮮鋭化された画像を、出力画像として後段に供給する。
【０２９１】
このように構成すると、点描処理とストローク処理が組み合わされた油絵処理の場合においても、ジッタの強さを調整して、点描のそれぞれの点の色のばらつきを大きくすることができる。したがって、点の間のコントラストが高くなり、強い筆触が得られるようになる。すなわち、点の間のコントラストと、境界の明瞭さの２つの特性により、筆触の強さを調整することができる。
【０２９２】
なお、図３６の例においては、図２１の絵画調変換処理部１３６を拡張し、出力の筆触の強さを調整可能な構成を有する例を示したが、図３２や図３４の絵画調変換処理部１３６を拡張し、出力の筆触の強さを調整可能な構成を有するようにすることも可能である。
【０２９３】
[絵画調変換処理の流れ]
次に、図３７のフローチャートを参照して、図３６の絵画調変換処理部１３６が実行する絵画調変換処理について説明する。なお、図３７の絵画調変換処理も、図７のステップＳ１０７における絵画調変換処理の一例である。また、図３７の絵画調変換処理も、図８、図１６、図２５、図３３、および図３５の絵画調変換処理の他の例である。
【０２９４】
ストローク方向計算部２０５は、ステップＳ３５１において、YC変換処理部１３５からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部２０５からのストローク方向の情報は、ストローク変形特性計算部２０２に供給される。
【０２９５】
点描変形特性計算部２０１には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。点描変形特性計算部２０１は、ステップＳ３５２において、点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図９を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
【０２９６】
点描変形特性計算部２０１は、計算した変形特性を、変形特性マップとして、変形処理部１４１に供給し、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部２０２に出力する。
【０２９７】
ストローク変形特性計算部２０２には、点描変形特性計算部２０１からの点描パターンの画像と、ストローク方向計算部２０５からのブラシのストローク方向を示す信号が供給される。
【０２９８】
ストローク変形特性計算部２０２は、ステップＳ３５３において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理は、図２７を参照して上述したストロークパターン変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
【０２９９】
ストローク変形特性計算部２０２は、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形処理部２０４に供給する。
【０３００】
ジッタ加算部１８１は、ステップＳ３５４において、CPU１１２などからのランダムパターンを用いて、YC変換処理部１３５から入力画像に対してジッタを加算する。ジッタ加算部１８１は、ジッタが加算された画像を、変形処理部２０３に供給する。
【０３０１】
ステップＳ３５５において、変形処理部２０３は、点描変形特性計算部２０１からの変形特性マップが示す点描の変形特性に従って、ジッタ加算部１８１からの入力画像に変形を行い、点描画像（変形が行われた画像）を得る。変形処理部２０３は、得た点描画像を、変形処理部２０４に供給する。
【０３０２】
変形処理部２０４は、ステップＳ３５６において、ストローク変形特性計算部２０２からのストロークの変形特性マップに従って、変形処理部２０３からの入力画像（点描画像）を変形する。そして、変形処理部２０４は、変形が行われた画像を、鮮鋭化処理部１８２に供給する。
【０３０３】
鮮鋭化処理部１８２は、ステップＳ３５７において、変形後の画像に対して鮮鋭化処理を行う。この鮮鋭化処理は、図１７を参照して上述した鮮鋭化処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。ステップＳ１６４の処理により鮮鋭化された画像は、出力画像として後段に供給される。
【０３０４】
図３８は、ユーザが選択する調整ボタンと、探索範囲（点描半径）、ジッタ量（強さ）、および鮮鋭化（高域ゲイン）の各パラメータの関係の他の例を示す図である。なお、図３８の例は、図１８および図１９を参照して上述した調整ボタンの他の例である。
【０３０５】
図３８の例においては、ユーザによる「点描」ボタンの選択の入力は、探索範囲(点描半径)が３ピクセルであり、探索範囲（ストローク長さ）が３ピクセルであり、ジッタ量（強さ）が±３２であり、鮮鋭化（高域ゲイン）が×１．２のパラメータに変換されることが示されている。すなわち、「点描」ボタンの入力は、点描の効果が得られるようなパラメータに変換される。
【０３０６】
また、ユーザによる「印象派」ボタンの選択の入力は、探索範囲(点描半径)が３ピクセルであり、探索範囲（ストローク長さ）が１５ピクセルであり、ジッタ量（強さ）が±１６であり、鮮鋭化（高域ゲイン）が×１．４のパラメータに変換されることが示されている。すなわち、「印象派」ボタンの入力は、印象派風な効果が得られるようなパラメータに変換される。
【０３０７】
さらに、ユーザにより「印象派（強）」ボタンの選択の入力は、探索範囲(点描半径)が５ピクセルであり、探索範囲（ストローク長さ）が２１ピクセルであり、ジッタ量（強さ）が±３２であり、鮮鋭化（高域ゲイン）が×１．４のパラメータに変換されることが示されている。すなわち、「印象派」ボタンの入力は、印象派風な効果が得られるようなパラメータに変換される。
【０３０８】
点描処理とストローク処理とを組み合わせた場合でも、以上のような調整ボタンを備える（表示制御する）ようにすることで、ユーザにも直感的に筆触の調整を行うことができる。
【０３０９】
以上のように、本技術においては、ある画素の値が、２次元領域に広がるような変形特性（相対位置）に従って画像が変形される。すなわち、変形特性に従って、局所最小値がその局所に伝播される。
【０３１０】
これにより、従来のような繰り返し処理と比して、絵画調の効果を高速に得ることができる。特に、安定した流れのある絵画の効果を高速に得ることができる。
【０３１１】
また、点描分の絵画効果から、長い筆触での絵画効果まで、効果を連続的に選ぶことも可能である。さらに、パラメータの調整により、絵画調の効果に、様々なバリエーションを付けることができる。
【０３１２】
また、メモリを備えることで、途中計算結果を再利用できる。これにより、処理パラメータを変更した際の結果を高速に得ることができる。
【０３１３】
なお、上記説明においては、例えば、図１８、図１９、および図３８などを参照して、ユーザ入力に対して、内部パラメータに変換し、絵画調効果を調整する例を説明した。しかしながら、例えば、画像に複数の被写体（例えば、人物と風景）が含まれる場合など、画像の部分部分に応じて絵画調効果を調整したい場合がある。
【０３１４】
このような場合には、画像の画素毎に内部パラメータを切り替えてもよい。この内部パラメータの切替により、被写体に応じた好ましい処理結果が得られる。すなわち、各画素に対してパラメータを定義したデータを予め記憶しておけばよい。
【０３１５】
この方法を用いることにより、例えば、エッジ近辺では筆触の幅・長さを小さくして細かい描写とすることができたり、顔の領域では筆触を弱く（ジッタ量と鮮鋭化強度を減らす）して滑らかな出力を得ることができるようになる。
【０３１６】
なお、本技術の根幹は、ある画素の値が幅・長さを持った２次元領域に広がる（伝播する）ような変形特性で画像を変形する点、および、２次元領域に広がる（伝播する）ような変形特性を生成する点にあり、上述した構成はあくまで一例であり、他の構成もとることができる。
【０３１７】
また、上記説明においては、デジタルビデオカメラにおいて変形処理を行う例を説明したが、デジタルビデオカメラに限定されない。例えば、画像処理を行うコンピュータや、パーソナルコンピュータで上述した処理が行われるようにしてもよい。さらに、上述した処理をサーバで行うようにしてもよい。例えば、画像データを、ネットワークを介して、サーバに転送して、サーバ上で変形処理を行うようにすることも可能である。
【０３１８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０３１９】
＜第３の実施の形態＞
[コンピュータの構成例]
図３９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０３２０】
図３９の例においては、コンピュータの一例として、パーソナルコンピュータ７００の構成例が示されている。パーソナルコンピュータ７００において、CPU(Central Processing Unit)７０１、ROM(Read Only Memory)７０２、RAM(Random Access Memory)７０３は、バス７０４により相互に接続されている。
【０３２１】
バス７０４には、さらに、入出力インタフェース７１０が接続されている。入出力インタフェース７１０には、入力部７１１、出力部７１２、記憶部７１３、通信部７１４、およびドライブ７１５が接続されている。
【０３２２】
入力部７１１は、キーボード、マウス、マイクロホンなどよりなる。出力部７１２は、ディスプレイ、スピーカなどよりなる。記憶部７１３は、ハードディスクや不揮発性のメモリなどよりなる。通信部７１４は、ネットワークインタフェースなどよりなる。ドライブ７１５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア７２１を駆動する。
【０３２３】
以上のように構成されるパーソナルコンピュータ７００では、CPU７０１が、例えば、記憶部７１３に記憶されているプログラムを入出力インタフェース７１０及びバス７０４を介してRAM７０３にロードして実行することにより、上述した一連の処理が行われる。
【０３２４】
パーソナルコンピュータ７００（CPU７０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア７２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３２５】
パーソナルコンピュータ７００では、プログラムは、リムーバブルメディア７２１をドライブ７１５に装着することにより、入出力インタフェース７１０を介して、記憶部７１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部７１４で受信し、記憶部７１３にインストールすることができる。その他、プログラムは、ROM７０２や記憶部７１３に、あらかじめインストールしておくことができる。
【０３２６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３２７】
また、本明細書において、システムの用語は、複数の装置、ブロック、手段などにより構成される全体的な装置を意味するものである。
【０３２８】
なお、本技術における実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３２９】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３３０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３３３】
なお、本技術は以下のような構成も取ることができる。
（１） 画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部を
備える画像処理装置。
（２） 前記変形特性情報を生成する変形特性生成部を
さらに備える前記（１）に記載の画像処理装置。
（３） 前記変形特性生成部は、
ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する点描変形特性生成部と、
ストローク方向の情報から求められる探索範囲を用いて、ストロークの変形特性情報を生成するストローク変形特性生成部と
を備える前記（２）に記載の画像処理装置。
（４） 前記点描変形特性生成部は、
前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
を備え、
前記ストローク変形特性生成部は、
前記ストローク方向の情報から前記探索範囲を決定する探索範囲決定部と、
前記点描座標検出部により座標が検出された画素の値からなる点描パターン画像上の画素についての前記探索範囲内で、最小値または最大値となる画素の座標を検出するストローク座標検出部と、
前記点描パターン画像上の画素と、前記ストローク座標検出部により座標が検出された画素との位置関係を計算し、前記ストロークの変形特性情報を生成するストローク変形特性計算部と
を備える前記（３）に記載の画像処理装置。
（５） 前記点描の変形特性情報と、前記ストロークの変形特性情報とを合成する変形特性合成部
をさらに備え、
前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
前記（３）または（４）に記載の画像処理装置。
（６） 前記変形処理部は、
前記点描変形特性生成部により生成された前記点描の変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する点描変形処理部と、
前記ストローク変形特性生成部により生成された前記ストロークの変形特性情報に基づいて、前記点描変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記点描変形処理部により変形された画像を変形するストローク変形処理部と
を備える前記（３）または（４）に記載の画像処理装置。
（７） 前記点描の変形特性情報が示す特性の調整を行う点描変形特性調整部と、
前記ストロークの変形特性情報が示す特性の調整を行うストローク変形特性調整部と
をさらに備える前記（３）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記点描の変形特性情報が示す特性の調整の度合いと前記ストロークの変形特性情報が示す特性の調整の度合いの複数の組み合わせを選択するための選択手段
をさらに備え、
前記点描変形特性調整部および前記ストローク変形特性調整部は、ユーザによる前記組み合わせの選択に応じて、前記点描の変形特性情報が示す特性の調整および前記ストロークの変形特性情報が示す特性の調整をそれぞれ行う
前記（７）に記載の画像処理装置。
（９） 前記変形特性生成部は、
ランダムパターン画像と第１のストローク方向の情報から求められる第１の探索範囲とを用いて、第１のストロークの変形特性情報を生成する第１のストローク変形特性生成部と、
前記第１のストローク方向の情報が回転された情報である第２のストローク方向の情報から求められる第２の探索範囲を用いて、第２のストロークの変形特性情報を生成する第２のストローク変形特性生成部と
を備える前記（２）に記載の画像処理装置。
（１０） 前記第１のストローク変形特性生成部は、
前記第１のストローク方向の情報から前記第１の探索範囲を決定する第１の探索範囲決定部と、
前記ランダムパターン画像上の画素についての前記第１の探索範囲内で、最小値または最大値となる画素の座標を検出する第１の座標検出部と、
前記ランダムパターン画像上の画素と、前記第１の座標検出部により座標が検出された画素との位置関係を計算し、前記第１のストロークの変形特性情報を生成する第１のストローク変形特性計算部と
を備え、
前記第２のストローク変形特性生成部は、
前記第２のストローク方向の情報から前記第２の探索範囲を決定する第２の探索領域決定部と、
前記第１の座標検出部により座標が検出された画素の値からなるストロークパターン画像上の画素についての前記第２の探索範囲内で、最小値または最大値となる画素の座標を検出する第２の座標検出部と、
前記ストロークパターン画像上の画素と、前記第２の座標検出部により座標が検出された画素の位置関係を計算し、前記第２のストロークの変形特性情報を生成する第２のストローク変形特性計算部と
を備える前記（９）に記載の画像処理装置。
（１１） 前記第１のストロークの変形特性情報と、前記第２のストロークの変形特性情報とを合成する変形特性合成部
をさらに備え、
前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
前記（９）または（１０）に記載の画像処理装置。
（１２） 前記変形処理部は、
前記第１のストローク変形特性生成部により生成された前記第１のストロークの変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する第１の変形処理部と、
前記第２のストローク変形特性生成部により生成された前記第２のストロークの変形特性情報に基づいて、前記第１のストロークの変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記第１のストロークの変形処理部により変形された画像を変形する第２の変形処理部と
を備える前記（９）または（１０）に記載の画像処理装置。
（１３） 前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する
前記（２）に記載の画像処理装置。
（１４） 前記変形特性生成部は、
前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
を備える前記（１３）に記載の画像処理装置。
（１５） 前記変形処理部に入力される前記入力画像に対してジッタを加算するジッタ加算部と、
前記変形処理部により変形された画像に対して高域強調処理を行う鮮鋭化処理部と
をさらに備える前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記変形特性情報が示す特性を調整する変形特性調整部と、
前記ジッタおよび前記高域強調処理の強弱の調整を行う強弱調整部と
をさらに備える前記（１５）に記載の画像処理装置。
（１７） 前記変形特性情報が示す特性の調整の度合い、並びに前記ジッタおよび前記高域強調処理の調整の度合いの複数の組み合わせを選択するための選択手段を
さらに備え、
前記変形特性調整部および前記強弱調整部は、ユーザによる前記組み合わせの選択に応じて、前記変形特性情報が示す特性の調整、並びに前記ジッタおよび前記高域強調処理の前記強弱の調整をそれぞれ行う
前記（１６）に記載の画像処理装置。
（１８） 前記変形特性生成部により生成された前記変形特性情報を保持するメモリ
をさらに備える前記（２）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 前記変形特性情報を保持するメモリ
をさらに備える前記（１）に記載の画像処理装置。
（２０） 前記変形特性情報は、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成される
前記（１９）に記載の画像処理装置。
（２１） 画像処理装置が、
画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
画像処理方法。
（２２） 画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部
として、コンピュータを機能させるプログラム。
【符号の説明】
【０３３４】
１００ デジタルビデオカメラ， １１２ CPU， １１３ 入力デバイス， １３６ 絵画調変換処理部， １４１ 変形処理部， １４２ 点描変形特性計算部， １５１ LPF， １５２ 最小値座標検出部， １５３ 変形特性計算部， １７１ 変形部， １８１ ジッタ加算部、 １８２ 鮮鋭化処理部， １９１ ハイパスフィルタ， １９２ 減算器， １９３ 乗算器， １９４ 加算器， ２０１ 点描変形特性計算部， ２０２ ストローク変形特性計算部， ２０３ 変形処理部， ２０４ 変形処理部， ２０５ ストローク方向計算部， ２１１ 最小値座標検出部， ２２１ 経路決定部， ２２２ 最小値座標検出部， ２２３ 変形特性計算部， ３０１ 変形特性合成部， ３０２ 変形処理部， ３１１ ９０度回転部， ３１２ ストローク変形特性計算部
【技術分野】
【０００１】
本開示は、画像処理装置および方法、並びにプログラムに関し、特に、画像に対して絵画調の効果を高速で与えることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
入力された画像を元に、絵画風に変換された出力画像を得る手法がある。このような手法は、Non Phtotorealistic Rendering(NPR)と呼ばれる。NPR手法の１つとして、筆のストロークに似たパターンを画像に与えることで、油彩画のような風合いを持った画像を得る手法が知られている。
【０００３】
例えば、特許文献１においては、入力画像に対して、ある楕円領域をその中央の画素値で置き換える処理を繰り返すことで、筆のストロークに似たパターンを生成し、油彩画風の出力画像を得るアルゴリズムが提案されている。
【０００４】
また、非特許文献１においては、出力画像にブラシのパターン画像を繰り返し描画していき、入力画像と出力画像の間の二乗誤差を小さくしていくことで、油彩画風の出力画像を得るアルゴリズムが提案されている。この手法では、描画するブラシの形状を変更することで、出力画像の画風を変更することが可能である。例えば、円形のブラシを用いることにより、点描風の出力画像を得ることができ、自由な軌跡のブラシパターン（Curved Brush Stroke）を用いることにより、印象派風の出力画像を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−４４８６７号公報
【非特許文献】
【０００６】
【非特許文献１】A. Hertzmann, “Painterly Rendering with Curved Brush Strokes of Multiple Sizes,” Proc. Sgigraph 98, ACM Press, 1998, pp.453-460
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の提案および非特許文献１に記載の提案の場合、望ましい出力画像を得るまでに繰り返しブラシの描画を行う必要があった。例えば、ある画素の出力値を決めるまでに、何度も値を更新する必要があった。
【０００８】
このため、特許文献１に記載の提案および非特許文献１に記載の提案においては、望ましい出力画像を得るまでに、処理時間が長くかかっていた。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、画像に対して絵画調の効果を高速で与えることができるものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の画像処理装置は、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部を備える。
【００１１】
前記変形特性情報を生成する変形特性生成部をさらに備えることができる。
【００１２】
前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する点描変形特性生成部と、ストローク方向の情報から求められる探索範囲を用いて、ストロークの変形特性情報を生成するストローク変形特性生成部とを備えることができる。
【００１３】
前記点描変形特性生成部は、前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部とを備え、前記ストローク変形特性生成部は、前記ストローク方向の情報から前記探索範囲を決定する探索範囲決定部と、前記点描座標検出部により座標が検出された画素の値からなる点描パターン画像上の画素についての前記探索範囲内で、最小値または最大値となる画素の座標を検出するストローク座標検出部と、前記点描パターン画像上の画素と、前記ストローク座標検出部により座標が検出された画素との位置関係を計算し、前記ストロークの変形特性情報を生成するストローク変形特性計算部とを備えることができる。
【００１４】
前記点描の変形特性情報と、前記ストロークの変形特性情報とを合成する変形特性合成部をさらに備え、前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形することができる。
【００１５】
前記変形処理部は、前記点描変形特性生成部により生成された前記点描の変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する点描変形処理部と、前記ストローク変形特性生成部により生成された前記ストロークの変形特性情報に基づいて、前記点描変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記点描変形処理部により変形された画像を変形するストローク変形処理部とを備えることができる。
【００１６】
前記点描の変形特性情報が示す特性の調整を行う点描変形特性調整部と、前記ストロークの変形特性情報が示す特性の調整を行うストローク変形特性調整部とをさらに備えることができる。
【００１７】
前記点描の変形特性情報が示す特性の調整の度合いと前記ストロークの変形特性情報が示す特性の調整の度合いの複数の組み合わせを選択するための選択手段をさらに備え、前記点描変形特性調整部および前記ストローク変形特性調整部は、ユーザによる前記組み合わせの選択に応じて、前記点描の変形特性情報が示す特性の調整および前記ストロークの変形特性情報が示す特性の調整をそれぞれ行うことができる。
【００１８】
前記変形特性生成部は、ランダムパターン画像と第１のストローク方向の情報から求められる第１の探索範囲とを用いて、第１のストロークの変形特性情報を生成する第１のストローク変形特性生成部と、前記第１のストローク方向の情報が回転された情報である第２のストローク方向の情報から求められる第２の探索範囲を用いて、第２のストロークの変形特性情報を生成する第２のストローク変形特性生成部とを備えることができる。
【００１９】
前記第１のストローク変形特性生成部は、前記第１のストローク方向の情報から前記第１の探索範囲を決定する第１の探索範囲決定部と、前記ランダムパターン画像上の画素についての前記第１の探索範囲内で、最小値または最大値となる画素の座標を検出する第１の座標検出部と、前記ランダムパターン画像上の画素と、前記第１の座標検出部により座標が検出された画素との位置関係を計算し、前記第１のストロークの変形特性情報を生成する第１のストローク変形特性計算部とを備え、前記第２のストローク変形特性生成部は、前記第２のストローク方向の情報から前記第２の探索範囲を決定する第２の探索領域決定部と、前記第１の座標検出部により座標が検出された画素の値からなるストロークパターン画像上の画素についての前記第２の探索範囲内で、最小値または最大値となる画素の座標を検出する第２の座標検出部と、前記ストロークパターン画像上の画素と、前記第２の座標検出部により座標が検出された画素の位置関係を計算し、前記第２のストロークの変形特性情報を生成する第２のストローク変形特性計算部とを備えることができる。
【００２０】
前記第１のストロークの変形特性情報と、前記第２のストロークの変形特性情報とを合成する変形特性合成部をさらに備え、前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形することができる。
【００２１】
前記変形処理部は、前記第１のストローク変形特性生成部により生成された前記第１のストロークの変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する第１の変形処理部と、前記第２のストローク変形特性生成部により生成された前記第２のストロークの変形特性情報に基づいて、前記第１のストロークの変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記第１のストロークの変形処理部により変形された画像を変形する第２の変形処理部とを備えることができる。
【００２２】
前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成することができる。
【００２３】
前記変形特性生成部は、前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部とを備えることができる。
【００２４】
前記変形処理部に入力される前記入力画像に対してジッタを加算するジッタ加算部と、前記変形処理部により変形された画像に対して高域強調処理を行う鮮鋭化処理部とをさらに備えることができる。
【００２５】
前記変形特性情報が示す特性を調整する変形特性調整部と、前記ジッタおよび前記高域強調処理の強弱の調整を行う強弱調整部とをさらに備えることができる。
【００２６】
前記変形特性情報が示す特性の調整の度合い、並びに前記ジッタおよび前記高域強調処理の調整の度合いの複数の組み合わせを選択するための選択手段をさらに備え、前記変形特性調整部および前記強弱調整部は、ユーザによる前記組み合わせの選択に応じて、前記変形特性情報が示す特性の調整、並びに前記ジッタおよび前記高域強調処理の前記強弱の調整をそれぞれ行うことができる。
【００２７】
前記変形特性生成部により生成された前記変形特性情報を保持するメモリをさらに備えることができる。
【００２８】
前記変形特性情報を保持するメモリをさらに備えることができる。
【００２９】
前記変形特性情報は、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成される。
【００３０】
本開示の一側面の画像処理方法は、画像処理装置が、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する。
【００３１】
本開示の一側面のプログラムは、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部として、コンピュータを機能させる。
【００３２】
本開示の一側面においては、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像が変形される。
【発明の効果】
【００３３】
本開示によれば、画像に対して絵画調の効果を高速で与えることができる。
【図面の簡単な説明】
【００３４】
【図１】本技術を適用した画像処理装置としてのデジタルビデオカメラの構成例を示すブロック図である。
【図２】DSPの構成例を示すブロック図である。
【図３】絵画調変換処理部の構成例を示すブロック図である。
【図４】点描変形特性計算部の構成例を示すブロック図である。
【図５】変形特性計算および変形処理を説明する図である。
【図６】変形処理部の構成例を示すブロック図である。
【図７】画像処理の例を説明するフローチャートである。
【図８】絵画調変形処理の例を説明するフローチャートである。
【図９】変形特性計算処理の例を説明するフローチャートである。
【図１０】画素単位の変形特性計算処理の例を説明するフローチャートである。
【図１１】変形処理の例を説明するフローチャートである。
【図１２】絵画調変換処理部の他の構成例を示すブロック図である。
【図１３】鮮鋭化処理部の他の構成例を示すブロック図である。
【図１４】フィルタ特性の設定例を示す図である。
【図１５】探索範囲の広さに応じたフィルタ特性を説明する図である。
【図１６】絵画調変形処理の例を説明するフローチャートである。
【図１７】鮮鋭化処理の例を説明するフローチャートである
【図１８】調整ボタンとパラメータとの関係を示す図である。
【図１９】調整ボタンとパラメータとの関係を示す図である。
【図２０】絵画調変換処理部の他の構成例を示すブロック図である。
【図２１】絵画調変換処理部の他の構成例を示すブロック図である。
【図２２】点描変形特性計算部の構成例を示すブロック図である。
【図２３】ストローク変形特性計算部の構成例を示すブロック図である。
【図２４】変形特性計算および変形処理を説明する図である。
【図２５】絵画調変形処理の例を説明するフローチャートである。
【図２６】変形処理を説明する図である。
【図２７】ストロークパターン変形特性計算処理の例を説明するフローチャートである。
【図２８】ストロークパターン変形特性計算処理を説明する図である。
【図２９】本技術の効果を説明するための従来技術を説明する図である。
【図３０】本技術の効果を説明する図である。
【図３１】探索範囲の例を示す図である。
【図３２】絵画調変換処理部の他の構成例を示すブロック図である。
【図３３】絵画調変形処理の例を説明するフローチャートである。
【図３４】絵画調変換処理部の他の構成例を示すブロック図である。
【図３５】絵画調変形処理の例を説明するフローチャートである。
【図３６】絵画調変換処理部の他の構成例を示すブロック図である。
【図３７】絵画調変形処理の例を説明するフローチャートである。
【図３８】調整ボタンとパラメータとの関係を示す図である。
【図３９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３５】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（点描処理）
２．第２の実施の形態（油絵処理（点描処理＋ストローク処理））
３．第３の実施の形態（コンピュータ）
【００３６】
＜第１の実施の形態＞
［デジタルビデオカメラの構成例］
図１は、本開示を適用した画像処理装置としての、デジタルビデオカメラの一実施の形態を示すブロック図である。
【００３７】
図１に示されるデジタルビデオカメラ１００は、被写体を撮像し、その被写体の画像を表示したり、画像データを記録したりする。また、図１に示されるデジタルビデオカメラ１００は、入力画像を元に、絵画調に変換された出力画像を得る。
【００３８】
デジタルビデオカメラ１００は、レンズ１０１、絞り１０２、画像センサ１０３、および相関２重サンプリング回路（CDS（Correlated Double Sampling circuit））１０４を有する。デジタルビデオカメラ１００は、A/D（Analog/Digital）コンバータ１０５、DSP（Digital Signal Processor）ブロック１０６、およびタイミングジェネレータ（TG（Timing Generator））１０７を有する。また、デジタルビデオカメラ１００は、LCD（Liquid Crystal Display）ドライバ１０８、LCD１０９、およびCODEC（coder/decoder）１１０を有する。さらに、デジタルビデオカメラ１００は、メモリ１１１、CPU（Central Processing Unit）１１２、入力デバイス１１３、およびバス１１４を有する。
【００３９】
なお、DSPブロック１０６は、信号処理用のプロセッサ（例えば、DSP）と画像データを保持するRAM（Random Access Memory）などのメモリなどにより構成されるブロックである。DSPブロック１０６は、プロセッサが所定のプログラムを実行することにより、後述する画像処理を行う。また、以下、DSPブロック１０６を、単にDSP１０６と称する。
【００４０】
レンズ１０１および絞り１０２などからなる光学系を通過した被写体からの入射光は、まず画像センサ１０３に到達する。画像センサ１０３は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等、任意の撮像素子を有する。画像センサ１０３は、入射光を電気信号に光電変換する。
【００４１】
画像センサ１０３は、光電変換できるものであればどのようなものであってもよい。
【００４２】
画像センサ１０３から出力された電気信号は、相関２重サンプリング回路１０４によってノイズが除去され、A/Dコンバータ１０５によってデジタル化される。A/Dコンバータ１０５は、どのようなものであってもよいが、より多くの階調数のデジタルデータに変換できる方が望ましい。例えば、A/Dコンバータ１０５は、入力される電気信号を、通常のデジタルビデオカメラの階調数（例えば、１０乃至１２ビット程度のデータにより表現できる階調数）よりも多い階調数（例えば、１４乃至１６ビット程度のデータにより表現できる階調数）の画像データに変換するようにしてもよい。
【００４３】
A/Dコンバータ１０５によりデジタル化された画像データは、DSP１０６内のメモリに一時的に格納される。タイミングジェネレータ１０７は、一定のフレームレートにより画像データが取り込まれるように、相関２重サンプリング回路１０４、A/Dコンバータ１０５、および、DSP１０６により構成される信号処理系を制御する。すなわち、DSP１０６には、一定のフレームレートで画像データのストリームが供給される。
【００４４】
DSP１０６は、後述する絵画調変換処理を画像データに施した後、画像処理を施した画像データを、必要に応じて、LCDドライバ１０８またはCODEC１１０に供給する。
【００４５】
LCDドライバ１０８は、DSP１０６から供給される画像データをアナログの画像信号に変換する。LCDドライバ１０８は、デジタルビデオカメラのファインダであるLCD１０９にアナログの画像信号を供給し、画像信号に基づく画像を表示させる。
【００４６】
CODEC１１０は、DSP１０６から供給される画像データを所定の方式により符号化し、符号化した画像データを、例えば、半導体、磁気記録媒体、光磁気記録媒体、または光記録媒体などの任意の記録媒体よりなるメモリ１１１に記録させる。
【００４７】
CPU１１２は、例えば、ユーザがシャッタボタン等の操作ボタンなどにより構成される入力デバイス１１３を操作することにより入力された指令などに基づいて、デジタルビデオカメラ１００の全体の処理を制御する。また、DSP１０６、タイミングジェネレータ１０７、CODEC１１０、メモリ１１１、LCD１０９、CPU１１２、および入力デバイス１１３は、バス１１４を介して相互に接続されている。
【００４８】
［DSPの構成例］
図２は、DSP１０６の内部のプロセッサ（演算ユニット）が、所定のプログラムを実行することにより実現される機能の構成の例を示すブロック図である。DSP１０６の内部のプロセッサが所定のプログラムを実行することにより、図２のDSP１０６の各部を含む機能が実現される。DSP１０６は、ホワイトバランス処理部１３１、デモザイク処理部１３２、階調補正処理部１３３、ガンマ補正処理部１３４、YC変換処理部１３５、および絵画調変換処理部１３６を含むように構成されている。
【００４９】
ホワイトバランス処理部１３１は、A/Dコンバータ１０５によりA/D変換された、動画像などの画像データであるモザイク画像を取得する。モザイク画像は、Ｒ，Ｇ，Ｂのうちのいずれかの色成分に対応するデータが１つの画素に格納され、ベイヤ配列と呼ばれる色配列に従って各画素が配置されている画像であり、RAWデータとも呼ばれている。
【００５０】
ホワイトバランス処理部１３１は、取得したモザイク画像の各画素の画素値に適切な係数をかけることにより、被写体の無彩色の部分の色バランスが実際に無彩色となるように、モザイク画像のホワイトバランスを調整する。ホワイトバランス処理部１３１は、ホワイトバランスを調整したモザイク画像をデモザイク処理部１３２に供給する。なお、以下、ホワイトバランスが調整されたモザイク画像をＭｗとする。
【００５１】
デモザイク処理部１３２は、ホワイトバランス処理部１３１から供給されたモザイク画像Ｍｗに対して、１つの画素がＲ，Ｇ，Ｂ成分を全て有するようにするデモザイク処理を施す。これにより、Ｒ，Ｇ，Ｂの３つの色成分にそれぞれ対応するＲ画像、Ｇ画像、Ｂ画像の３つの画像データが生成される。デモザイク処理部１３２は、生成したＲ画像、Ｇ画像、Ｂ画像の３つの画像データを階調補正処理部１３３に供給する。
【００５２】
なお、以下において、Ｒ画像、Ｇ画像、Ｂ画像の３つの画像データをまとめてRGB画像とも称する。また、以下において、モザイク画像の画素位置ｐにおける画素値をＭ(ｐ)とする。さらに、以下において、デモザイク処理が施された画像データの画素位置ｐにおける画素値を［Rw(p)，Gw(p)，Bw(p)］とする。ここで、Rw(p)はＲ成分の画素値であり、Gw(p)はＧ成分の画素値であり、Bw(p)はＢ成分の画素値である。
【００５３】
階調補正処理部１３３は、RGB画像に階調補正処理を施し、階調補正処理を施したRGB画像をガンマ補正処理部１３４に供給する。なお、以下において、階調補正処理が施された画像データの画素位置ｐにおける画素値を［Ru(p)，Gu(p)，Bu(p)］とする。ここで、Ru(p)はＲ成分の画素値であり、Gu(p)はＧ成分の画素値であり、Bu(p)はＢ成分の画素値である。
【００５４】
ガンマ補正処理部１３４は、階調変換されたRGB画像にガンマ補正を施す。ガンマ補正処理部１３４は、ガンマ補正を施したRGB画像をYC変換処理部１３５に供給する。なお、以下、ガンマ補正が施された画像データの画素位置ｐにおける画素値を［Ruγ(p)，Guγ(p)，Buγ(p)］とする。ここで、Ruγ(p)はＲ成分の画素値であり、Guγ(p)はＧ成分の画素値であり、Buγ(p)はＢ成分の画素値である。
【００５５】
YC変換処理部１３５は、ガンマ補正が施されたRGB画像に対して、YCマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度成分（Ｙ成分）により構成されるＹ画像、および、色差成分（CbまたはCr成分）により構成されるＣ画像を生成する。YC変換処理部１３５は、生成したＹ画像およびＣ画像を、絵画調変換処理部１３６に供給する。なお、以下、YC変換処理部１３５から出力される画像データの画素位置ｐにおける画素値を［Y(p)，C(p)］とする。ここで、Y(p)はＹ画像における輝度成分の値であり、C(p)はＣ画像における色差成分の値である。また、以下、Ｃ画像のCb成分をCb(p)と称し、Ｃ画像のCr成分をCr(p)と称する。
【００５６】
絵画調変換処理部１３６は、YC変換処理部１３５からのＹ画像およびＣ画像である入力画像に対して、絵画調変換処理を行い、絵画調に変形された画像を、保存画像として、必要に応じて、LCDドライバ１０８またはCODEC１１０に供給する。なお、入力画像は、Ｙ画像およびＣ画像に限らない。絵画調変換処理部１３６においては、例えば、点描画風の空間パターンや印象派風のブラシのストロークの空間パターンを生成するための変形特性が計算され、それに従って、絵画調の画像への変換が行われる。
【００５７】
この変形特性とは、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための特性のことである。点描画風の空間パターンを生成するための変形特性は、基本となる単純な図形パターン（例えば、円形や多角形）からなる領域への２次元の変形特性であって、ランダムパターン画像と所定の探索範囲とを用いて生成される。この２次元の変形特性により、入力画像が、点描画像に変形される。
【００５８】
印象派風のブラシのストロークの空間パターンを生成するための変形特性は、１次元の変形特性であって、ストローク方向の情報から求められる探索範囲を用いて生成される。この１次元の変形特性により、２次元の変形特性により変形された点描画像が、さらに、長い筆触の画像に変形される。
【００５９】
［絵画調変換処理部の構成例］
図３は、絵画調変換処理部１３６の構成例を示すブロック図である。図３に示される絵画調変換処理部１３６は、点描風の空間パターン（以下、適宜、点描パターンとも称する）を生成するための変形特性を計算し、計算された変形特性を用いた変形を入力画像に対して行う。
【００６０】
絵画調変換処理部１３６は、変形処理部１４１および点描変形特性計算部１４２を含むように構成される。
【００６１】
変形処理部１４１には、YC変換処理部１３５からの入力画像と、点描変形特性計算部１４２からの変形特性マップが供給される。変形処理部１４１は、点描変形特性計算部１４２からの変形特性マップが示す変形特性に従って、YC変換処理部１３５からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
【００６２】
点描変形特性計算部１４２には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。点描変形特性計算部１４２は、供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンを生成するための変形特性を計算する。すなわち、点描変形特性計算部１４２は、探索範囲が示す領域の中でランダムパターンが最小値となる画素への変形特性（相対位置、位置関係）を計算する。
【００６３】
点描変形特性計算部１４２は、計算した変形特性を、変形特性マップとして、変形処理部１４１に供給する。
【００６４】
［点描変形特性計算部の構成例］
図４は、点描変形特性計算部１４２の構成例を示すブロック図である。図４の例においては、点描変形特性計算部１４２は、LPF（Low-pass filter）１５１、最小値座標検出部１５２、および変形特性計算部１５３を含むように構成される。
【００６５】
ランダムパターンを示す画像は、LPF１５１に供給される。このランダムパターンのサイズは任意である。例えば、入力画像より小さいサイズのランダムパターンの場合、パターンをタイル状に複数個並べて用いればよい。
【００６６】
LPF１５１は、ランダムパターンの画像に対して高周波成分をカットし、高周波成分をカットしたランダムパターンの画像を、最小値座標検出部１５２に供給する。
【００６７】
探索範囲を示す領域は、最小値座標検出部１５２に供給される。最小値座標検出部１５２に入力される探索範囲の右側に示される中心に＋がある丸は、ある画素（＋で表わされている）を中心とする探索範囲を表している。探索範囲は、点描で描かれる点（円形領域）のサイズに相当する。例えば、探索範囲は、大きさの異なるものを複数持つようにして、入力画像の領域毎に切り替えて使うようにしてもよい。
【００６８】
最小値座標検出部１５２は、選択した画素についての探索範囲が示す領域において、最小値を与える画素の座標（位置）を検出する。探索範囲が示す領域における最小値のことを、以下、局所最小値とも称する。最小値座標検出部１５２は、選択した画素の座標と検出した座標とを、変形特性計算部１５３に供給する。図４の最小値座標検出部２１から出力される座標の下に示される中心に＋がある丸は、上述したように探索範囲を表しており、探索範囲内の他の＋は、探索範囲における最小値の座標を表している。
【００６９】
変形特性計算部１５３は、点描風の空間パターンを生成するために、選択した画素の座標と検出した座標との差を計算し、計算された差を示す相対位置を変形特性マップとして、変形処理部１４１に供給する。図４の変形特性計算部１５３から出力される相対位置の下に示される矢印は、相対位置を表している。この出力（相対位置）は、入力画像の各画素に対してそれぞれ定義される。
【００７０】
図５を参照して具体的に説明する。図５の例においては、変形処理部１４１に入力される入力画像１６１が示されている。図中左の入力画像１６１上には、局所最小値を持つ画素１６２が示されている。なお、変形特性は、変形処理が選択する入力画素の位置を表しているので、図５の例において、変形特性１６４を示す矢印の方向は、変形処理による値の伝播方向とは逆方向を向いている。
【００７１】
矢印１に示されるように、入力画像１６１上の画素１６２の周辺の画素（探索範囲の領域１６３内の画素）では、変形特性１６４に従った変形が行われて、画素１６２の画素が出力される。その結果、矢印２が示す図中右の入力画像１６１上に示されるように、画素１６２の値が、探索範囲の領域１６３に広げられる（伝播される）。
【００７２】
すなわち、変形特性計算部１５３は、変形処理部１４１に入力される入力画像１６１において局所最小値を持つ画素１６２の値を、探索範囲の領域１６３に広げる変形特性１６４を計算する。
【００７３】
そして、変形処理部１４１においては、入力画像において局所最小値を持つ画素１６２の値を、計算された変形特性１６４に従って、探索範囲の領域１６３に広げる変形が行われる。
【００７４】
なお、変形特性１６４の各画素の変形特性には順番がある。探索範囲の領域１６３に、他の局所最小値の影響がなければ、探索範囲の領域１６３に示されるように点描状（円形状）をしているが、探索範囲の領域１６３にて他のより小さい局所最小値の領域との重なりがある場合には、円形状ではなく、他の局所最小値による画素の変形特性により欠けた歪な形となる。これは、つまり、より値の小さい局所最小値からつくられた変形特性ほど、より上層（表面側）に塗られた筆触を表していると解釈できる。下層の筆触は、より上層の筆触が塗られることによって裏に隠される。
【００７５】
したがって、基となる形状は、領域１６３に示されるような円形であるが、実際には、変形処理部１４１は、下層に位置する画素については、上述したような歪な形に広げる変形を行う。ただし、この歪な形状は、すべての画素に対しての変形が行われることにより、上層に位置する画素の変形特性結果の円形状の領域が上にあるので、結果として、円形状の集まり（点描）に見える。なお、このことは、説明は省略するが、図２１以降に説明するブラシストロークの画像（長い筆触の画像）についても同様のことがいえる。
【００７６】
また、上記説明においては、点描の説明として、円形状として説明したが、必ずしも、円や楕円でなくてもよく、結果として点描状に見えるのであれば、多角形や、矩形に近い形を用いることもできる。
【００７７】
さらに、上述した図４の例の点描変形特性計算部１４２においては、LPF１５１が備えられている。ただし、点描変形特性計算部１４２から出力されるのは、変形特性マップであって、画像が出力されることはないので、LPF１５１は除かれてもよい。
【００７８】
［変形処理部の構成例］
図６は、変形処理部１４１の構成例を示すブロック図である。図６の例においては、変形処理部１４１は、変形部１７１を含むように構成される。なお、変形部１７１は、本開示を適用した画像処理装置の最小単位の構成である。
【００７９】
変形部１７１には、YC変換処理部１３５から、変形処理を行う対象の入力画像が供給される。また、変形部１７１には、点描変形特性計算部１４２から、変形特性マップが供給される。
【００８０】
変形部１７１は、変形特性マップが示す変形特性（相対位置）に従って、入力画像を変形し、変形処理後の出力画像を、後段に出力する。点描風の効果の変形特性が入力されることにより、変形部１７１においては、点描処理が実現される。
【００８１】
[画像処理の流れ]
次に、図７のフローチャートを参照して、デジタルビデオカメラ１００のDSP１０６により実行される画像処理について説明する。なお、この処理は、例えば、図１のデジタルビデオカメラ１００による撮影が開始され、A/Dコンバータ１０５からDSP１０６への画像データ（モザイク画像）の供給が開始されたときに開始される。また、DSP１０６に供給された画像データは、DSP１０６の図示せぬ内部のメモリに格納される。
【００８２】
ステップＳ１０１において、ホワイトバランス処理部１３１は、モザイク画像を読み込む。具体的には、ホワイトバランス処理部１３１は、DSP１０６の図示せぬ内部のメモリに格納されている先頭のフレームのモザイク画像を読み込む。
【００８３】
ステップＳ１０２において、ホワイトバランス処理部１３１は、取得したモザイク画像のホワイトバランスを調整し、デモザイク処理部１３２に供給する。
【００８４】
ステップＳ１０３において、デモザイク処理部１３２は、デモザイク処理を行う。すなわち、デモザイク処理部１３２は、ホワイトバランス処理部１３１からのモザイク画像にデモザイク処理を施してRGB画像を生成し、階調補正処理部１３３に供給する。
【００８５】
ステップＳ１０４において、階調補正処理部１３３は、階調補正処理を行い、デモザイク処理部１３２からのRGB画像の階調を補正する。そして、階調補正処理部１３３は、階調の補正されたRGB画像をガンマ補正処理部１３４に供給する。
【００８６】
ステップＳ１０５において、ガンマ補正処理部１３４は、階調補正処理部１３３からのRGB画像にガンマ補正を施してYC変換処理部１３５に供給する。
【００８７】
ステップＳ１０６において、YC変換処理部１３５は、YC変換処理を行う。例えば、YC変換処理部１３５は、ガンマ補正処理部１３４からのRGB画像に対してYCマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、RGB画像からＹ画像およびＣ画像を生成する。YC変換処理部１３５は、Ｙ画像およびＣ画像を、絵画調変換処理部１３６に供給する。
【００８８】
ステップＳ１０７において、絵画調変換処理部１３６は、絵画調変換処理を行う。この絵画調変換処理の詳細は、図８を参照して後述される。
【００８９】
ステップＳ１０８において、絵画調変換処理部１３６は、絵画調に変換された画像を、保存画像として、LCDドライバ１０８またはCODEC１１０に出力する。
【００９０】
これに対応して、例えば、LCDドライバ１０８は、DSP１０６から供給される画像データをアナログの画像信号に変換し、LCD１０９にアナログの画像信号を供給し、画像信号に基づく画像を表示させる。
【００９１】
または、これに対応して、例えば、CODEC１１０は、DSP１０６から供給される画像データを所定の方式により符号化し、符号化した画像データを、メモリ１１１に記録させる。
【００９２】
以上のようにして、デジタルビデオカメラ１００により画像処理が行われる。
【００９３】
[絵画調変換処理の流れ]
次に、図８のフローチャートを参照して、図７のステップＳ１０７における絵画調変換処理について説明する。
【００９４】
点描変形特性計算部１４２には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。
【００９５】
ステップＳ１１１において、点描変形特性計算部１４２は、供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンである点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図９を参照して後述される。点描変形特性計算部１４２は、計算した変形特性を、変形特性マップとして、変形処理部１４１に供給する。
【００９６】
また、変形処理部１４１には、YC変換処理部１３５からの入力画像が供給される。
【００９７】
ステップＳ１１２において、変形処理部１４１は、点描変形特性計算部１４２からの変形特性マップが示す変形特性に従って、YC変換処理部１３５からの入力画像を変形する。この変形処理は、図１１を参照して後述される。変形処理部１４１は、変形後の画像を、出力画像として後段に供給する。
【００９８】
[変形特性計算処理の流れ]
次に、図９のフローチャートを参照して、図８のステップＳ１１１における変形特性計算処理について説明する。
【００９９】
ステップＳ１２１において、LPF１５１は、ランダムパターンを、最小値座標検出部１５２は、探索範囲を入力する。
【０１００】
ステップＳ１２２において、LPF１５１は、ランダムパターンの画像に、ローパスフィルタをかけ、ローパスフィルタ後の画像を、最小値座標検出部１５２に供給する。
【０１０１】
ステップＳ１２３において、最小値座標検出部１５２は、各画素の周囲（探索範囲が示す領域）で、最小値を与える画素の位置（座標）を探索し、探索した座標を、変形特性計算部１５３に供給する。
【０１０２】
ステップＳ１２４において、変形特性計算部１５３は、探索対象の画素から、探索した最小値の画素位置への変形特性（相対位置）を計算し、計算された変形特性を、変形特性マップとして、変形部１７１に出力する。
【０１０３】
ここで、上述したステップＳ１２３およびＳ１２４の処理は、画素単位の処理であり、その詳細については、次の図１０を参照して説明する。図１０は、画素単位の変形特性計算処理を説明するフローチャートである。
【０１０４】
最小値座標検出部１５２は、ステップＳ１３１において、LPF１５１からの画像のうち、未処理の画素を選択し、ステップＳ１３２において、供給された探索範囲に基づいて、選択した画素を中心とした探索範囲を決定する。
【０１０５】
最小値座標検出部１５２は、ステップＳ１３３において、選択した画素を中心とした探索範囲が示す領域から、最小値の画素を探索する。最小値座標検出部１５２は、選択した画素の座標と検出した最小値の座標とを、変形特性計算部１５３に供給する。
【０１０６】
ステップＳ１３４において、変形特性計算部１５３は、最小値座標検出部１５２からの座標情報を用いて、最小値の画素位置と、選択した画素の位置の差を計算し、計算された差を示す相対位置を、変形特性マップに記憶する。
【０１０７】
ステップＳ１３５において、最小値座標検出部１５２は、未処理の画素があるか否かを判定し、未処理の画素があると判定した場合、ステップＳ１３１に戻り、それ以降の処理を繰り返す。
【０１０８】
一方、ステップＳ１３５において、未処理の画素がないと判定された場合、画素単位の変形特性計算処理は終了される。
【０１０９】
[変形処理の流れ]
次に、図１１のフローチャートを参照して、図８のステップＳ１１２における変形処理について説明する。
【０１１０】
変形部１７１には、YC変換処理部１３５から、変形処理を行う対象の入力画像が供給される。また、変形部１７１には、点描変形特性計算部１４２から、変形特性マップが供給される。
【０１１１】
変形部１７１は、ステップＳ１４１において、入力画像のうち、未処理の画素を選択し、ステップＳ１４２において、変形特性マップが示す変形特性（相対位置）から、選択した画素での変形特性（相対位置）（例えば、図５の変形特性１６４）を取得する。
【０１１２】
ステップＳ１４３において、変形部１７１は、その選択した画素の代わりに、取得した変形特性が示す先の入力画素（例えば、図５の最小値の画素１６２）を出力する。すなわち、選択した画素の画素値の代わりに、最小値の画素の画素値が出力される。
【０１１３】
変形部１７１は、ステップＳ１４４において、未処理の画素があるか否かを判定し、未処理の画素があると判定した場合、ステップＳ１４１に戻り、それ以降の処理を繰り返す。
【０１１４】
一方、ステップＳ１４４において、未処理の画素がないと判定された場合、変形処理は終了される。
【０１１５】
以上のように、点描風の空間パターンを生成するための変形特性が計算され、計算された変形特性を用いた変形が入力画像に対して行われる。すなわち、計算された変形特性に従って、画素値が伝播される。これにより、簡単かつ高速に点描風の画像を得ることができる。
【０１１６】
［絵画調変換処理部の他の構成例］
図１２は、絵画調変換処理部１３６の構成例を示すブロック図である。図１２に示される絵画調変換処理部１３６は、図３の絵画調変換処理部１３６を拡張した例であり、出力の筆触（タッチ）の強さを調整可能な構成を有している。
【０１１７】
絵画調変換処理部１３６は、図３の絵画調変換処理部１３６と同様に、変形処理部１４１および点描変形特性計算部１４２を含むように構成される。
【０１１８】
さらに、図１２の絵画調変換処理部１３６は、ジッタ加算部１８１と鮮鋭化処理部１８２を有している。
【０１１９】
絵画調変換処理部１３６において、ジッタ加算部１８１は、変形処理部１４１の前段に備えられ、鮮鋭化処理部１８２は、変形処理部１４１の後段に備えられる。
【０１２０】
YC変換処理部１３５からの入力画像は、ジッタ加算部１８１に供給される。また、ジッタ加算部１８１には、例えば、図１のCPU１１２などからランダムパターンが供給される。ジッタ加算部１８１は、ランダムパターンを用いて、入力画像に対してジッタを付与し、ジッタの付与された画像を、変形処理部１４１に供給する。
【０１２１】
変形処理部１４１は、点描変形特性計算部１４２からの変形特性マップに従って、ジッタ加算部１８１からのジッタの付与された画像に変形を行い、変形が行われた画像を、鮮鋭化処理部１８２に供給する。
【０１２２】
鮮鋭化処理部１８２は、変形が行われた画像に対して鮮鋭化処理を行い、鮮鋭化された画像を、出力画像として後段に供給する。
【０１２３】
このように構成することにより、ジッタの強さを調整して、点描のそれぞれの点の色のばらつきを大きくすることができるので、点の間のコントラストが高くなり、強い筆触が得られるようになる。すなわち、点の間のコントラストと、境界の明瞭さの２つの特性により、筆触の強さを調整することができる。
【０１２４】
［鮮鋭化処理部の他の構成例］
図１３は、鮮鋭化処理部１８２の構成例を示すブロック図である。
【０１２５】
図１３の鮮鋭化処理部１８２は、ハイパスフィルタ１９１、減算器１９２、乗算器１９３、および加算器１９４を含むように構成される。
【０１２６】
変形処理部１４１からの画像の信号は、ハイパスフィルタ１９１と加算器１９４に入力される。ハイパスフィルタ１９１には、図１のCPU１１２や入力デバイス１１３からのフィルタ係数などが供給される。ハイパスフィルタ１９１は、フィルタ係数などに対応してフィルタ特性を設定する。ハイパスフィルタ１９１は、入力画像の信号に対して、設定したフィルタ特性でのハイパスフィルタを行い、フィルタ後の高周波成分の信号を、乗算器１９３に出力する。
【０１２７】
減算器１９２には、１と、図１のCPU１１２や入力デバイス１１３などからのゲインとが供給される。減算器１９２は、１からゲインを減算し、その値を乗算器１９３に出力する。
【０１２８】
乗算器１９３は、ハイパスフィルタ１９１の高周波成分の信号に対して、１からゲインを減算した値を乗算することで、高周波成分をゲインで強調し、ゲインで強調された高周波成分の信号を、加算器１９４に出力する。
【０１２９】
加算器１９４は、入力画像の信号と、強調された高周波成分の信号とを合成して、合成された画像を、変形処理部１４１に出力する。
【０１３０】
ここで、筆触の強調を実現するための鮮鋭化処理においては、筆触の特性（強さなど）に応じて、ハイパスフィルタ１９１のフィルタ特性（すなわち、周波数帯域）が設定される。
【０１３１】
例えば、図１４に示されるように、「筆触の強調」に適した帯域のフィルタ特性が設定される。図１４の例においては、筆触の強さは、絵画調処理の種類と点描の半径によって表されている。すなわち、点描の半径とフィルタ特性には相関がある。
【０１３２】
図１４の例においては、絵画調処理が点描処理であって、探索範囲（点描の半径）が２ピクセルである場合、フィルタ特性（カットオフ周波数）は、４ピクセルに設定されることが示されている。また、絵画調処理が点描処理であって、探索範囲（点描の半径）が３ピクセルである場合、フィルタ特性（カットオフ周波数）は、５ピクセルに設定されることが示されている。
【０１３３】
さらに、絵画調処理が点描処理であって、探索範囲（点描の半径）が４ピクセルである場合、フィルタ特性（カットオフ周波数）は、７ピクセルに設定されることが示されている。また、絵画調処理が油絵処理であって、探索範囲（点描の半径）が２ピクセルである場合、フィルタ特性（カットオフ周波数）は、５ピクセルに設定されることが示されている。
【０１３４】
なお、油絵処理は、図２１以降に後述される点描処理とストローク処理が組み合わされた処理のことである。
【０１３５】
筆触の強さを調整するときには、途中結果を保持するメモリを備えるようにして、そこに保持しておくことにより、高速に再処理が可能である。例えば、鮮鋭化処理部１８２だけを調整するときには、変形処理部１４１からの出力を、そのメモリに保持しておき、再利用すればよい。また、例えば、ジッタ加算部１８１の強さを調整する際には点描変形特性計算部１４２の出力を、そのメモリに保持しておき、再利用することが可能である。このようにすることで、筆触の強さの調整時には、一部の演算を省くことができるので、処理が高速化される。
【０１３６】
また、筆触の強さ以外にも、探索範囲の大きさを変更することなとでも、出力画像の筆触の風合いを変化させることが可能である。例えば、図１５に示されるように、探索範囲を大きくするほど、フィルタ特性のピクセルも大きくなり、粗い描写の筆触画像となる。
【０１３７】
図１５の例においては、左から順に、探索範囲を徐々に広く（大きく）した変形後の画像Ａ、画像Ｂ、および画像Ｃが示されている。すなわち、３つの画像のうち、探索範囲が一番狭い画像Ａは、一番細かい筆触の画像であり、探索範囲が一番広い画像Ｃは、一番粗い筆触の画像である。また、探索範囲が画像Ａより広く画像Ｃより狭い画像Ｂの筆触は、画像Ａよりも粗く、画像Ｃよりも細かい。
【０１３８】
このように、点描変形特性計算部１４２に入力される探索範囲を調整するための調整部を点描変形特性計算部１４２や絵画調変換処理部１３６に備えるようにしてもよい。
【０１３９】
[絵画調変換処理の流れ]
次に、図１６のフローチャートを参照して、図１２の絵画調変換処理部１３６が実行する絵画調変換処理について説明する。なお、この絵画調変換処理は、図７のステップＳ１０７における絵画調変換処理の一例であり、図８の絵画調変換処理の他の例である。
【０１４０】
点描変形特性計算部１４２には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。
【０１４１】
ステップＳ１６１において、点描変形特性計算部１４２は、供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンである点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図９を参照して上述された変形特性計算処理と基本的に同様の処理であり、その説明は繰り返しになるので省略する。
【０１４２】
点描変形特性計算部１４２は、計算した変形特性を、変形特性マップとして、変形処理部１４１に供給する。
【０１４３】
ジッタ加算部１８１は、ステップＳ１６２において、CPU１１２などからのランダムパターンを用いて、YC変換処理部１３５から入力画像に対してジッタを加算（付与）する。ジッタ加算部１８１は、ジッタが付与された画像を、変形処理部１４１に供給する。
【０１４４】
ステップＳ１６３において、変形処理部１４１は、点描変形特性計算部１４２からの変形特性マップに従って、ジッタ加算部１８１からの入力画像を変形する。この変形処理は、図１１を参照して上述された変形処理と基本的に同様の処理であり、その説明は繰り返しになるので省略する。変形処理部１４１は、変形後の画像を、鮮鋭化処理部１８２に供給する。
【０１４５】
鮮鋭化処理部１８２は、ステップＳ１６４において、変形後の画像に対して鮮鋭化処理を行う。この鮮鋭化処理は、図１７を参照して後述される。ステップＳ１６４の処理により鮮鋭化された画像は、出力画像として後段に供給される。
【０１４６】
[鮮鋭化処理の流れ]
次に、図１７のフローチャートを参照して、図１６のステップＳ１６４における鮮鋭化処理について説明する。
【０１４７】
ステップＳ１８１において、ハイパスフィルタ１９１は、上述した図１４の例に示される絵画調処理の種類や、タップ数に対応するフィルタ特性を設定する。
【０１４８】
ステップＳ１８２において、ハイパスフィルタ１９１は、設定したフィルタ特性を用いて、入力画像の信号から高周波成分を抽出し、抽出した高周波成分の信号を、乗算器１９３に出力する。
【０１４９】
ステップＳ１８３において、乗算器１９３は、ハイパスフィルタ１９１の高周波成分の信号に対して、減算器１９２からの１からゲインを減算した値を乗算することで、高周波成分をゲインで強調する。乗算器１９３は、ゲインで強調された高周波成分の信号を、加算器１９４に出力する。
【０１５０】
ステップＳ１８４において、加算器１９４は、入力画像の信号と、強調された高周波成分の信号とを合成して、合成された画像を、変形処理部１４１に出力する。
【０１５１】
以上のように、点描処理後の画像の筆触の強さも調整することができる。すなわち、点の間のコントラストと境界の明瞭さの、２つの特性で筆触の強さを調整することができる。換言するに、絵画調変換処理部１３６においては、これら２つの特性で筆触の強さを調整可能な調整部を備えることができる。
【０１５２】
なお、筆触の風合いの調整は、画像処理に慣れていないユーザによっては非直感的である。そこで、画像処理に慣れていないユーザにも簡単に扱えるように、ユーザにとって直感的な観点で扱える、ユーザにより選択可能な、図１８または図１９に示すような調整ボタンを提示する。そして、ユーザの調整ボタンの選択に応じて、例えば、入力デバイス１１３などから得られる値がジッタや鮮鋭化や探索範囲の内部パラメータに変換される。この変換は、例えば、上述した調整部などにより、一次関数やテーブル演算により行われる。
【０１５３】
図１８は、ユーザが選択する調整ボタンと、探索範囲（点描半径）、ジッタ量（強さ）、および鮮鋭化（高域ゲイン）の各パラメータの関係を示す図である。
【０１５４】
図１８の例においては、ユーザにより「効果：強」ボタンが選択されると、その選択の入力は、探索範囲が５ピクセルであり、ジッタ量が±３２であり、鮮鋭化が×１．５のパラメータに変換されることが示されている。すなわち、「効果：強」ボタンの入力は、強い筆触の効果が得られるようなパラメータに変換される。
【０１５５】
また、ユーザにより「効果：中」ボタンが選択されると、その選択の入力は、探索範囲が３ピクセルであり、ジッタ量が±１６であり、鮮鋭化が×１．４のパラメータに変換されることが示されている。すなわち、「効果：中」ボタンの入力は、筆触の効果が中ぐらいになるようなパラメータに変換される。
【０１５６】
さらに、ユーザにより「効果：弱」ボタンが選択されると、その選択の入力は、探索範囲が２ピクセルであり、ジッタ量が０であり、鮮鋭化が×１．０のパラメータに変換されることが示されている。すなわち、「効果：弱」ボタンの入力は、弱い筆触の効果が得られるようなパラメータに変換される。
【０１５７】
図１９は、ユーザが選択する調整ボタンと、探索範囲（点描半径）、ジッタ量（強さ）、および鮮鋭化（高域ゲイン）の各パラメータの関係の他の例を示す図である。
【０１５８】
図１９の例においては、ユーザにより「繊細」ボタンが選択されると、その選択の入力は、探索範囲が２ピクセルであり、ジッタ量が±３２であり、鮮鋭化が×１．０のパラメータに変換されることが示されている。すなわち、「繊細」ボタンの入力は、繊細な筆触の効果が得られるようなパラメータに変換される。
【０１５９】
また、ユーザにより「大胆」ボタンが選択されると、その選択の入力は、探索範囲が５ピクセルであり、ジッタ量が±１６であり、鮮鋭化が×１．２のパラメータに変換されることが示されている。すなわち、「大胆」ボタンの入力は、大胆な筆触の効果が得られるようなパラメータに変換される。
【０１６０】
さらに、ユーザにより「明確」ボタンが選択されると、その選択の入力は、探索範囲が３ピクセルであり、ジッタ量が±３２であり、鮮鋭化が×１．５のパラメータに変換されることが示されている。すなわち、「明確」ボタンの入力は、明確な筆触の効果が得られるようなパラメータに変換される。
【０１６１】
以上のような調整ボタンを備える（表示制御する）ようにすることで、ユーザにも直感的に筆触の調整を行うことができる。
【０１６２】
なお、上述した図３や図１２の絵画調変換処理部１３６においては、変形処理部１４１と点描変形特性計算部１４２を別々のブロックとして示したが、変形処理部１４１と点描変形特性計算部１４２を１つのブロックとして実装してもよい。すなわち、図示は省略されているが、変形処理部１４１と点描変形特性計算部１４２には変形特性マップを記憶するメモリが備えられているが、このようにすることで、変形特性マップをメモリ上に保存する必要がなくなり、処理メモリを節約することができる。
【０１６３】
また、上記説明においては、変形特性マップの生成と変形特性の適用の両方を組み合わせた処理を説明したが、変形特性マップを予め作成してメモリに記憶しておき、それを用いるように構成してもよい。すなわち、変形特性マップの生成と、変形特性マップの適用を分割した実装にしてもよい。なお、このメモリは、内部メモリであってもよいし、外部メモリであってもよい。
【０１６４】
［絵画調変換処理部の他の構成例］
図２０は、絵画調変換処理部１３６の構成例を示すブロック図である。図２０に示される絵画調変換処理部１３６は、変換処理部１４１を備える点は、図３の絵画調変換処理部１３６と共通している。
【０１６５】
絵画調変換処理部１３６は、点描変形特性計算部１４２が、メモリ１９５に入れ替わった点が、図３の絵画調変換処理部１３６と異なっている。
【０１６６】
メモリ１９５は、本処理の前、あるいは、装置の出荷前など事前に、他の画像処理装置などに設けられた図４の構成の点描変形特性計算部１４２などにより予め計算された変形特性マップを記憶している。すなわち、変形特性マップは、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成されたものである。
【０１６７】
変形処理部１４１には、YC変換処理部１３５からの入力画像と、メモリ１９５からの変形特性マップが供給される。変形処理部１４１は、メモリ１９５からの変形特性マップが示す変形特性に従って、YC変換処理部１３５からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
【０１６８】
図２０のように絵画調変形処理部を構成することもできる。このように構成することで、変形特性マップを生成するための計算の負荷を軽減したり、処理時間を短縮することができる。
【０１６９】
さらに、上記説明においては、点描風の画像に変形する点描処理について説明したが、上述した点描処理だけでは、出力画像の点描にブラシの流れが感じられず、絵画らしさに乏しい。また、印象派風のブラシのストロークの表現が困難であるなど、表現力にも劣る。なお、ストロークとは、例えば、上述した印象派の画家に代表される、画家の手の動きや筆遣いの躍動感（リズム）を伝える運動感のある筆触のことをいう。
【０１７０】
これに対して、次に、点描処理と筆の流れの表現を与える処理（ブラシストローク処理）とを組み合わせることで、より絵画らしい印象を持った出力を得る手法について説明する。なお、この点描処理とブラシストローク処理とを組み合わせた処理を、以下、油絵処理とも称する。また、以下、単に、ストロークと称しても、それは、ブラシストロークを意味しているものとする。
【０１７１】
＜第２の実施の形態＞
［絵画調変換処理部の他の構成例］
図２１は、絵画調変換処理部１３６の構成例を示すブロック図である。図２１に示される絵画調変換処理部１３６は、点描風の空間パターンを生成するための変形特性を計算し、筆の流れに似た空間パターン（ストロークの空間パターン）を生成するための変形特性を計算し、計算された変形特性を用いた変形を入力画像に対して行う。
【０１７２】
絵画調変換処理部１３６は、点描変形特性計算部２０１、ストローク変形特性計算部２０２、変形処理部２０３、変形処理部２０４、およびストローク方向計算部２０５を含むように構成される。
【０１７３】
点描変形特性計算部２０１は、図３の点描変形特性計算部１４２と同様に、図１のCPU１１２などから供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンを生成するための変形特性を計算する。すなわち、点描変形特性計算部２０１は、探索範囲の中でランダムパターンが最小値となる画素への変形特性（相対位置）を計算する。点描変形特性計算部２０１は、計算した変形特性を、変形特性マップとして、変形処理部２０３に供給する。
【０１７４】
点描変形特性計算部２０１は、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部２０２に出力するようにした点が、図３の点描変形特性計算部１４２と異なる。
【０１７５】
ストローク変形特性計算部２０２には、点描変形特性計算部２０１からの点描パターンの画像と、ストローク方向計算部２０５からのブラシのストローク方向を示す信号（フローベクトル情報とも称する）が供給される。
【０１７６】
ストローク変形特性計算部２０２は、フローベクトルを用いて、探索範囲を計算し、計算した探索範囲上で、供給される点描パターンの画像が最小値となる位置を検出する。ストローク変形特性計算部２０２は、最小値の探索が終了したら、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形処理部２０４に供給する。
【０１７７】
変形処理部２０３は、図３の変形処理部１４１と同様に、図６で示したように構成される。変形処理部２０３は、点描変形特性計算部２０１からの変形特性マップに従って、YC変換処理部１３５からの入力画像に変形を行い、変形が行われた画像（点描画像）を、変形処理部２０４に供給する。
【０１７８】
変形処理部２０４は、図３の変形処理部１４１と同様に、図６で示したように構成される。変形処理部２０４は、ストローク変形特性計算部２０２からの変形特性マップに従って、変形処理部２０３からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
【０１７９】
ストローク方向計算部２０５は、YC変換処理部１３５からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部２０５は、計算したストローク方向の情報を、ストローク変形特性計算部２０２に供給する。ストローク方向計算部２０５においては、例えば、H.Kang,”Flow-based Image Abstraction”,2009や、J.E.Kyprianidis,”Image and Video Abstraction by Coherence-Enhancing Filtering”,2011などに記載されている手法が用いられる。
【０１８０】
ストローク変形特性計算部２０２においては、このようにして計算されるフローベクトルを用いることにより、単に画像の輝度勾配を用いるのに比して、方向の安定した筆触を得ることができる。
【０１８１】
［点描変形特性計算部の構成例］
図２２は、点描変形特性計算部２０１の構成例を示すブロック図である。図２２の点描変形特性計算部２０１は、LPF１５１、変形特性計算部１５３、および最小値座標検出部２１１を含むように構成されている。
【０１８２】
図２２の点描変形特性計算部２０１は、LPF１５１と変形特性計算部１５３を備えている点が図４の点描変形特性計算部１４２と共通している。なお、共通している部分については、繰り返しになるのでその説明を省略する。
【０１８３】
図２２の点描変形特性計算部２０１は、最小値座標検出部１５２の代わりに、最小値座標検出部２１１が追加されている点が図４の点描変形特性計算部１４２と異なっている。
【０１８４】
最小値座標検出部２１１は、図４の最小値座標検出部１５２と同様に、選択した画素についての探索範囲が示す領域において、最小値を与える画素の座標（位置）を検出する。最小値座標検出部２１１は、選択した画素の座標と検出した座標とを、変形特性計算部１５３に供給する。
【０１８５】
最小値座標検出部２１１は、図４の最小値座標検出部１５２と異なり、さらに、局所最小値をその探索範囲の領域に広げた、局所最小値の画像である点描パターンを、ストローク変形特性計算部２０２に出力する。
【０１８６】
［ストローク変形特性計算部の構成例］
図２３は、ストローク変形特性計算部２０２の構成例を示すブロック図である。図２３の例においては、ストローク変形特性計算部２０２は、経路決定部２２１、最小値座標検出部２２２、および変形特性計算部２２３を含むように構成される。
【０１８７】
経路決定部２２１には、ストローク方向計算部２０５からブラシのストローク方向の情報として、フローベクトル情報が供給される。フローベクトル情報は、各画素に対してそれぞれ定義されており、以降、画像に対するフローベクトル情報の集合を、フローベクトル画像とも適宜称する。経路決定部２２１は、ストローク方向計算部２０５からのフローベクトル情報から、探索範囲を計算し、計算した探索範囲を最小値座標検出部２２２に供給する。
【０１８８】
さらに、最小値座標検出部２２２には、点描変形特性計算部２０１からの点描パターンが、入力画像として供給される。最小値座標検出部２２２は、探索範囲の経路上で、点描パターン画像が、最小値を与える画素の座標（位置）を検出する。最小値座標検出部２２２は、選択した画素の座標と検出した座標とを、変形特性計算部２２３に供給する。
【０１８９】
変形特性計算部２２３は、ストロークの空間パターン（以下、単にストロークパターンとも称する）を生成するために、選択した画素の座標と検出した座標との差を計算し、計算された差を示す相対位置を変形特性マップとして、変形処理部２０４に供給する。
【０１９０】
図２４を参照して具体的に説明する。図２４の例の左側には、図２３の最小値座標検出部２２２に入力される局所最小値を持つ領域２３２を有する入力画像２３１と、図２２の経路決定部２２１に入力されるフローベクトル情報２３３が示されている。
【０１９１】
矢印１に示されるように、入力画像２３１に、選択画素（経路始点）２３４を通る、経路決定部２２１により決定された探索経路２３５（矢印）が示されている。最小値座標検出部２２２は、入力画像の局所最小値を持つ領域２３２における探索経路２３５上の画素を検出し、選択画素２３４の座標と、局所最小値の領域２３２の探索経路上の座標（以下、局所最小値の座標と称する）を、変形特性計算部２２３に供給する。
【０１９２】
矢印２に示されるように、変形特性計算部２２３は、対象画素２３４の座標と、局所最小値の座標との差２３６を計算し、計算された差２３６を示す相対位置を変形特性マップとして、変形処理部２０４に供給する。
【０１９３】
変形処理部２０４には、点描パターンにより局所最小値の画素が、局所最小値の領域２３２に変形された画像２３７が入力される。変形処理部２０４は、差２３６を示す相対位置である変形特性マップに従って、画像２３７に対して変形を行う。これにより、矢印３に示されるように、画像２３７の局所最小値の領域２３２が探索経路に沿った領域２３８に広げられる。
【０１９４】
すなわち、処理全体を通して適用される変形を考えると、まず、変形処理部２０３においては、図５を参照して上述したように、入力画像１６１において局所最小値を持つ画素１６２の周辺の画素に変形特性１６４に従った変形が行われ、画素１６２の値が、探索範囲の領域１６３に広げられる（画素値を伝播させる）変形が行われる。
【０１９５】
そして、変形処理部２０４においては、図２４に示されるように、入力画像において、変形処理部２０３により広げられた局所最小値を持つ領域２３２の周辺の画素（探索経路に沿った領域２３８内の画素）では、差２３６を示す相対位置である変形特性マップに従った変形が行われて、領域２３２の画素が出力される。その結果、画像２３７に示されるように、領域２３２の値が、探索経路に沿った領域２３８に広げられる。すなわち、変形処理部２０４においては、入力画像において、変形処理部２０３により広げられた局所最小値を持つ領域２３２を、計算された変形特性２３６に従って、探索経路に沿った領域２３８に広げる変形が行われる。
【０１９６】
以上のように構成することで、入力画像のランダムな位置の画素値を周囲に広げて、長さと幅とを持った筆触パターンを生成することができる。
【０１９７】
[絵画調変換処理の流れ]
次に、図２５のフローチャートを参照して、図２１の絵画調変換処理部１３６による絵画調変換処理について説明する。なお、図２５の絵画調変換処理は、図７のステップＳ１０７における絵画調変換処理の一例であり、図８および図１６の絵画調変換処理の他の例である。
【０１９８】
ストローク方向計算部２０５は、ステップＳ２０１において、YC変換処理部１３５からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部２０５からのストローク方向の情報は、ストローク変形特性計算部２０２に供給される。
【０１９９】
点描変形特性計算部２０１には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。点描変形特性計算部２０１は、ステップＳ２０２において、点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図９を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
【０２００】
ただし、点描変形特性計算部２０１は、図３の点描変形特性計算部１４２と異なり、計算した変形特性を、変形特性マップとして変形処理部１４１に供給するだけでなく、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部２０２に出力する。
【０２０１】
ストローク変形特性計算部２０２には、点描変形特性計算部２０１からの点描パターンの画像と、ストローク方向計算部２０５からのブラシのストローク方向を示す信号（フローベクトルとも称する）が供給される。
【０２０２】
ストローク変形特性計算部２０２は、ステップＳ２０３において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理については、図２７を参照して後述する。
【０２０３】
ストローク変形特性計算部２０２は、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形処理部２０４に供給する。
【０２０４】
変形処理部２０３は、ステップＳ２０４において、点描変形特性計算部２０１からの変形特性マップが示す点描の変形特性に従って、YC変換処理部１３５からの入力画像に変形を行い、点描画像（変形が行われた画像）を得る。変形処理部２０３は、得た点描画像を、変形処理部２０４に供給する。
【０２０５】
変形処理部２０４は、ステップＳ２０５において、ストローク変形特性計算部２０２からのストロークの変形特性マップに従って、変形処理部２０３からの入力画像（点描画像）を変形する。そして、変形処理部２０４は、変形が行われた画像を、出力画像として後段に供給する。
【０２０６】
ここで、図２６を参照して、ステップＳ２０４およびＳ２０５の変形処理について具体的に説明する。
【０２０７】
図２６の例においては、変形処理部２０３に入力される入力画像２４１、変形処理部２０３により変形され、変形処理部２０４に入力される点描画像２４２、変形処理部２０４により変形された画像２４３が示されている。
【０２０８】
図２６に示されるように、変形処理部２０３に入力される入力画像２４１の局所最小値の画素２４１ａは、変形処理部２０３による変形（画素値の伝播）により領域２４２ａに示されるように空間的に広げられる。
【０２０９】
そして、領域２４２ａは、変形処理部２０４による変形（画素値の伝播）により、領域２４３ａに示されるように、供給されたフローベクトルの方向へこすったように引き延ばされる。
【０２１０】
すなわち、画素が面状（２次元的）に変形されることで、粗いストロークパターン（長い筆触の画像）が完成する。
【０２１１】
ステップＳ２０４およびＳ２０５においては、以上のように絵画調変形処理が行われる。
【０２１２】
なお、ステップＳ２０４およびＳ２０５の各変形処理の詳細は、図１１を参照して上述した変形処理と基本的に同様の処理を行うため、それらの詳細な説明は繰り返しになるので省略する。
【０２１３】
次に、図２７のフローチャートを参照して、図２５のステップＳ２０３におけるストロークパターン変形特性処理について説明する。なお、本処理の説明においては、適宜、図２８が参照される。
【０２１４】
ステップＳ２１１において、最小値座標検出部２２２は、未処理画素（位置Ｐ）と、その画素Ｐに対応するフローの方向Ｄを取得する。
【０２１５】
すなわち、最小値座標検出部２２２は、点描変形特性計算部２０１からの点描パターンである入力画像から未処理画素Ｐを取得する。また、最小値座標検出部２２２は、経路決定部２２１により決定された探索範囲から、その画素Ｐに対応するフローの方向Ｄを取得する。
【０２１６】
なお、図２８の例は、後述するステップＳ２１６直後の例が示されている。Ｐは始点の画素を表している。Ｄｐ，Ｄｐ´，Ｄｍ，Ｄｍ´は、フローベクトルであり、角度は１８０度しか持っていない。Ｐｐは、プラス側の画素位置、Ｐｍは、マイナス側の画素位置を表している。Ｐｍｉｎは、最小値画素の位置を表している。
【０２１７】
ステップＳ２１２において、最小値座標検出部２２２は、ＰｐをＰとし、ＰｍをＰとし、ＤｐをＤとし、Ｄｍを−Ｄとし、ＰｍｉｎをＰとする。
【０２１８】
ステップＳ２１３において、最小値座標検出部２２２は、次のサンプリング位置を計算する。具体的には、Ｐｐ＋ＤｐをＰｐとし、Ｐｍ＋ＤｍをＰｍにする。
【０２１９】
最小値座標検出部２２２は、ステップＳ２１４において、Ｉ（Ｐｐ）＜Ｉ（Ｐｍｉｎ）、すなわち、Ｐｐの画素値よりＰｍｉｎの画素値が小さいならば、ＰｍｉｎをＰｂで更新する。
【０２２０】
最小値座標検出部２２２は、ステップＳ２１５において、Ｉ（Ｐｍ）＜Ｉ（Ｐｍｉｎ）、すなわち、Ｐｐの画素値よりＰｍｉｎの画素値が小さいならば、ＰｍｉｎをＰｍで更新する。
【０２２１】
最小値座標検出部２２２は、ステップＳ２１６において、ＰｐおよびＰｍでのフローの方向Ｄｐ´およびＤｍ´をそれぞれ取得する。
【０２２２】
ステップＳ２１７において、最小値座標検出部２２２は、Ｄｐ´およびＤｍ´の方向を整列して、ＤｐおよびＤｍを更新する。すなわち、フローベクトルだけでは、次のトラッキング方向が定まらないので、フローを整列させる必要がある。
【０２２３】
例えば、内積Ｄｐ・Ｄｐ´＜０ならば、Ｄｐ←−Ｄｐ´とし、内積Ｄｐ・Ｄｐ´≧０ならば、Ｄｐ←Ｄｐ´とし、Ｄｍについても同様に、内積Ｄｍ・Ｄｍ´＜０ならば、Ｄｍ←−Ｄｍ´とし、内積Ｄｍ・Ｄｍ´≧０ならば、Ｄｍ←Ｄｍ´として、フローを整列させる。
【０２２４】
なお、上記説明においては、フローの整列方法として内積を用いる方法を説明したが、他の方法を用いるようにしてもよい。
【０２２５】
ステップＳ２１８において、最小値座標検出部２２２は、ストローク長さ分の計算が終了したか否かを判定する。ステップＳ２１８において、まだストローク長さ分の計算が終了していないと判定された場合、処理はステップＳ２１３に戻りそれ以降の処理が繰り返される。
【０２２６】
ステップＳ２１８において、ストローク長さ分の計算が終了したと判定された場合、処理はステップＳ２１９に進む。変形特性計算部２２３は、ステップＳ２１９において、変形特性（Ｐｍｉｎ−Ｐ）を、変形特性マップとして変形処理部２０４に出力する。
【０２２７】
ステップＳ２２０において、最小値座標検出部２２２は、入力画像における全画素の計算が完了したか否かを判定する。ステップＳ２２０において、まだ全画素の計算が終了していないと判定された場合、処理はステップＳ２０１に戻りそれ以降の処理が繰り返される。
【０２２８】
ステップＳ２２０において、ストローク長さ分の計算が終了したと判定された場合、ストロークパターン変形特性処理は終了される。
【０２２９】
[効果の説明]
以上のようにして変形処理を行うことにより、上述した特許文献１および非特許文献１に記載の提案のように、望ましい出力画像を得るまでに繰り返しブラシの描画を行う方法（以下、繰り返し処理法と称する）と比して、処理時間を短縮することができる。
【０２３０】
また、特許文献１および非特許文献１に記載の提案においては、筆触の方向を、対象画素での信号レベルの勾配（輝度勾配）に直交する方向にとっていた。このため、楕円や長い筆触の形状のブラシを用いると、画像に含まれるノイズが原因で筆触の方向が乱されて、美しいストロークが得られないことがあった。また、円形のブラシを用いた場合（＝点描の場合）、ノイズによる筆触の方向の乱れの影響は受けないが、筆の流れが表現されないため、絵画感に乏しい結果になっていた。
【０２３１】
これに対して、本技術によれば、フローベクトルを用いるようにしたので、単に画像の輝度勾配を用いるのに比して、方向の安定した筆触を得ることができる。
【０２３２】
また、上述した繰り返し法以外のアルゴリズムとして、出力対象の画素に対して線分の経路上の最大値を移動させる処理と考えて、この移動特性を入力画像に適用できるようにした手法がR.Lukac,”Computational Photography:Methods and Applications,”CRC Press,2011,pp.386-387に記載されている。この手法は、Cross Continuous Glass Patterns（以下、CCGP）と呼ばれている。CCGPを用いると、任意の入力画像に対して、高速に筆触のパターンを与えることができる。
【０２３３】
図２９は、本技術と比較するための従来のCCGPの手法を説明する図である。図２９の例においては、入力画像２５１、変形処理画像２５２、および出力画像２５３が示されている。
【０２３４】
従来のCCGPにおいては、入力画像２５１におけるある画素２５１ａについて、矢印２５２ａのように長さが変形されることで、画素２５１ａがライン２５３ａに変形された出力画像２５３が得られる。
【０２３５】
ただし、このCCGPでは、曲線状の変形を行うことができるが、細い筆触パターンしか得ることができなかった。すなわち、筆触の長さは調整可能であるが、筆触の幅（太さ）を調整することが困難であった。そのため、例えば、点描が表現できない、あるいは、効果が調整しにくいなど、実現可能な絵画効果が限定されてしまっていた。
【０２３６】
図３０の例においては、本技術による変形処理画像２６１および出力画像２６２が示されている。
【０２３７】
図２９を参照して上述したCCGPの手法に対して、本技術においては、図２９の入力画像２５１における画素２５１ａについて、長さと幅を有する面状の２次元領域２６２ａに広げるための変形特性２６１ａを生成することが可能である。これにより、画素２５１ａが、２次元領域２６２ａに変形された出力画像２６２を得ることができる。
【０２３８】
すなわち、本技術においては、筆触パターンが幅を持つことができるので、CCGP手法よりも絵画らしい表現が可能になる。また、点描の大きさと筆触パターンの長さとを調整することにより、例えば、画家のジョルジュ・スーラの画風に似た点描風の処理や、印象派風の長い筆触（ブラシストロークの処理など、さまざまな筆触のバリエーションを、簡単に高速に実現することができる。
【０２３９】
図３１は、経路決定部２２１における探索範囲の例を示している。経路決定部２２１において、ストロークパターンの探索範囲を短く設定することにより、左側に示されるような点描風の短い筆触パターンを実現することができる。一方、ストロークパターンの探索範囲を長く設定することにより、右側に示されるようなストロークの長い筆触パターンを実現することができる。
【０２４０】
図３１の例においては、左から順に、探索範囲を徐々に長くした変形後の画像Ａ、画像Ｂ、および画像Ｃが示されている。すなわち、３つの画像のうち、探索範囲が一番短い画像Ａは、一番短い筆触の画像であり、探索範囲が一番長い画像Ｃは、一番長い筆触の画像である。また、探索範囲が画像Ａより長く画像Ｃより短い画像Ｂの筆触は、画像Ａよりも長く、画像Ｃよりも短い。
【０２４１】
このように、経路決定部２２１で決定される探索範囲を設定することが可能な調整部をストローク変形特性計算部２０２や絵画調変換処理部１３６に備えるようにしてもよい。
【０２４２】
なお、上記説明においては、点描の変形処理とストロークの変形処理とを行う例を説明したが、次に説明するように、変形特性を合成することにより、変形処理を１度だけ行うことも可能である。
【０２４３】
［絵画調変換処理部の他の構成例］
図３２は、絵画調変換処理部１３６の構成例を示すブロック図である。
【０２４４】
図３２の例において、絵画調変換処理部１３６は、点描変形特性計算部２０１、ストローク変形特性計算部２０２、ストローク方向計算部２０５、変形特性合成部３０１、および変形処理部３０２を含むように構成される。
【０２４５】
図３２の絵画調変換処理部１３６は、点描変形特性計算部２０１、ストローク変形特性計算部２０２、およびストローク方向計算部２０５を備える点は、図２１の絵画調変換処理部１３６と共通している。なお、共通している部については、その説明が繰り返しになるので省略する。
【０２４６】
図３２の絵画調変換処理部１３６は、変形特性合成部３０１が追加された点、並びに、変形処理部２０３および２０４が、変形処理部３０２に入れ替わった点が、図２１の絵画調変換処理部１３６と異なっている。
【０２４７】
すなわち、変形特性合成部３０１は、点描変形特性計算部２０１により計算された点描の変形特性と、ストローク変形特性計算部２０２により計算されたストロークの変形特性とを入力し、その２つの特性を合成する。合成処理としては、例えば、変形特性のベクトルの足し算が行われる。変形特性合成部３０１は、合成した変形特性を、変形特性マップとして、変形処理部３０２に供給する。
【０２４８】
変形処理部３０２は、図３の変形処理部１４１と同様に、図６で示したように構成される。変形処理部３０２は、変形特性合成部３０１からの変形特性マップに従って、YC変換処理部１３５からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
【０２４９】
[絵画調変換処理の流れ]
次に、図３３のフローチャートを参照して、図３２の絵画調変換処理部１３６による絵画調変換処理について説明する。なお、図３２の絵画調変換処理は、図７のステップＳ１０７における絵画調変換処理の一例であり、図８、図１６、および図２５の絵画調変換処理の他の例である。
【０２５０】
ストローク方向計算部２０５は、ステップＳ３０１において、YC変換処理部１３５からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部２０５からのストローク方向の情報（信号）は、ストローク変形特性計算部２０２に供給される。
【０２５１】
点描変形特性計算部２０１には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。点描変形特性計算部２０１は、ステップＳ３０２において、点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図９を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
【０２５２】
ただし、点描変形特性計算部２０１は、図３の点描変形特性計算部１４２と異なり、計算した変形特性を、変形特性マップとして、変形処理部１４１に供給するだけでなく、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部２０２に出力する。
【０２５３】
ストローク変形特性計算部２０２には、点描変形特性計算部２０１からの点描パターンの画像と、ストローク方向計算部２０５からのブラシのストローク方向を示す情報（フローベクトル）が供給される。
【０２５４】
ストローク変形特性計算部２０２は、ステップＳ３０３において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理については、図２７を参照して上述したストロークパターン変形特性計算処理と基本的に同様の処理を行い、繰り返しになるのでその説明は省略する。
【０２５５】
ストローク変形特性計算部２０２は、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形処理部２０４に供給する。
【０２５６】
変形特性合成部３０１は、ステップＳ３０４において、点描変形特性計算部２０１からの点描の変形特性と、ストローク変形特性計算部２０２からのストロークの変形特性を合成する。変形特性合成部３０１は、合成した変形特性を、変形特性マップとして変形処理部３０２に供給する。
【０２５７】
変形処理部３０２は、ステップＳ３０５において、変形特性合成部３０１からの合成された変形特性マップに従って、YC変換処理部１３５からの入力画像を変形する。そして、変形処理部３０２、変形が行われた画像を、出力画像として後段に供給する。
【０２５８】
以上のように、点描の変形特性と、ストロークの変形特性とを合成して、変形処理を１回で済ませてしまうことも可能である。このように構成することで、処理をさらに高速化することが可能である。
【０２５９】
なお、上記説明においては、点描の変形を行うために点描の変形特性計算を行う例を示してきたが、次に説明するように、例えば、点描処理の代わりに、複数の方向の異なるストローク変形を組み合わせるようにすることも可能である。
【０２６０】
［絵画調変換処理部の他の構成例］
図３４は、絵画調変換処理部１３６の構成例を示すブロック図である。
【０２６１】
図３４の例において、絵画調変換処理部１３６は、ストローク変形特性計算部２０２、ストローク方向計算部２０５、変形特性合成部３０１、変形処理部３０２、９０度回転部３１１、およびストローク変形特性計算部３１２を含むように構成される。
【０２６２】
図３４の絵画調変換処理部１３６は、ストローク変形特性計算部２０２、ストローク方向計算部２０５、変形特性合成部３０１、および変形処理部３０２を備える点は、図２１の絵画調変換処理部１３６と共通している。なお、共通している部については、その説明が繰り返しになるので省略する。
【０２６３】
図３４の絵画調変換処理部１３６は、点描変形特性計算部２０１が除かれた点、並びに、９０度回転部３１１およびストローク変形特性計算部３１２が追加された点が、図３２の絵画調変換処理部１３６と異なっている。
【０２６４】
すなわち、ストローク方向計算部２０５からのブラシのストローク方向の情報は、ストローク変形特性計算部２０２の他に、９０度回転部３１１にも供給される。
【０２６５】
９０度回転部３１１は、ストローク方向計算部２０５からのブラシのストローク方向の情報を、９０度回転する。なお、９０度回転部３１１による回転角度は、ブラシのストローク方向と異なる方向となる角度であって、ストローク方向に対して厚みが付く角度であれば、９０度に限定されない。９０度回転部３１１は、９０度に回転したブラシのストローク方向の情報を、ストローク変形特性計算部３１２に供給する。
【０２６６】
ストローク変形特性計算部３１２には、さらに、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンが供給される。
【０２６７】
ストローク変形特性計算部３１２は、ストローク変形特性計算部２０２と同様に構成される。すなわち、ストローク変形特性計算部３１２は、図２１を参照して上述したストローク変形特性計算部２０２の構成と基本的に同様に構成される。
【０２６８】
ストローク変形特性計算部３１２は、９０度回転されたフローベクトルを用いて、探索範囲を計算し、計算した探索範囲上で、供給されるランダムパターンの画像が最小値となる位置を検出する。ストローク変形特性計算部３１２は、最小値の探索が終了したら、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形特性合成部３０１に供給する。
【０２６９】
また、ストローク変形特性計算部３１２は、局所最小値の画像からなる筆触パターン（すなわち、局所最小値をその探索範囲の領域に広げた、局所最小値の画像である筆触パターン）を、ストローク変形特性計算部２０２に出力する。
【０２７０】
なお、図３４の例においては、ストローク変形特性計算部３１２へ入力されるフローベクトルに対して回転させるように構成したが、それに代えて、ストローク変形特性計算部２０２へ入力されるフローベクトルを回転させるように構成してもよい。
【０２７１】
[絵画調変換処理の流れ]
次に、図３５のフローチャートを参照して、図３４の絵画調変換処理部１３６による絵画調変換処理について説明する。なお、図３５の絵画調変換処理も、図７のステップＳ１０７における絵画調変換処理の一例であり、図８、図１６、図２５、および図３３の絵画調変換処理の他の例である。
【０２７２】
ストローク方向計算部２０５は、ステップＳ３１１において、YC変換処理部１３５からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部２０５からのストローク方向の情報は、９０度回転部３１１およびストローク変形特性計算部２０２に供給される。
【０２７３】
９０度回転部３１１は、ステップＳ３１２において、ストローク方向計算部２０５からのストローク方向の情報（フローベクトル）を９０度回転する。９０度回転部３１１は、９０度回転したブラシのストローク方向の情報を、ストローク変形特性計算部３１２に供給する。
【０２７４】
ストローク変形特性計算部３１２には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンが供給される。ストローク変形特性計算部３１２は、ステップＳ３１２において、９０度回転後のブラシのストロークパターンを生成するための変形特性を計算する。この変形特性計算処理は、図２７を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
【０２７５】
ただし、ストローク変形特性計算部３１２は、計算した変形特性を、変形特性マップとして、変形特性合成部３０１に供給するだけでなく、局所最小値の画像からなる筆触パターンを、ストローク変形特性計算部２０２に出力する。
【０２７６】
ストローク変形特性計算部２０２には、ストローク変形特性計算部３１２からの筆触パターンの画像と、ストローク方向計算部２０５からのブラシのストローク方向を示す信号が供給される。
【０２７７】
ストローク変形特性計算部２０２は、ステップＳ３１４において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理については、図２７を参照して上述したストロークパターン変形特性計算処理と基本的に同様の処理を行い、繰り返しになるのでその説明は省略する。
【０２７８】
ストローク変形特性計算部２０２は、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形特性合成部３０１に供給する。
【０２７９】
変形特性合成部３０１は、ステップＳ３１５において、ストローク変形特性計算部３１２からの９０度回転したストロークの変形特性と、ストローク変形特性計算部２０２からのストロークの変形特性を合成する。変形特性合成部３０１は、合成した変形特性を、変形特性マップとして変形処理部３０２に供給する。
【０２８０】
変形処理部３０２は、ステップＳ３１６において、変形特性合成部３０１からの合成された変形特性マップに従って、YC変換処理部１３５からの入力画像を変形する。そして、変形処理部３０２、変形が行われた画像を、出力画像として後段に供給する。
【０２８１】
以上のように、２次元領域の変形特性を作るにあたり、点描の変形特性（２次元）とストロークの変形特性（１次元）を用いる代わりに、複数の方向の異なるストローク変形（１次元）を組み合わせて用いるようにしてもよい。
【０２８２】
なお、点描の変形特性の代わりに、ストロークを回転させたものの変形特性を生成する場合でも、変形特性を合成せずに、変形処理を２回行う構成にすることも可能である。
【０２８３】
［絵画調変換処理部の他の構成例］
図３６は、絵画調変換処理部１３６の構成例を示すブロック図である。図３６に示される絵画調変換処理部１３６は、図２１の絵画調変換処理部１３６を拡張した例であり、図１２の例と同様に、出力の筆触の強さを調整可能な構成を有している。
【０２８４】
絵画調変換処理部１３６は、図２１の絵画調変換処理部１３６と同様に、点描変形特性計算部２０１、ストローク変形特性計算部２０２、変形処理部２０３、変形処理部２０４、およびストローク方向計算部２０５を含むように構成される。
【０２８５】
さらに、図３６の絵画調変換処理部１３６は、図１２の絵画調変換処理部１３６と同様に、ジッタ加算部１８１と鮮鋭化処理部１８２を有している。
【０２８６】
図３６の絵画調変換処理部１３６において、ジッタ加算部１８１は、変形処理部２０３の前段に備えられ、鮮鋭化処理部１８２は、変形処理部２０４の後段に備えられる。
【０２８７】
YC変換処理部１３５からの入力画像は、ジッタ加算部１８１に供給される。また、ジッタ加算部１８１には、例えば、図１のCPU１１２などからランダムパターンが供給される。ジッタ加算部１８１は、ランダムパターンを用いて、入力画像に対してジッタを加算し、ジッタが加算された画像を、変形処理部２０３に供給する。
【０２８８】
変形処理部２０３は、点描変形特性計算部２０１からの変形特性マップに従って、ジッタ加算部１８１からのジッタが加算された画像に変形を行い、変形が行われた画像を、変形処理部２０４に供給する。
【０２８９】
変形処理部２０４は、図３の変形処理部１４１と同様に、図６で示したように構成される。変形処理部２０４は、ストローク変形特性計算部２０２からの変形特性マップに従って、変形処理部２０３からの入力画像に変形を行い、変形が行われた画像を、鮮鋭化処理部１８２に供給する。
【０２９０】
鮮鋭化処理部１８２は、変形が行われた画像に対して鮮鋭化処理を行い、鮮鋭化された画像を、出力画像として後段に供給する。
【０２９１】
このように構成すると、点描処理とストローク処理が組み合わされた油絵処理の場合においても、ジッタの強さを調整して、点描のそれぞれの点の色のばらつきを大きくすることができる。したがって、点の間のコントラストが高くなり、強い筆触が得られるようになる。すなわち、点の間のコントラストと、境界の明瞭さの２つの特性により、筆触の強さを調整することができる。
【０２９２】
なお、図３６の例においては、図２１の絵画調変換処理部１３６を拡張し、出力の筆触の強さを調整可能な構成を有する例を示したが、図３２や図３４の絵画調変換処理部１３６を拡張し、出力の筆触の強さを調整可能な構成を有するようにすることも可能である。
【０２９３】
[絵画調変換処理の流れ]
次に、図３７のフローチャートを参照して、図３６の絵画調変換処理部１３６が実行する絵画調変換処理について説明する。なお、図３７の絵画調変換処理も、図７のステップＳ１０７における絵画調変換処理の一例である。また、図３７の絵画調変換処理も、図８、図１６、図２５、図３３、および図３５の絵画調変換処理の他の例である。
【０２９４】
ストローク方向計算部２０５は、ステップＳ３５１において、YC変換処理部１３５からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部２０５からのストローク方向の情報は、ストローク変形特性計算部２０２に供給される。
【０２９５】
点描変形特性計算部２０１には、例えば、図１のCPU１１２や入力デバイス１１３などからランダムパターンと探索範囲が供給される。点描変形特性計算部２０１は、ステップＳ３５２において、点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図９を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
【０２９６】
点描変形特性計算部２０１は、計算した変形特性を、変形特性マップとして、変形処理部１４１に供給し、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部２０２に出力する。
【０２９７】
ストローク変形特性計算部２０２には、点描変形特性計算部２０１からの点描パターンの画像と、ストローク方向計算部２０５からのブラシのストローク方向を示す信号が供給される。
【０２９８】
ストローク変形特性計算部２０２は、ステップＳ３５３において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理は、図２７を参照して上述したストロークパターン変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
【０２９９】
ストローク変形特性計算部２０２は、最小値となった画素位置への変形特性（相対位置）を計算して、計算した変形特性を、変形特性マップとして変形処理部２０４に供給する。
【０３００】
ジッタ加算部１８１は、ステップＳ３５４において、CPU１１２などからのランダムパターンを用いて、YC変換処理部１３５から入力画像に対してジッタを加算する。ジッタ加算部１８１は、ジッタが加算された画像を、変形処理部２０３に供給する。
【０３０１】
ステップＳ３５５において、変形処理部２０３は、点描変形特性計算部２０１からの変形特性マップが示す点描の変形特性に従って、ジッタ加算部１８１からの入力画像に変形を行い、点描画像（変形が行われた画像）を得る。変形処理部２０３は、得た点描画像を、変形処理部２０４に供給する。
【０３０２】
変形処理部２０４は、ステップＳ３５６において、ストローク変形特性計算部２０２からのストロークの変形特性マップに従って、変形処理部２０３からの入力画像（点描画像）を変形する。そして、変形処理部２０４は、変形が行われた画像を、鮮鋭化処理部１８２に供給する。
【０３０３】
鮮鋭化処理部１８２は、ステップＳ３５７において、変形後の画像に対して鮮鋭化処理を行う。この鮮鋭化処理は、図１７を参照して上述した鮮鋭化処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。ステップＳ１６４の処理により鮮鋭化された画像は、出力画像として後段に供給される。
【０３０４】
図３８は、ユーザが選択する調整ボタンと、探索範囲（点描半径）、ジッタ量（強さ）、および鮮鋭化（高域ゲイン）の各パラメータの関係の他の例を示す図である。なお、図３８の例は、図１８および図１９を参照して上述した調整ボタンの他の例である。
【０３０５】
図３８の例においては、ユーザによる「点描」ボタンの選択の入力は、探索範囲(点描半径)が３ピクセルであり、探索範囲（ストローク長さ）が３ピクセルであり、ジッタ量（強さ）が±３２であり、鮮鋭化（高域ゲイン）が×１．２のパラメータに変換されることが示されている。すなわち、「点描」ボタンの入力は、点描の効果が得られるようなパラメータに変換される。
【０３０６】
また、ユーザによる「印象派」ボタンの選択の入力は、探索範囲(点描半径)が３ピクセルであり、探索範囲（ストローク長さ）が１５ピクセルであり、ジッタ量（強さ）が±１６であり、鮮鋭化（高域ゲイン）が×１．４のパラメータに変換されることが示されている。すなわち、「印象派」ボタンの入力は、印象派風な効果が得られるようなパラメータに変換される。
【０３０７】
さらに、ユーザにより「印象派（強）」ボタンの選択の入力は、探索範囲(点描半径)が５ピクセルであり、探索範囲（ストローク長さ）が２１ピクセルであり、ジッタ量（強さ）が±３２であり、鮮鋭化（高域ゲイン）が×１．４のパラメータに変換されることが示されている。すなわち、「印象派」ボタンの入力は、印象派風な効果が得られるようなパラメータに変換される。
【０３０８】
点描処理とストローク処理とを組み合わせた場合でも、以上のような調整ボタンを備える（表示制御する）ようにすることで、ユーザにも直感的に筆触の調整を行うことができる。
【０３０９】
以上のように、本技術においては、ある画素の値が、２次元領域に広がるような変形特性（相対位置）に従って画像が変形される。すなわち、変形特性に従って、局所最小値がその局所に伝播される。
【０３１０】
これにより、従来のような繰り返し処理と比して、絵画調の効果を高速に得ることができる。特に、安定した流れのある絵画の効果を高速に得ることができる。
【０３１１】
また、点描分の絵画効果から、長い筆触での絵画効果まで、効果を連続的に選ぶことも可能である。さらに、パラメータの調整により、絵画調の効果に、様々なバリエーションを付けることができる。
【０３１２】
また、メモリを備えることで、途中計算結果を再利用できる。これにより、処理パラメータを変更した際の結果を高速に得ることができる。
【０３１３】
なお、上記説明においては、例えば、図１８、図１９、および図３８などを参照して、ユーザ入力に対して、内部パラメータに変換し、絵画調効果を調整する例を説明した。しかしながら、例えば、画像に複数の被写体（例えば、人物と風景）が含まれる場合など、画像の部分部分に応じて絵画調効果を調整したい場合がある。
【０３１４】
このような場合には、画像の画素毎に内部パラメータを切り替えてもよい。この内部パラメータの切替により、被写体に応じた好ましい処理結果が得られる。すなわち、各画素に対してパラメータを定義したデータを予め記憶しておけばよい。
【０３１５】
この方法を用いることにより、例えば、エッジ近辺では筆触の幅・長さを小さくして細かい描写とすることができたり、顔の領域では筆触を弱く（ジッタ量と鮮鋭化強度を減らす）して滑らかな出力を得ることができるようになる。
【０３１６】
なお、本技術の根幹は、ある画素の値が幅・長さを持った２次元領域に広がる（伝播する）ような変形特性で画像を変形する点、および、２次元領域に広がる（伝播する）ような変形特性を生成する点にあり、上述した構成はあくまで一例であり、他の構成もとることができる。
【０３１７】
また、上記説明においては、デジタルビデオカメラにおいて変形処理を行う例を説明したが、デジタルビデオカメラに限定されない。例えば、画像処理を行うコンピュータや、パーソナルコンピュータで上述した処理が行われるようにしてもよい。さらに、上述した処理をサーバで行うようにしてもよい。例えば、画像データを、ネットワークを介して、サーバに転送して、サーバ上で変形処理を行うようにすることも可能である。
【０３１８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０３１９】
＜第３の実施の形態＞
[コンピュータの構成例]
図３９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０３２０】
図３９の例においては、コンピュータの一例として、パーソナルコンピュータ７００の構成例が示されている。パーソナルコンピュータ７００において、CPU(Central Processing Unit)７０１、ROM(Read Only Memory)７０２、RAM(Random Access Memory)７０３は、バス７０４により相互に接続されている。
【０３２１】
バス７０４には、さらに、入出力インタフェース７１０が接続されている。入出力インタフェース７１０には、入力部７１１、出力部７１２、記憶部７１３、通信部７１４、およびドライブ７１５が接続されている。
【０３２２】
入力部７１１は、キーボード、マウス、マイクロホンなどよりなる。出力部７１２は、ディスプレイ、スピーカなどよりなる。記憶部７１３は、ハードディスクや不揮発性のメモリなどよりなる。通信部７１４は、ネットワークインタフェースなどよりなる。ドライブ７１５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア７２１を駆動する。
【０３２３】
以上のように構成されるパーソナルコンピュータ７００では、CPU７０１が、例えば、記憶部７１３に記憶されているプログラムを入出力インタフェース７１０及びバス７０４を介してRAM７０３にロードして実行することにより、上述した一連の処理が行われる。
【０３２４】
パーソナルコンピュータ７００（CPU７０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア７２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３２５】
パーソナルコンピュータ７００では、プログラムは、リムーバブルメディア７２１をドライブ７１５に装着することにより、入出力インタフェース７１０を介して、記憶部７１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部７１４で受信し、記憶部７１３にインストールすることができる。その他、プログラムは、ROM７０２や記憶部７１３に、あらかじめインストールしておくことができる。
【０３２６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３２７】
また、本明細書において、システムの用語は、複数の装置、ブロック、手段などにより構成される全体的な装置を意味するものである。
【０３２８】
なお、本技術における実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３２９】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３３０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３３３】
なお、本技術は以下のような構成も取ることができる。
（１） 画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部を
備える画像処理装置。
（２） 前記変形特性情報を生成する変形特性生成部を
さらに備える前記（１）に記載の画像処理装置。
（３） 前記変形特性生成部は、
ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する点描変形特性生成部と、
ストローク方向の情報から求められる探索範囲を用いて、ストロークの変形特性情報を生成するストローク変形特性生成部と
を備える前記（２）に記載の画像処理装置。
（４） 前記点描変形特性生成部は、
前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
を備え、
前記ストローク変形特性生成部は、
前記ストローク方向の情報から前記探索範囲を決定する探索範囲決定部と、
前記点描座標検出部により座標が検出された画素の値からなる点描パターン画像上の画素についての前記探索範囲内で、最小値または最大値となる画素の座標を検出するストローク座標検出部と、
前記点描パターン画像上の画素と、前記ストローク座標検出部により座標が検出された画素との位置関係を計算し、前記ストロークの変形特性情報を生成するストローク変形特性計算部と
を備える前記（３）に記載の画像処理装置。
（５） 前記点描の変形特性情報と、前記ストロークの変形特性情報とを合成する変形特性合成部
をさらに備え、
前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
前記（３）または（４）に記載の画像処理装置。
（６） 前記変形処理部は、
前記点描変形特性生成部により生成された前記点描の変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する点描変形処理部と、
前記ストローク変形特性生成部により生成された前記ストロークの変形特性情報に基づいて、前記点描変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記点描変形処理部により変形された画像を変形するストローク変形処理部と
を備える前記（３）または（４）に記載の画像処理装置。
（７） 前記点描の変形特性情報が示す特性の調整を行う点描変形特性調整部と、
前記ストロークの変形特性情報が示す特性の調整を行うストローク変形特性調整部と
をさらに備える前記（３）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記点描の変形特性情報が示す特性の調整の度合いと前記ストロークの変形特性情報が示す特性の調整の度合いの複数の組み合わせを選択するための選択手段
をさらに備え、
前記点描変形特性調整部および前記ストローク変形特性調整部は、ユーザによる前記組み合わせの選択に応じて、前記点描の変形特性情報が示す特性の調整および前記ストロークの変形特性情報が示す特性の調整をそれぞれ行う
前記（７）に記載の画像処理装置。
（９） 前記変形特性生成部は、
ランダムパターン画像と第１のストローク方向の情報から求められる第１の探索範囲とを用いて、第１のストロークの変形特性情報を生成する第１のストローク変形特性生成部と、
前記第１のストローク方向の情報が回転された情報である第２のストローク方向の情報から求められる第２の探索範囲を用いて、第２のストロークの変形特性情報を生成する第２のストローク変形特性生成部と
を備える前記（２）に記載の画像処理装置。
（１０） 前記第１のストローク変形特性生成部は、
前記第１のストローク方向の情報から前記第１の探索範囲を決定する第１の探索範囲決定部と、
前記ランダムパターン画像上の画素についての前記第１の探索範囲内で、最小値または最大値となる画素の座標を検出する第１の座標検出部と、
前記ランダムパターン画像上の画素と、前記第１の座標検出部により座標が検出された画素との位置関係を計算し、前記第１のストロークの変形特性情報を生成する第１のストローク変形特性計算部と
を備え、
前記第２のストローク変形特性生成部は、
前記第２のストローク方向の情報から前記第２の探索範囲を決定する第２の探索領域決定部と、
前記第１の座標検出部により座標が検出された画素の値からなるストロークパターン画像上の画素についての前記第２の探索範囲内で、最小値または最大値となる画素の座標を検出する第２の座標検出部と、
前記ストロークパターン画像上の画素と、前記第２の座標検出部により座標が検出された画素の位置関係を計算し、前記第２のストロークの変形特性情報を生成する第２のストローク変形特性計算部と
を備える前記（９）に記載の画像処理装置。
（１１） 前記第１のストロークの変形特性情報と、前記第２のストロークの変形特性情報とを合成する変形特性合成部
をさらに備え、
前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
前記（９）または（１０）に記載の画像処理装置。
（１２） 前記変形処理部は、
前記第１のストローク変形特性生成部により生成された前記第１のストロークの変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する第１の変形処理部と、
前記第２のストローク変形特性生成部により生成された前記第２のストロークの変形特性情報に基づいて、前記第１のストロークの変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記第１のストロークの変形処理部により変形された画像を変形する第２の変形処理部と
を備える前記（９）または（１０）に記載の画像処理装置。
（１３） 前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する
前記（２）に記載の画像処理装置。
（１４） 前記変形特性生成部は、
前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
を備える前記（１３）に記載の画像処理装置。
（１５） 前記変形処理部に入力される前記入力画像に対してジッタを加算するジッタ加算部と、
前記変形処理部により変形された画像に対して高域強調処理を行う鮮鋭化処理部と
をさらに備える前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記変形特性情報が示す特性を調整する変形特性調整部と、
前記ジッタおよび前記高域強調処理の強弱の調整を行う強弱調整部と
をさらに備える前記（１５）に記載の画像処理装置。
（１７） 前記変形特性情報が示す特性の調整の度合い、並びに前記ジッタおよび前記高域強調処理の調整の度合いの複数の組み合わせを選択するための選択手段を
さらに備え、
前記変形特性調整部および前記強弱調整部は、ユーザによる前記組み合わせの選択に応じて、前記変形特性情報が示す特性の調整、並びに前記ジッタおよび前記高域強調処理の前記強弱の調整をそれぞれ行う
前記（１６）に記載の画像処理装置。
（１８） 前記変形特性生成部により生成された前記変形特性情報を保持するメモリ
をさらに備える前記（２）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 前記変形特性情報を保持するメモリ
をさらに備える前記（１）に記載の画像処理装置。
（２０） 前記変形特性情報は、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成される
前記（１９）に記載の画像処理装置。
（２１） 画像処理装置が、
画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
画像処理方法。
（２２） 画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部
として、コンピュータを機能させるプログラム。
【符号の説明】
【０３３４】
１００ デジタルビデオカメラ， １１２ CPU， １１３ 入力デバイス， １３６ 絵画調変換処理部， １４１ 変形処理部， １４２ 点描変形特性計算部， １５１ LPF， １５２ 最小値座標検出部， １５３ 変形特性計算部， １７１ 変形部， １８１ ジッタ加算部、 １８２ 鮮鋭化処理部， １９１ ハイパスフィルタ， １９２ 減算器， １９３ 乗算器， １９４ 加算器， ２０１ 点描変形特性計算部， ２０２ ストローク変形特性計算部， ２０３ 変形処理部， ２０４ 変形処理部， ２０５ ストローク方向計算部， ２１１ 最小値座標検出部， ２２１ 経路決定部， ２２２ 最小値座標検出部， ２２３ 変形特性計算部， ３０１ 変形特性合成部， ３０２ 変形処理部， ３１１ ９０度回転部， ３１２ ストローク変形特性計算部
【特許請求の範囲】
【請求項１】
画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部を
備える画像処理装置。
【請求項２】
前記変形特性情報を生成する変形特性生成部を
さらに備える請求項１に記載の画像処理装置。
【請求項３】
前記変形特性生成部は、
ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する点描変形特性生成部と、
ストローク方向の情報から求められる探索範囲を用いて、ストロークの変形特性情報を生成するストローク変形特性生成部と
を備える請求項２に記載の画像処理装置。
【請求項４】
前記点描変形特性生成部は、
前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
を備え、
前記ストローク変形特性生成部は、
前記ストローク方向の情報から前記探索範囲を決定する探索範囲決定部と、
前記点描座標検出部により座標が検出された画素の値からなる点描パターン画像上の画素についての前記探索範囲内で、最小値または最大値となる画素の座標を検出するストローク座標検出部と、
前記点描パターン画像上の画素と、前記ストローク座標検出部により座標が検出された画素との位置関係を計算し、前記ストロークの変形特性情報を生成するストローク変形特性計算部と
を備える請求項３に記載の画像処理装置。
【請求項５】
前記点描の変形特性情報と、前記ストロークの変形特性情報とを合成する変形特性合成部
をさらに備え、
前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
請求項３に記載の画像処理装置。
【請求項６】
前記変形処理部は、
前記点描変形特性生成部により生成された前記点描の変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する点描変形処理部と、
前記ストローク変形特性生成部により生成された前記ストロークの変形特性情報に基づいて、前記点描変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記点描変形処理部により変形された画像を変形するストローク変形処理部と
を備える請求項３に記載の画像処理装置。
【請求項７】
前記点描の変形特性情報が示す特性の調整を行う点描変形特性調整部と、
前記ストロークの変形特性情報が示す特性の調整を行うストローク変形特性調整部と
をさらに備える請求項３に記載の画像処理装置。
【請求項８】
前記点描の変形特性情報が示す特性の調整の度合いと前記ストロークの変形特性情報が示す特性の調整の度合いの複数の組み合わせを選択するための選択手段
をさらに備え、
前記点描変形特性調整部および前記ストローク変形特性調整部は、ユーザによる前記組み合わせの選択に応じて、前記点描の変形特性情報が示す特性の調整および前記ストロークの変形特性情報が示す特性の調整をそれぞれ行う
請求項７に記載の画像処理装置。
【請求項９】
前記変形特性生成部は、
ランダムパターン画像と第１のストローク方向の情報から求められる第１の探索範囲とを用いて、第１のストロークの変形特性情報を生成する第１のストローク変形特性生成部と、
前記第１のストローク方向の情報が回転された情報である第２のストローク方向の情報から求められる第２の探索範囲を用いて、第２のストロークの変形特性情報を生成する第２のストローク変形特性生成部と
を備える請求項２に記載の画像処理装置。
【請求項１０】
前記第１のストローク変形特性生成部は、
前記第１のストローク方向の情報から前記第１の探索範囲を決定する第１の探索範囲決定部と、
前記ランダムパターン画像上の画素についての前記第１の探索範囲内で、最小値または最大値となる画素の座標を検出する第１の座標検出部と、
前記ランダムパターン画像上の画素と、前記第１の座標検出部により座標が検出された画素との位置関係を計算し、前記第１のストロークの変形特性情報を生成する第１のストローク変形特性計算部と
を備え、
前記第２のストローク変形特性生成部は、
前記第２のストローク方向の情報から前記第２の探索範囲を決定する第２の探索領域決定部と、
前記第１の座標検出部により座標が検出された画素の値からなるストロークパターン画像上の画素についての前記第２の探索範囲内で、最小値または最大値となる画素の座標を検出する第２の座標検出部と、
前記ストロークパターン画像上の画素と、前記第２の座標検出部により座標が検出された画素の位置関係を計算し、前記第２のストロークの変形特性情報を生成する第２のストローク変形特性計算部と
を備える請求項９に記載の画像処理装置。
【請求項１１】
前記第１のストロークの変形特性情報と、前記第２のストロークの変形特性情報とを合成する変形特性合成部
をさらに備え、
前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
請求項９に記載の画像処理装置。
【請求項１２】
前記変形処理部は、
前記第１のストローク変形特性生成部により生成された前記第１のストロークの変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する第１の変形処理部と、
前記第２のストローク変形特性生成部により生成された前記第２のストロークの変形特性情報に基づいて、前記第１のストロークの変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記第１のストロークの変形処理部により変形された画像を変形する第２の変形処理部と
を備える請求項９に記載の画像処理装置。
【請求項１３】
前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する
請求項２に記載の画像処理装置。
【請求項１４】
前記変形特性生成部は、
前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
を備える請求項１３に記載の信号処理装置。
【請求項１５】
前記変形処理部に入力される前記入力画像に対してジッタを加算するジッタ加算部と、
前記変形処理部により変形された画像に対して高域強調処理を行う鮮鋭化処理部と
をさらに備える請求項１に記載の画像処理装置。
【請求項１６】
前記変形特性情報が示す特性を調整する変形特性調整部と、
前記ジッタおよび前記高域強調処理の強弱の調整を行う強弱調整部と
をさらに備える請求項１５に記載の画像処理装置。
【請求項１７】
前記変形特性情報が示す特性の調整の度合い、並びに前記ジッタおよび前記高域強調処理の調整の度合いの複数の組み合わせを選択するための選択手段を
さらに備え、
前記変形特性調整部および前記強弱調整部は、ユーザによる前記組み合わせの選択に応じて、前記変形特性情報が示す特性の調整、並びに前記ジッタおよび前記高域強調処理の前記強弱の調整をそれぞれ行う
請求項１６に記載の画像処理装置。
【請求項１８】
前記変形特性生成部により生成された前記変形特性情報を保持するメモリ
をさらに備える請求項２に記載の画像処理装置。
【請求項１９】
前記変形特性情報を保持するメモリ
をさらに備える請求項１に記載の画像処理装置。
【請求項２０】
前記変形特性情報は、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成される
請求項１９に記載の画像処理装置。
【請求項２１】
画像処理装置が、
画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
画像処理方法。
【請求項２２】
画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部
として、コンピュータを機能させるプログラム。
【請求項１】
画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部を
備える画像処理装置。
【請求項２】
前記変形特性情報を生成する変形特性生成部を
さらに備える請求項１に記載の画像処理装置。
【請求項３】
前記変形特性生成部は、
ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する点描変形特性生成部と、
ストローク方向の情報から求められる探索範囲を用いて、ストロークの変形特性情報を生成するストローク変形特性生成部と
を備える請求項２に記載の画像処理装置。
【請求項４】
前記点描変形特性生成部は、
前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
を備え、
前記ストローク変形特性生成部は、
前記ストローク方向の情報から前記探索範囲を決定する探索範囲決定部と、
前記点描座標検出部により座標が検出された画素の値からなる点描パターン画像上の画素についての前記探索範囲内で、最小値または最大値となる画素の座標を検出するストローク座標検出部と、
前記点描パターン画像上の画素と、前記ストローク座標検出部により座標が検出された画素との位置関係を計算し、前記ストロークの変形特性情報を生成するストローク変形特性計算部と
を備える請求項３に記載の画像処理装置。
【請求項５】
前記点描の変形特性情報と、前記ストロークの変形特性情報とを合成する変形特性合成部
をさらに備え、
前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
請求項３に記載の画像処理装置。
【請求項６】
前記変形処理部は、
前記点描変形特性生成部により生成された前記点描の変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する点描変形処理部と、
前記ストローク変形特性生成部により生成された前記ストロークの変形特性情報に基づいて、前記点描変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記点描変形処理部により変形された画像を変形するストローク変形処理部と
を備える請求項３に記載の画像処理装置。
【請求項７】
前記点描の変形特性情報が示す特性の調整を行う点描変形特性調整部と、
前記ストロークの変形特性情報が示す特性の調整を行うストローク変形特性調整部と
をさらに備える請求項３に記載の画像処理装置。
【請求項８】
前記点描の変形特性情報が示す特性の調整の度合いと前記ストロークの変形特性情報が示す特性の調整の度合いの複数の組み合わせを選択するための選択手段
をさらに備え、
前記点描変形特性調整部および前記ストローク変形特性調整部は、ユーザによる前記組み合わせの選択に応じて、前記点描の変形特性情報が示す特性の調整および前記ストロークの変形特性情報が示す特性の調整をそれぞれ行う
請求項７に記載の画像処理装置。
【請求項９】
前記変形特性生成部は、
ランダムパターン画像と第１のストローク方向の情報から求められる第１の探索範囲とを用いて、第１のストロークの変形特性情報を生成する第１のストローク変形特性生成部と、
前記第１のストローク方向の情報が回転された情報である第２のストローク方向の情報から求められる第２の探索範囲を用いて、第２のストロークの変形特性情報を生成する第２のストローク変形特性生成部と
を備える請求項２に記載の画像処理装置。
【請求項１０】
前記第１のストローク変形特性生成部は、
前記第１のストローク方向の情報から前記第１の探索範囲を決定する第１の探索範囲決定部と、
前記ランダムパターン画像上の画素についての前記第１の探索範囲内で、最小値または最大値となる画素の座標を検出する第１の座標検出部と、
前記ランダムパターン画像上の画素と、前記第１の座標検出部により座標が検出された画素との位置関係を計算し、前記第１のストロークの変形特性情報を生成する第１のストローク変形特性計算部と
を備え、
前記第２のストローク変形特性生成部は、
前記第２のストローク方向の情報から前記第２の探索範囲を決定する第２の探索領域決定部と、
前記第１の座標検出部により座標が検出された画素の値からなるストロークパターン画像上の画素についての前記第２の探索範囲内で、最小値または最大値となる画素の座標を検出する第２の座標検出部と、
前記ストロークパターン画像上の画素と、前記第２の座標検出部により座標が検出された画素の位置関係を計算し、前記第２のストロークの変形特性情報を生成する第２のストローク変形特性計算部と
を備える請求項９に記載の画像処理装置。
【請求項１１】
前記第１のストロークの変形特性情報と、前記第２のストロークの変形特性情報とを合成する変形特性合成部
をさらに備え、
前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
請求項９に記載の画像処理装置。
【請求項１２】
前記変形処理部は、
前記第１のストローク変形特性生成部により生成された前記第１のストロークの変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する第１の変形処理部と、
前記第２のストローク変形特性生成部により生成された前記第２のストロークの変形特性情報に基づいて、前記第１のストロークの変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記第１のストロークの変形処理部により変形された画像を変形する第２の変形処理部と
を備える請求項９に記載の画像処理装置。
【請求項１３】
前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する
請求項２に記載の画像処理装置。
【請求項１４】
前記変形特性生成部は、
前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
を備える請求項１３に記載の信号処理装置。
【請求項１５】
前記変形処理部に入力される前記入力画像に対してジッタを加算するジッタ加算部と、
前記変形処理部により変形された画像に対して高域強調処理を行う鮮鋭化処理部と
をさらに備える請求項１に記載の画像処理装置。
【請求項１６】
前記変形特性情報が示す特性を調整する変形特性調整部と、
前記ジッタおよび前記高域強調処理の強弱の調整を行う強弱調整部と
をさらに備える請求項１５に記載の画像処理装置。
【請求項１７】
前記変形特性情報が示す特性の調整の度合い、並びに前記ジッタおよび前記高域強調処理の調整の度合いの複数の組み合わせを選択するための選択手段を
さらに備え、
前記変形特性調整部および前記強弱調整部は、ユーザによる前記組み合わせの選択に応じて、前記変形特性情報が示す特性の調整、並びに前記ジッタおよび前記高域強調処理の前記強弱の調整をそれぞれ行う
請求項１６に記載の画像処理装置。
【請求項１８】
前記変形特性生成部により生成された前記変形特性情報を保持するメモリ
をさらに備える請求項２に記載の画像処理装置。
【請求項１９】
前記変形特性情報を保持するメモリ
をさらに備える請求項１に記載の画像処理装置。
【請求項２０】
前記変形特性情報は、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成される
請求項１９に記載の画像処理装置。
【請求項２１】
画像処理装置が、
画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
画像処理方法。
【請求項２２】
画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる２次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部
として、コンピュータを機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【公開番号】特開２０１３−５５４７２（Ｐ２０１３−５５４７２Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９１７６０（Ｐ２０１１−１９１７６０）
【出願日】平成２３年９月２日（２０１１．９．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月２日（２０１１．９．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]