画像処理装置
【課題】所望のテクスチャを生成して画像に付加する。
【解決手段】実施形態に係る画像処理装置１５は、テクスチャ画像１０８における処理対象画素の近傍の処理済み画素領域に類似する画素領域をサンプルテクスチャ画像１０７において処理対象画素に対応する位置の近傍領域から探索し、処理済み画素領域と処理対象画素との間の位置関係に応じて類似する画素領域の近傍の画素値を処理対象画素に割り当てることにより、テクスチャ画像１０８を生成する生成部１５０５を含む。生成部１５０５は、近傍領域内の画素領域の画素値と処理済み画素領域の画素値との間の類似度と、近傍領域の各画素が処理対象画素と同じ物体を表現しているか否かの判定結果とに基づいて、類似する画素領域を探索する。画像処理装置１５は、土台画像１０５と、テクスチャ画像１０８とを合成し、合成画像１１０を生成する合成部１０４を含む。
【解決手段】実施形態に係る画像処理装置１５は、テクスチャ画像１０８における処理対象画素の近傍の処理済み画素領域に類似する画素領域をサンプルテクスチャ画像１０７において処理対象画素に対応する位置の近傍領域から探索し、処理済み画素領域と処理対象画素との間の位置関係に応じて類似する画素領域の近傍の画素値を処理対象画素に割り当てることにより、テクスチャ画像１０８を生成する生成部１５０５を含む。生成部１５０５は、近傍領域内の画素領域の画素値と処理済み画素領域の画素値との間の類似度と、近傍領域の各画素が処理対象画素と同じ物体を表現しているか否かの判定結果とに基づいて、類似する画素領域を探索する。画像処理装置１５は、土台画像１０５と、テクスチャ画像１０８とを合成し、合成画像１１０を生成する合成部１０４を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
デジタル方式のテレビジョン放送によれば、従来のアナログ方式のテレビジョン放送に比べて高解像度かつ高品質な画像を再生することができる。更に、係る画像の品質を更に向上させるために様々な手法が試みられている。
【０００３】
テクスチャ表現は、画質に影響を与える一要因である。例えば、画像の拡大変換などに伴ってテクスチャが劣化または消失すれば、画質は損なわれる。故に、所望のテクスチャを生成して画像に付加する処理が、画質向上に有効である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Li-Yi Wei, Marc Levoy, "Fast Texture Synthesis using Tree-structured Vector Quantization," Proc. SIGGRAPH 2000, pp.479-488, 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
実施形態は、所望のテクスチャを生成して画像に付加することを目的とする。
【課題を解決するための手段】
【０００６】
一態様に係る画像処理装置は、変換対象画像のテクスチャ成分を保持するサンプルテクスチャ画像を生成する第１の生成部を含む。画像処理装置は、サンプルテクスチャ画像よりも大きいテクスチャ画像における処理対象画素の近傍の処理済み画素領域に類似する画素領域をサンプルテクスチャ画像において処理対象画素に対応する位置の近傍領域から探索し、処理済み画素領域と処理対象画素との間の位置関係に応じて類似する画素領域の近傍の画素値を処理対象画素に割り当てることにより、テクスチャ画像を生成する第２の生成部を含む。第２の生成部は、近傍領域内の画素領域の画素値と処理済み画素領域の画素値との間の第１の類似度と、近傍領域の各画素が処理対象画素と同じ物体を表現しているか否かの判定結果とに基づいて、類似する画素領域を探索する。画像処理装置は、変換対象画像の非テクスチャ成分を保持し、かつ、テクスチャ画像と同じ大きさの土台画像と、テクスチャ画像とを合成し、合成画像を生成する合成部を含む。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る画像処理装置を例示するブロック図。
【図２】図１の画像処理装置の動作を例示するフローチャート。
【図３Ａ】陰影成分−テクスチャ成分を分離する前の画像の輝度値分布を例示するグラフ。
【図３Ｂ】Center/Surround Retinex法により図３Ａの画像から分離される陰影成分の輝度値分布を例示するグラフ。
【図３Ｃ】Center/Surround Retinex法により図３Ａの画像から分離されるテクスチャ成分の輝度値分布を例示するグラフ。
【図３Ｄ】骨格／テクスチャ分離法により図３Ａの画像から分離される陰影成分の輝度値分布を例示するグラフ。
【図３Ｅ】骨格／テクスチャ分離法により図３Ａの画像から分離されるテクスチャ成分の輝度値分布を例示するグラフ。
【図４】探索範囲の説明図。
【図５】テンプレート領域の説明図。
【図６】第１の実施形態におけるテクスチャ画像の生成手法の説明図。
【図７】第２の実施形態に係る画像処理装置を例示するブロック図。
【図８】図７の画像処理装置の動作を例示するフローチャート。
【図９】第３の実施形態に係る画像処理装置を例示するブロック図。
【図１０】図９の画像処理装置の動作を例示するフローチャート。
【図１１】第４の実施形態に係る画像処理装置を例示するブロック図。
【図１２】図１１の画像処理装置の動作を例示するフローチャート。
【図１３】第５の実施形態に係る画像処理装置におけるサンプルテクスチャ画像生成部を例示するブロック図。
【図１４】第５の実施形態に係る画像処理装置の動作を例示するフローチャート。
【図１５】第６の実施形態に係る画像処理装置を例示するブロック図。
【図１６】図１５の画像処理装置の動作を例示するフローチャート。
【図１７】第６の実施形態におけるテクスチャ画像の生成手法の説明図。
【図１８】第７の実施形態に係る画像処理装置を例示するブロック図。
【図１９】図１８の画像処理装置の動作を例示するフローチャート。
【図２０】第８の実施形態に係る画像処理装置を例示するブロック図。
【図２１】図２０の画像処理装置の動作を例示するフローチャート。
【図２２】第９の実施形態に係る画像処理装置を例示するブロック図。
【図２３】図２２の画像処理装置の動作を例示するフローチャート。
【図２４】第９の実施形態におけるテクスチャ画像の生成手法の説明図。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、実施形態について説明する。以降の説明では、各実施形態において同一の部分には同一の符号を付し、説明を省略する。また、各実施形態において、「画像」とは１画素あたりに１以上の成分を持つデジタル画像を指す。簡単化のために、各実施形態では輝度値に対する処理を例示するが、他の種類の成分（例えば、色差成分、ＲＧＢフォーマットの各成分）に対する処理に適宜置き換えることができる。
（第１の実施形態）
第１の実施形態に係る画像処理装置１は、図１に示されるように、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１０２及び画像合成部１０４を含む。画像処理装置１には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置１は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。
【０００９】
土台画像１０５は、変換対象画像１０６よりも大きなサイズを持つ。また、土台画像１０５は、合成画像１１０と同じサイズを持つ。土台画像１０５は、変換対象画像１０６における陰影を保持する画像である。ここで、陰影は、輝度値のなだらかな変化パターンを指す。具体的には、土台画像１０５は、変換対象画像１０６の拡大画像であってもよいし、係る拡大画像における輝度値の大まかな変化パターンを保持する画像（非テクスチャ画像）であってもよい。本実施形態では、係る土台画像１０５が予め用意され、画像処理装置１に入力される。
【００１０】
例えば、土台画像１０５は、変換対象画像１０６の拡大画像からテクスチャ成分を除去することにより生成されてもよい。画像からテクスチャ成分及び陰影成分（非テクスチャ成分）を分離する手法として、骨格／テクスチャ分離法、Center/Surround Retinex法、ε−フィルタなどが知られている。
【００１１】
図３Ａに示される画像にCenter/Surround Retinex法を適用して得られる陰影成分及びテクスチャ成分を図３Ｂ及び図３Ｃに夫々示す。また、図３Ａに示される画像に骨格／テクスチャ分離法を適用して得られる陰影成分及びテクスチャ成分を図３Ｄ及び図３Ｅに夫々示す。尚、図３Ａ乃至図３Ｅは、簡単化のために一次元の輝度値分布を示している。図３Ａ乃至図３Ｅにおいて、横軸は座標を表し、縦軸は輝度値を表す。骨格／テクスチャ分離法によれば、強度の大きなエッジは陰影成分として保存される。一方、Center/Surround Retinex法によれば、輝度差の大きなエッジはテクスチャ成分として保存される。
【００１２】
以下、数式を用いて骨格／テクスチャ分離法について簡単に説明する。
骨格／テクスチャ分離法は、被写体の大まかな構造を表す骨格成分（非テクスチャ成分Ｕに相当）と、被写体の表面における微小な振動を表すテクスチャ成分（テクスチャ成分Ｖに相当）とに、入力画像Ｉを分離する手法である。骨格／テクスチャ分離法は、下記の数式（１）によって表現される加算分離型と、下記の数式（２）によって表現される乗算分離型とに大別される。
【数１】
【００１３】
【数２】
【００１４】
数式（１）及び数式（２）において、（ｘ，ｙ）は対象画素の位置（座標）を表す。以降、簡単化のために、乗算分離型の骨格／テクスチャ分離法を説明し、加算分離型の骨格／テクスチャ分離法の説明を省略する。乗算分離型の骨格／テクスチャ分離法は、下記の数式（３）によって表される最小化問題として扱うことができる。
【数３】
【００１５】
数式（３）において、ｆは入力画像Ｉを対数変換して得られる対数入力画像関数を表し、ｕ及びｖは骨格成分Ｕ及びテクスチャ成分Ｖを対数変換して得られる対数骨格関数及び対数テクスチャ関数を夫々表す。また、μは対数テクスチャ関数ｖのGノルムの上限を調整するパラメータを表し、γは残差ｆ−ｕ−ｖの許容範囲を調整するパラメータを表す。Ｘは画像関数空間を表し、Ｇは有界変動関数空間の双対空間に近接する振動関数空間を表す。Ｊ（ｕ）は、下記の数式（４）で定義されるTotal Variationエネルギーを表す。
【数４】
【００１６】
数式（３）のエネルギー最小化問題は、下記の射影アルゴリズム［１］〜［３］（数式（５）〜数式（７））により解くことができる。
【数５】
【００１７】
【数６】
【００１８】
射影アルゴリズム［２］（数式（６））において、ＰＧλ（ｈ）は関数ｈの部分空間Ｇλへの正射影を表す。
【数７】
【００１９】
上記射影アルゴリズムによって得られたｕ及びｖを指数変換すると、下記の数式（８）及び（９）に示されるように、骨格成分Ｕ及びテクスチャ成分Ｖが得られる。
【数８】
【００２０】
【数９】
【００２１】
以上のように、乗算分離型の骨格／テクスチャ分離法が実現される。続いて、数式を用いてCenter/Surround Retinex法について簡単に説明する。Center/Surround Retinex法は、下記の数式（１０）に示されるように、入力画像Ｉを照明成分（非テクスチャ成分Ｕに相当）と反射成分（テクスチャ成分Ｖに相当）とに分離する手法である。
【数１０】
【００２２】
照明成分Ｕは、下記の数式（１１）によって推定される。
【数１１】
【００２３】
数式（１１）において、ＧＭ（ｘ，ｙ）はフィルタサイズＭ×Ｍのガウシアンフィルタを表し、＊はコンボリューション積分を表す。ガウシアンフィルタＧＭ（ｘ，ｙ）は下記の数式（１２）で表される。
【数１２】
【００２４】
数式（１２）において、σは標準偏差を表し、Ｋは下記の数式（１３）を満たす値である。
【数１３】
【００２５】
入力画像Ｉと、数式（１１）により推定された照明成分Ｕとを用いて、反射成分Ｖは下記の数式（１４）により推定される。
【数１４】
【００２６】
以上のように、Center/Surround Retinex法が実現される。
【００２７】
サンプルテクスチャ画像生成部１０１は、変換対象画像１０６に基づいてサンプルテクスチャ画像１０７を生成する。具体的には、サンプルテクスチャ画像生成部１０１は、変換対象画像１０６から陰影成分を除去し、変換対象画像１０６のテクスチャ成分を得る。係るテクスチャ成分が、サンプルテクスチャ画像１０７に相当する。変換対象画像１０６からテクスチャ成分を分離するために、例えば前述の骨格／テクスチャ分離法、Center/Surround Retinex法などが利用可能である。尚、サンプルテクスチャ画像１０７は、変換対象画像１０６と同じサイズを持つ。即ち、サンプルテクスチャ画像１０７は、土台画像１０５及び合成画像１１０よりも小さなサイズを持つ。
【００２８】
テクスチャ画像生成部１０２は、サンプルテクスチャ画像生成部１０１からのサンプルテクスチャ画像１０７に基づいてテクスチャ画像１０８を生成する。テクスチャ画像１０８は、土台画像１０５及び合成画像１１０と同じサイズを持つ。即ち、テクスチャ画像１０８は、サンプルテクスチャ画像１０７よりも大きなサイズを持つ。尚、テクスチャ画像生成部１０２の具体的な動作例は後述する。
【００２９】
画像合成部１０４は、土台画像１０５と、テクスチャ画像生成部１０２からのテクスチャ画像１０８とを合成し、合成画像１１０を生成する。尚、画像合成部１０４の具体的な動作例は後述する。
【００３０】
以下、図２を用いて、画像処理装置１の動作例を説明する。
画像処理装置１は、土台画像１０５を読み込み（ステップＳ２０１）、変換対象画像１０６を読み込む（ステップＳ２０２）。尚、図２の動作例では、土台画像１０５はステップＳ２０６まで使用されないので、ステップＳ２０１はステップＳ２０６よりも前の任意のタイミングで実行されてもよい。画像処理装置１は、ステップＳ２０２において読み込んだ変換対象画像１０６をサンプルテクスチャ画像生成部１０１に入力する。
【００３１】
サンプルテクスチャ画像生成部１０１は、ステップＳ２０２において読み込まれた変換対象画像１０６から陰影成分を除去し、サンプルテクスチャ画像１０７を生成する（ステップＳ２０３）。具体的には、サンプルテクスチャ画像生成部１０１は、前述の骨格／テクスチャ分離法、Center/Surround Retinex法などを変換対象画像１０６に適用してテクスチャ成分Ｖを分離することにより、サンプルテクスチャ画像１０７を生成できる。尚、画像中の局所領域において法線方向と照明条件が一定であれば、拡散反射成分に対して不変量を得ることができる。
【００３２】
テクスチャ画像生成部１０２は、ステップＳ２０３において生成されたサンプルテクスチャ画像１０７に基づいて、テクスチャ画像１０８を構成する各画素を生成する（ステップＳ２０４及びステップＳ２０５のループ）。
【００３３】
具体的には、（ａ）テクスチャ画像生成部１０２は、テクスチャ画像１０８を構成する各画素のうち未処理の（即ち、画素値を割り当てられていない）画素（以降、処理対象画素と称する）を選択する。（ｂ）テクスチャ画像生成部１０２は、サンプルテクスチャ画像１０７において処理対象画素に対応する位置の近傍領域を探索範囲として定める。（ｃ）テクスチャ画像生成部１０２は、処理対象画素の近傍における処理済みの（即ち、画素値を割り当てられた）画素領域（以降、テンプレート領域と称する）における画素値の変化パターンに類似する画素領域（以降、類似領域と称する）を探索範囲から探索する。（ｄ）テクスチャ画像生成部１０２は、テンプレート領域と処理対象画素との間の位置関係に応じて類似領域の近傍の対応画素を探索し、この対応画素の画素値を処理対象画素に割り当てる。
【００３４】
例えば、図４に示されるように、テクスチャ画像１０８における処理対象画素の位置（Ｉｋ，Ｊｋ）がサンプルテクスチャ画像１０７中の位置（ｉｋ，ｊｋ）に対応するならば、係る位置（ｉｋ，ｊｋ）の近傍領域が探索範囲として定められる。図４の例では、サンプルテクスチャ画像１０７のサイズはｗ×ｈ［pixel］であり、テクスチャ画像１０８のサイズはＷ×Ｈ［pixel］である。位置（ｉｋ，ｊｋ）は、下記の数式（１５）により導出できる。
【数１５】
【００３５】
探索範囲は、典型的には、位置（ｉｋ，ｊｋ）を中心とする画素領域である。例えば、探索範囲は、２０×２０［pixel］、４０×４０［pixel］の矩形領域である。尚、探索範囲の形状及びサイズは特に限定されない。
【００３６】
テクスチャ画像生成部１０２は、例えばラスタスキャン順でテクスチャ画像１０８の画素を順次生成する。ラスタスキャン順の場合には、任意の処理対象画素に関して、処理対象画素よりも上側を占める画素及び同じ水平ライン上で処理対象画素よりも左側を占める画素が処理済みである。テンプレート領域は、図５の斜線付きの画素領域で示されるように、処理対象画素を中心とするＮ×Ｎ［pixel］の矩形領域に含まれる処理済み画素によって構成される。
【００３７】
テクスチャ画像生成部１０２は、図６に示されるように、テンプレート領域における画素値の変化パターンに類似する画素領域を探索範囲から探索する。テンプレート領域との間の類似度は、例えば二乗誤差和（ＳＳＤ）によって評価できる。即ち、テクスチャ画像生成部１０２は、テンプレート領域との間のＳＳＤが最小となる画素領域を探索範囲から探索する。そして、テクスチャ画像生成部１０２は、テンプレート領域と処理対象画素との間の位置関係に応じて類似領域の近傍の対応画素（図６の例では、斜線付きの画素）を探索し、この対応画素の画素値（輝度値）を処理対象画素に割り当てる。
【００３８】
尚、サンプルテクスチャ画像１０７から高解像度のテクスチャ画像１０８を生成する手法として、バイリニア補間法、キュービック補間法などの拡大変換も知られている。しかしながら、係る拡大変換によりテクスチャ画像１０８を生成すると、サンプルテクスチャ画像１０７が備える高周波なテクスチャ成分が劣化または消失するおそれがある。即ち、係る拡大変換により生成されたテクスチャ画像１０８を土台画像１０５に合成したとしても高精細な合成画像１１０を得ることが困難である。故に、本実施形態は、上述の手法を採用し、サンプルテクスチャ画像１０７が備える高周波なテクスチャ成分を保持するテクスチャ画像１０８を生成する。
【００３９】
画像合成部１０４は、ステップＳ２０１において読み込まれた土台画像１０５と、ステップＳ２０４及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。具体的には、画像合成部１０４は、下記の数式（１６）または数式（１７）に従って、合成画像１１０を生成する。
【数１６】
【００４０】
【数１７】
【００４１】
サンプルテクスチャ画像生成部１０１が加算分離型の手法（例えば、加算型骨格／テクスチャ分離法、ε−フィルタなど）を利用してサンプルテクスチャ画像１０７を生成する場合には、画像合成部１０４は数式（１６）に従って合成画像１１０を生成する。一方、サンプルテクスチャ画像生成部１０１が乗算分離型の手法（例えば、乗算型骨格／テクスチャ分離法、Center/Surround Retinex法）を利用してサンプルテクスチャ画像１０７を生成する場合には、画像合成部１０４は数式（１７）に従って合成画像１１０を生成する。
【００４２】
画像処理装置１がステップＳ２０６において生成された合成画像１１０を図示しない表示デバイスなどに出力し（ステップＳ２０７）、処理は終了する。
【００４３】
以上説明したように、第１の実施形態に係る画像処理装置は、変換対象画像の陰影（非テクスチャ成分）を保持する土台画像を用いるので、合成画像において変換対象画像の陰影が維持される。また、本実施形態に係る画像処理装置は、変換対象画像の局所的なテクスチャの方向情報を保持するサンプルテクスチャ画像に基づいて生成したテクスチャ画像を用いるので、合成画像において変換対処画像のテクスチャの方向性が維持される。即ち、本実施形態に係る画像処理装置によれば、高精細なテクスチャ持つ合成画像が得られる。
【００４４】
（第２の実施形態）
第２の実施形態に係る画像処理装置７は、図７に示されるように、土台画像生成部７０１、画像縮小部７０２、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１０２及び画像合成部１０４を含む。画像処理装置７には、変換対象画像１０６が入力される。画像処理装置７は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。尚、本実施形態において、変換対象画像１０６は、土台画像１０５、テクスチャ画像１０８及び合成画像１１０と同じサイズを持つ。
【００４５】
土台画像生成部７０１は、変換対象画像１０６に基づいて土台画像１０５を生成する。例えば、土台画像生成部７０１は、変換対象画像１０６から非テクスチャ成分を分離（即ち、テクスチャ成分を除去）し、土台画像１０５を生成する。非テクスチャ成分の分離には、前述の各種手法が利用可能である。或いは、土台画像生成部７０１は、変換対象画像１０６をそのまま土台画像１０５として生成してもよい。この場合には、土台画像生成部７０１は不要である。
【００４６】
画像縮小部７０２は、変換対象画像１０６に縮小変換を行い、縮小画像１０９を生成する。変換対象画像１０６のサイズをＫ倍（Ｋは、０＜Ｋ＜１．０を満たす任意の実数）すると、変換対象画像１０６の保持するテクスチャパターンの周波数が１／Ｋ倍となる。当然ながら、縮小画像１０９は、変換対象画像１０６よりも小さいサイズを持つ。
【００４７】
サンプルテクスチャ画像生成部１０１は、縮小画像１０９に基づいてサンプルテクスチャ画像１０７を生成する。本実施形態において、サンプルテクスチャ画像１０７は、縮小画像１０９と同じサイズを持つ。
【００４８】
以下、図８を用いて、画像処理装置７の動作例を説明する。
画像処理装置７は、変換対象画像１０６を読み込む（ステップＳ８０１）。画像処理装置７は、ステップＳ８０１において読み込んだ変換対象画像１０６を土台画像生成部７０１及び画像縮小部７０２に入力する。
【００４９】
土台画像生成部７０１は、ステップＳ８０１において読み込まれた変換対象画像１０６に基づいて土台画像１０５を生成する（ステップＳ８０２）。尚、図８の動作例では、土台画像１０５はステップＳ８０６まで使用されないので、ステップＳ８０２はステップＳ８０６よりも前の任意のタイミングで実行されてもよい。
【００５０】
画像縮小部７０２は、ステップＳ８０１において読み込まれた変換対象画像１０６に縮小変換を行い、縮小画像１０９を生成する（ステップＳ８０３）。サンプルテクスチャ画像生成部１０１は、ステップＳ８０３において生成された縮小画像１０９から陰影成分を除去し、サンプルテクスチャ画像１０７を生成する（ステップＳ２０３）。
【００５１】
画像合成部１０４は、ステップＳ８０２において生成された土台画像１０５と、ステップＳ２０４及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。
【００５２】
以上説明したように、第２の実施形態に係る画像処理装置は、変換対象画像の縮小画像に基づいてテクスチャ画像を生成する。従って、本実施形態に係る画像処理装置によれば、変換対象画像の保持するテクスチャパターンと類似し、かつ、より高周波なテクスチャパターンを持つ合成画像を得ることができる。即ち、本実施形態に係る画像処理装置によれば、高精細なテクスチャを持つ合成画像が得られる。
【００５３】
（第３の実施形態）
第３の実施形態に係る画像処理装置９は、図９に示されるように、画像拡大部９０１、土台画像生成部７０１、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１０２及び画像合成部１０４を含む。画像処理装置９には、変換対象画像１０６が入力される。画像処理装置９は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。尚、本実施形態において、変換対象画像１０６及びサンプルテクスチャ画像１０７は、同じサイズを持つ。
【００５４】
画像拡大部９０１は、変換対象画像１０６に拡大変換を行い、拡大画像１１１を生成する。拡大画像１１１は、土台画像１０５、テクスチャ画像１０８及び合成画像１１０と同じサイズを持つ。土台画像生成部７０１は、拡大画像１１１に基づいて土台画像１０５を生成する。
【００５５】
拡大変換は、例えば最近傍補間法（或いは、ニアレストネイバー法）、線形補間法、キュービックコンボリューション法（バイキュービック補間法）などで実現される。合成画像１１０の画質劣化を抑えるためには、ぼけの少ない拡大画像１１１を生成できるような拡大変換を採用することが望ましい。
【００５６】
以下、図１０を用いて、画像処理装置９の動作例を説明する。
画像拡大部９０１は、ステップＳ２０２において読み込まれた変換対象画像１０６に拡大変換を行い、拡大画像１１１を生成する（ステップＳ１００１）。土台画像生成部７０１は、ステップＳ１００１において生成された拡大画像１１１に基づいて土台画像１０５を生成する（ステップＳ８０２）。
【００５７】
尚、図１０の動作例では、土台画像１０５はステップＳ２０６まで使用されないので、ステップＳ１００１及びステップＳ８０２はステップＳ２０６よりも前の任意のタイミングで実行されてもよい。
【００５８】
画像合成部１０４は、ステップＳ８０２において生成された土台画像１０５と、ステップＳ２０４及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。
【００５９】
以上説明したように、第３の実施形態に係る画像処理装置は、変換対象画像の拡大画像に基づいて土台画像を生成する。変換対象画像は、拡大画像に比べて高周波なテクスチャパターンを保持する。故に、本実施形態に係る画像処理装置によれば、拡大画像のテクスチャパターンと類似し、かつ、より高周波なテクスチャパターンを持つ合成画像を得ることができる。即ち、本実施形態に係る画像処理装置によれば、高精細なテクスチャを持つ合成画像が得られる。
【００６０】
（第４の実施形態）
第４の実施形態に係る画像処理装置１１は、図１１に示されるように、画像鮮鋭化部１１０１、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１０２及び画像合成部１０４を含む。画像処理装置１１には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置１１は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。尚、本実施形態において、変換対象画像１０６及びサンプルテクスチャ画像１０７は、同じサイズを持つ。
【００６１】
画像鮮鋭化部１１０１は、土台画像１０５を鮮鋭化し、鮮鋭化土台画像１１０２を生成する。鮮鋭化土台画像１１０２は、土台画像１０５、テクスチャ画像１０８及び合成画像１１０と同じサイズを持つ。画像鮮鋭化には、例えばアンシャープマスキング法などの任意の鮮鋭化手法を利用可能である。画像合成部１０４は、画像鮮鋭化部１１０１からの鮮鋭化土台画像１１０２と、テクスチャ画像生成部１０２からのテクスチャ画像１０８とを合成し、合成画像１１０を生成する。
【００６２】
以下、図１２を用いて、画像処理装置１１の動作例を説明する。
画像鮮鋭化部１１０１は、ステップＳ２０１において読み込まれた土台画像１０５を鮮鋭化し、鮮鋭化土台画像１１０２を生成する（ステップＳ１２０１）。尚、図１２の動作例では、鮮鋭化土台画像１１０２はステップＳ２０６まで使用されないので、ステップＳ２０１及びステップＳ１２０１はステップＳ２０６よりも前の任意のタイミングで実行されてもよい。
【００６３】
画像合成部１０４は、ステップＳ１２０１において生成された鮮鋭化土台画像１１０２と、ステップＳ２０４及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。
【００６４】
以上説明したように、第４の実施形態に係る画像処理装置は、テクスチャ画像と鮮鋭化された土台画像とを合成することにより合成画像を生成する。故に、本実施形態に係る画像処理装置によれば、合成画像におけるテクスチャ及びエッジの鮮鋭さを向上させることができる。
【００６５】
（第５の実施形態）
第５の実施形態に係る画像処理装置は、前述の各実施形態に係る画像処理装置においてサンプルテクスチャ画像生成部１０１を、サンプルテクスチャ画像生成部１３０１に置き換えた構成に相当する。簡単化のために、第１の実施形態に係る画像処理装置１においてサンプルテクスチャ画像生成部１０１をサンプルテクスチャ画像生成部１３０１に置き換えた場合を説明する。サンプルテクスチャ画像生成部１３０１は、図１３に示されるように、陰影除去部１３０２及び振幅調整部１３０３を含む。
【００６６】
陰影除去部１３０２は、サンプルテクスチャ画像生成部１０１と同様に、変換対象画像１０６から陰影成分を除去し、変換対象画像１０６のテクスチャ成分（以降、陰影除去画像と称する）を得る。陰影除去部１３０２は、陰影除去画像を振幅調整部１３０３に入力する。
【００６７】
振幅調整部１３０３は、陰影除去部１３０２からの陰影除去画像の振幅を調整し、サンプルテクスチャ画像１０７を生成する。例えば、振幅調整部１３０３は、陰影除去画像の輝度振幅を減衰させる。具体的には、振幅調整部１３０３は、下記の数式（１８）または数式（１９）に従って、陰影除去画像の振幅を調整する。
【数１８】
【００６８】
【数１９】
【００６９】
陰影除去部１３０２が加算分離型の手法（例えば、加算型骨格／テクスチャ分離法、ε−フィルタなど）を利用して陰影除去画像を生成する場合には、振幅調整部１３０３は数式（１９）に従ってサンプルテクスチャ画像１０７を生成する。一方、陰影除去部１３０２が乗算分離型の手法（例えば、乗算型骨格／テクスチャ分離法、Center/Surround Retinex法）を利用して陰影除去画像を生成する場合には、振幅調整部１３０３は数式（１８）に従ってサンプルテクスチャ画像１０７を生成する。
【００７０】
数式（１８）及び数式（１９）において、Ｖ（ｘ，ｙ）は陰影除去画像における位置（座標）（ｘ，ｙ）の画素値を表し、Ｖ’（ｘ，ｙ）はテクスチャ画像１０７における位置（ｘ，ｙ）の画素値を表す。また、ａは振幅調整係数を表す。例えば、テクスチャ成分の振幅を１／２に減衰させる場合には、振幅調整係数ａ＝０．５となる。
【００７１】
振幅調整係数ａは、手動で任意の値に設定されてもよいし、自動的に特定の値に設定されてもよい。振幅調整係数ａを変換対象画像１０６と土台画像１０５とのサイズ比に応じて自動的に設定する場合には、下記の数式（２０）を利用できる。
【数２０】
【００７２】
数式（２０）において、ＷＶは変換対象画像１０６の横サイズ［pixel］を表し、ＷＶ’は土台画像１０５の横サイズ［pixel］を表し、ＨＶは変換対象画像１０６の縦サイズ［pixel］を表し、ＨＶ’は土台画像１０５の縦サイズ［pixel］を表す。
【００７３】
以下、図１４を用いて、本実施形態に係る画像処理装置の動作例を説明する。
陰影除去部１３０２は、ステップＳ２０２において読み込まれた変換対象画像１０６から陰影成分を除去し、陰影除去画像を生成する（ステップＳ２０３）。振幅調整部１３０３は、ステップＳ２０３において生成された陰影除去画像の振幅を調整し、サンプルテクスチャ画像１０７を生成する（ステップＳ１４０１）。
【００７４】
テクスチャ画像生成部１０２は、ステップＳ１４０１において生成されたサンプルテクスチャ画像１０７に基づいて、テクスチャ画像１０８を構成する各画素を生成する（ステップＳ２０４及びステップＳ２０５のループ）。
【００７５】
以上説明したように、第５の実施形態に係る画像処理装置は、変換対象画像のテクスチャ成分の振幅を調整してサンプルテクスチャ画像を生成する。従って、本実施形態に係る画像処理装置によれば、変換対象画像のテクスチャと同じ周波数を持つものの異なる印象を与えるテクスチャを持つ合成画像を得ることができる。
【００７６】
（第６の実施形態）
第６の実施形態に係る画像処理装置１５は、図１５に示されるように、骨格画像生成部１５０１、サンプルテクスチャ画像生成部１５０３、テクスチャ画像生成部１５０５及び画像合成部１０４を含む。画像処理装置１５には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置１５は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。
【００７７】
骨格画像生成部１５０１は、土台画像１０５からテクスチャ成分を除去し、土台骨格画像１５０２を生成する。骨格画像生成部１５０１は、土台骨格画像１５０２をテクスチャ画像生成部１５０５に入力する。具体的には、骨格画像生成部１５０１は、前述の各手法を利用することにより、土台画像１０５からテクスチャ成分を除去できる。例えば、骨格画像生成部１５０１は、骨格／テクスチャ分離法の適用により得られる非テクスチャ成分Ｕを土台骨格画像１５０２として生成してもよいし、Center/Surround Retinex法の適用により得られる照明成分Ｕを土台骨格画像１５０２として生成してもよい。また、土台画像１０５が非テクスチャ画像である場合には、骨格画像生成部１５０１は土台画像１０５をそのまま土台骨格画像１５０２として生成してもよい。この場合には、骨格画像生成部１５０１は不要である。
【００７８】
土台骨格画像１５０２は、後述するように、物体の同一性判定のために利用される。故に、土台骨格画像１５０２は、土台画像１０５の被写体表面のテクスチャを表現する細かな濃度パターンを含まないことが望ましい。また、土台骨格画像１５０２において、物体境界を表現するエッジは鮮鋭であることが望ましい。故に、骨格画像生成部１５０１は、土台画像１０５の代わりに前述の鮮鋭化土台画像１１０２に基づいて土台骨格画像１５０２を生成してもよい。
【００７９】
サンプルテクスチャ画像生成部１５０３は、サンプルテクスチャ画像生成部１０１またはサンプルテクスチャ画像生成部１３０１と同様に、変換対象画像１０６に基づいてサンプルテクスチャ画像を生成する。更に、サンプルテクスチャ画像生成部１５０３は、変換対象画像１０６に基づいてサンプル骨格画像１５０４を生成する。サンプル骨格画像１５０４は、変換対象画像１０６の非テクスチャ成分に相当する。サンプルテクスチャ画像生成部１５０３は、サンプルテクスチャ画像１０７及びサンプル骨格画像１５０４をテクスチャ画像生成部１５０５に入力する。
【００８０】
サンプル骨格画像１５０４は、土台骨格画像１５０２と同様に、物体の同一性判定のために利用される。故に、サンプル骨格画像１５０４は、変換対象画像１０６の被写体表面のテクスチャを表現する細かな濃度パターンを含まないことが望ましい。また、サンプル骨格画像１５０４において、物体境界を表現するエッジは鮮鋭であることが望ましい。故に、サンプルテクスチャ画像生成部１５０３は、変換対象画像１０６の代わりに変換対象画像１０６に鮮鋭化を施して得られる画像に基づいてサンプル骨格画像１５０４を生成してもよい。
【００８１】
土台骨格画像１５０２及びサンプル骨格画像１５０４は、グレイスケール画像であってもよいし、複数の色成分を持つ画像であってもよい。例えば、ＲＧＢ、ＹＵＶ、Ｌ＊ａ＊ｂ＊などの表色系に関して、１つまたは２つの色成分を用いて骨格画像を生成してもよいし、３つ全ての色成分を用いて骨格画像を生成してもよい。複数の色成分を用いて骨格画像を生成する場合には、個々の色成分について、Center/Surround Retinex法、骨格／テクスチャ分離法などを適用すればよい。また、複数の色成分を持つ骨格画像において、画素間の類似度は、色空間における２点間の距離の二乗誤差または差の絶対値によって表現できる。
【００８２】
テクスチャ画像生成部１５０５は、サンプルテクスチャ画像生成部１５０３からのサンプルテクスチャ画像１０７に基づいてテクスチャ画像１０８を生成する。後述するように、テクスチャ画像生成部１５０５は、骨格画像生成部１５０１からの土台骨格画像１５０２と、サンプルテクスチャ画像生成部１５０３からのサンプル骨格画像１５０４とに基づいて、物体の同一性判定を行う。テクスチャ画像生成部１５０５は、係る判定結果を利用してテクスチャ画像１０８を生成する。
【００８３】
画像合成部１０４は、土台画像１０５と、テクスチャ画像生成部１５０５からのテクスチャ画像１０８とを合成し、合成画像１１０を生成する。
【００８４】
以下、図１６を用いて、画像処理装置１５の動作例を説明する。
骨格画像生成部１５０１は、ステップＳ２０１において読み込まれた土台画像１０５からテクスチャ成分を除去し、土台骨格画像１５０２を生成する（ステップＳ１６０１）。サンプルテクスチャ画像生成部１５０３は、ステップＳ２０２において読み込まれた変換対象画像１０６から陰影成分及びテクスチャ成分を分離し、サンプル骨格画像１５０４及びサンプルテクスチャ画像１０７を生成する（ステップＳ１６０２）。尚、ステップＳ２０１及びステップＳ１６０１における一連の処理と、ステップＳ２０２及びステップＳ１６０２における一連の処理とは、逆順に実行されてもよいし、並列に実行されてもよい。
【００８５】
テクスチャ画像生成部１５０５は、ステップＳ１６０２において生成されたサンプルテクスチャ画像１０７に基づいて、テクスチャ画像１０８を構成する各画素を生成する（ステップＳ１６０３及びステップＳ２０５のループ）。
【００８６】
テクスチャ画像生成部１５０５は、物体の同一性判定結果を利用して類似領域を探索する点でテクスチャ画像生成部１０２と異なる。
テクスチャ画像生成部１５０５は、図１７に示されるように、土台骨格画像１５０２において処理対象画素に対応する位置の画素（以降、基準画素と称する）を基準に物体の同一性を判定する。
【００８７】
例えば、テクスチャ画像生成部１５０５は、サンプル骨格画像１５０４において処理対象画素に対応する位置の近傍領域に含まれる各画素と、基準画素との間の類似度（例えば、画素値の二乗誤差または画素値の差の絶対値）が閾値Ｔｈ以下であるか否かを判定する。基準画素との間の類似度が閾値Ｔｈ以下であれば、テクスチャ画像生成部１５０５はサンプルテクスチャ画像１０８における対応画素が処理対象画素と同一の物体を表現していると判定する。一方、基準画素との間の類似度が閾値Ｔｈを超えれば、テクスチャ画像生成部１５０５はサンプルテクスチャ画像１０８における対応画素が処理対象画素と同一の物体を表現していないと判定する。
【００８８】
骨格画像（土台骨格画像１５０２及びサンプル骨格画像１５０４）は輝度値の大まかな変化を保持しているので、異なる物体を表現する画素間で大きな差異が生じやすい傾向にある。
【００８９】
テクスチャ画像生成部１５０５は、サンプルテクスチャ画像１０８において処理対象画素と同一物体を表現していると判定した画素に探索範囲を絞り込む。換言すれば、テクスチャ画像生成部１５０５は、サンプルテクスチャ画像１０８において処理対象画素と同一の物体を表現していないと判定した画素を探索範囲から排除する。
【００９０】
また、物体の同一性判定結果（即ち、処理対象画素が表現する物体と近傍領域に含まれる各画素が表現する物体との間の類似度）は、２値（０または１）でなく多値（０以上１以下の実数）でも表現可能である。物体の同一性判定結果を多値で表現する場合に、テクスチャ画像生成部１５０５は、テンプレート領域との間のＳＳＤと、同一性判定結果の総和との重み付き和が最小となる画素領域を探索範囲から探索すればよい。
【００９１】
或いは、物体の同一性判定結果を多値で表現する場合に、テクスチャ画像生成部１５０５は、探索範囲内の各画素に判定結果に応じた重みを与えてもよい。即ち、テクスチャ画像生成部１５０５は、テンプレート領域との間の二乗誤差の重み付き和が最小となる画素領域を探索範囲から探索すればよい。
【００９２】
画像合成部１０４は、ステップＳ２０１において読み込まれた土台画像１０５と、ステップＳ１６０３及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。
【００９３】
以上説明したように、第６の実施形態に係る画像処理装置は、物体の同一性判定結果を利用して類似領域を探索する。従って、本実施形態に係る画像処理装置によれば、物体境界付近で処理対象画素に誤った物体のテクスチャが割り当てられるというエラーが生じにくくなり、係るエラーの伝播による合成画像のテクスチャの破綻を免れやすくなる。即ち、本実施形態に係る画像処理装置によれば、複数の物体を含む変換対象画像のテクスチャを正確に保存し、高精細な合成画像を得ることができる。
【００９４】
（第７の実施形態）
第７の実施形態に係る画像処理装置１８は、図１８に示されるように、骨格画像生成部１５０１、画像縮小部１８０１、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１５０５及び画像合成部１０４を含む。画像処理装置１８には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置１８は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。
【００９５】
骨格画像生成部１５０１は、土台画像１０５からテクスチャ成分を除去し、土台骨格画像１５０２を生成する。骨格画像生成部１５０１は、土台骨格画像１５０２をテクスチャ画像生成部１５０５及び画像縮小部１８０１に入力する。
【００９６】
画像縮小部１８０１は、骨格画像生成部１５０１からの土台骨格画像１５０２に縮小変換を行い、サンプル骨格画像１５０４を生成する。画像縮小部１８０１は、サンプル骨格画像１５０４をテクスチャ画像生成部１５０５に入力する。
【００９７】
縮小変換は、例えば最近傍補間法（或いは、ニアレストネイバー法）、線形補間法、キュービックコンボリューション法（バイキュービック補間法）などで実現される。物体の同一性の判定精度の劣化を防ぐためには、ぼけの少ないサンプル骨格画像１５０４を生成できるような縮小変換を採用することが望ましい。
【００９８】
テクスチャ画像生成部１５０５は、骨格画像生成部１５０１からの土台骨格画像１５０２と、画像縮小部１８０１からのサンプル骨格画像１５０４とに基づいて前述の物体の同一性判定を行う。
【００９９】
以下、図１９を用いて、画像処理装置１８の動作例を説明する。
画像縮小部１８０１は、ステップＳ１６０１において生成された土台骨格画像１５０２に縮小変換を行い、サンプル骨格画像１５０４を生成する（ステップＳ１９０１）。尚、ステップＳ２０１、ステップＳ１６０１及びステップＳ１９０１における一連の処理と、ステップＳ２０２及びステップＳ２０３における一連の処理とは、逆順に実行されてもよいし、並列に実行されてもよい。
【０１００】
以上説明したように、第７の実施形態に係る画像処理装置は、土台骨格画像を縮小変換してサンプル骨格画像を生成する。従って、本実施形態に係る画像処理装置によれば、変換対象画像に基づいてサンプル骨格画像を生成する必要がないので、サンプルテクスチャ画像の精度向上を優先して変換対象画像のテクスチャ成分分離手法を選択することができる。
【０１０１】
（第８の実施形態）
第８の実施形態に係る画像処理装置２０は、図２０に示されるように、サンプルテクスチャ画像生成部１５０３、画像拡大部２００１、テクスチャ画像生成部１５０５及び画像合成部１０４を含む。画像処理装置２０には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置２０は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。
【０１０２】
サンプルテクスチャ画像生成部１５０３は、変換対象画像１０６に基づいてサンプルテクスチャ画像１０７及びサンプル骨格画像１５０４を生成する。サンプルテクスチャ画像生成部１５０３は、サンプルテクスチャ画像１０７をテクスチャ画像生成部１５０５に入力する。サンプルテクスチャ画像生成部１５０３は、サンプル骨格画像１５０４を画像拡大部２００１及びテクスチャ画像生成部１５０５に入力する。
【０１０３】
画像拡大部２００１は、サンプルテクスチャ画像生成部１５０３からのサンプル骨格画像１５０４に拡大変換を行い、土台骨格画像１５０２を生成する。土台骨格画像１５０２は、土台画像１０５及び合成画像１１０と同じサイズを持つ。画像拡大部２００１は、土台骨格画像１５０２をテクスチャ画像１５０３に入力する。尚、画像拡大部２００１は、任意の拡大変換を行ってよい。
【０１０４】
テクスチャ画像生成部１５０５は、画像拡大部２００１からの土台骨格画像１５０２と、サンプルテクスチャ画像生成部１５０３からのサンプル骨格画像１５０４とに基づいて前述の物体の同一性判定を行う。
【０１０５】
以下、図２１を用いて、画像処理装置２０の動作例を説明する。
画像拡大部２００１は、ステップＳ１６０２において生成されたサンプル骨格画像１５０４に拡大変換を行い、土台骨格画像１５０２を生成する（ステップＳ２１０１）。
【０１０６】
以上説明したように、第８の実施形態に係る画像処理装置は、サンプル骨格画像を拡大変換して土台骨格画像を生成する。従って、本実施形態に係る画像処理装置によれば、計算量の比較的多いテクスチャ成分−非テクスチャ成分の分離処理が、変換対象画像に対して１度だけ適用される。即ち、本実施形態に係る画像処理装置によれば、短時間（低遅延）で合成画像を得ることができる。
【０１０７】
（第９の実施形態）
第９の実施形態に係る画像処理装置２２は、図２２に示されるように、土台特徴量抽出部２２０１、サンプル特徴量抽出部２２０３、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部２２０５及び画像合成部１０４を含む。画像処理装置２２には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置２２は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。
【０１０８】
土台特徴量抽出部２２０１は、土台画像１０５の局所領域毎の画像特徴量を抽出し、土台特徴量２２０２を得る。土台特徴量２２０２は、土台画像１０５の各局所領域の画素値の特徴が反映される。例えば、土台特徴量２２０２は、土台画像１０５の各局所領域の画素値のヒストグラムの平均または分散、各局所領域のテクスチャパターンを特徴付ける同時生起行列特徴などであってよい。土台特徴量抽出部２２０１は、土台特徴量２２０２をテクスチャ画像生成部２２０５に入力する。
【０１０９】
サンプル特徴量抽出部２２０３は、変換対象画像１０６の局所領域毎の画像特徴量を抽出し、サンプル特徴量２２０４を得る。サンプル特徴量２２０４は、変換対象画像１０６の各局所領域の画素値の特徴が反映される。尚、サンプル特徴量２２０４及び土台特徴量２２０２は、同じタイプの画像特徴量である。サンプル特徴量抽出部２２０３は、サンプル特徴量２２０４をテクスチャ画像生成部２２０５に入力する。
【０１１０】
テクスチャ画像生成部２２０５は、サンプルテクスチャ画像生成部１０１からのサンプルテクスチャ画像１０７に基づいてテクスチャ画像１０８を生成する。後述するように、テクスチャ画像生成部２２２０５は、土台特徴量抽出部２２０１からの土台特徴量２２０２と、サンプル特徴量抽出部２２０２からのサンプル特徴量２２０４とに基づいて、物体の同一性判定を行う。テクスチャ画像生成部２２０５は、係る判定結果を利用してテクスチャ画像１０８を生成する。
【０１１１】
画像合成部１０４は、土台画像１０５と、テクスチャ画像生成部２２０５からのテクスチャ画像１０８とを合成し、合成画像１１０を生成する。
【０１１２】
以下、図２３を用いて、画像処理装置２２の動作例を説明する。
土台特徴量抽出部２２０１は、ステップＳ２０１において読み込まれた土台画像１０４から画像特徴量を抽出し、土台特徴量２２０２を得る（ステップＳ２３０１）。サンプル特徴量抽出部２２０３は、ステップＳ２０３において生成されたサンプルテクスチャ画像１０７から画像特徴量を抽出し、サンプル特徴量２２０４を得る（ステップＳ２３０２）。尚、ステップＳ２０１及びステップＳ２３０１における一連の処理と、ステップＳ２０２、ステップＳ２０３及びステップＳ２３０２における一連の処理とは、逆順に実行されてもよいし、並列に実行されてもよい。
【０１１３】
テクスチャ画像生成部２２０５は、ステップＳ２０３において生成されたサンプルテクスチャ画像１０７に基づいて、テクスチャ画像１０８を構成する各画素を生成する（ステップＳ２３０３及びステップＳ２０５のループ）。
【０１１４】
テクスチャ画像生成部２２０５は、土台特徴量２２０２及びサンプル特徴量２２０４に基づいて物体の同一性判定を行う点でテクスチャ画像生成部１５０５と異なる。
テクスチャ画像生成部２２０５は、図２４に示されるように、土台特徴量２２０２において処理対象画素に対応する位置の特徴量（以降、基準特徴量と称する）を基準に物体の同一性を判定する。
【０１１５】
例えば、テクスチャ画像生成部２２０５は、サンプル特徴量２２０４において処理対象画素に対応する位置の近傍領域に含まれる各特徴量と、基準特徴量との間の類似度（例えば、特徴量の二乗誤差または特徴量の差の絶対値）が閾値Ｔｈ’以下であるか否かを判定する。基準特徴量との間の類似度が閾値Ｔｈ’以下であれば、テクスチャ画像生成部２２０５はサンプルテクスチャ画像１０８における対応画素が処理対象画素と同一の物体を表現していると判定する。一方、基準特徴量との間の類似度が閾値Ｔｈ’を超えれば、テクスチャ画像生成部２２０５はサンプルテクスチャ画像１０８における対応画素が処理対象画素と同一の物体を表現していないと判定する。
【０１１６】
画像特徴量（土台特徴量２２０２及びサンプル特徴量２２０４）は画像における各局所領域の画素値の特徴を反映しているので、異なる物体を表現する局所領域間で大きな差異が生じやすい傾向にある。
【０１１７】
テクスチャ画像生成部２２０５は、サンプルテクスチャ画像１０８において処理対象画素と同一物体を表現していると判定した画素に探索範囲を絞り込む。換言すれば、テクスチャ画像生成部２２０５は、サンプルテクスチャ画像１０８において処理対象画素と同一の物体を表現していないと判定した画素を探索範囲から排除する。
【０１１８】
また、物体の同一性判定結果（即ち、処理対象画素が表現する物体と近傍領域に含まれる各画素が表現する物体との間の類似度）は、２値（０または１）でなく多値（０以上１以下の実数）でも表現可能である。物体の同一性判定結果を多値で表現する場合に、テクスチャ画像生成部２２０５は、テンプレート領域との間のＳＳＤと、同一性判定結果の総和との重み付き和が最小となる画素領域を探索範囲から探索すればよい。
【０１１９】
或いは、物体の同一性判定結果を多値で表現する場合に、テクスチャ画像生成部２２０５は、探索範囲内の各画素に判定結果に応じた重みを与えてもよい。即ち、テクスチャ画像生成部２２０５は、テンプレート領域との間の二乗誤差の重み付き和が最小となる画素領域を探索範囲から探索すればよい。
【０１２０】
画像合成部１０４は、ステップＳ２０１において読み込まれた土台画像１０５と、ステップＳ２３０３及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。
【０１２１】
以上説明したように、第９の実施形態に係る画像処理装置は、物体の同一性判定結果を利用して類似領域を探索する。従って、本実施形態に係る画像処理装置によれば、物体境界付近で処理対象画素に誤った物体のテクスチャが割り当てられるというエラーが生じにくくなり、係るエラーの伝播による合成画像のテクスチャの破綻を免れやすくなる。即ち、本実施形態に係る画像処理装置によれば、複数の物体を含む変換対象画像のテクスチャを正確に保存し、高精細な合成画像を得ることができる。
【０１２２】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、何れの形態であってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【０１２３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１２４】
１，７，９，１１，１５，１８，２０，２２・・・画像処理装置
１０１，１３０１，１５０３・・・サンプルテクスチャ画像生成部
１０２，１５０５，２２０５・・・テクスチャ画像生成部
１０４・・・画像合成部
１０５・・・土台画像
１０６・・・変換対象画像
１０７・・・サンプルテクスチャ画像
１０８・・・テクスチャ画像
１０９・・・縮小画像
１１０・・・合成画像
１１１・・・拡大画像
７０１・・・土台画像生成部
７０２，１８０１・・・画像縮小部
９０１，２００１・・・画像拡大部
１１０１・・・画像鮮鋭化部
１１０２・・・鮮鋭化土台画像
１３０２・・・陰影除去部
１３０３・・・振幅調整部
１５０１・・・骨格画像生成部
１５０２・・・土台骨格画像
１５０４・・・サンプル骨格画像
２２０１・・・土台特徴量抽出部
２２０２・・・土台特徴量
２２０３・・・サンプル特徴量抽出部
２２０４・・・サンプル特徴量
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
デジタル方式のテレビジョン放送によれば、従来のアナログ方式のテレビジョン放送に比べて高解像度かつ高品質な画像を再生することができる。更に、係る画像の品質を更に向上させるために様々な手法が試みられている。
【０００３】
テクスチャ表現は、画質に影響を与える一要因である。例えば、画像の拡大変換などに伴ってテクスチャが劣化または消失すれば、画質は損なわれる。故に、所望のテクスチャを生成して画像に付加する処理が、画質向上に有効である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Li-Yi Wei, Marc Levoy, "Fast Texture Synthesis using Tree-structured Vector Quantization," Proc. SIGGRAPH 2000, pp.479-488, 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
実施形態は、所望のテクスチャを生成して画像に付加することを目的とする。
【課題を解決するための手段】
【０００６】
一態様に係る画像処理装置は、変換対象画像のテクスチャ成分を保持するサンプルテクスチャ画像を生成する第１の生成部を含む。画像処理装置は、サンプルテクスチャ画像よりも大きいテクスチャ画像における処理対象画素の近傍の処理済み画素領域に類似する画素領域をサンプルテクスチャ画像において処理対象画素に対応する位置の近傍領域から探索し、処理済み画素領域と処理対象画素との間の位置関係に応じて類似する画素領域の近傍の画素値を処理対象画素に割り当てることにより、テクスチャ画像を生成する第２の生成部を含む。第２の生成部は、近傍領域内の画素領域の画素値と処理済み画素領域の画素値との間の第１の類似度と、近傍領域の各画素が処理対象画素と同じ物体を表現しているか否かの判定結果とに基づいて、類似する画素領域を探索する。画像処理装置は、変換対象画像の非テクスチャ成分を保持し、かつ、テクスチャ画像と同じ大きさの土台画像と、テクスチャ画像とを合成し、合成画像を生成する合成部を含む。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る画像処理装置を例示するブロック図。
【図２】図１の画像処理装置の動作を例示するフローチャート。
【図３Ａ】陰影成分−テクスチャ成分を分離する前の画像の輝度値分布を例示するグラフ。
【図３Ｂ】Center/Surround Retinex法により図３Ａの画像から分離される陰影成分の輝度値分布を例示するグラフ。
【図３Ｃ】Center/Surround Retinex法により図３Ａの画像から分離されるテクスチャ成分の輝度値分布を例示するグラフ。
【図３Ｄ】骨格／テクスチャ分離法により図３Ａの画像から分離される陰影成分の輝度値分布を例示するグラフ。
【図３Ｅ】骨格／テクスチャ分離法により図３Ａの画像から分離されるテクスチャ成分の輝度値分布を例示するグラフ。
【図４】探索範囲の説明図。
【図５】テンプレート領域の説明図。
【図６】第１の実施形態におけるテクスチャ画像の生成手法の説明図。
【図７】第２の実施形態に係る画像処理装置を例示するブロック図。
【図８】図７の画像処理装置の動作を例示するフローチャート。
【図９】第３の実施形態に係る画像処理装置を例示するブロック図。
【図１０】図９の画像処理装置の動作を例示するフローチャート。
【図１１】第４の実施形態に係る画像処理装置を例示するブロック図。
【図１２】図１１の画像処理装置の動作を例示するフローチャート。
【図１３】第５の実施形態に係る画像処理装置におけるサンプルテクスチャ画像生成部を例示するブロック図。
【図１４】第５の実施形態に係る画像処理装置の動作を例示するフローチャート。
【図１５】第６の実施形態に係る画像処理装置を例示するブロック図。
【図１６】図１５の画像処理装置の動作を例示するフローチャート。
【図１７】第６の実施形態におけるテクスチャ画像の生成手法の説明図。
【図１８】第７の実施形態に係る画像処理装置を例示するブロック図。
【図１９】図１８の画像処理装置の動作を例示するフローチャート。
【図２０】第８の実施形態に係る画像処理装置を例示するブロック図。
【図２１】図２０の画像処理装置の動作を例示するフローチャート。
【図２２】第９の実施形態に係る画像処理装置を例示するブロック図。
【図２３】図２２の画像処理装置の動作を例示するフローチャート。
【図２４】第９の実施形態におけるテクスチャ画像の生成手法の説明図。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、実施形態について説明する。以降の説明では、各実施形態において同一の部分には同一の符号を付し、説明を省略する。また、各実施形態において、「画像」とは１画素あたりに１以上の成分を持つデジタル画像を指す。簡単化のために、各実施形態では輝度値に対する処理を例示するが、他の種類の成分（例えば、色差成分、ＲＧＢフォーマットの各成分）に対する処理に適宜置き換えることができる。
（第１の実施形態）
第１の実施形態に係る画像処理装置１は、図１に示されるように、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１０２及び画像合成部１０４を含む。画像処理装置１には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置１は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。
【０００９】
土台画像１０５は、変換対象画像１０６よりも大きなサイズを持つ。また、土台画像１０５は、合成画像１１０と同じサイズを持つ。土台画像１０５は、変換対象画像１０６における陰影を保持する画像である。ここで、陰影は、輝度値のなだらかな変化パターンを指す。具体的には、土台画像１０５は、変換対象画像１０６の拡大画像であってもよいし、係る拡大画像における輝度値の大まかな変化パターンを保持する画像（非テクスチャ画像）であってもよい。本実施形態では、係る土台画像１０５が予め用意され、画像処理装置１に入力される。
【００１０】
例えば、土台画像１０５は、変換対象画像１０６の拡大画像からテクスチャ成分を除去することにより生成されてもよい。画像からテクスチャ成分及び陰影成分（非テクスチャ成分）を分離する手法として、骨格／テクスチャ分離法、Center/Surround Retinex法、ε−フィルタなどが知られている。
【００１１】
図３Ａに示される画像にCenter/Surround Retinex法を適用して得られる陰影成分及びテクスチャ成分を図３Ｂ及び図３Ｃに夫々示す。また、図３Ａに示される画像に骨格／テクスチャ分離法を適用して得られる陰影成分及びテクスチャ成分を図３Ｄ及び図３Ｅに夫々示す。尚、図３Ａ乃至図３Ｅは、簡単化のために一次元の輝度値分布を示している。図３Ａ乃至図３Ｅにおいて、横軸は座標を表し、縦軸は輝度値を表す。骨格／テクスチャ分離法によれば、強度の大きなエッジは陰影成分として保存される。一方、Center/Surround Retinex法によれば、輝度差の大きなエッジはテクスチャ成分として保存される。
【００１２】
以下、数式を用いて骨格／テクスチャ分離法について簡単に説明する。
骨格／テクスチャ分離法は、被写体の大まかな構造を表す骨格成分（非テクスチャ成分Ｕに相当）と、被写体の表面における微小な振動を表すテクスチャ成分（テクスチャ成分Ｖに相当）とに、入力画像Ｉを分離する手法である。骨格／テクスチャ分離法は、下記の数式（１）によって表現される加算分離型と、下記の数式（２）によって表現される乗算分離型とに大別される。
【数１】
【００１３】
【数２】
【００１４】
数式（１）及び数式（２）において、（ｘ，ｙ）は対象画素の位置（座標）を表す。以降、簡単化のために、乗算分離型の骨格／テクスチャ分離法を説明し、加算分離型の骨格／テクスチャ分離法の説明を省略する。乗算分離型の骨格／テクスチャ分離法は、下記の数式（３）によって表される最小化問題として扱うことができる。
【数３】
【００１５】
数式（３）において、ｆは入力画像Ｉを対数変換して得られる対数入力画像関数を表し、ｕ及びｖは骨格成分Ｕ及びテクスチャ成分Ｖを対数変換して得られる対数骨格関数及び対数テクスチャ関数を夫々表す。また、μは対数テクスチャ関数ｖのGノルムの上限を調整するパラメータを表し、γは残差ｆ−ｕ−ｖの許容範囲を調整するパラメータを表す。Ｘは画像関数空間を表し、Ｇは有界変動関数空間の双対空間に近接する振動関数空間を表す。Ｊ（ｕ）は、下記の数式（４）で定義されるTotal Variationエネルギーを表す。
【数４】
【００１６】
数式（３）のエネルギー最小化問題は、下記の射影アルゴリズム［１］〜［３］（数式（５）〜数式（７））により解くことができる。
【数５】
【００１７】
【数６】
【００１８】
射影アルゴリズム［２］（数式（６））において、ＰＧλ（ｈ）は関数ｈの部分空間Ｇλへの正射影を表す。
【数７】
【００１９】
上記射影アルゴリズムによって得られたｕ及びｖを指数変換すると、下記の数式（８）及び（９）に示されるように、骨格成分Ｕ及びテクスチャ成分Ｖが得られる。
【数８】
【００２０】
【数９】
【００２１】
以上のように、乗算分離型の骨格／テクスチャ分離法が実現される。続いて、数式を用いてCenter/Surround Retinex法について簡単に説明する。Center/Surround Retinex法は、下記の数式（１０）に示されるように、入力画像Ｉを照明成分（非テクスチャ成分Ｕに相当）と反射成分（テクスチャ成分Ｖに相当）とに分離する手法である。
【数１０】
【００２２】
照明成分Ｕは、下記の数式（１１）によって推定される。
【数１１】
【００２３】
数式（１１）において、ＧＭ（ｘ，ｙ）はフィルタサイズＭ×Ｍのガウシアンフィルタを表し、＊はコンボリューション積分を表す。ガウシアンフィルタＧＭ（ｘ，ｙ）は下記の数式（１２）で表される。
【数１２】
【００２４】
数式（１２）において、σは標準偏差を表し、Ｋは下記の数式（１３）を満たす値である。
【数１３】
【００２５】
入力画像Ｉと、数式（１１）により推定された照明成分Ｕとを用いて、反射成分Ｖは下記の数式（１４）により推定される。
【数１４】
【００２６】
以上のように、Center/Surround Retinex法が実現される。
【００２７】
サンプルテクスチャ画像生成部１０１は、変換対象画像１０６に基づいてサンプルテクスチャ画像１０７を生成する。具体的には、サンプルテクスチャ画像生成部１０１は、変換対象画像１０６から陰影成分を除去し、変換対象画像１０６のテクスチャ成分を得る。係るテクスチャ成分が、サンプルテクスチャ画像１０７に相当する。変換対象画像１０６からテクスチャ成分を分離するために、例えば前述の骨格／テクスチャ分離法、Center/Surround Retinex法などが利用可能である。尚、サンプルテクスチャ画像１０７は、変換対象画像１０６と同じサイズを持つ。即ち、サンプルテクスチャ画像１０７は、土台画像１０５及び合成画像１１０よりも小さなサイズを持つ。
【００２８】
テクスチャ画像生成部１０２は、サンプルテクスチャ画像生成部１０１からのサンプルテクスチャ画像１０７に基づいてテクスチャ画像１０８を生成する。テクスチャ画像１０８は、土台画像１０５及び合成画像１１０と同じサイズを持つ。即ち、テクスチャ画像１０８は、サンプルテクスチャ画像１０７よりも大きなサイズを持つ。尚、テクスチャ画像生成部１０２の具体的な動作例は後述する。
【００２９】
画像合成部１０４は、土台画像１０５と、テクスチャ画像生成部１０２からのテクスチャ画像１０８とを合成し、合成画像１１０を生成する。尚、画像合成部１０４の具体的な動作例は後述する。
【００３０】
以下、図２を用いて、画像処理装置１の動作例を説明する。
画像処理装置１は、土台画像１０５を読み込み（ステップＳ２０１）、変換対象画像１０６を読み込む（ステップＳ２０２）。尚、図２の動作例では、土台画像１０５はステップＳ２０６まで使用されないので、ステップＳ２０１はステップＳ２０６よりも前の任意のタイミングで実行されてもよい。画像処理装置１は、ステップＳ２０２において読み込んだ変換対象画像１０６をサンプルテクスチャ画像生成部１０１に入力する。
【００３１】
サンプルテクスチャ画像生成部１０１は、ステップＳ２０２において読み込まれた変換対象画像１０６から陰影成分を除去し、サンプルテクスチャ画像１０７を生成する（ステップＳ２０３）。具体的には、サンプルテクスチャ画像生成部１０１は、前述の骨格／テクスチャ分離法、Center/Surround Retinex法などを変換対象画像１０６に適用してテクスチャ成分Ｖを分離することにより、サンプルテクスチャ画像１０７を生成できる。尚、画像中の局所領域において法線方向と照明条件が一定であれば、拡散反射成分に対して不変量を得ることができる。
【００３２】
テクスチャ画像生成部１０２は、ステップＳ２０３において生成されたサンプルテクスチャ画像１０７に基づいて、テクスチャ画像１０８を構成する各画素を生成する（ステップＳ２０４及びステップＳ２０５のループ）。
【００３３】
具体的には、（ａ）テクスチャ画像生成部１０２は、テクスチャ画像１０８を構成する各画素のうち未処理の（即ち、画素値を割り当てられていない）画素（以降、処理対象画素と称する）を選択する。（ｂ）テクスチャ画像生成部１０２は、サンプルテクスチャ画像１０７において処理対象画素に対応する位置の近傍領域を探索範囲として定める。（ｃ）テクスチャ画像生成部１０２は、処理対象画素の近傍における処理済みの（即ち、画素値を割り当てられた）画素領域（以降、テンプレート領域と称する）における画素値の変化パターンに類似する画素領域（以降、類似領域と称する）を探索範囲から探索する。（ｄ）テクスチャ画像生成部１０２は、テンプレート領域と処理対象画素との間の位置関係に応じて類似領域の近傍の対応画素を探索し、この対応画素の画素値を処理対象画素に割り当てる。
【００３４】
例えば、図４に示されるように、テクスチャ画像１０８における処理対象画素の位置（Ｉｋ，Ｊｋ）がサンプルテクスチャ画像１０７中の位置（ｉｋ，ｊｋ）に対応するならば、係る位置（ｉｋ，ｊｋ）の近傍領域が探索範囲として定められる。図４の例では、サンプルテクスチャ画像１０７のサイズはｗ×ｈ［pixel］であり、テクスチャ画像１０８のサイズはＷ×Ｈ［pixel］である。位置（ｉｋ，ｊｋ）は、下記の数式（１５）により導出できる。
【数１５】
【００３５】
探索範囲は、典型的には、位置（ｉｋ，ｊｋ）を中心とする画素領域である。例えば、探索範囲は、２０×２０［pixel］、４０×４０［pixel］の矩形領域である。尚、探索範囲の形状及びサイズは特に限定されない。
【００３６】
テクスチャ画像生成部１０２は、例えばラスタスキャン順でテクスチャ画像１０８の画素を順次生成する。ラスタスキャン順の場合には、任意の処理対象画素に関して、処理対象画素よりも上側を占める画素及び同じ水平ライン上で処理対象画素よりも左側を占める画素が処理済みである。テンプレート領域は、図５の斜線付きの画素領域で示されるように、処理対象画素を中心とするＮ×Ｎ［pixel］の矩形領域に含まれる処理済み画素によって構成される。
【００３７】
テクスチャ画像生成部１０２は、図６に示されるように、テンプレート領域における画素値の変化パターンに類似する画素領域を探索範囲から探索する。テンプレート領域との間の類似度は、例えば二乗誤差和（ＳＳＤ）によって評価できる。即ち、テクスチャ画像生成部１０２は、テンプレート領域との間のＳＳＤが最小となる画素領域を探索範囲から探索する。そして、テクスチャ画像生成部１０２は、テンプレート領域と処理対象画素との間の位置関係に応じて類似領域の近傍の対応画素（図６の例では、斜線付きの画素）を探索し、この対応画素の画素値（輝度値）を処理対象画素に割り当てる。
【００３８】
尚、サンプルテクスチャ画像１０７から高解像度のテクスチャ画像１０８を生成する手法として、バイリニア補間法、キュービック補間法などの拡大変換も知られている。しかしながら、係る拡大変換によりテクスチャ画像１０８を生成すると、サンプルテクスチャ画像１０７が備える高周波なテクスチャ成分が劣化または消失するおそれがある。即ち、係る拡大変換により生成されたテクスチャ画像１０８を土台画像１０５に合成したとしても高精細な合成画像１１０を得ることが困難である。故に、本実施形態は、上述の手法を採用し、サンプルテクスチャ画像１０７が備える高周波なテクスチャ成分を保持するテクスチャ画像１０８を生成する。
【００３９】
画像合成部１０４は、ステップＳ２０１において読み込まれた土台画像１０５と、ステップＳ２０４及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。具体的には、画像合成部１０４は、下記の数式（１６）または数式（１７）に従って、合成画像１１０を生成する。
【数１６】
【００４０】
【数１７】
【００４１】
サンプルテクスチャ画像生成部１０１が加算分離型の手法（例えば、加算型骨格／テクスチャ分離法、ε−フィルタなど）を利用してサンプルテクスチャ画像１０７を生成する場合には、画像合成部１０４は数式（１６）に従って合成画像１１０を生成する。一方、サンプルテクスチャ画像生成部１０１が乗算分離型の手法（例えば、乗算型骨格／テクスチャ分離法、Center/Surround Retinex法）を利用してサンプルテクスチャ画像１０７を生成する場合には、画像合成部１０４は数式（１７）に従って合成画像１１０を生成する。
【００４２】
画像処理装置１がステップＳ２０６において生成された合成画像１１０を図示しない表示デバイスなどに出力し（ステップＳ２０７）、処理は終了する。
【００４３】
以上説明したように、第１の実施形態に係る画像処理装置は、変換対象画像の陰影（非テクスチャ成分）を保持する土台画像を用いるので、合成画像において変換対象画像の陰影が維持される。また、本実施形態に係る画像処理装置は、変換対象画像の局所的なテクスチャの方向情報を保持するサンプルテクスチャ画像に基づいて生成したテクスチャ画像を用いるので、合成画像において変換対処画像のテクスチャの方向性が維持される。即ち、本実施形態に係る画像処理装置によれば、高精細なテクスチャ持つ合成画像が得られる。
【００４４】
（第２の実施形態）
第２の実施形態に係る画像処理装置７は、図７に示されるように、土台画像生成部７０１、画像縮小部７０２、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１０２及び画像合成部１０４を含む。画像処理装置７には、変換対象画像１０６が入力される。画像処理装置７は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。尚、本実施形態において、変換対象画像１０６は、土台画像１０５、テクスチャ画像１０８及び合成画像１１０と同じサイズを持つ。
【００４５】
土台画像生成部７０１は、変換対象画像１０６に基づいて土台画像１０５を生成する。例えば、土台画像生成部７０１は、変換対象画像１０６から非テクスチャ成分を分離（即ち、テクスチャ成分を除去）し、土台画像１０５を生成する。非テクスチャ成分の分離には、前述の各種手法が利用可能である。或いは、土台画像生成部７０１は、変換対象画像１０６をそのまま土台画像１０５として生成してもよい。この場合には、土台画像生成部７０１は不要である。
【００４６】
画像縮小部７０２は、変換対象画像１０６に縮小変換を行い、縮小画像１０９を生成する。変換対象画像１０６のサイズをＫ倍（Ｋは、０＜Ｋ＜１．０を満たす任意の実数）すると、変換対象画像１０６の保持するテクスチャパターンの周波数が１／Ｋ倍となる。当然ながら、縮小画像１０９は、変換対象画像１０６よりも小さいサイズを持つ。
【００４７】
サンプルテクスチャ画像生成部１０１は、縮小画像１０９に基づいてサンプルテクスチャ画像１０７を生成する。本実施形態において、サンプルテクスチャ画像１０７は、縮小画像１０９と同じサイズを持つ。
【００４８】
以下、図８を用いて、画像処理装置７の動作例を説明する。
画像処理装置７は、変換対象画像１０６を読み込む（ステップＳ８０１）。画像処理装置７は、ステップＳ８０１において読み込んだ変換対象画像１０６を土台画像生成部７０１及び画像縮小部７０２に入力する。
【００４９】
土台画像生成部７０１は、ステップＳ８０１において読み込まれた変換対象画像１０６に基づいて土台画像１０５を生成する（ステップＳ８０２）。尚、図８の動作例では、土台画像１０５はステップＳ８０６まで使用されないので、ステップＳ８０２はステップＳ８０６よりも前の任意のタイミングで実行されてもよい。
【００５０】
画像縮小部７０２は、ステップＳ８０１において読み込まれた変換対象画像１０６に縮小変換を行い、縮小画像１０９を生成する（ステップＳ８０３）。サンプルテクスチャ画像生成部１０１は、ステップＳ８０３において生成された縮小画像１０９から陰影成分を除去し、サンプルテクスチャ画像１０７を生成する（ステップＳ２０３）。
【００５１】
画像合成部１０４は、ステップＳ８０２において生成された土台画像１０５と、ステップＳ２０４及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。
【００５２】
以上説明したように、第２の実施形態に係る画像処理装置は、変換対象画像の縮小画像に基づいてテクスチャ画像を生成する。従って、本実施形態に係る画像処理装置によれば、変換対象画像の保持するテクスチャパターンと類似し、かつ、より高周波なテクスチャパターンを持つ合成画像を得ることができる。即ち、本実施形態に係る画像処理装置によれば、高精細なテクスチャを持つ合成画像が得られる。
【００５３】
（第３の実施形態）
第３の実施形態に係る画像処理装置９は、図９に示されるように、画像拡大部９０１、土台画像生成部７０１、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１０２及び画像合成部１０４を含む。画像処理装置９には、変換対象画像１０６が入力される。画像処理装置９は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。尚、本実施形態において、変換対象画像１０６及びサンプルテクスチャ画像１０７は、同じサイズを持つ。
【００５４】
画像拡大部９０１は、変換対象画像１０６に拡大変換を行い、拡大画像１１１を生成する。拡大画像１１１は、土台画像１０５、テクスチャ画像１０８及び合成画像１１０と同じサイズを持つ。土台画像生成部７０１は、拡大画像１１１に基づいて土台画像１０５を生成する。
【００５５】
拡大変換は、例えば最近傍補間法（或いは、ニアレストネイバー法）、線形補間法、キュービックコンボリューション法（バイキュービック補間法）などで実現される。合成画像１１０の画質劣化を抑えるためには、ぼけの少ない拡大画像１１１を生成できるような拡大変換を採用することが望ましい。
【００５６】
以下、図１０を用いて、画像処理装置９の動作例を説明する。
画像拡大部９０１は、ステップＳ２０２において読み込まれた変換対象画像１０６に拡大変換を行い、拡大画像１１１を生成する（ステップＳ１００１）。土台画像生成部７０１は、ステップＳ１００１において生成された拡大画像１１１に基づいて土台画像１０５を生成する（ステップＳ８０２）。
【００５７】
尚、図１０の動作例では、土台画像１０５はステップＳ２０６まで使用されないので、ステップＳ１００１及びステップＳ８０２はステップＳ２０６よりも前の任意のタイミングで実行されてもよい。
【００５８】
画像合成部１０４は、ステップＳ８０２において生成された土台画像１０５と、ステップＳ２０４及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。
【００５９】
以上説明したように、第３の実施形態に係る画像処理装置は、変換対象画像の拡大画像に基づいて土台画像を生成する。変換対象画像は、拡大画像に比べて高周波なテクスチャパターンを保持する。故に、本実施形態に係る画像処理装置によれば、拡大画像のテクスチャパターンと類似し、かつ、より高周波なテクスチャパターンを持つ合成画像を得ることができる。即ち、本実施形態に係る画像処理装置によれば、高精細なテクスチャを持つ合成画像が得られる。
【００６０】
（第４の実施形態）
第４の実施形態に係る画像処理装置１１は、図１１に示されるように、画像鮮鋭化部１１０１、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１０２及び画像合成部１０４を含む。画像処理装置１１には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置１１は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。尚、本実施形態において、変換対象画像１０６及びサンプルテクスチャ画像１０７は、同じサイズを持つ。
【００６１】
画像鮮鋭化部１１０１は、土台画像１０５を鮮鋭化し、鮮鋭化土台画像１１０２を生成する。鮮鋭化土台画像１１０２は、土台画像１０５、テクスチャ画像１０８及び合成画像１１０と同じサイズを持つ。画像鮮鋭化には、例えばアンシャープマスキング法などの任意の鮮鋭化手法を利用可能である。画像合成部１０４は、画像鮮鋭化部１１０１からの鮮鋭化土台画像１１０２と、テクスチャ画像生成部１０２からのテクスチャ画像１０８とを合成し、合成画像１１０を生成する。
【００６２】
以下、図１２を用いて、画像処理装置１１の動作例を説明する。
画像鮮鋭化部１１０１は、ステップＳ２０１において読み込まれた土台画像１０５を鮮鋭化し、鮮鋭化土台画像１１０２を生成する（ステップＳ１２０１）。尚、図１２の動作例では、鮮鋭化土台画像１１０２はステップＳ２０６まで使用されないので、ステップＳ２０１及びステップＳ１２０１はステップＳ２０６よりも前の任意のタイミングで実行されてもよい。
【００６３】
画像合成部１０４は、ステップＳ１２０１において生成された鮮鋭化土台画像１１０２と、ステップＳ２０４及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。
【００６４】
以上説明したように、第４の実施形態に係る画像処理装置は、テクスチャ画像と鮮鋭化された土台画像とを合成することにより合成画像を生成する。故に、本実施形態に係る画像処理装置によれば、合成画像におけるテクスチャ及びエッジの鮮鋭さを向上させることができる。
【００６５】
（第５の実施形態）
第５の実施形態に係る画像処理装置は、前述の各実施形態に係る画像処理装置においてサンプルテクスチャ画像生成部１０１を、サンプルテクスチャ画像生成部１３０１に置き換えた構成に相当する。簡単化のために、第１の実施形態に係る画像処理装置１においてサンプルテクスチャ画像生成部１０１をサンプルテクスチャ画像生成部１３０１に置き換えた場合を説明する。サンプルテクスチャ画像生成部１３０１は、図１３に示されるように、陰影除去部１３０２及び振幅調整部１３０３を含む。
【００６６】
陰影除去部１３０２は、サンプルテクスチャ画像生成部１０１と同様に、変換対象画像１０６から陰影成分を除去し、変換対象画像１０６のテクスチャ成分（以降、陰影除去画像と称する）を得る。陰影除去部１３０２は、陰影除去画像を振幅調整部１３０３に入力する。
【００６７】
振幅調整部１３０３は、陰影除去部１３０２からの陰影除去画像の振幅を調整し、サンプルテクスチャ画像１０７を生成する。例えば、振幅調整部１３０３は、陰影除去画像の輝度振幅を減衰させる。具体的には、振幅調整部１３０３は、下記の数式（１８）または数式（１９）に従って、陰影除去画像の振幅を調整する。
【数１８】
【００６８】
【数１９】
【００６９】
陰影除去部１３０２が加算分離型の手法（例えば、加算型骨格／テクスチャ分離法、ε−フィルタなど）を利用して陰影除去画像を生成する場合には、振幅調整部１３０３は数式（１９）に従ってサンプルテクスチャ画像１０７を生成する。一方、陰影除去部１３０２が乗算分離型の手法（例えば、乗算型骨格／テクスチャ分離法、Center/Surround Retinex法）を利用して陰影除去画像を生成する場合には、振幅調整部１３０３は数式（１８）に従ってサンプルテクスチャ画像１０７を生成する。
【００７０】
数式（１８）及び数式（１９）において、Ｖ（ｘ，ｙ）は陰影除去画像における位置（座標）（ｘ，ｙ）の画素値を表し、Ｖ’（ｘ，ｙ）はテクスチャ画像１０７における位置（ｘ，ｙ）の画素値を表す。また、ａは振幅調整係数を表す。例えば、テクスチャ成分の振幅を１／２に減衰させる場合には、振幅調整係数ａ＝０．５となる。
【００７１】
振幅調整係数ａは、手動で任意の値に設定されてもよいし、自動的に特定の値に設定されてもよい。振幅調整係数ａを変換対象画像１０６と土台画像１０５とのサイズ比に応じて自動的に設定する場合には、下記の数式（２０）を利用できる。
【数２０】
【００７２】
数式（２０）において、ＷＶは変換対象画像１０６の横サイズ［pixel］を表し、ＷＶ’は土台画像１０５の横サイズ［pixel］を表し、ＨＶは変換対象画像１０６の縦サイズ［pixel］を表し、ＨＶ’は土台画像１０５の縦サイズ［pixel］を表す。
【００７３】
以下、図１４を用いて、本実施形態に係る画像処理装置の動作例を説明する。
陰影除去部１３０２は、ステップＳ２０２において読み込まれた変換対象画像１０６から陰影成分を除去し、陰影除去画像を生成する（ステップＳ２０３）。振幅調整部１３０３は、ステップＳ２０３において生成された陰影除去画像の振幅を調整し、サンプルテクスチャ画像１０７を生成する（ステップＳ１４０１）。
【００７４】
テクスチャ画像生成部１０２は、ステップＳ１４０１において生成されたサンプルテクスチャ画像１０７に基づいて、テクスチャ画像１０８を構成する各画素を生成する（ステップＳ２０４及びステップＳ２０５のループ）。
【００７５】
以上説明したように、第５の実施形態に係る画像処理装置は、変換対象画像のテクスチャ成分の振幅を調整してサンプルテクスチャ画像を生成する。従って、本実施形態に係る画像処理装置によれば、変換対象画像のテクスチャと同じ周波数を持つものの異なる印象を与えるテクスチャを持つ合成画像を得ることができる。
【００７６】
（第６の実施形態）
第６の実施形態に係る画像処理装置１５は、図１５に示されるように、骨格画像生成部１５０１、サンプルテクスチャ画像生成部１５０３、テクスチャ画像生成部１５０５及び画像合成部１０４を含む。画像処理装置１５には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置１５は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。
【００７７】
骨格画像生成部１５０１は、土台画像１０５からテクスチャ成分を除去し、土台骨格画像１５０２を生成する。骨格画像生成部１５０１は、土台骨格画像１５０２をテクスチャ画像生成部１５０５に入力する。具体的には、骨格画像生成部１５０１は、前述の各手法を利用することにより、土台画像１０５からテクスチャ成分を除去できる。例えば、骨格画像生成部１５０１は、骨格／テクスチャ分離法の適用により得られる非テクスチャ成分Ｕを土台骨格画像１５０２として生成してもよいし、Center/Surround Retinex法の適用により得られる照明成分Ｕを土台骨格画像１５０２として生成してもよい。また、土台画像１０５が非テクスチャ画像である場合には、骨格画像生成部１５０１は土台画像１０５をそのまま土台骨格画像１５０２として生成してもよい。この場合には、骨格画像生成部１５０１は不要である。
【００７８】
土台骨格画像１５０２は、後述するように、物体の同一性判定のために利用される。故に、土台骨格画像１５０２は、土台画像１０５の被写体表面のテクスチャを表現する細かな濃度パターンを含まないことが望ましい。また、土台骨格画像１５０２において、物体境界を表現するエッジは鮮鋭であることが望ましい。故に、骨格画像生成部１５０１は、土台画像１０５の代わりに前述の鮮鋭化土台画像１１０２に基づいて土台骨格画像１５０２を生成してもよい。
【００７９】
サンプルテクスチャ画像生成部１５０３は、サンプルテクスチャ画像生成部１０１またはサンプルテクスチャ画像生成部１３０１と同様に、変換対象画像１０６に基づいてサンプルテクスチャ画像を生成する。更に、サンプルテクスチャ画像生成部１５０３は、変換対象画像１０６に基づいてサンプル骨格画像１５０４を生成する。サンプル骨格画像１５０４は、変換対象画像１０６の非テクスチャ成分に相当する。サンプルテクスチャ画像生成部１５０３は、サンプルテクスチャ画像１０７及びサンプル骨格画像１５０４をテクスチャ画像生成部１５０５に入力する。
【００８０】
サンプル骨格画像１５０４は、土台骨格画像１５０２と同様に、物体の同一性判定のために利用される。故に、サンプル骨格画像１５０４は、変換対象画像１０６の被写体表面のテクスチャを表現する細かな濃度パターンを含まないことが望ましい。また、サンプル骨格画像１５０４において、物体境界を表現するエッジは鮮鋭であることが望ましい。故に、サンプルテクスチャ画像生成部１５０３は、変換対象画像１０６の代わりに変換対象画像１０６に鮮鋭化を施して得られる画像に基づいてサンプル骨格画像１５０４を生成してもよい。
【００８１】
土台骨格画像１５０２及びサンプル骨格画像１５０４は、グレイスケール画像であってもよいし、複数の色成分を持つ画像であってもよい。例えば、ＲＧＢ、ＹＵＶ、Ｌ＊ａ＊ｂ＊などの表色系に関して、１つまたは２つの色成分を用いて骨格画像を生成してもよいし、３つ全ての色成分を用いて骨格画像を生成してもよい。複数の色成分を用いて骨格画像を生成する場合には、個々の色成分について、Center/Surround Retinex法、骨格／テクスチャ分離法などを適用すればよい。また、複数の色成分を持つ骨格画像において、画素間の類似度は、色空間における２点間の距離の二乗誤差または差の絶対値によって表現できる。
【００８２】
テクスチャ画像生成部１５０５は、サンプルテクスチャ画像生成部１５０３からのサンプルテクスチャ画像１０７に基づいてテクスチャ画像１０８を生成する。後述するように、テクスチャ画像生成部１５０５は、骨格画像生成部１５０１からの土台骨格画像１５０２と、サンプルテクスチャ画像生成部１５０３からのサンプル骨格画像１５０４とに基づいて、物体の同一性判定を行う。テクスチャ画像生成部１５０５は、係る判定結果を利用してテクスチャ画像１０８を生成する。
【００８３】
画像合成部１０４は、土台画像１０５と、テクスチャ画像生成部１５０５からのテクスチャ画像１０８とを合成し、合成画像１１０を生成する。
【００８４】
以下、図１６を用いて、画像処理装置１５の動作例を説明する。
骨格画像生成部１５０１は、ステップＳ２０１において読み込まれた土台画像１０５からテクスチャ成分を除去し、土台骨格画像１５０２を生成する（ステップＳ１６０１）。サンプルテクスチャ画像生成部１５０３は、ステップＳ２０２において読み込まれた変換対象画像１０６から陰影成分及びテクスチャ成分を分離し、サンプル骨格画像１５０４及びサンプルテクスチャ画像１０７を生成する（ステップＳ１６０２）。尚、ステップＳ２０１及びステップＳ１６０１における一連の処理と、ステップＳ２０２及びステップＳ１６０２における一連の処理とは、逆順に実行されてもよいし、並列に実行されてもよい。
【００８５】
テクスチャ画像生成部１５０５は、ステップＳ１６０２において生成されたサンプルテクスチャ画像１０７に基づいて、テクスチャ画像１０８を構成する各画素を生成する（ステップＳ１６０３及びステップＳ２０５のループ）。
【００８６】
テクスチャ画像生成部１５０５は、物体の同一性判定結果を利用して類似領域を探索する点でテクスチャ画像生成部１０２と異なる。
テクスチャ画像生成部１５０５は、図１７に示されるように、土台骨格画像１５０２において処理対象画素に対応する位置の画素（以降、基準画素と称する）を基準に物体の同一性を判定する。
【００８７】
例えば、テクスチャ画像生成部１５０５は、サンプル骨格画像１５０４において処理対象画素に対応する位置の近傍領域に含まれる各画素と、基準画素との間の類似度（例えば、画素値の二乗誤差または画素値の差の絶対値）が閾値Ｔｈ以下であるか否かを判定する。基準画素との間の類似度が閾値Ｔｈ以下であれば、テクスチャ画像生成部１５０５はサンプルテクスチャ画像１０８における対応画素が処理対象画素と同一の物体を表現していると判定する。一方、基準画素との間の類似度が閾値Ｔｈを超えれば、テクスチャ画像生成部１５０５はサンプルテクスチャ画像１０８における対応画素が処理対象画素と同一の物体を表現していないと判定する。
【００８８】
骨格画像（土台骨格画像１５０２及びサンプル骨格画像１５０４）は輝度値の大まかな変化を保持しているので、異なる物体を表現する画素間で大きな差異が生じやすい傾向にある。
【００８９】
テクスチャ画像生成部１５０５は、サンプルテクスチャ画像１０８において処理対象画素と同一物体を表現していると判定した画素に探索範囲を絞り込む。換言すれば、テクスチャ画像生成部１５０５は、サンプルテクスチャ画像１０８において処理対象画素と同一の物体を表現していないと判定した画素を探索範囲から排除する。
【００９０】
また、物体の同一性判定結果（即ち、処理対象画素が表現する物体と近傍領域に含まれる各画素が表現する物体との間の類似度）は、２値（０または１）でなく多値（０以上１以下の実数）でも表現可能である。物体の同一性判定結果を多値で表現する場合に、テクスチャ画像生成部１５０５は、テンプレート領域との間のＳＳＤと、同一性判定結果の総和との重み付き和が最小となる画素領域を探索範囲から探索すればよい。
【００９１】
或いは、物体の同一性判定結果を多値で表現する場合に、テクスチャ画像生成部１５０５は、探索範囲内の各画素に判定結果に応じた重みを与えてもよい。即ち、テクスチャ画像生成部１５０５は、テンプレート領域との間の二乗誤差の重み付き和が最小となる画素領域を探索範囲から探索すればよい。
【００９２】
画像合成部１０４は、ステップＳ２０１において読み込まれた土台画像１０５と、ステップＳ１６０３及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。
【００９３】
以上説明したように、第６の実施形態に係る画像処理装置は、物体の同一性判定結果を利用して類似領域を探索する。従って、本実施形態に係る画像処理装置によれば、物体境界付近で処理対象画素に誤った物体のテクスチャが割り当てられるというエラーが生じにくくなり、係るエラーの伝播による合成画像のテクスチャの破綻を免れやすくなる。即ち、本実施形態に係る画像処理装置によれば、複数の物体を含む変換対象画像のテクスチャを正確に保存し、高精細な合成画像を得ることができる。
【００９４】
（第７の実施形態）
第７の実施形態に係る画像処理装置１８は、図１８に示されるように、骨格画像生成部１５０１、画像縮小部１８０１、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１５０５及び画像合成部１０４を含む。画像処理装置１８には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置１８は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。
【００９５】
骨格画像生成部１５０１は、土台画像１０５からテクスチャ成分を除去し、土台骨格画像１５０２を生成する。骨格画像生成部１５０１は、土台骨格画像１５０２をテクスチャ画像生成部１５０５及び画像縮小部１８０１に入力する。
【００９６】
画像縮小部１８０１は、骨格画像生成部１５０１からの土台骨格画像１５０２に縮小変換を行い、サンプル骨格画像１５０４を生成する。画像縮小部１８０１は、サンプル骨格画像１５０４をテクスチャ画像生成部１５０５に入力する。
【００９７】
縮小変換は、例えば最近傍補間法（或いは、ニアレストネイバー法）、線形補間法、キュービックコンボリューション法（バイキュービック補間法）などで実現される。物体の同一性の判定精度の劣化を防ぐためには、ぼけの少ないサンプル骨格画像１５０４を生成できるような縮小変換を採用することが望ましい。
【００９８】
テクスチャ画像生成部１５０５は、骨格画像生成部１５０１からの土台骨格画像１５０２と、画像縮小部１８０１からのサンプル骨格画像１５０４とに基づいて前述の物体の同一性判定を行う。
【００９９】
以下、図１９を用いて、画像処理装置１８の動作例を説明する。
画像縮小部１８０１は、ステップＳ１６０１において生成された土台骨格画像１５０２に縮小変換を行い、サンプル骨格画像１５０４を生成する（ステップＳ１９０１）。尚、ステップＳ２０１、ステップＳ１６０１及びステップＳ１９０１における一連の処理と、ステップＳ２０２及びステップＳ２０３における一連の処理とは、逆順に実行されてもよいし、並列に実行されてもよい。
【０１００】
以上説明したように、第７の実施形態に係る画像処理装置は、土台骨格画像を縮小変換してサンプル骨格画像を生成する。従って、本実施形態に係る画像処理装置によれば、変換対象画像に基づいてサンプル骨格画像を生成する必要がないので、サンプルテクスチャ画像の精度向上を優先して変換対象画像のテクスチャ成分分離手法を選択することができる。
【０１０１】
（第８の実施形態）
第８の実施形態に係る画像処理装置２０は、図２０に示されるように、サンプルテクスチャ画像生成部１５０３、画像拡大部２００１、テクスチャ画像生成部１５０５及び画像合成部１０４を含む。画像処理装置２０には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置２０は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。
【０１０２】
サンプルテクスチャ画像生成部１５０３は、変換対象画像１０６に基づいてサンプルテクスチャ画像１０７及びサンプル骨格画像１５０４を生成する。サンプルテクスチャ画像生成部１５０３は、サンプルテクスチャ画像１０７をテクスチャ画像生成部１５０５に入力する。サンプルテクスチャ画像生成部１５０３は、サンプル骨格画像１５０４を画像拡大部２００１及びテクスチャ画像生成部１５０５に入力する。
【０１０３】
画像拡大部２００１は、サンプルテクスチャ画像生成部１５０３からのサンプル骨格画像１５０４に拡大変換を行い、土台骨格画像１５０２を生成する。土台骨格画像１５０２は、土台画像１０５及び合成画像１１０と同じサイズを持つ。画像拡大部２００１は、土台骨格画像１５０２をテクスチャ画像１５０３に入力する。尚、画像拡大部２００１は、任意の拡大変換を行ってよい。
【０１０４】
テクスチャ画像生成部１５０５は、画像拡大部２００１からの土台骨格画像１５０２と、サンプルテクスチャ画像生成部１５０３からのサンプル骨格画像１５０４とに基づいて前述の物体の同一性判定を行う。
【０１０５】
以下、図２１を用いて、画像処理装置２０の動作例を説明する。
画像拡大部２００１は、ステップＳ１６０２において生成されたサンプル骨格画像１５０４に拡大変換を行い、土台骨格画像１５０２を生成する（ステップＳ２１０１）。
【０１０６】
以上説明したように、第８の実施形態に係る画像処理装置は、サンプル骨格画像を拡大変換して土台骨格画像を生成する。従って、本実施形態に係る画像処理装置によれば、計算量の比較的多いテクスチャ成分−非テクスチャ成分の分離処理が、変換対象画像に対して１度だけ適用される。即ち、本実施形態に係る画像処理装置によれば、短時間（低遅延）で合成画像を得ることができる。
【０１０７】
（第９の実施形態）
第９の実施形態に係る画像処理装置２２は、図２２に示されるように、土台特徴量抽出部２２０１、サンプル特徴量抽出部２２０３、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部２２０５及び画像合成部１０４を含む。画像処理装置２２には、土台画像１０５及び変換対象画像１０６が入力される。画像処理装置２２は、変換対象画像１０６に画像処理を行って、合成画像１１０を出力する。
【０１０８】
土台特徴量抽出部２２０１は、土台画像１０５の局所領域毎の画像特徴量を抽出し、土台特徴量２２０２を得る。土台特徴量２２０２は、土台画像１０５の各局所領域の画素値の特徴が反映される。例えば、土台特徴量２２０２は、土台画像１０５の各局所領域の画素値のヒストグラムの平均または分散、各局所領域のテクスチャパターンを特徴付ける同時生起行列特徴などであってよい。土台特徴量抽出部２２０１は、土台特徴量２２０２をテクスチャ画像生成部２２０５に入力する。
【０１０９】
サンプル特徴量抽出部２２０３は、変換対象画像１０６の局所領域毎の画像特徴量を抽出し、サンプル特徴量２２０４を得る。サンプル特徴量２２０４は、変換対象画像１０６の各局所領域の画素値の特徴が反映される。尚、サンプル特徴量２２０４及び土台特徴量２２０２は、同じタイプの画像特徴量である。サンプル特徴量抽出部２２０３は、サンプル特徴量２２０４をテクスチャ画像生成部２２０５に入力する。
【０１１０】
テクスチャ画像生成部２２０５は、サンプルテクスチャ画像生成部１０１からのサンプルテクスチャ画像１０７に基づいてテクスチャ画像１０８を生成する。後述するように、テクスチャ画像生成部２２２０５は、土台特徴量抽出部２２０１からの土台特徴量２２０２と、サンプル特徴量抽出部２２０２からのサンプル特徴量２２０４とに基づいて、物体の同一性判定を行う。テクスチャ画像生成部２２０５は、係る判定結果を利用してテクスチャ画像１０８を生成する。
【０１１１】
画像合成部１０４は、土台画像１０５と、テクスチャ画像生成部２２０５からのテクスチャ画像１０８とを合成し、合成画像１１０を生成する。
【０１１２】
以下、図２３を用いて、画像処理装置２２の動作例を説明する。
土台特徴量抽出部２２０１は、ステップＳ２０１において読み込まれた土台画像１０４から画像特徴量を抽出し、土台特徴量２２０２を得る（ステップＳ２３０１）。サンプル特徴量抽出部２２０３は、ステップＳ２０３において生成されたサンプルテクスチャ画像１０７から画像特徴量を抽出し、サンプル特徴量２２０４を得る（ステップＳ２３０２）。尚、ステップＳ２０１及びステップＳ２３０１における一連の処理と、ステップＳ２０２、ステップＳ２０３及びステップＳ２３０２における一連の処理とは、逆順に実行されてもよいし、並列に実行されてもよい。
【０１１３】
テクスチャ画像生成部２２０５は、ステップＳ２０３において生成されたサンプルテクスチャ画像１０７に基づいて、テクスチャ画像１０８を構成する各画素を生成する（ステップＳ２３０３及びステップＳ２０５のループ）。
【０１１４】
テクスチャ画像生成部２２０５は、土台特徴量２２０２及びサンプル特徴量２２０４に基づいて物体の同一性判定を行う点でテクスチャ画像生成部１５０５と異なる。
テクスチャ画像生成部２２０５は、図２４に示されるように、土台特徴量２２０２において処理対象画素に対応する位置の特徴量（以降、基準特徴量と称する）を基準に物体の同一性を判定する。
【０１１５】
例えば、テクスチャ画像生成部２２０５は、サンプル特徴量２２０４において処理対象画素に対応する位置の近傍領域に含まれる各特徴量と、基準特徴量との間の類似度（例えば、特徴量の二乗誤差または特徴量の差の絶対値）が閾値Ｔｈ’以下であるか否かを判定する。基準特徴量との間の類似度が閾値Ｔｈ’以下であれば、テクスチャ画像生成部２２０５はサンプルテクスチャ画像１０８における対応画素が処理対象画素と同一の物体を表現していると判定する。一方、基準特徴量との間の類似度が閾値Ｔｈ’を超えれば、テクスチャ画像生成部２２０５はサンプルテクスチャ画像１０８における対応画素が処理対象画素と同一の物体を表現していないと判定する。
【０１１６】
画像特徴量（土台特徴量２２０２及びサンプル特徴量２２０４）は画像における各局所領域の画素値の特徴を反映しているので、異なる物体を表現する局所領域間で大きな差異が生じやすい傾向にある。
【０１１７】
テクスチャ画像生成部２２０５は、サンプルテクスチャ画像１０８において処理対象画素と同一物体を表現していると判定した画素に探索範囲を絞り込む。換言すれば、テクスチャ画像生成部２２０５は、サンプルテクスチャ画像１０８において処理対象画素と同一の物体を表現していないと判定した画素を探索範囲から排除する。
【０１１８】
また、物体の同一性判定結果（即ち、処理対象画素が表現する物体と近傍領域に含まれる各画素が表現する物体との間の類似度）は、２値（０または１）でなく多値（０以上１以下の実数）でも表現可能である。物体の同一性判定結果を多値で表現する場合に、テクスチャ画像生成部２２０５は、テンプレート領域との間のＳＳＤと、同一性判定結果の総和との重み付き和が最小となる画素領域を探索範囲から探索すればよい。
【０１１９】
或いは、物体の同一性判定結果を多値で表現する場合に、テクスチャ画像生成部２２０５は、探索範囲内の各画素に判定結果に応じた重みを与えてもよい。即ち、テクスチャ画像生成部２２０５は、テンプレート領域との間の二乗誤差の重み付き和が最小となる画素領域を探索範囲から探索すればよい。
【０１２０】
画像合成部１０４は、ステップＳ２０１において読み込まれた土台画像１０５と、ステップＳ２３０３及びステップＳ２０５のループにおいて生成されたテクスチャ画像１０８とを合成し、合成画像１１０を生成する（ステップＳ２０６）。
【０１２１】
以上説明したように、第９の実施形態に係る画像処理装置は、物体の同一性判定結果を利用して類似領域を探索する。従って、本実施形態に係る画像処理装置によれば、物体境界付近で処理対象画素に誤った物体のテクスチャが割り当てられるというエラーが生じにくくなり、係るエラーの伝播による合成画像のテクスチャの破綻を免れやすくなる。即ち、本実施形態に係る画像処理装置によれば、複数の物体を含む変換対象画像のテクスチャを正確に保存し、高精細な合成画像を得ることができる。
【０１２２】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、何れの形態であってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【０１２３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１２４】
１，７，９，１１，１５，１８，２０，２２・・・画像処理装置
１０１，１３０１，１５０３・・・サンプルテクスチャ画像生成部
１０２，１５０５，２２０５・・・テクスチャ画像生成部
１０４・・・画像合成部
１０５・・・土台画像
１０６・・・変換対象画像
１０７・・・サンプルテクスチャ画像
１０８・・・テクスチャ画像
１０９・・・縮小画像
１１０・・・合成画像
１１１・・・拡大画像
７０１・・・土台画像生成部
７０２，１８０１・・・画像縮小部
９０１，２００１・・・画像拡大部
１１０１・・・画像鮮鋭化部
１１０２・・・鮮鋭化土台画像
１３０２・・・陰影除去部
１３０３・・・振幅調整部
１５０１・・・骨格画像生成部
１５０２・・・土台骨格画像
１５０４・・・サンプル骨格画像
２２０１・・・土台特徴量抽出部
２２０２・・・土台特徴量
２２０３・・・サンプル特徴量抽出部
２２０４・・・サンプル特徴量
【特許請求の範囲】
【請求項１】
変換対象画像のテクスチャ成分を保持するサンプルテクスチャ画像を生成する第１の生成部と、
前記サンプルテクスチャ画像よりも大きいテクスチャ画像における処理対象画素の近傍の処理済み画素領域に類似する画素領域を前記サンプルテクスチャ画像において前記処理対象画素に対応する位置の近傍領域から探索し、前記処理済み画素領域と前記処理対象画素との間の位置関係に応じて前記類似する画素領域の近傍の画素値を前記処理対象画素に割り当てることにより、前記テクスチャ画像を生成する第２の生成部と、
前記変換対象画像の非テクスチャ成分を保持し、かつ、前記テクスチャ画像と同じ大きさの土台画像と、前記テクスチャ画像とを合成し、合成画像を生成する合成部と
を具備し、
前記第２の生成部は、前記近傍領域内の画素領域の画素値と前記処理済み画素領域の画素値との間の第１の類似度と、前記近傍領域の各画素が前記処理対象画素と同じ物体を表現しているか否かの判定結果とに基づいて、前記類似する画素領域を探索する、
画像処理装置。
【請求項２】
前記第２の生成部は、前記土台画像の非テクスチャ成分を保持し、かつ、前記テクスチャ画像と同じ大きさの土台骨格画像において前記処理対象画素に対応する基準画素と、前記変換対象画像の非テクスチャ成分を保持し、かつ、前記サンプルテクスチャ画像と同じ大きさのサンプル骨格画像において前記近傍領域に対応する各画素との間の第２の類似度を評価することにより、前記近傍領域の各画素が前記処理対象画素と同じ物体を表現しているか否かを判定する、請求項１記載の画像処理装置。
【請求項３】
前記第２の生成部は、前記基準画素の画素値と、前記サンプル骨格画像において前記近傍領域に対応する各画素の画素値との間の距離を前記第２の類似度として算出する、請求項２記載の画像処理装置。
【請求項４】
前記第２の生成部は、前記処理対象画素と同じ物体を表現していないと判定した画素を前記類似する画素領域の探索範囲から排除する、請求項２記載の画像処理装置。
【請求項５】
前記第２の生成部は、前記第１の類似度と前記第２の類似度との重み付き和に基づいて前記類似する画素領域を探索する、請求項２記載の画像処理装置。
【請求項６】
前記土台画像から非テクスチャ成分を分離し、前記土台骨格画像を生成する第３の生成部を更に具備する、請求項２記載の画像処理装置。
【請求項７】
前記第１の生成部は、前記変換対象画像からテクスチャ成分及び非テクスチャ成分を分離し、前記サンプルテクスチャ画像及び前記サンプル骨格画像を生成する、請求項２記載の画像処理装置。
【請求項８】
前記土台骨格画像に縮小変換を行い、前記サンプル骨格画像を生成する縮小部を更に具備する、請求項２記載の画像処理装置。
【請求項９】
前記サンプル骨格画像に拡大変換を行い、前記土台骨格画像を生成する拡大部を更に具備する、請求項２記載の画像処理装置。
【請求項１０】
前記第２の生成部は、前記土台画像における各局所領域の画像特徴量のうち前記処理対象画素に対応する基準特徴量と、前記サンプルテクスチャ画像における各局所領域の画像特徴量のうち前記近傍領域に対応する各特徴量との間の第２の類似度を評価することにより、前記近傍領域の各画素が前記処理対象画素と同じ物体を表現しているか否かを判定する、請求項１記載の画像処理装置。
【請求項１】
変換対象画像のテクスチャ成分を保持するサンプルテクスチャ画像を生成する第１の生成部と、
前記サンプルテクスチャ画像よりも大きいテクスチャ画像における処理対象画素の近傍の処理済み画素領域に類似する画素領域を前記サンプルテクスチャ画像において前記処理対象画素に対応する位置の近傍領域から探索し、前記処理済み画素領域と前記処理対象画素との間の位置関係に応じて前記類似する画素領域の近傍の画素値を前記処理対象画素に割り当てることにより、前記テクスチャ画像を生成する第２の生成部と、
前記変換対象画像の非テクスチャ成分を保持し、かつ、前記テクスチャ画像と同じ大きさの土台画像と、前記テクスチャ画像とを合成し、合成画像を生成する合成部と
を具備し、
前記第２の生成部は、前記近傍領域内の画素領域の画素値と前記処理済み画素領域の画素値との間の第１の類似度と、前記近傍領域の各画素が前記処理対象画素と同じ物体を表現しているか否かの判定結果とに基づいて、前記類似する画素領域を探索する、
画像処理装置。
【請求項２】
前記第２の生成部は、前記土台画像の非テクスチャ成分を保持し、かつ、前記テクスチャ画像と同じ大きさの土台骨格画像において前記処理対象画素に対応する基準画素と、前記変換対象画像の非テクスチャ成分を保持し、かつ、前記サンプルテクスチャ画像と同じ大きさのサンプル骨格画像において前記近傍領域に対応する各画素との間の第２の類似度を評価することにより、前記近傍領域の各画素が前記処理対象画素と同じ物体を表現しているか否かを判定する、請求項１記載の画像処理装置。
【請求項３】
前記第２の生成部は、前記基準画素の画素値と、前記サンプル骨格画像において前記近傍領域に対応する各画素の画素値との間の距離を前記第２の類似度として算出する、請求項２記載の画像処理装置。
【請求項４】
前記第２の生成部は、前記処理対象画素と同じ物体を表現していないと判定した画素を前記類似する画素領域の探索範囲から排除する、請求項２記載の画像処理装置。
【請求項５】
前記第２の生成部は、前記第１の類似度と前記第２の類似度との重み付き和に基づいて前記類似する画素領域を探索する、請求項２記載の画像処理装置。
【請求項６】
前記土台画像から非テクスチャ成分を分離し、前記土台骨格画像を生成する第３の生成部を更に具備する、請求項２記載の画像処理装置。
【請求項７】
前記第１の生成部は、前記変換対象画像からテクスチャ成分及び非テクスチャ成分を分離し、前記サンプルテクスチャ画像及び前記サンプル骨格画像を生成する、請求項２記載の画像処理装置。
【請求項８】
前記土台骨格画像に縮小変換を行い、前記サンプル骨格画像を生成する縮小部を更に具備する、請求項２記載の画像処理装置。
【請求項９】
前記サンプル骨格画像に拡大変換を行い、前記土台骨格画像を生成する拡大部を更に具備する、請求項２記載の画像処理装置。
【請求項１０】
前記第２の生成部は、前記土台画像における各局所領域の画像特徴量のうち前記処理対象画素に対応する基準特徴量と、前記サンプルテクスチャ画像における各局所領域の画像特徴量のうち前記近傍領域に対応する各特徴量との間の第２の類似度を評価することにより、前記近傍領域の各画素が前記処理対象画素と同じ物体を表現しているか否かを判定する、請求項１記載の画像処理装置。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−５８７７３（Ｐ２０１２−５８７７３Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９８１８５（Ｐ２０１０−１９８１８５）
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]