画像加工装置、画像加工方法及び画像加工プログラム
【課題】 例えば写真に基づいて取り込んだ画像データを加工して自然な筆触で表現した絵画風の画像を得ること。
【解決手段】 画像データに含まれる画素について、色などを判断基準の一つとして各画素をグループ化し、当該画像データを複数の基本領域に分割する。そして基本領域毎に、平均色や重心位置などの特徴を含む基本領域の特徴を算出し、その特徴に基づいて複数の基本領域を統合して統合領域を制作する。また各統合領域の特徴を算出し、更に例えば統合領域内の複数の基本領域を結合させて複数の結合領域としたり、あるいは統合領域を部分分割して部分領域を形成し、基本領域及び統合領域の他に結合領域あるいは部分領域をも表現の単位領域として選択できるようにする。選択された結果により決定された表現の単位領域毎に、その表現の単位領域の特徴に基づいて当該単位領域に含まれる画素の色を決定する。
【解決手段】 画像データに含まれる画素について、色などを判断基準の一つとして各画素をグループ化し、当該画像データを複数の基本領域に分割する。そして基本領域毎に、平均色や重心位置などの特徴を含む基本領域の特徴を算出し、その特徴に基づいて複数の基本領域を統合して統合領域を制作する。また各統合領域の特徴を算出し、更に例えば統合領域内の複数の基本領域を結合させて複数の結合領域としたり、あるいは統合領域を部分分割して部分領域を形成し、基本領域及び統合領域の他に結合領域あるいは部分領域をも表現の単位領域として選択できるようにする。選択された結果により決定された表現の単位領域毎に、その表現の単位領域の特徴に基づいて当該単位領域に含まれる画素の色を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対して所定の加工、例えば、絵画風の加工を行う画像加工装置、画像加工方法及び画像加工プログラムに関するものである。
【背景技術】
【０００２】
従来、写真画像をスキャナーにより読み込み、読み込んだ画像データに対して、画素の色を変える色変換処理及び画像を歪ませる歪み変換処理等の種々の画像加工処理が行われている。例えば、入力された画像データとその画像データを領域分割した分割結果とから、画素を分割領域毎にグループに分け、それぞれのグループ毎にグループ特徴を計算して記録し、記録したグループ特徴を加工し、加工したグループ特徴から新たに画素を構成することにより、絵画の筆触に対応する画素のグループを変換の単位として、画像データに新しく、且つ豊富な表現を自動的に付与する画像加工合成装置が開発されている(特許文献１参照)。この場合、グループ毎に特徴をまとめ、そのグループを単位として特徴を加工し、加工された特徴を保存するすようにグループに画素を割り当てて画像を構成しているため、グループを筆触に見立てることができ、写真画像等の原画像を様々な筆触の画像に加工することができる。
【０００３】
【特許文献１】特開平１０−１１５６９号公報(第３−９-頁、図１−１４)
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の画像加工合成装置では、絵画の筆触に対応する画素のグループを変換の単位としているため、大きな太い筆触で描く画風や逆に小さなストロークで描く点描画に近い画風を作り出すことができなかった。また、グループ特徴から新たに画素を構成することで作られる筆触も比較的単純な形になってしまっていた。
【０００５】
本発明の目的は、画像データに様々な大きさ、様々な形状の、自然な筆触を画像の情報を基に適切に与えることのできる画像加工装置、画像加工方法及び画像加工プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明は、例えば写真を取り込んで得た画像データを、色的にも距離的にも近い画素同士をまとめてグループ化し、これにより複数の基本領域に分割する。次いでこれら複数の基本領域において互いに似通っている基本領域同士を更にグループ化して複数の統合領域とする。本発明の最も単純な手法としては、概略的に言えば、こうして得られた統合領域において、統合領域自体を表現の単位とするのか、それとも基本領域を表現の単位とするのかを、予め定められた処理の仕方（実施の形態では「処理の指示プリセット」に対応する）あるいはオペレータが手動で決めた処理の仕方に基づいて決定し、例えば背景の一部分については統合領域を表現の単位として、また人物の一部分については基本領域を表現の単位として表現する（その領域の特徴に応じて当該領域に含まれる画素の色を決定する）ものである。
【０００７】
そして本発明の更なる特徴としては、統合領域をいかにして作成するかという点にあり、統合領域を更に処理して例えば統合領域内の複数の基本領域を結合させて複数の結合領域としたり、あるいは統合領域を部分分割して部分領域なるものを形成し、基本領域及び統合領域の他に結合領域あるいは部分領域をも表現の単位領域として選択できるようにし、表現のより大きな自由度を確保して様々な画風のしかも自然な筆触の画像が得られるようにしたものである。
【０００８】
本発明の基本的な態様は、画像データに含まれる画素について、少なくとも色を判断基準の一つとして各画素をグループ化し、これにより当該画像データを複数の基本領域に分割する基本領域分割処理手段と、
分割された基本領域毎に、基本領域に含まれる画素のデータに基づいて少なくとも色の特徴を含む当該基本領域の特徴を算出する基本領域特徴算出手段と、
この基本領域特徴算出手段により算出された基本領域特徴の内の少なくとも色に基づいて、複数の基本領域を統合して統合領域を制作する領域統合手段と、
前記統合領域毎に、少なくとも色の特徴を含む当該統合領域の特徴を算出する統合領域特徴算出手段と、
前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかを決定する画像処理領域指示部と、
選択された結果により決定された表現の単位領域毎に、その表現の単位領域の特徴に基づいて当該単位領域に含まれる画素の色を決定する表現部と、を備えたことを特徴とする。
また本発明に係る画像加工装置は、画像データを複数の基本領域に分割する基本領域分割処理手段の処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶手段と、
前記分割画像データ記憶手段に保存されている分割画像データを基に基本領域毎に当該基本領域の特徴を算出する基本領域特徴算出手段と、
前記基本領域特徴算出手段により算出された基本領域特徴を基本領域毎に記憶する基本領域特徴記憶手段と、
前記基本領域特徴記憶手段に記憶されている基本領域特徴を基に複数の基本領域を統合して統合領域を制作する領域統合手段と、
前記領域統合手段により統合された統合領域と前記分割画像データ記憶手段に保存されている分割画像データとから前記統合領域特徴算出手段により算出された統合領域特徴を記憶する統合領域特徴記憶手段とからなる画像特徴抽出手段と、
前記統合領域特徴算出手段により統合領域特徴を算出する際に書き出された統合領域デザインマップを記憶する統合領域デザインマップ記憶手段と、
前記統合領域デザインマップ記憶手段に記憶されている統合領域デザインマップの情報に応じて計算式や計算式に含まれる係数を変更する計算手法を用いて、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴、もしくはそれらに加え、それらの領域特徴を結合、もしくは分割することで作り出された新たな領域特徴から計算される結果を基に画像加工を行う表現手段と、を備えるものである。
【０００９】
本発明に係る画像加工装置では、画像データを複数の基本領域に分割し、基本領域毎に当該基本領域の基本領域特徴を算出し、さらに算出された基本領域特徴を基に複数の基本領域を統合して統合された基本領域から統合領域特徴を算出すると共に、統合の過程で得られる情報を基に統合領域デザインマップも算出し、統合領域デザインマップの情報に応じて計算式や計算式に含まれる係数を変更する計算手法を用いて、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴、もしくはそれらに加え、それらの領域特徴を結合、もしくは分割することで作り出された新たな領域特徴から計算される結果を基に加工画像データが計算されるため基本領域特徴からは基本となるサイズの筆触が、そして統合領域特徴からは大きなサイズの筆触が、さらに結合した領域特徴からは中間の大きさの筆触が、分割された領域特徴からは小さなサイズの筆触が、作り出せるようになる。そして統合領域デザインマップには、画像のどの部分をどの大きさの筆触で描くべきかについて参考となる情報が蓄えられているため、その情報を参考に描かれている対象として残すべき特徴は、細かい描写が可能な小さなサイズの筆で、そしていろいろな画風を加えて見た目の印象を変えるのに効果的な部分には表現に合わせた様々なサイズの筆で描くことで、描かれている対象の特徴を残しながら、且つ表現力のある作品を作り出すことができる。
【００１０】
上述した表現手段は、画像を構成する色情報などの画素の特徴を計算するに当たり、先に示した統合領域特徴と基本領域特徴との２つの領域特徴、もしくはどちらか一方の領域特徴と画像の位置情報を入力値として、所定の計算１を行い、その結果最大もしくは最小の値を与えた基本領域の基本領域特徴、もしくは統合領域の統合領域特徴、もしくはその両者に加え、先の計算結果の最小の値と２番目に小さな値との差から計算される値の全て、もしくはいくつかを入力値として画素特徴を計算することが望ましい。
【００１１】
この場合、最大値と２番目に大きな値との差が０である画素はどちらの領域の特徴を備えても良い画素、つまりその画素の位置が筆触の境界であり、０でない画素はその値が、境界からどれだけ離れているかについての指標とみなすことができるため、筆触の周辺からの距離に応じて異なる表現を与えることができるようになる。
【００１２】
上述した画像特徴抽出手段は、同じ統合領域に統合された複数の基本領域の中から２つ以上の基本領域を選び結合を行う領域結合手段と、その領域結合手段により結合された結合領域と分割画像データ記憶手段に保存されている分割画像データとから結合領域特徴を計算する結合領域算出手段と、前記結合領域算出手段により算出された結合領域特徴を記憶する結合領域特徴記憶手段と、を備えていることが望ましい。
【００１３】
この場合、大きな筆触となる統合領域特徴と、小さな筆触となる基本領域特徴とに加え、その中間の大きさの筆触を作り出すことのできる結合領域特徴が利用可能になる。
【００１４】
上述した前記画像特徴抽出手段は、前記画像特徴抽出手段に記載の各手段に加え、統合領域、あるいは基本領域、あるいは結合領域、をそれぞれ複数の部分領域に分ける部分領域分割手段を備え、前記統合領域特徴記憶手段に記憶されている統合領域特徴、あるいは前記基本領域特徴記憶手段に記憶されている基本領域特徴、あるいは前記結合領域特徴記憶手段に記憶されている結合領域特徴と、それらに加え、前記分割画像データ記憶手段に保存されている分割画像データを参照して、各部分領域から部分領域特徴を計算する部分領域特徴算出手段と、計算された部分領域特徴を記憶する部分領域特徴記憶手段を備えていることが望ましい。
【００１５】
この場合は、３種類の領域特徴がさらに小さく分けられるため、今まで一番細かかった基本領域よりもさらに細かい筆触で表現することができるようになる。また、分割領域特徴は基になる一つの領域を複数の部分領域の集合で表現するための基の情報にもなる。
【００１６】
上述した前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、それぞれから前記部分領域特徴記憶手段に記憶されている部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の領域特徴と画素の位置情報を入力値として、最も好ましい領域特徴が選ばれたときに最小の値を示すように考えられた所定の計算２を行い、その結果最小の値を与えた基本領域の基本領域特徴、もしくは統合領域の統合領域特徴、もしくは結合領域の結合領域特徴、もしくはそれらに加え、先の所定の計算２の計算結果の最小の値と２番目に小さな値との差から計算される値の全て、またはその中のいくつかを入力値として画像を構成する画素の画素特徴を計算することが好ましい。
【００１７】
この場合、統合領域特徴、基本領域特徴に加え、結合領域特徴、部分領域特徴から画素特徴を計算することで、小さな筆触、中間のサイズの筆触を作り出すことができるようになり、その結果さらに表現力が増す。
【００１８】
上述した前記画像特徴抽出手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、それぞれから前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の各領域特徴を、
その各領域特徴において、基本領域または統合領域または結合領域または部分領域の周囲に位置する基本領域または統合領域または結合領域または部分領域の各領域特徴から計算された値を基に変更する特徴変更手段と、を備えていることが望ましい。
【００１９】
この場合、一つの領域特徴から一つの筆触が作り出されるので、絵画らしい筆触を作り出すには、絵画らしい領域特徴が得られる必要があるが、一つの領域特徴がその領域の周囲の領域の特徴の値によって影響を受けて変化することになるので、例えば領域特徴として、領域の方向が周りの領域の方向に影響されて、変化すると、うねるような筆触が作り出される。
【００２０】
上述した前記領域統合手段は、印の付いていない基本領域をみつけ、それに印1を付ける。その基本領域に隣接する基本領域間の特徴量の差が第１の閾値より小さい基本領域に印1を付け、さらに、その印1を付けられた基本領域に隣接する基本領域間の特徴量の差が第１の閾値より小さい基本領域にも印1を付けるという作業を繰り返し、最終的に印1が付けられた基本領域をまとめ仮統合領域1とし、まとめ終わったら、初めに戻り、印の付いていない基本領域を見つけ、その基本領域に印2を付け同様の処理を繰り返し、最終的に印の付いてない基本領域がなくなるまで繰り返す。次に、仮統合領域に含まれる基本領域の数が第１の個数より大きい仮統合領域に注目し、それに隣接する基本領域間の特徴量の差が第１の閾値より大きく、第２の閾値より小さい基本領域を同様の手法でまとめ、まとめられた新たな仮統合領域が先の注目した仮統合領域に含まれていた基本領域を含んでおり、且つ新たな仮統合領域にまとめられた基本領域の数を先の注目した仮統合領域にまとめられていた基本領域の数で割った値が１より大きく規定値１より小さい場合にその仮統合領域を正式に統合領域として決定することが望ましい。
【００２１】
この場合、一度で統合領域を決定せずに、１度目は仮統合領域としておき、閾値を変えて行う２度目の統合処理で、統合処理を行っても統合領域に大きな変化がなかった場合に、正式な統合領域として決定するため、グラデーションの部分が途中で切れることが少なく、確度の高い統合領域だけを抽出することができ、絵画として同質とみなされる領域を統合領域としてまとめることができるようになる。
【００２２】
上述した前記領域統合手段は、２回目の仮統合領域が決定した後に、第２の閾値の値を新たに第１の閾値として、３回目の仮統合領域を定める処理と２回目の仮統合領域を正式に統合領域として決定する処理を行い、以後、同様の操作を複数回繰り返し、繰り返す際に、前回の処理で統合領域として決定した基本領域を除いた残りの基本領域に対してのみ統合処理を続け、例えばｎ回目の正式な統合領域としての決定処理が終った時には、その統合領域に通し番号を与え、統合領域デザインマップにその番号とｎ回目の均一統合領域であることとを記録することが望ましい。
【００２３】
この場合、閾値を大きくしながら、統合を繰り返すため、２度だけでは統合できなかった領域も統合できることになる。また、繰り返しの少ない回数で統合された領域の方がより均一な領域なので、領域が何度目の繰り返しで統合されたかをデザインマップに記録しておこくとで、この情報を画素に表現を加える際に有効に利用できることになる。
【００２４】
上述した前記領域統合手段は、ｎ回目の繰り返し処理後に、基本領域数が第１の個数より大きく、第２の個数より小さい仮統合領域に注目し、その仮統合領域の境界付近に位置する基本領域の中で、注目した仮統合領域内にある基本領域の基本領域特徴とそれに隣接し、且つ注目した仮統合領域外にある基本領域の基本領域特徴との差の平均値の絶対値が規定値２より大きい場合に、さらに、その仮統合領域に通し番号を与え、統合領域デザインマップにその通し番号とｎ回目の対比統合領域であることとを記録し、この仮統合領域を統合処理の対象から除外した後にｎ＋１回目の繰り返し処理を行うことが好ましい。
【００２５】
この場合、デザインを考えると、面積が小さく、周囲との強い対比のある統合領域が目立ち、重要な領域になるので、このような領域を統合して決定し、それを統合領域デザインマップに記録しておくことで、統合領域も統合領域デザインマップも表現の際に役立たせることができる。
【００２６】
上述した前記領域統合手段は、全ての処理をする前に、規定値３より大きい基本領域特徴を持つ基本領域を予め除外しておく、除外された基本領域の情報を先の統合領域デザインマップに記述しておくことが望ましい。
【００２７】
この場合、２つの対象の間にあるエッジ部分に乗っている基本領域はどちらにも統合すべきではないが、このことを実現するために、エッジ部分に乗っている基本領域は極端に細長いことを利用し、この細長さを基本領域特徴として表現しておくと、この特徴が規定値３より大きい場合は、統合せずに初めから候補から除外しておくことができ、また、この情報を統合領域デザインマップが保持するため、表現の際に役立たせることができるようになる。
【００２８】
上述した前記領域結合手段は、前記領域統合手段により同じ統合領域にまとめられた近接する複数の基本領域に対し、１つの結合領域として結合させる基本領域の個数とそれらの基本領域が結合可能となる基本領域特徴との関係をその基本領域が属する統合領域の統合領域デザインマップに記述されている情報に応じて変化させることが好ましい。
【００２９】
この場合、基本領域を結合するかどうかは表現の上では、どの太さの筆で描くかに当たる部分なので、画像のそのものが持っている情報を参考に決めるべきであるが、その情報を統合領域デザインマップが持っているため、これを利用することで、画風に合わせた適切な太さの筆の選択ができるようになる。
【００３０】
上述した前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、夫々から前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の各領域特徴を、夫々が含まれている統合領域の統合領域デザインマップに記述されている情報を基に選び出し、さらに前記統合領域デザインマップに記述されている情報を基に選び出された領域特徴から画素特徴を計算する計算式を切り替えて、画素特徴を計算することが好ましい。
【００３１】
この場合、統合領域デザインマップは、エッジの部分や、少ない面積でも重要な部分の情報を持っているため、統合領域デザインマップの情報を利用してこのような部分を避けて、いろいろな画風の表現を与えることで、元の絵の内容を損なわない表現を作り出すことができるようになる。
【００３２】
先ず、画素特徴がどのタイプの領域から計算されるかが重要になるため、基本領域特徴から画素特徴を計算するか、または、その基本領域が含まれている統合領域の統合領域特徴から画素特徴を計算するか、または、その基本領域が結合された結合領域から画素特徴を計算するかを統合領域デザインマップの情報を基に決定することで、細かく描くべきところを細かく描くことができるようになる。
【００３３】
さらに、選び出された特徴から画素特徴を計算する計算式の選び方で、画風が変えられるので、この計算式を選択する際にも統合領域デザインマップの情報を基に決定することで、適切な表現が加えられるようになる。
【００３４】
上述した前記部分領域分割手段は、統合領域、あるいは基本領域、あるいは結合領域、を夫々複数の部分領域に分け、その部分領域毎に、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴、あるいは前記基本領域特徴記憶手段に記憶されている基本領域特徴、あるいは前記結合領域特徴記憶手段に記憶されている結合領域特徴を参照して部分領域特徴を計算する際に、部分領域が属していた統合領域の統合領域デザインマップに記述されている情報に応じて異なる計算式が選択され、それを用いて部分領域算出手段によって部分領域の部分領域特徴が計算され、計算された部分領域特徴が部分領域特徴記憶手段に記憶されることが好ましい。
【００３５】
この場合、部分領域は基になる統合領域、基本領域、結合領域から分けて作られるが、この部分領域の作り方も、表現変化を加える重要な要素であるため、統合領域の統合領域デザインマップに記述されている情報に応じて適切な計算式を与えることで、結果として適切な表現を与えられるようになる。
【００３６】
上述した前記特徴変更手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴と前記部分領域分割手段により計算される部分領域特徴とのうち４種類の領域特徴から、あるいは任意の数種類から選択された各領域特徴を変更するための数式を複数用意しており、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域デザインマップに記述されている情報に応じて、適切な数式を選択して、その選択された数式を用いて各特徴量を変更することが好ましい。
【００３７】
この場合、既に計算されている各領域特徴の色や外形をさらに変化させる特徴変更手段に統合領域デザインマップに記述されている情報を利用できるようにすることで、画像のどこの特徴にどのような変化を与えるべきかが明確になる。
【００３８】
前記統合領域特徴、結合領域特徴、基本領域特徴、各領域特徴の記述単位である統合領域、結合領域、基本領域の各領域毎に領域の通し番号とその領域に含まれている画素の統計量を要素として持ち、最低限、平均色、各領域毎に含まれている画素の重心、各領域毎に含まれている画素数、を含むことが好ましい。
【００３９】
この場合、絵画の表現に必要なものには様々な統計量が考えられるが、どの領域にも必ず含まれていなくては、表現力が極端に落ちる要素があるため、それを規定することで、表現力が失われるリスクを避けることができる。
【００４０】
上述した前記表現手段は、表現処理を画像データに対して、前記統合領域特徴記憶手段に記憶されている統合領域特徴、または前記基本領域特徴記憶手段に記憶されている基本領域特徴、または前記結合領域特徴記憶手段に記憶されている結合領域特徴から計算される画像範囲を単位として、夫々に異なる処理をオペーレータの指示で加えられるように、画像データを複数の領域に分けるためのデータ入力手段を備えていることが好ましい。
【００４１】
この場合、画像加工装置に統合領域、基本領域、結合領域を単位として表現を与える画像範囲を直接指示することが可能になる。
【００４２】
上述した前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴とに対して、前記部分領域分割手段により夫々３つの領域特徴から計算される部分領域特徴を利用して、夫々３つの領域特徴から作り出される筆触の形を様々に変化されることが好ましい。
【００４３】
この場合、一つの領域特徴から作り出される部分領域の数に応じて、筆触の形の複雑さを変えることができる。例えば３つの部分領域が作られていれば、その部分領域特徴を用いることで、２次曲線に従った筆触の変形が可能になる。
【００４４】
上述した前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、夫々から前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の領域特徴と画像の位置情報を入力値として、最も好ましい特徴が選ばれたときに値が最小になる所定の計算３を行い、ｎを自然数とし、その計算の結果は１番目からｎ番目に小さい値までを与えたｎ個の基本領域の基本領域特徴、もしくはｎ個の統合領域の統合領域特徴、もしくはｎ個の結合領域の結合領域特徴、もしくはそれらのいくつかと、さらに、先の計算結果の最小の値と２番目に小さな値との差（最小の値とｎ−１番目に小さな値との差から計算されるｎ−１個の値）の全て、もしくはいくつかを入力値として画素特徴を計算することが望ましい。
【００４５】
この場合、一つの画素を決定する際に一つの領域だけでなく、その画素に影響力のあると考えられる複数の領域の特徴を考慮して画素特徴を計算することができるため、より微妙な表現を実現できるようになる。
【００４６】
本発明に係る画像加工方法はコンピュータを用いて画像を加工する画像加工方法であって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理ステップの処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶ステップと、
前記分割画像データ記憶ステップに保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出ステップと、
前記コンピュータが、前記基本領域特徴算出ステップにおいて算出した基本領域特徴を領域毎に記憶する基本領域特徴記憶ステップと、
前記コンピュータが、前記基本領域特徴記憶ステップにおいて記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成する領域統合ステップと、
前記コンピュータが、前記領域統合ステップにおいて統合した統合領域を記憶する統合領域特徴記憶ステップと、
前記統合領域特徴記憶ステップに記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶ステップに記憶されている基本領域特徴との２つの領域特徴から計算される結果を基に前記画像データに対して表現処理を行う表現ステップとを含むものである。
【００４７】
本発明に係る画像加工方法はコンピュータを用いて画像を加工する画像加工方法であって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理ステップの処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶ステップと、
前記分割画像データ記憶ステップに保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出ステップと、
前記コンピュータが、前記基本領域特徴算出ステップにおいて算出した特徴を基本領域毎に記憶する基本領域特徴記憶ステップと、
前記コンピュータが、前記基本領域特徴記憶ステップにおいて記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成すると共に、統合領域デザインマップを制作する領域統合ステップと、
前記コンピュータが、前記領域統合ステップにおいて統合した統合領域を記憶する統合領域記憶ステップと、
前記コンピュータが、前記統合領域特徴記憶ステップにおいて記憶した統合領域特徴を基に複数の基本領域を結合して結合領域を作成する領域結合ステップと、
前記コンピュータが、前記領域結合ステップにおいて結合した結合領域を記憶する結合領域特徴記憶ステップと、
前記コンピュータが、前記統合領域特徴記憶ステップにおいて記憶した統合領域特徴と基本領域特徴記憶ステップにおいて記憶した基本領域特徴と結合領域を記憶する結合領域記憶ステップにおいて記憶した結合領域特徴との全て、あるいは任意の数種の領域を前記統合領域デザインマップを参考にしながら、適応的に複数の部分に分割し、その部分領域毎に部分領域特徴を計算する部分領域分割ステップと、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に変更を加える特徴変更ステップと
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に対して、前記統合領域デザインマップを参照しながら、適応的に表現処理を行う表現ステップとを含むものである。
【００４８】
本発明に係る画像加工プログラムは画像を加工する画像加工プログラムであって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理手段の処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶手段と、
前記分割画像データ記憶手段に保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出手段と、
前記コンピュータが、前記基本領域特徴算出手段において算出した基本領域特徴を基本領域毎に記憶する基本領域特徴記憶手段と、
前記コンピュータが、前記基本領域特徴記憶手段において記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成する領域統合手段と、
前記コンピュータが、前記領域統合手段において統合した統合領域を記憶する統合領域特徴記憶手段と、
前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴との２つの領域特徴から計算される結果を基に前記画像データに対して表現処理を行う手段としてコンピュータを機能させるものである。
【００４９】
本発明に係る画像加工プログラムは画像を加工する画像加工プログラムであって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理手段の処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶手段と、
前記分割画像データ記憶手段に保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出手段と、
前記コンピュータが、前記基本領域特徴算出手段において算出した特徴を基本領域毎に記憶する基本領域特徴特徴記憶手段と、
前記コンピュータが、前記基本領域特徴記憶手段において記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成すると共に、統合領域デザインマップを制作する領域統合手段と、
前記コンピュータが、前記領域統合手段において統合した統合領域を記憶する統合領域特徴記憶手段と、
前記コンピュータが、前記統合領域特徴記憶手段において記憶した統合領域特徴を基に複数の基本領域を結合して結合領域を作成する領域結合手段と、
前記コンピュータが、前記領域結合手段において結合した結合領域を記憶する結合領域特徴記憶手段と、
前記コンピュータが、前記統合領域特徴記憶手段において記憶した統合領域特徴と基本領域特徴記憶手段において記憶した基本領域特徴と結合領域を記憶する結合領域特徴記憶手段において記憶した結合領域特徴との全て、あるいは任意の数種の領域を前記統合領域デザインマップを参照しながら、適応的に複数の部分に分割し、その部分領域毎に部分領域特徴を計算する部分領域分割手段と、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に変更を加える特徴変更手段と、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に対して、前記統合領域デザインマップを参考にしながら、適応的に画像加工処理を行う手段としてコンピュータを機能させるものである。
【００５０】
更に本発明はコンピュータに用いられ、画像データを加工するプログラムにおいて、
画像データに含まれる画素について、少なくとも色を判断基準の一つとして各画素をグループ化し、これにより当該画像データを複数の基本領域に分割するステップと、
分割された基本領域毎に、少なくとも色の特徴を含む当該基本領域の特徴を算出するステップと、
分割された基本領域について、注目した一の基本領域に対して互いに連鎖しかつ互いに隣接するもの同士の基本領域の特徴の差が第１の閾値より小さい基本領域群を検出し、それら基本領域をグループ化して仮統合領域とし、同様にして前記一の基本領域以外の基本領域に対してもグループ化される基本領域群を検出して仮統合領域とし、こうして複数の第１回目の仮統合領域を得るステップと、
第１の閾値を、第１回目の仮統合領域を得るステップ時よりも大きくし、前記ステップと同様のステップを行って、複数の仮統合領域を得てこれらを第２回目の仮統合領域とし、第１回目の仮統合領域と第２回目の仮統合領域とが共通の基本領域を含んでいてかつ第１回目の仮統合領域に含まれる基本領域の数に対する第２回目の仮統合領域の基本領域の数の増加率が予め設定された値よりも小さいときに、その仮統合領域を正式な統合領域として決定するステップと、
第２回目の仮統合領域が決定した後に、第１の閾値の値を更に大きくして同様にして３回目の仮統合領域を定める処理を行うと共に、同様にして２回目の仮統合領域を正式に統合領域として決定する処理を行い、以後、同様の操作を複数回繰り返し、繰り返す際に、前回の処理で統合領域として決定した基本領域を除いた残りの基本領域に対してのみ統合処理を続けるステップと、
正式な統合領域としての決定処理が終った後、正式な統合領域ごとに、何回目の仮統合処理により仮統合領域から正式な統合領域に決定されたのかを示す段階数を記録するステップと、
前記正式に決定された統合領域毎に、基本領域に含まれる画素のデータに基づいて少なくとも色の特徴を含む当該統合領域の特徴を算出するステップと、を含むことを特徴とする。
【００５１】
このプログラムにおいて、前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかを決定するステップと、
選択された結果により決定された表現の単位領域毎に、その表現の単位領域の特徴に基づいて当該単位領域に含まれる画素の色を決定するステップと、を含むようにしてもよい。なお統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかの決定は例えば、前記統合領域の段階数に応じて行われる。
【発明の効果】
【００５２】
本発明によれば、画像データについて、色的にも距離的にも近い画素同士をまとめてグループ化し、これにより複数の基本領域に分割すると共にこれら複数の基本領域において互いに似通っている基本領域同士を更にグループ化して複数の統合領域とし、統合領域自体を表現の単位とするのか、それとも基本領域を表現の単位とするのかを、自動あるいは手動で指定するようにしているため、多様な表現を実現することができる。
【００５３】
また画像データを複数の基本領域、統合領域、結合領域及び部分領域に分割し、夫々の特徴を算出し、統合領域デザインマップの情報、またはデータ入力手段から入力される情報、または予め決められた計算式に従って、画像を構成する画素が、各領域の特徴量のいずれかを基にして、いずれの画素特徴計算式を利用するかを決定したのち、画像を構成する画素特徴が計算されるため、一つの作品の中に多様な表現を盛り込むことが可能になる。
【発明を実施するための最良の形態】
【００５４】
以下、本発明の一実施の形態による画像加工装置について図面を参照しながら説明する。図１は、本発明の一実施形態による画像加工装置の構成を示すブロック図である。図１に示す画像加工装置は、ＲＯＭ(リードオンリメモリ)、ＣＰＵ(中央演算処理装置)、ＲＡＭ(ランダムアクセスメモリ)、外部記憶装置、入力装置、表示装置、通信装置等を備えるコンピュータから構成されている。このコンピュータは、外部記憶装置等に予め記憶されている画像加工プログラムをＣＰＵ等で実行することにより、画像データ入力部１、画像特徴抽出部２、基本領域分割部３、基本領域特徴算出部４、基本領域特徴記憶部５、領域統合部６、統合領域特徴算出部７、統合領域特徴記憶部８、領域結合部９、結合領域特徴算出部１０、結合領域特徴記憶部１１、部分領域分割部１２、部分領域特徴算出部１３、部分領域特徴記憶部１４、表現部１５、特徴変更部１６、統合領域デザインマップ記憶部１７、画像処理領域指示部１８、画像処理領域プリセット記憶部１９、データ入力部２０、画像データ表示部２１、画像データ出力部２２、分割画像データ記憶部２３、処理手順記憶部２４として機能する。
【００５５】
前記画像データ入力部１は、マウス、キーボード及びタブレット等の入力装置、通信インターフェース等の通信装置から構成され、入力装置を用いたユーザーの指令に応じて、スキャナ及びデジタルカメラ等の画像データを原画像として受け付け、原画像を画像特徴抽出部２を構成する基本領域分割部３に入力すると共に、その画像に対する画像処理の手順と処理に必要なパラメータを記述した処理手順をキーボードから直接受け付けたり、ハードディスクから読み込んだりして、その処理手順をＲＡＭまたは外部記憶装置等から構成される処理手順記憶部２４に記憶する。
【００５６】
ここで原画像としては、種々の画像データを用いることができ、ＲＧＢ表色系、ＸＹＺ表色系、Ｌ*ａ*ｂ*表色系で表現される画像データを用いたり、一枚または複数枚の画像データを用いたりしても良い。
【００５７】
前記基本領域分割部３は、入力される原画像を処理手順記憶部２４に記憶されている処理手順に従い、公知の領域分割処理により複数の基本領域に分割し、その結果を分割画像データ記録部２３に保存すると共に、基本領域特徴算出部４で分割された基本領域を、分割画像データ記録部２３に記憶されている分割画像データを基に、当該基本領域毎に当該基本領域の特徴を算出し、算出された基本領域特徴は基本領域特徴記憶部５に保存される。
【００５８】
ここで領域分割処理としては、種々の領域分割処理を用いることができ、５次元のK-平均アルゴリズム(泉ら:「色情報と位置情報とを併用したセグメンテーション手法の一検討」、電子情報通信学会春期全国大会予稿集、D680(1991)、特開平１０−１１５６９号広報に開示されている絵画から筆触を抽出する手法を用いることができる。また基本領域の特徴は、少なくとも基本領域の平均色、基本領域の画像上の位置、基本領域に含まれる画素数を含み、必要に応じて第１主成分、第２主成分等、基本分割領域から抽出可能な特徴量を用いても良い。具体的な領域分割の手法及び様子は後述する。
【００５９】
前記基本領域特徴記憶部５は、ＲＡＭまたは外部記憶装置等から構成され、基本領域特徴を当該基本領域の領域番号に対応付けてテーブル形式で記憶する。
【００６０】
前記領域統合部６は基本領域特徴記憶部５に保存されている基本領域特徴を基に、処理手順記憶部２４に記憶されている処理手順に従い、複数の基本領域を統合して統合領域を作成し、該統合領域の統合領域番号に対応付けてその統合領域にまとめられた基本領域番号を統合領域対応番号表として統合領域特徴記憶部８に保存すると共に、統合された領域の性質と何度目の繰り返し処理によって統合されたかという情報を統合領域記号として統合領域デザインマップにまとめ、それを統合領域デザインマップ記憶部１７に保存する。
【００６１】
前記統合領域特徴算出部７は、領域統合部６において一つの統合領域に統合された基本領域が一つのまとまりとしての特徴を分割画像データ記憶部２３に記憶されている分割画像データを基にして算出する。
【００６２】
前記統合領域特徴記憶部８は、ＲＡＭまたは外部記憶装置等から構成され、統合領域特徴算出部７によって算出された領域特徴を当該統合領域の領域番号に対応付けてテーブル形式で記憶する。
【００６３】
前記領域結合部９は、同一の領域統合としてまとめられた近接する複数の基本領域の中から、処理手順記憶部２４に記憶されている処理手順に決められたルールと、場合によっては画像処理領域指示部１８によって指示されたルールとを用いて、結合される基本領域を選び、該結合領域の結合領域番号に対応付けてその結合領域にまとめられた基本領域番号を結合領域対応番号表として結合領域特徴記憶部１１に保存する。
【００６４】
前記結合領域特徴算出部１０は、領域結合部９にて一つの結合領域に統合された基本領域が一つのまとまりとしての特徴を分割画像データ記憶部２３に記憶されている分割画像データを基に算出する。
【００６５】
前記結合領域特徴記憶部１１は、ＲＡＭまたは外部記憶装置等から構成され、結合領域特徴算出部１０によって算出された特徴を当該結合領域の領域番号に対応付けてテーブル形式で記憶する。
【００６６】
前記部分領域分割部１２は、基本領域特徴記憶部５に記憶されている基本領域特徴と統合領域特徴記憶部８に記憶されている統合領域特徴と結合領域特徴記憶部11に記憶されている結合領域特徴とから、処理手順記憶部２４に記憶されている処理手順に決められたルールと、場合によっては画像処理領域指示部１８によって指示されたルールも用いて各領域特徴を選び出し、選び出された各領域特徴を処理手順記憶部２４によって予め決められた手法、または画像処理領域指示部１８によって指示された手法に基づいて部分領域に分割し、部分領域とその基になった基本領域、統合領域及び結合領域との対応関係を部分領域対応番号表として部分領域特徴記憶部１４に保存する。
【００６７】
前記部分領域特徴算出部１３は、部分領域分割部１２によって分割された部分領域の特徴を分割画像データ記憶部２３に記憶されている分割画像データを基に算出する。
【００６８】
前記部分領域特徴記憶部１４は、ＲＡＭまたは外部記憶装置等から構成され、部分領域特徴算出部１３によって算出された特徴を当該部分領域の領域番号に対応付けてテーブル形式で記憶する。
【００６９】
前記表現部１５は、基本領域特徴記憶部５に記憶されている基本領域特徴と統合領域特徴記憶部８に記憶されている統合領域特徴と結合領域特徴記憶部１１に記憶されている結合領域特徴と部分領域特徴記憶部１４に記憶されている部分領域特徴とから、処理手順記憶部２４に記憶されている処理手順に決められた手法と、場合によっては画像処理領域指示部１８によって指示された手法とに基づいて絵画風画像を構成する。
【００７０】
前記特徴変更部１６は、処理手順記憶部２４に記憶されている処理手順に決められた手法と、場合によっては画像処理領域指示部１８によって指示された手法とに基づいて、基本領域特徴記憶部５に記憶されている基本領域特徴と統合領域特徴記憶部８に記憶されている統合領域特徴と結合領域特徴記憶部１１に記憶されている結合領域特徴と部分領域特徴記憶部１４に記憶されている部分領域特徴とに選択的に変更を加える。
【００７１】
前記統合領域デザインマップ記憶部１７は、領域統合部６が統合する際に算出した統合領域記号を統合領域番号と共にまとめた統合領域デザインマップを記憶しており、この統合領域デザインマップは画像処理領域指示部１８に利用される。
【００７２】
前記画像処理領域指示部１８は、統合領域デザインマップ記憶部１７に記憶されている統合領域デザインマップ内の統合領域記号を基に、領域結合部９、部分領域分割部１２、表現部１５、特徴変更部１６の全て、または一部に、画像処理領域プリセット記憶部１９に予め保存されている処理の指示プリセットから、またはキーボード等から構成されるデータ入力部２０を介して入力されるオペレータの命令により、どの領域にどの処理を行うかを指示する。
【００７３】
前記画像処理領域プリセット記憶部１９は、画像処理領域指示部１８に利用される処理の指示プリセットが多数保存されている。
【００７４】
前記データ入力部２０は、画像処理領域指示部１８にオペレータが命令を送るための入力装置であり、キーボードやマウスまたはペンタブレット、音声認識装置等から構成されている。
【００７５】
前記画像データ表示部２１は、表現部１５によって計算された加工画像を表示したり、統合領域デザインマップ記憶部１７に記憶されている統合領域記号をオペレータに表示したりするＣＲＴや液晶ディスプレー等によって構成されている。
【００７６】
前記画像データ出力部２２は、紙等に出力するプリンターやＣＲＴや液晶画面に表示するディスプレー等によって構成されており、表現部１５によって計算された加工画像を表示したり、プリントしたりする。
【００７７】
前記分割画像データ記憶部２３は、ＲＡＭまたは外部記憶装置等から構成され、基本領域分割部３によって基本領域に割り振られた画素のリストを記憶している。
【００７８】
前記処理手順記憶部２４は、ＲＡＭまたは外部記憶装置等から構成され、画像データ入力部１から入力された画像に対応した処理手順を保存しており、保存された処理手順は選択的に処理を行う各処理部（領域統合処理、領域結合処理、部分分割処理及び表現処理）で利用される。
【００７９】
本実施の形態では、各部は各手段の一例に相当するが、画像処理領域指示部１８及び画像処理領域プリセット記憶部１９については、領域結合部９、部分領域分割部１２、表現部１５及び特徴変更部１６の一部に相当する。
【００８０】
次に、上記のように構成された画像加工装置による画像加工処理について説明する。図２は、図１に示す画像加工装置による画像加工処理を説明するためのフローチャートである。先ず、ステップＳ１において、画像データ入力部１から画像データ及び処理手順が取得される。取得された画像データは基本領域分割部３に送られると共に、処理手順は処理手順記憶部２４に保存される。
【００８１】
次に、ステップＳ２において、処理手順記憶部２４に保存されている処理手順に従い、基本領域の分割が行われる。ここでの分割が最終的な絵画を作り出す筆触の基本になるため、原画像が持つ特徴に合わせて適応的に例えばｋ−平均アルゴリズムの初期値を変化させることが好ましい。例えば、原画像の空間的な色変化が激しい場合はエッジとみなされる特徴が多くなるため、既知のエッジ抽出演算子を用いてエッジを検出し、このエッジの特徴の多少に合わせて、領域数の初期値を変化させる等の手法である。
【００８２】
ｋ−平均アルゴリズムを用いた領域分割のイメージを図３に示す。ここでは理解を容易にするために極めて模式的な説明で進める。先ず取り込んだ画像データ１００Ａを例えば３×３の領域に等分に分割する。そしてそのうちの一つの領域１００について領域分割を行う。これは例えば適当に9分割し（この例では、画像データ１００Ａの分割数と偶然同じ数になっている）、分割された9つの領域に含まれる画素の平均色、重心を計算しそれをそれぞれの領域中心として定義する。図３（ａ）の例では、便宜上一列、３行に各重心を配列して示されている。そして領域１００内の全ての画素が前記９個の領域中心のいずれに近いかを計算する。ここでいう「近い」とは、色及び位置が近いということである。より具体的には、各画素のＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の色の強さを夫々便宜上Ｒ、Ｇ、ＢとしかつＸＹ座標における座標をＸ，Ｙとし、同様に前記領域中心の一つ例えば図３（ｂ）に示した領域中心Ｍ１１についても同様に色の強さをｒ、ｇ、ｂとしかつ重心のＸＹ座標における座標をｘ，ｙとし、（１）式の計算を行う。
｛（Ｒ−ｒ）２＋（Ｇ−ｇ）２＋（Ｂ−ｂ）２＋（Ｘ−ｘ）２＋（Ｙ−ｙ）２｝１／２ ………（１）
即ち領域１００に含まれる全ての画素について、前記９個の領域中心（図３の９個のプロット）に対して（１）式の計算を行うことになる。そうするとある画素に着目した場合、当該画素についての計算結果が９個得られることになる。この中で最小の値が得られる領域中心の領域に当該画素が含まれることになる。これは領域中心Ｍ１１と他の領域中心とのいずれに対しても色の強さが同じであれば、つまり（１）式の前半３項の値が同じであれば、距離的に近い設定画素の方と仲間になるということである。このような計算を繰り返すことにより全画素が前記９個の領域中心のどの画素とグループ化されるのかが決定される。図３（ｂ）はこの様子を示したものである。
【００８３】
ところで９個の領域中心は適当に決めたものであるから、更に次の処理を行う。図３（ｂ）のようにグループ化された領域の各々についてＸ，Ｙ座標における重心を求め、その重心の画素を新たな領域中心とする。図３（ｃ）の●は旧領域中心、○は新たな領域中心である。そして領域１００内の全画素についてこれら新たな９個の領域中心に対して既述と全く同じ処理（図３（ａ）〜（ｃ）の処理）を行い、得られたグループについて同様に重心を求め、更なる新たな９個の領域中心を求める。このような処理を繰り返していくと、９個の領域中心の位置が収束する。そのときの９個のグループの各々が基本領域ということになる。そして領域１００以外の他の８個の領域についても同様にしてグループ化し、基本領域を得る。なお画像データ１００Ａは縦横に分割しなくてもよいが、処理の時間を短縮する上では分割して処理した方が得策である。
【００８４】
この領域分割処理が終了すると、全ての画素は基本領域に属していることになるので、その対応関係を記述した分割画像データを分割画像データ記憶部２３に記憶しておく。この分割画像データとは、イメージとしては画像データが基本領域に分割された状態を示し、画像領域に分割の境界線が記載されたものであり、
データとしては、基本領域の番号と当該基本領域に含まれる画素のＸ，Ｙ座標位置とを対応づけたものである。
【００８５】
次のステップＳ３では、分割画像データ記憶部２３に記憶されている分割画像データを基に、基本領域特徴算出部４により基本領域の特徴を計算する。前記ステップＳ２でｋ−平均アルゴリズムを利用した場合には、分割処理が終了した時点で、基本領域の重心値、平均色、基本領域に含まれる画素数は既に計算されているが、そうでない場合は、これらも基本領域の特徴と一緒に計算する。また、これらの値に加え、特開平１０−１１５６９号広報に開示されてる技術と同様の手法で領域ｎの方向要素Ｄｎ、扁平要素Ｔｎなどを計算し、その結果を基本領域特徴記憶部５に保存する。
【００８６】
ここで方向要素Ｄｎとは、図４に示すように基本領域３００の伸びている方向を表す。
より具体的には、基本領域３００を楕円と見立ててその長軸の伸びている方向を示し、例えば画像データのＸ軸に平行な向きを０度とし、０度から１８０度までを所定の数に等分割し、方向要素Ｄｎとして割り当てることができる。またこの方向要素Ｄｎは、分散が最大になるときの両端の画素を求めそれらの画素を結ぶ直線２０１の方向として決めることもできる。更に扁平要素Ｔｎとは、分散が最小になるときの両端の画素を求め、それらの画素を結ぶ直線２０２の長さを先の直線の長さで割り算した値として決めることができる。
【００８７】
図５は基本領域の番号と、当該基本領域の特徴とを対応づけたデーブルを示しており、各基本領域毎に、赤色、緑色、青色の各色の強さの平均値と、重心位置と、方向要素と、扁平要素と、画素数と、が記載されている。
【００８８】
次のステップＳ４において、処理領域手順記憶部２４に保存されている処理手順の指示に従い基本領域特徴の値を基に領域統合処理を行う。処理手順の指示には、定数Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９、Ｃ１０が記述されており、これらの値を用いて領域統合部６の処理が行われる。領域統合部６の処理の詳細をフローチャートにより説明するが、その前に理解を容易にするために図６から図８を参照しながら処理の概要について説明しておく。
【００８９】
この統合処理で行おうとしていることは、既述のようにして求められた基本領域をグループ化することにある。このグループ化は、基本領域の特徴が似通っており、且つ隣接しているもの同士をまとめることにより行われるが、この実施の形態では、似通っている基本領域同士を一旦グループ化して仮統合領域なるものを形成し、この仮統合領域を検証して正式な統合領域としている。グループ化をするにあたり、基本領域同士が似通っているか否かの判断は、基本領域の特徴の差が閾値よりも低いか否かを判断することにより行われる。基本領域の特徴の差とは、例えば色の強さの差であり、ある基本領域のＲ、Ｇ、Ｂの強さをＲ、Ｇ、Ｂとし、隣接する基本領域の色の強さをｒ、ｇ、ｂとすると、これら色の強さの差（特徴の差Ｄ）とは、（２）式で表される。
Ｄ＝｛（Ｒ−ｒ）２＋（Ｇ−ｇ）２＋（Ｂ−ｂ）２｝１／２ ………（２）
あるいは色の強さと既述の方向要素とを加えたものを特徴として取り上げるときには、一方の基本領域の方向要素及び他方の基本領域の方向要素を夫々Ｄｎ及びｄｎとすると、特徴の差Ｄは（３）式で表される。
Ｄ＝｛（Ｒ−ｒ）２＋（Ｇ−ｇ）２＋（Ｂ−ｂ）２＋（Ｄｎ−ｄｎ）２ ｝１／２ ………（３）
また特徴の差としては、更に既述の扁平要素を加えるようにしてもよく、どれを特徴の差とするかは適宜決定することができる。仮統合領域の決定の様子を図６及び図７を参照しながら極めて模式的に説明する。所定の順序で各基本領域に注目する。今基本領域１番に注目したとすると、この基本領域１番の周囲の基本領域に対して順番に特徴の差を求め、その特徴の差Ｄが閾値Ｃ６よりも小さければこれら基本領域同士をグループ化する。「周囲の基本領域に対して順番に特徴の差を求める」とは、基本領域１番に近い基本領域のうち例えば重心同士が近いものの上位９番目（この「９番目」は実際の装置において適用される一例である）までを拾い上げて比較するという意味である。この例では、基本領域１番に対して特徴の差が閾値Ｃ６よりも小さい基本領域が３番、９番であったとすると、図７に示すように１番、３番、９番の基本領域がグループ化される。同様にして基本領域２番に注目すると、５番、７番、１０番であり、これらがグループ化される。そして基本領域３番と６番とがグループ化されたとすると、１番、３番、６番、９番がグループ化される。以下同様にして、基本領域の仲間同士が連鎖してグループ化され、統合される。こうして統合された領域が仮統合領域であり、図８（ａ）に示される。
【００９０】
この仮統合領域をそのまま統合領域としてもよいが、よりきめこまかな処理を後で行うことができる利点を得るために、この仮統合領域を検証する。今、全ての基本領域について仮統合領域としてまとめる処理（グループ化のチェック）が行われたとすると、全ての基本領域がいずれかの仮統合領域に属するとは限らないが、基本領域一つの領域も仮統合領域と考えることにする。
【００９１】
こうして１回目のグループ化のチェックが行われた後、再度全ての基本領域について同様の処理を行う。つまり２回目のグループ化のチェックを行う。ただしこのときの閾値Ｃ６の値は、１回目の閾値よりも高くする。高くした閾値よりも特徴の差が小さいときにグループ化されるということは、つまりグループ化する条件を緩めることである。このようにしてグループ化すると、１回目にグループ化されたもの同士は離れることはなく、新たな基本領域が仲間に加わることになる。図８（ｂ）は２度目の仮統合処理の途中経過を示している。ここで基本領域5が仮統合領域の1と2に含まれているので、仮統合領域の1と2は番号の小さな1の方に統合され2はなくなる。図８（c）は２度目の仮統合処理結果を示している。そして各仮統合領域に含まれる基本領域の数が１回目に比べてどれだけ増えたかをチェックする。例えば図８において仮統合領域番号１番の基本領域の数は１回目は４個、２回目は10個であり、増加率は１5割になる。この基本領域の数の増加率が所定値以下であれば、例えば１割以下であれば、その仮統合領域を、正式に統合領域とする。これは、ある条件で仲間を集め、少し条件を緩めて仲間を集めてみてもそれほど仲間の数が変わらないということは、周囲に比べて特徴の度合いの強いグループであると判断しているのである。なおより詳しくは、後のフローチャートに示しておくが、仮統合領域内の基本領域の数が所定値以上であることも条件に加えている。正式な統合領域になった基本領域群は、それ以降のグループ化処理からは外れる。
【００９２】
このようなグループ化処理を所定回数、例えば７回行うとすると、どの段階で正式な統合領域に格上げされたかを記録しておく。例えば仮統合領域番号ｊ番は、２回目のグループ化処理で正式な統合領域になったとすると、２段階目の仮統合領域ということになり、以下の説明ではこれを２ｔｈの均一統合領域と呼ぶ場合もある。最終的には２ｔｈの均一統合領域、３ｔｈの均一統合領域………７ｔｈの均一統合領域が形成される。早く統合されて均一統合領域になるものほど、周囲に対する特徴の度合いの強いグループということがいえる。後述するが、このように統合領域に優先順位をつけておいて管理すると、きめ細かな筆触を表すことができる。
【００９３】
ここでこの例では均一統合領域の他に対比統合領域というものも扱っている。ｉ回目例えば２回目のグループ化処理を終えて、仮統合領域について正式な均一統合領域にするか否かをチェックし、「否」であると判定された場合には、その仮統合領域が周囲に対して対比の強い領域か否かを所定条件の下で判定し、対比が強いと判断されれば対比統合領域として管理され、以降のグループ化処理から外れることになる。この場合もどの段階で対比統合処理になったかが記録され、２ｔｈの対比統合領域、３ｔｈの対比統合領域………７ｔｈの対比統合領域が形成されることになる。
【００９４】
以上の模式的な説明を踏まえた上で図9と図10に示したフローチャートで統合処理の具体的なステップについて説明する。
【００９５】
先ず、領域統合部６の処理繰り返し回数ｉ＝０とし、図９に示したステップＳ１０１において、処理回数ｉを増やす。
【００９６】
次にステップＳ１０２で予め決められている繰り返し終了回数Ｃ１、例えばＣ１＝１０より大きいかどうかを判断し、もし大きければ、その時点で処理を終了する。もし小さければ、処理をＳ１０３に移行する。
【００９７】
ステップＳ１０３では仮統合領域の決定を行う。この仮統合領域の決定プロセスは、後程図10のフローチャートで説明する。ｉ回目の仮統合領域が決定したら、通し番号ｊの順番に全ての仮統合領域を次のステップの条件を満たしているかどうかを調べる。初期値としてｊ＝１を入れる（Ｓ１０４）。
【００９８】
ステップＳ１０５において、以下の条件を満たしているかどうかを調べる。
【００９９】
Ｎｉ，ｊ≧Ｇ／（Ｕ×ｉ＋１）、且つ（Ｎｉ，ｊ−Ｎｉ−１，ｊ）／Ｎｉ−１，ｊ＜Ｃ２
ここで、Ｎｉ，ｊはｉ回目に求められたｊ番目の仮統合領域に含まれる基本料域の数であり、Ｇには基本領域の総数を用い、Ｕは処理手順に記述されている値であり、例えば１２０が用いられる。この条件により、ある規定の数より大きな基本領域が仮統合領域に集まっているかどうかを判断している。
【０１００】
また、もう一つの式によって、ｉ−１回目に対応する仮統合領域に含まれる基本領域数がｉ回目の仮統合処理で大きく変化していないかどうかを調べている。ここで、Ｃ２も処理手順に記述されている値であり、例えば１．２を用いる。仮統合領域は先の模式的な説明において記述したように、ｉ回目の仮統合処理で用いる閾値Ｃ６ｉをｉ−１回目の統合で用いる閾値Ｃ６ｉ−１より大きくすることで、ｉ回目の仮統合処理でつくられる仮統合領域に含まれる基本領域の数を増やしているが、この場合、この増加が１．２倍以下であることを調べている。
【０１０１】
このように上の２つの条件を満たしている場合はステップＳ１０７に移り、仮統合領域から正式に均一統合領域として決定され、その基本領域を統合対象から除外する。つまり、基本領域のグループ化処理の回数を１回増やしたときに、あるグループに含まれる基本領域の数の増加率が設定値以上であり、そのグループ内の基本領域の数が設定値以上であったときに、そのグループを正式な統合領域とするのである。
【０１０２】
次に、ステップＳ１０８に移り、決定した均一統合領域に、ｉ-ｔｈ均一統合領域と名付け、それを統合領域記号として統合領域デザインマップに通しの統合領域番号と共に保存し、さらに決定した均一統合領域とそこに属した基本領域の番号の対応表を統合領域特徴記憶部８に保存する。
【０１０３】
ステップＳ１０５に戻り、先の２つの条件が満たされなかった場合は、ステップＳ１０６に移行する。ステップＳ１０６では、Ｎｉ，ｊ≧Ｃ３、Ｎｉ，ｊ≦Ｃ４、Ａｉ，ｊ＞Ｃ５の３つの条件を全て満たしているかどうかを調べることで、統合領域の対比の強さを判断している。ここでＡｉ，ｊは、次のようにして決められた値である。図１１に示すように例えば注目した統合領域ｊに含まれその境界３００に接した基本領域をｋとし、当該統合領域ｊの境界３００に接しかつ注目した統合領域ｊに含まれていない基本領域の中で基本領域ｋに最も近い基本領域をｋ｀とする。そして基本領域ｋの明度と基本領域をｋ｀の明度との差をとり、この差をＡｉ，ｊ，ｋとした場合、注目した統合領域ｊに含まれかつそのその境界３００に接した全ての基本領域ｋについて同様の処理を行って得られたＡｉ，ｊ，ｋの平均を取った値がＡｉ，ｊ である。
【０１０４】
Ｃ５については、例えば原画像の明るさのレンジをＬとし、基準閾値をＢ＝Ｌ／８０とした場合、Ｃ５は基準閾値Ｂの６倍の値を用いることができる。なお基準閾値とは、Ｃ５などの値を決めるためにコンピュータが持っている単位値である。ただし、Ｃ５は基準閾値Ｂの６倍に限らず、１倍から２０倍の中の任意の値を利用することができる。また、Ｃ３＝２及びＣ４＝５を用いることで、対比が強く、面積が小さい統合領域を選び出している。
また、周りとの明るさの対比が同じでも、ｉが小さい値の時は統合領域内の基本領域の明るさのバラツキが少ないため、より強い対比を感じることができる。また、このステップにおいて、Ａｉ，ｊには明るさの対比のみを扱ったが、明るさの対比に代えてあるいは明るさの対比に加えて色度、彩度を考慮した式を採用することもできる。この３条件全てが満たされた場合は、ステップＳ１０９に処理に移行し、満たされなかった場合はステップＳ１１１に移り、ｊの値を一つ増やしてステップ１１２に処理を移す。
【０１０５】
ステップＳ１０９に処理が移った場合は、仮統合領域を正式に対比統合領域として決定し、統合対象から除外する。そして、次のステップＳ１１０において、ｉ-ｔｈ対比統合領域として統合領域デザインマップに記録した後、ステップＳ１１１に移り、ｊの値を一つ増やしてステップＳ１１２に処理を移す。
【０１０６】
ステップＳ１１２においてｊの値をｉ番目の処理の仮統合領域総数と比較し、同じであれば、この段階での仮統合領域について、正式な統合領域への移行処理を終えているので、ステップＳ１０１に移行し、異なる場合は正式な統合領域への移行処理が残っているので、ステップＳ１０４に移行する。
【０１０７】
次に、ステップＳ１０３の仮統合領域の決定方法について図10に示したフローチャートを用いて説明する。なおこのフローは、図８（ａ）〜（ｃ）と対応している。ここでは、ｉ回目の仮統合領域の決定フローであると仮定する。ステップＳ２０１において、仮統合領域番号ｊに対し、先ず初めに、それに含まれる初めの一つとなる基本領域ｊ’を決め、基本領域ｊ’を仮統合領域番号ｊのリストに入れる。
【０１０８】
続いてステップＳ２０２において、注目した基本領域ｊ’とその周囲の基本領域ｊ’’との特徴の差Ｄｊ’’を計算する。次にステップＳ２０３では、Ｄｊ’’＜Ｃ６ｉをチェックし、この条件を満たしていたらステップＳ２０５に処理を移し、その基本領域ｊ’’を仮統合領域ｊのリストに加える。ここで、Ｃ６ｉの値はＣ６ｉ＝ｉ×Ｂ／Ｃ１とし、Ｂは先に示した基準閾値Ｂである。そのため、Ｃ６ｉの値は回数ｉが増えるたびに大きくなっていくので、統合回数が増えるたびに色差の大きな基本領域同士も統合され易くなっていく。
【０１０９】
上述のＤｊ’’＜Ｃ６ｉの条件を満たしていなかったら、ステップＳ２０４を飛ばしてステップＳ２０５に移行する。そして、ステップＳ２０５で、注目した基本領域ｊ’の周囲に計算していない基本領域ｊ’’が有るかどうかをチェックし、もし有ればステップＳ２０２に処理を移し、無ければ処理Ｓ２０６に処理を移す。
【０１１０】
ステップＳ２０６では、仮統合領域リストｊ内に注目していない基本領域ｊ’が有るかどうかを調べ、もし有れば、ステップＳ２０２へ移行し、無ければステップＳ２０７へ移行する。ステップＳ２０７では、全ての基本領域が仮統合領域に属しているかを調べ、属していたら仮統合領域処理を終了して、図３のステップＳ１０３に戻る。まだ属していないものが有れば、仮統合領域番号ｊを一つ増やして、ステップＳ２０１へ戻る。これが図４に示した仮統合領域を決定する処理の流れであり、図３及び図４の処理を繰り返すことで、統合領域が決定される。
【０１１１】
この統合処理の特徴として、仮統合領域に含まれる基本領域の数が閾値を変えて仮統合し直しても変わらなかった場合あるいはあまり変わらなかった場合に正式に統合領域と決定することで、例えば風景画において、空などのグラデーションの途中のような場所で統合領域が途切れてしまうことが避けられるという効果がある。なお仮統合領域に含まれる基本領域の数の変化の程度の把握については、その数の増加率について予め設定値を持っておけばよく、その設定値が１であれば、仮統合し直しても変わらなかった場合に相当し、また設定値が１に近い値であれば、あまり変わらなかった場合ということになる。これに対して１回目の仮統合領域を均一統合領域として扱うと、統合領域に優先順位がつけられないので、表現の自由度が狭まり、例えば連続して色が変わる領域について不連続な色の配置となり、不自然な表現になる場合もあるが、本発明はこのような場合も含まれる。
【０１１２】
統合処理は、図２のステップＳ４で終わったことになるが、この時点で、統合領域番号と基本領域との対応関係（どの統合領域番号の統合領域にどの基本領域が含まれるかということ）が統合領域特徴記憶部８に記憶されているだけではなく、各統合領域がｉ度目の統合処理で統合され、それが均一統合領域もしくは対比統合領域として統合領域デザインマップに書き込まれていることになる。
【０１１３】
また、この統合処理を行う際に、基本領域特徴ｎの一つである扁平要素ＴｎがＴｎ＞Ｃ７を満たしている場合は、その基本領域を統合処理から外し、その基本領域をエッジ統合領域と名付け統合領域デザインマップの統合領域記号に「エッジ」と書き込んでも良い。
さらに、繰り返し処理が終了した後にどの統合領域にも含まれなかった基本領域については独立統合領域と名付け統合領域デザインマップにそれを統合領域記号として書き込んでも良い。このようにすることで、統合されていない一つの基本領域からなるエッジ統合領域と独立統合領域とを夫々加えることで、全ての基本領域が統合領域の統合領域記号として統合領域デザインマップに書き込まれることになる。ここで例えばＣ７は０．９５を用いることができる。エッジ統合領域と独立統合領域は、画像の中で重要な表現を担うことが多く、例えば人の顔と背景との輪郭線などに相当するものであるから、これを抽出しておくことにより輪郭のぼけなどを回避することができる。
【０１１４】
話を戻して、図２のステップＳ５では、統合領域としてまとめられた画素を分割画像データ記憶部２３の分割画像データから集めて、その統合領域特徴を計算する。計算する項目はステップＳ３と同じ項目、つまり、統合領域の重心値、平均色、統合領域ｎの方向要素Ｄｎ、扁平要素Ｔｎ及び統合領域に属する各基本領域に含まれる画素数である。これら統合領域の特徴は統合領域特徴記憶部８に保存される。
【０１１５】
次に、ステップＳ６では、画像処理領域記憶部１９に保存されている処理プリセットの情報を用いて自動で処理する場合と、統合領域デザインマップを画像データ表示部２１に表示し、そのマップを参考にユーザーが処理をデータ入力部２０を用いて指示する場合の２つから一つを選択することができる。
【０１１６】
図２には、ステップＳ９からＳ１３までの処理がシーケンシャルに記述されているが、処理手順記憶部２４に記憶されている処理手順に、これらの処理の記述がない場合は、これらのステップを飛ばして、画像表現部１５で画像特徴の算出を行うステップＳ１３に移行する場合もある。この場合は、基本領域特徴及び統合領域特徴から、絵画作品を作り出すことになり、この２つの領域特徴から筆触を作り出す場合、基本領域特徴から小さな筆触が、そして統合領域特徴から大きな筆触が作り出される。今までは小さな筆触の多くに同じ色を塗ることで、広い範囲を一色にすることはできたが、このように極端に大きさの違う筆触が一つの絵の中で同時に作り出されることはなかった。
【０１１７】
ステップＳ９からステップＳ１３までの処理は、基本領域を結合して大きくしたり、逆に分割して小さくしたりすることで、作り出す絵画作品に様々な表現を加えるためのものであるため、処理手順記憶部２４に記憶されている処理手順に、結合処理に関するステップＳ９及びステップＳ１０と部分領域処理に関するステップＳ１１及びステップＳ１２とのどちらか一方のみを行うという記述を行うことも可能である。
【０１１８】
即ち、ステップＳ５までの処理により得られた統合領域について、これをそのまま利用して表現（描画）していくのか、それとも各統合領域内のいくつかの基本領域を結合し（ステップＳ９及びＳ１０）、それら結合領域を単位として描画するのか、あるいは各統合領域を部分分割して分割領域を単位として（ステップＳ１１及びＳ１２）描画するのかを選択していくことになる。なお最終的に表現処理（描画処理）を行う場合には、これらの領域単位の他に基本領域を単位とする場合も含まれる。
【０１１９】
ステップＳ９がどのようにして実行されるかについて述べると、ステップＳ６にて画像領域指示部１８により自動処理が選択されると、画像領域指示部１８は、画像処理領域プリセット記憶部１９からプリセット処理の指示を読み込む。プリセット処理の指示とは、例えばｔｈ１からｔｈ７までの均一統合領域のうち、優先順位の高いもの例えばｔｈ１及びｔｈ２の均一統合領域については領域結合処理を行い、ｔｈ３の均一統合領域については部分領域分割処理を行い、ｔｈ４からｔｈ７の均一統合領域についてはどちらの処理も行わないといった指示である。なおここに示した例は、あくまでも模式的な説明であり、これらの指示は適宜予め設定される。
【０１２０】
ステップＳ６にて手動処理が選択されると、図１２に示すように統合デザインマップ記憶部１７に記憶されている統合デザインマップを画面に表示し、操作する者がこの画面を見ながら既述のような指示を手動で入力する。従って通常は手動によるプリセット処理の方がきめ細かい表現をできるが、操作の簡略化という点を重視するならば自動処理が選択されるかもしれない。
【０１２１】
ステップＳ９がある統合領域に対して実行される必要がある場合、先ず、当該統合領域内の基本領域をＣ８個ずつペアにする。ペアにするルールとしては、例えばＣ８＝２の場合、近接している２つがなるべく縦につながる様にすることが好ましいが、つながった結果が丸に近くなるようなルールを使用することもできる。近接している２つが縦につながるルールとしては、注目した基本領域の重心位置に近い重心位置の基本領域を検索し、それら基本領域の方向ベクトルが一直線に近いもの同士を結合するといったルールが挙げられる。
【０１２２】
ステップＳ１０は分割画像データ記憶部４の分割画像データの画素から先のステップＳ９で結合された領域を一つの領域として、結合領域特徴を計算し、計算された結合領域特徴を結合領域特徴記憶部１１に記憶する。ここでいう結合領域特徴とは、図５に示した既述の特徴と同様である。
【０１２３】
次に、ステップＳ１１がある統合領域に対して実行される必要がある場合、画像処理領域指示部１８の指示により、既に計算されている基本領域、統合領域及び結合領域のいずれか一つを選び出し、その領域をＣ９個の部分領域に分割し、そのＣ９個の領域特徴を分割画像データ記憶部４の分割画像データの画素から計算し、計算された結合領域特徴を結合領域特徴記憶部１４に記憶する。部分領域の分割のイメージを図１３に示すと、例えば統合領域Ｐ１，Ｐ２，Ｐ３のうちＰ３についてのみ縦に例えば３つに分割されている様子である。この分割数として「３」は便宜上の数値である。このように部分領域に分割するルールも予め定められており、部分分割の対象となる領域に対してそのルールに基づいて部分領域に分割されることになる。この分割処理は、表現したときに刷毛で描いたように見せるためである。
【０１２４】
ここで上記のステップＳ９からＳ１２を利用する場合を想定して処理を説明する。ステップＳ６については、自動処理でない場合について先ず説明する。図１２に、画像データ表示部２１に表示される統合領域デザインマップ内の統合領域記号の例を示す。黒で塗りつぶされている区域がエッジ統合領域、白く抜けている部分が対比統合領域及び独立統合領域、２均一と示されているテクスチャーの部分は２度目の仮統合領域を求めた際に均一統合領域として決定した区域、以下同様に３均一、４均一、５均一、６均一は順に求められた均一統合領域であり、７均一は７度目以上で均一統合領域として決定した区域をまとめたものである。グラデーションのある空が一つにまとまり、その部分に２均一というラベルが付いていることから、提案手法の統合処理が上手く機能し、空が一つに統合されたことが分かる。
【０１２５】
エッジ統合領域、対比統合領域及び独立統合領域は、基本領域から作り出した筆触で描き、少ない繰り返し回数で決定された均一統合領域は、統合領域または先のステップの処理であるステップＳ９及びステップＳ１０で作り出す結合領域やステップＳ１１及びステップＳ１２で作り出す部分分割領域を基に筆触を作り出すことが好ましいということになる。ここで問題なのは、多い繰り返し回数で統合された均一領域について、これらをどちらのグループに入れるべきかは画像の種類によってバラツキがあることである。
【０１２６】
均一統合領域については、すべて表現を加えるための領域にすると決めてしまえば自動で処理することができるが、より質の高い作品を目指す場合には、マニュアル処理にして、画像データ表示部２１に示された統合領域デザインマップの統合領域記号を見てから、統合領域もしくは基本領域を単位として処理の指示を与えるようにすることができる。
【０１２７】
結果として、ステップＳ７またはステップＳ８で、統合領域毎にどの領域特徴から筆触を作るかの指示が出されるため、その指示に従ってこれに続く処理ステップＳ９及びステップＳ１０とステップＳ１１及びステップＳ１２とが実行される。即ち、統合領域は基本領域の集合であり、更に統合領域の中に結合領域及び部分分割領域が存在することがある。仮に３ｔｈの均一統合領域１０番について、ステップＳ７またはＳ８における処理の指示が「表現の単位領域を統合領域とする」という指示であったとすると、統合領域１０番を単位として表現される（統合領域特徴から筆触を作る）ということになる。この場合には、統合領域１０番については、統合領域１０番に含まれる全画素について、当該統合領域１０番の特徴に基づいて色（例えばＲ，Ｇ，Ｂ）及びその明るさが指定されることになる。またステップＳ７またはＳ８における処理の指示が「表現の単位領域を基本領域とする」という指示であったとすると、統合領域１０番に含まれる各基本領域を単位として表現される（基本領域特徴から筆触を作る）ということになる。この場合には、各基本領域毎に、それら基本領域に含まれる全画素について各基本領域の特徴に基づいて色が指定されることになる。更にまた前記処理の指示が「表現の単位領域を結合領域とする」という指示であったとすると、統合領域１０番に含まれる結合領域を表現の単位として描かれ、あるいは前記処理の指示が「表現の単位領域を部分分割領域とする」という指示であったとすると、統合領域１０番に含まれる部分分割領域を表現の単位として描かれるということになる。
【０１２８】
また各統合領域は、何回目の処理（何段階目）で仮統合領域から正式な統合領域になったかということが統合領域デザインマップ記憶部１７に記憶されているので、統合領域の特徴ではなくその統合領域に含まれる基本領域を表現の単位領域とするのは、どの段階の統合領域とするか、また統合領域の特徴を表現の単位領域とするのはどの段階の統合領域とするかというデータがメモリに記憶されている。一例を挙げれば、例えば１ｔｈ〜３ｔｈの均一統合領域については、統合領域統合領域の特徴を表現の単位領域とし、４ｔｈ〜７ｔｈの均一統合領域については、各統合領域に含まれる基本領域を表現の単位領域とするといった情報が予めメモリに入っている例を挙げることができる。この段階の数値は入力部を介して選択できるようになっており、こうすれば、統合領域ごとにどの領域特徴から筆触を作るのかという作業が自動で行うことができる。つまり本発明では手動でも自動でもこうした作業を行うことができるのである。
【０１２９】
ステップＳ１３では、既に計算された各領域特徴、より詳しくは既述の表現単位となった領域（基本領域、統合領域、結合領域あるいは部分分割領域）の特徴を変更することができる。この処理ステップも、処理手順記憶部２４の処理手順に記載が有ったときだけ実行される。ここで行われる処理の一部(領域の形と方向の変更)は、特開平１０−１１５６９号広報に開示されるグループ特徴加工部を構成する技術と基本部分は同一であるが、特開平１０−１１５６９号広報に開示された特徴加工はこの特許で基本領域と記述される領域特徴のみに適応される。これに対し、本特許では、各種の領域特徴（基本領域、統合領域、結合領域あるいは部分分割領域）は、既に図５に示したように同じフォーマットで記述されているため、異なる種類の領域特徴も含めた状態で、領域特徴を変更することができる。
【０１３０】
また、この処理を適用する基本領域を単位とした範囲も選択的に画像処理領域指示部１８から指示される。また、このステップで色彩についても注目した統合領域とその周囲の統合領域との色彩の差を基にした変更が加えられた夫々の領域特徴は、夫々の領域記憶部に戻される。
【０１３１】
図１４に表現部１５の詳しいブロック図を示し、ステップＳ１４での処理の詳細を図１５に示した。この図１５を用いて、ステップＳ１４について説明する。
【０１３２】
ステップＳ３０１において、統合領域毎に、統合領域デザインマップに記載されている統合領域記号を読み、画像処理領域指示部１８の指示に従って、統合領域記号に対応した種類の領域を集めて、通し番号を付け直して表現領域セットを作る。つまり最終的に表現するときには、どの領域が表現単位となるのかが指定されていればよく、基本領域の統合、統合領域内の基本領域の結合、統合領域の部分分割といった一連の処理は、要するに表現単位となる領域の選択の自由度を高めるために行ったのであって、表現するときには、その単位となる領域さえ指定すればよい。例えば統合領域が部分分割されたとすると、部分分割された各領域にナンバリングすることと、各領域の領域特徴が分かりさえすればよいので、この段階では、何番目の試行により統合されたとか、どの基本領域が属しているかといったことは関係がなくなる。
【０１３３】
ステップＳ１４の段階では、表現単位が決定されると、その単位となる領域に新たにナンバリングを付して、各番号付けされた領域とその特徴とをテーブルに抽出する処理が行われる。このテーブルが上記の表現領域セットに相当する。例えばモデル化した説明をすれば、例えば１枚の画像について、処理の結果、基本領域２番、５番、１０番及び統合領域２番、３番、並びに統合領域４番内の３つの部分分割領域から構成されたとすると、これら各領域について新たに番号を付し、この段階ではどのような種類の領域であるかはもはや関係がなくなるのである。
【０１３４】
なお対比の強い部分や輪郭であるエッジの部分に絵画的な表現を加えると、元の画像の重要な特徴を崩してしまうため、例えば人間の顔であれば、誰を描いているのかが分からなくなってしまう。これを避けるために、画像処理領域指示部18としては、エッジ統合領域、対比統合領域、独立統合領域、多い繰り返し回数で決定された均一統合領域等の統合領域記号が付けられている統合領域には表現をあまり加えない写実的な表現で描くべきであるため、統合領域を表現単位とするよりもそれら統合領域に含まれる基本領域を表現単位として表現領域セットに加えるように指示することが好ましい。一方、少ない繰り返し回数で決定された均一統合領域には絵画らしい表現を加えられるように、統合領域そのものや、結合領域、部分領域を表現単位として表現領域セットに加えるように指示することが好ましい。
【０１３５】
次に行われるステップＳ３０２からＳ３０４は、画像に含まれる各画素がどの表現単位領域に属するのかを決定する処理である。この処理は画像に含まれる画素一つ一つについて順番に各表現単位領域との距離計算を行い、例えばその重心位置に物理的に最も近い表現単位領域を、その画素が属する表現単位領域として決定してもよいが、そうすると距離計算のコンピュータの負荷が大きくなるので、ここではジオグラフテーブルを用いている。このジオグラフテーブルとは、各表現単位領域に対して、その重心位置に物理的に近い表現単位領域を指定数まで近い順にリストアップした表である。これを見ることで、任意の表現単位領域の近傍に存在する表現単位領域を見つけることができる。
【０１３６】
画像に含まれる画素群のなかの１番目（ｋ＝１）の画素については、その画素の付近に位置する複数の表現単位領域について順番に所定の距離計算を行い、距離が最小になった表現単位領域を画素特徴記憶部２８に画素番号と共に書き込む。この距離計算式は距離計算式記憶部２６に複数用意されており、その中から選択した距離計算式を用いて計算される。ある計算式では、画素ｋの位置と表現単位領域ｎの重心位置とが最も近くても、前記表現単位領域ｎよりも離れている表現単位領域ｎ｀の伸びている方向の延長線上に当該画素ｋが位置していれば、当該画素ｋは、表現単位領域ｎ｀に最も近い値が得られる。つまりこの場合は、表現単位領域の伸びている方向を重視して表現しようとするものであり、表現の仕方などに応じて距離計算式を選択すればよい。
【０１３７】
そして２番目以降の画素ｋについては、画素（ｋ−１）が属する表現単位領域とジオグラフテーブルが示す近傍表現単位領域について順番に前記距離計算をすればよく、計算値が最小になった表現単位領域に属していると判断する。このようにすれば、距離計算の負荷が小さくなるという利点がある。
【０１３８】
このような概略を踏まえて図１４のフローの説明に戻ると、ステップＳ３０２において、表現領域セットを使ってジオグラフテーブルを作成する。ジオグラフテーブルの作成手法に関しては、特開平１０−１１５６９号広報に開示される手法を利用することができるが、要は互いに位置的に接近している表現単位領域同士をテーブル化すればよいだけなので、テーブル化するアルゴリズムは適宜作成すればよい。
【０１３９】
ステップＳ３０３において、画素特徴算出部２５では、例えば画素番号をｋで表し、ｋ−１番目の画素が属する表現単位領域にリストアップされている他の表現単位領域をジオグラフテーブルから読み出し、処理手順記憶部２４の処理手順と画像処理領域指示部１８の指示とに従って距離計算式記憶部２６から選ばれた距離計算式を用いて注目画素ｋとの距離を計算する。ｋ＝１の場合は表現単位領域１の近傍領域について計算する。距離計算式としては、特開平１０−１１５６９号広報に開示される式（８）が利用できるが、これに限らず、多様な計算式を距離計算式記憶部２６に予め用意しておき、統合領域デザインマップに記載されている統合領域記号に応じて選択して距離計算をし、ステップＳ３０４で距離計算の値が最小になった表現単位領域の番号を画素特徴記憶部２７に画素番号と共に書き込むことで、一つの加工画像の中に様々な筆触を作り出すことができる。
【０１４０】
表現単位領域が部分領域で構成されている場合は、部分領域の一つ一つに対して距離計算を行うことで、部分領域に対応した小さな筆触を作り出すことができるため、印象派によく見られるぶれたブラシのタッチを表現することができる。また、複数の部分領域の値をグループとして用いることで、より複雑な形の筆触を一つ作り出すこともできる。
【０１４１】
例えば、一つの基本領域の中央と両端とから、３つの部分領域が作られている場合、その３つの部分領域の重心を通る２次曲線を定義でき、一方、特開平１０−１１５６９号広報に開示される距離計算式（８）は、領域の第１主成分が領域のローカルなＹ軸に対応しているが、このＹ軸を先の２次曲線に座標変換した上で距離計算を行なうと、筆触が２次曲線に沿って曲がることになる。
【０１４２】
この部分領域の重心を用いて筆触を曲げる技術を使うことで、元の領域が曲がっていたら、それを２次曲線の筆触で近似できることになる。もしも加工画像全体に正確で、より表現の豊かな筆触が必要な場合は、ステップＳ１２で全ての領域の部分領域を求めておくことが好ましい。
【０１４３】
ステップＳ３０５では画素特徴変換部２８において、処理手順記憶部２４の処理手順と画像処理領域指示部１８の指示とに従って画素特徴変換式記憶部２９に保存されている複数の計算式から一つを選び、その画素の画素特徴記憶部２７に保存されている番号の表現単位領域の特徴から画素の色をその式で算出し、その値を加工画像の対応する画素位置に書き込む。このようにすることで、一つの筆触内に色の変化を与えることができるようになる。図２のステップＳ１にてコンピュータが取り込んだ画像、例えば写真画像の各画素は、ステップＳ３０４までの処理においてどの表現単位領域に属するかが判定されているので、このステップＳ３０５においては、その画素が属する表現単位領域に対応する特徴に基づいて当該画素に色が割り当てられる。最も単純な手法によれば例えば表現単位領域のＲ，Ｇ，Ｂの各平均色が割り当てられるが、この例ではその特徴に所定の計算処理を施して計算結果に基づいて前記平均色を割り当てるようにしている。計算処理としては、表現単位領域の重心位置から離れる画素ほど前記平均色が小さくなるといった処理である。
【０１４４】
ステップＳ３０６では画素番号を一つ増やして、ステップＳ３０７でｋの値がＣ１０より大きいことをチェックし、ｋ＞Ｃ１０であれば、処理を終了し、条件を満たさなければ、ステップＳ３０３に戻し、次の画素の処理を続ける。
【０１４５】
図１５の処理が終了したら図２に示したステップＳ１５に処理を戻し、ステップＳ１５では、ステップＳ１４において算出された加工画像を画像データ出力部２２から出力して、印刷したり保存したりする他、画像データ表示部２１にも確認のために表示することができる。即ち、ステップＳ１４までにおいて、各画素に色が割り当てられるので、このステップＳ１５では、割り当てられた色に基づいて各画素を発色させ、これにより先に取り込んだ例えば写真画像が加工されて、絵画風の筆触が表現された加工画像が得られる。
【０１４６】
図１６は、分割画像データ記憶部２３に記憶されている分割画像データである。ここで示されている一つ一つの利用域が基本領域である。
【０１４７】
図１７は、分割画像データから計算される基本領域特徴、結合領域特徴及び分割領域特徴について、エッジ領域、孤立領域、対比領域、６回以上の繰り返しで統一領域に決定した領域については、基本領域特徴と注目画素との、そして、２〜５回の繰り返しで統一領域に決定した領域については、部分領域特徴と注目画素との距離計算をすることで、作り出された加工画像である。
【０１４８】
図１８は、分割画像データから計算される基本領域特徴、結合領域特徴及び分割領域特徴について、エッジ領域、孤立領域及び対比領域については、基本領域特徴と注目画素との、そして、統一領域に決定した領域については、結合領域から計算された部分領域特徴の重心値を利用して計算された２次曲線で座標変換し、さらに、座標変換された第１主成分の軸に沿ってその領域に含まれる画素の数に比例した線幅のみ、めだつ曲線を入れて作り出した加工画像である。
【図面の簡単な説明】
【０１４９】
【図１】本発明の一実施形態による画像加工装置の構成を示すブロック図である。
【図２】図1に示す画像加工装置による画像加工処理を説明するためのフローチャートである。
【図３】画像データを基本領域に分割する様子を示す説明図である。
【図４】基本領域の特徴の一つである方向要素を説明するための説明図である。
【図５】基本領域の特徴の一例を示す説明図である。
【図６】基本領域を統合して仮統合領域を形成する様子を説明するための説明図である。
【図７】基本領域を統合して仮統合領域を形成する様子を説明するための説明図である。
【図８】試行を繰り返すことにより仮統合領域に含まれる基本領域が増加する様子を示す説明図である。
【図９】図2に示す統合領域作成処理を説明するためのフローチャートである。
【図１０】図3に示す仮統合領域作成処理を説明するためのフローチャートである。
【図１１】対比統合領域を形成する様子を示す説明図である。
【図１２】統合領域デザインマップに記述されている統合領域記号を画像として表示する一例を示す図である。
【図１３】統合領域を部分分割する様子を示す説明図である。
【図１４】図１に示す表現部の構成を詳しく説明するためのブロック図である。
【図１５】図２に示す画素特徴の算出を説明するためのフローチャートである。
【図１６】分割画像データの一例を示す図である。
【図１７】加工画像の一例を示す図である。
【図１８】加工画像の一例を示す図である。
【符号の説明】
【０１５０】
１ 画像データ入力部
２ 画像特徴抽出部
３ 基本領域分割部
４ 基本領域特徴算出部
５ 基本領域特徴記憶部
６ 領域統合部
７ 統合領域特徴算出部
８ 統合領域特徴記憶部
９ 領域結合部
１０ 結合領域特徴算出部
１１ 結合領域特徴記憶部
１２ 部分領域分割部
１３ 部分領域特徴算出部
１４ 部分領域特徴記憶部
１５ 表現部
１６ 特徴変更部
１７ 統合領域デザインマップ記憶部
１８ 画像処理領域指示部
１９ 画像処理領域プリセット記憶部
２０ データ入力部
２１ 画像データ表示部
２２ 画像データ出力部
２３ 分割画像データ記憶部
２４ 処理手順記憶部
２５ 画素特徴算出部
２６ 距離計算式記憶部
２７ 画素特徴記憶部
２８ 画素特徴変換部
２９ 画素特徴変換式記憶部
【技術分野】
【０００１】
本発明は、画像データに対して所定の加工、例えば、絵画風の加工を行う画像加工装置、画像加工方法及び画像加工プログラムに関するものである。
【背景技術】
【０００２】
従来、写真画像をスキャナーにより読み込み、読み込んだ画像データに対して、画素の色を変える色変換処理及び画像を歪ませる歪み変換処理等の種々の画像加工処理が行われている。例えば、入力された画像データとその画像データを領域分割した分割結果とから、画素を分割領域毎にグループに分け、それぞれのグループ毎にグループ特徴を計算して記録し、記録したグループ特徴を加工し、加工したグループ特徴から新たに画素を構成することにより、絵画の筆触に対応する画素のグループを変換の単位として、画像データに新しく、且つ豊富な表現を自動的に付与する画像加工合成装置が開発されている(特許文献１参照)。この場合、グループ毎に特徴をまとめ、そのグループを単位として特徴を加工し、加工された特徴を保存するすようにグループに画素を割り当てて画像を構成しているため、グループを筆触に見立てることができ、写真画像等の原画像を様々な筆触の画像に加工することができる。
【０００３】
【特許文献１】特開平１０−１１５６９号公報(第３−９-頁、図１−１４)
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の画像加工合成装置では、絵画の筆触に対応する画素のグループを変換の単位としているため、大きな太い筆触で描く画風や逆に小さなストロークで描く点描画に近い画風を作り出すことができなかった。また、グループ特徴から新たに画素を構成することで作られる筆触も比較的単純な形になってしまっていた。
【０００５】
本発明の目的は、画像データに様々な大きさ、様々な形状の、自然な筆触を画像の情報を基に適切に与えることのできる画像加工装置、画像加工方法及び画像加工プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明は、例えば写真を取り込んで得た画像データを、色的にも距離的にも近い画素同士をまとめてグループ化し、これにより複数の基本領域に分割する。次いでこれら複数の基本領域において互いに似通っている基本領域同士を更にグループ化して複数の統合領域とする。本発明の最も単純な手法としては、概略的に言えば、こうして得られた統合領域において、統合領域自体を表現の単位とするのか、それとも基本領域を表現の単位とするのかを、予め定められた処理の仕方（実施の形態では「処理の指示プリセット」に対応する）あるいはオペレータが手動で決めた処理の仕方に基づいて決定し、例えば背景の一部分については統合領域を表現の単位として、また人物の一部分については基本領域を表現の単位として表現する（その領域の特徴に応じて当該領域に含まれる画素の色を決定する）ものである。
【０００７】
そして本発明の更なる特徴としては、統合領域をいかにして作成するかという点にあり、統合領域を更に処理して例えば統合領域内の複数の基本領域を結合させて複数の結合領域としたり、あるいは統合領域を部分分割して部分領域なるものを形成し、基本領域及び統合領域の他に結合領域あるいは部分領域をも表現の単位領域として選択できるようにし、表現のより大きな自由度を確保して様々な画風のしかも自然な筆触の画像が得られるようにしたものである。
【０００８】
本発明の基本的な態様は、画像データに含まれる画素について、少なくとも色を判断基準の一つとして各画素をグループ化し、これにより当該画像データを複数の基本領域に分割する基本領域分割処理手段と、
分割された基本領域毎に、基本領域に含まれる画素のデータに基づいて少なくとも色の特徴を含む当該基本領域の特徴を算出する基本領域特徴算出手段と、
この基本領域特徴算出手段により算出された基本領域特徴の内の少なくとも色に基づいて、複数の基本領域を統合して統合領域を制作する領域統合手段と、
前記統合領域毎に、少なくとも色の特徴を含む当該統合領域の特徴を算出する統合領域特徴算出手段と、
前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかを決定する画像処理領域指示部と、
選択された結果により決定された表現の単位領域毎に、その表現の単位領域の特徴に基づいて当該単位領域に含まれる画素の色を決定する表現部と、を備えたことを特徴とする。
また本発明に係る画像加工装置は、画像データを複数の基本領域に分割する基本領域分割処理手段の処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶手段と、
前記分割画像データ記憶手段に保存されている分割画像データを基に基本領域毎に当該基本領域の特徴を算出する基本領域特徴算出手段と、
前記基本領域特徴算出手段により算出された基本領域特徴を基本領域毎に記憶する基本領域特徴記憶手段と、
前記基本領域特徴記憶手段に記憶されている基本領域特徴を基に複数の基本領域を統合して統合領域を制作する領域統合手段と、
前記領域統合手段により統合された統合領域と前記分割画像データ記憶手段に保存されている分割画像データとから前記統合領域特徴算出手段により算出された統合領域特徴を記憶する統合領域特徴記憶手段とからなる画像特徴抽出手段と、
前記統合領域特徴算出手段により統合領域特徴を算出する際に書き出された統合領域デザインマップを記憶する統合領域デザインマップ記憶手段と、
前記統合領域デザインマップ記憶手段に記憶されている統合領域デザインマップの情報に応じて計算式や計算式に含まれる係数を変更する計算手法を用いて、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴、もしくはそれらに加え、それらの領域特徴を結合、もしくは分割することで作り出された新たな領域特徴から計算される結果を基に画像加工を行う表現手段と、を備えるものである。
【０００９】
本発明に係る画像加工装置では、画像データを複数の基本領域に分割し、基本領域毎に当該基本領域の基本領域特徴を算出し、さらに算出された基本領域特徴を基に複数の基本領域を統合して統合された基本領域から統合領域特徴を算出すると共に、統合の過程で得られる情報を基に統合領域デザインマップも算出し、統合領域デザインマップの情報に応じて計算式や計算式に含まれる係数を変更する計算手法を用いて、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴、もしくはそれらに加え、それらの領域特徴を結合、もしくは分割することで作り出された新たな領域特徴から計算される結果を基に加工画像データが計算されるため基本領域特徴からは基本となるサイズの筆触が、そして統合領域特徴からは大きなサイズの筆触が、さらに結合した領域特徴からは中間の大きさの筆触が、分割された領域特徴からは小さなサイズの筆触が、作り出せるようになる。そして統合領域デザインマップには、画像のどの部分をどの大きさの筆触で描くべきかについて参考となる情報が蓄えられているため、その情報を参考に描かれている対象として残すべき特徴は、細かい描写が可能な小さなサイズの筆で、そしていろいろな画風を加えて見た目の印象を変えるのに効果的な部分には表現に合わせた様々なサイズの筆で描くことで、描かれている対象の特徴を残しながら、且つ表現力のある作品を作り出すことができる。
【００１０】
上述した表現手段は、画像を構成する色情報などの画素の特徴を計算するに当たり、先に示した統合領域特徴と基本領域特徴との２つの領域特徴、もしくはどちらか一方の領域特徴と画像の位置情報を入力値として、所定の計算１を行い、その結果最大もしくは最小の値を与えた基本領域の基本領域特徴、もしくは統合領域の統合領域特徴、もしくはその両者に加え、先の計算結果の最小の値と２番目に小さな値との差から計算される値の全て、もしくはいくつかを入力値として画素特徴を計算することが望ましい。
【００１１】
この場合、最大値と２番目に大きな値との差が０である画素はどちらの領域の特徴を備えても良い画素、つまりその画素の位置が筆触の境界であり、０でない画素はその値が、境界からどれだけ離れているかについての指標とみなすことができるため、筆触の周辺からの距離に応じて異なる表現を与えることができるようになる。
【００１２】
上述した画像特徴抽出手段は、同じ統合領域に統合された複数の基本領域の中から２つ以上の基本領域を選び結合を行う領域結合手段と、その領域結合手段により結合された結合領域と分割画像データ記憶手段に保存されている分割画像データとから結合領域特徴を計算する結合領域算出手段と、前記結合領域算出手段により算出された結合領域特徴を記憶する結合領域特徴記憶手段と、を備えていることが望ましい。
【００１３】
この場合、大きな筆触となる統合領域特徴と、小さな筆触となる基本領域特徴とに加え、その中間の大きさの筆触を作り出すことのできる結合領域特徴が利用可能になる。
【００１４】
上述した前記画像特徴抽出手段は、前記画像特徴抽出手段に記載の各手段に加え、統合領域、あるいは基本領域、あるいは結合領域、をそれぞれ複数の部分領域に分ける部分領域分割手段を備え、前記統合領域特徴記憶手段に記憶されている統合領域特徴、あるいは前記基本領域特徴記憶手段に記憶されている基本領域特徴、あるいは前記結合領域特徴記憶手段に記憶されている結合領域特徴と、それらに加え、前記分割画像データ記憶手段に保存されている分割画像データを参照して、各部分領域から部分領域特徴を計算する部分領域特徴算出手段と、計算された部分領域特徴を記憶する部分領域特徴記憶手段を備えていることが望ましい。
【００１５】
この場合は、３種類の領域特徴がさらに小さく分けられるため、今まで一番細かかった基本領域よりもさらに細かい筆触で表現することができるようになる。また、分割領域特徴は基になる一つの領域を複数の部分領域の集合で表現するための基の情報にもなる。
【００１６】
上述した前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、それぞれから前記部分領域特徴記憶手段に記憶されている部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の領域特徴と画素の位置情報を入力値として、最も好ましい領域特徴が選ばれたときに最小の値を示すように考えられた所定の計算２を行い、その結果最小の値を与えた基本領域の基本領域特徴、もしくは統合領域の統合領域特徴、もしくは結合領域の結合領域特徴、もしくはそれらに加え、先の所定の計算２の計算結果の最小の値と２番目に小さな値との差から計算される値の全て、またはその中のいくつかを入力値として画像を構成する画素の画素特徴を計算することが好ましい。
【００１７】
この場合、統合領域特徴、基本領域特徴に加え、結合領域特徴、部分領域特徴から画素特徴を計算することで、小さな筆触、中間のサイズの筆触を作り出すことができるようになり、その結果さらに表現力が増す。
【００１８】
上述した前記画像特徴抽出手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、それぞれから前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の各領域特徴を、
その各領域特徴において、基本領域または統合領域または結合領域または部分領域の周囲に位置する基本領域または統合領域または結合領域または部分領域の各領域特徴から計算された値を基に変更する特徴変更手段と、を備えていることが望ましい。
【００１９】
この場合、一つの領域特徴から一つの筆触が作り出されるので、絵画らしい筆触を作り出すには、絵画らしい領域特徴が得られる必要があるが、一つの領域特徴がその領域の周囲の領域の特徴の値によって影響を受けて変化することになるので、例えば領域特徴として、領域の方向が周りの領域の方向に影響されて、変化すると、うねるような筆触が作り出される。
【００２０】
上述した前記領域統合手段は、印の付いていない基本領域をみつけ、それに印1を付ける。その基本領域に隣接する基本領域間の特徴量の差が第１の閾値より小さい基本領域に印1を付け、さらに、その印1を付けられた基本領域に隣接する基本領域間の特徴量の差が第１の閾値より小さい基本領域にも印1を付けるという作業を繰り返し、最終的に印1が付けられた基本領域をまとめ仮統合領域1とし、まとめ終わったら、初めに戻り、印の付いていない基本領域を見つけ、その基本領域に印2を付け同様の処理を繰り返し、最終的に印の付いてない基本領域がなくなるまで繰り返す。次に、仮統合領域に含まれる基本領域の数が第１の個数より大きい仮統合領域に注目し、それに隣接する基本領域間の特徴量の差が第１の閾値より大きく、第２の閾値より小さい基本領域を同様の手法でまとめ、まとめられた新たな仮統合領域が先の注目した仮統合領域に含まれていた基本領域を含んでおり、且つ新たな仮統合領域にまとめられた基本領域の数を先の注目した仮統合領域にまとめられていた基本領域の数で割った値が１より大きく規定値１より小さい場合にその仮統合領域を正式に統合領域として決定することが望ましい。
【００２１】
この場合、一度で統合領域を決定せずに、１度目は仮統合領域としておき、閾値を変えて行う２度目の統合処理で、統合処理を行っても統合領域に大きな変化がなかった場合に、正式な統合領域として決定するため、グラデーションの部分が途中で切れることが少なく、確度の高い統合領域だけを抽出することができ、絵画として同質とみなされる領域を統合領域としてまとめることができるようになる。
【００２２】
上述した前記領域統合手段は、２回目の仮統合領域が決定した後に、第２の閾値の値を新たに第１の閾値として、３回目の仮統合領域を定める処理と２回目の仮統合領域を正式に統合領域として決定する処理を行い、以後、同様の操作を複数回繰り返し、繰り返す際に、前回の処理で統合領域として決定した基本領域を除いた残りの基本領域に対してのみ統合処理を続け、例えばｎ回目の正式な統合領域としての決定処理が終った時には、その統合領域に通し番号を与え、統合領域デザインマップにその番号とｎ回目の均一統合領域であることとを記録することが望ましい。
【００２３】
この場合、閾値を大きくしながら、統合を繰り返すため、２度だけでは統合できなかった領域も統合できることになる。また、繰り返しの少ない回数で統合された領域の方がより均一な領域なので、領域が何度目の繰り返しで統合されたかをデザインマップに記録しておこくとで、この情報を画素に表現を加える際に有効に利用できることになる。
【００２４】
上述した前記領域統合手段は、ｎ回目の繰り返し処理後に、基本領域数が第１の個数より大きく、第２の個数より小さい仮統合領域に注目し、その仮統合領域の境界付近に位置する基本領域の中で、注目した仮統合領域内にある基本領域の基本領域特徴とそれに隣接し、且つ注目した仮統合領域外にある基本領域の基本領域特徴との差の平均値の絶対値が規定値２より大きい場合に、さらに、その仮統合領域に通し番号を与え、統合領域デザインマップにその通し番号とｎ回目の対比統合領域であることとを記録し、この仮統合領域を統合処理の対象から除外した後にｎ＋１回目の繰り返し処理を行うことが好ましい。
【００２５】
この場合、デザインを考えると、面積が小さく、周囲との強い対比のある統合領域が目立ち、重要な領域になるので、このような領域を統合して決定し、それを統合領域デザインマップに記録しておくことで、統合領域も統合領域デザインマップも表現の際に役立たせることができる。
【００２６】
上述した前記領域統合手段は、全ての処理をする前に、規定値３より大きい基本領域特徴を持つ基本領域を予め除外しておく、除外された基本領域の情報を先の統合領域デザインマップに記述しておくことが望ましい。
【００２７】
この場合、２つの対象の間にあるエッジ部分に乗っている基本領域はどちらにも統合すべきではないが、このことを実現するために、エッジ部分に乗っている基本領域は極端に細長いことを利用し、この細長さを基本領域特徴として表現しておくと、この特徴が規定値３より大きい場合は、統合せずに初めから候補から除外しておくことができ、また、この情報を統合領域デザインマップが保持するため、表現の際に役立たせることができるようになる。
【００２８】
上述した前記領域結合手段は、前記領域統合手段により同じ統合領域にまとめられた近接する複数の基本領域に対し、１つの結合領域として結合させる基本領域の個数とそれらの基本領域が結合可能となる基本領域特徴との関係をその基本領域が属する統合領域の統合領域デザインマップに記述されている情報に応じて変化させることが好ましい。
【００２９】
この場合、基本領域を結合するかどうかは表現の上では、どの太さの筆で描くかに当たる部分なので、画像のそのものが持っている情報を参考に決めるべきであるが、その情報を統合領域デザインマップが持っているため、これを利用することで、画風に合わせた適切な太さの筆の選択ができるようになる。
【００３０】
上述した前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、夫々から前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の各領域特徴を、夫々が含まれている統合領域の統合領域デザインマップに記述されている情報を基に選び出し、さらに前記統合領域デザインマップに記述されている情報を基に選び出された領域特徴から画素特徴を計算する計算式を切り替えて、画素特徴を計算することが好ましい。
【００３１】
この場合、統合領域デザインマップは、エッジの部分や、少ない面積でも重要な部分の情報を持っているため、統合領域デザインマップの情報を利用してこのような部分を避けて、いろいろな画風の表現を与えることで、元の絵の内容を損なわない表現を作り出すことができるようになる。
【００３２】
先ず、画素特徴がどのタイプの領域から計算されるかが重要になるため、基本領域特徴から画素特徴を計算するか、または、その基本領域が含まれている統合領域の統合領域特徴から画素特徴を計算するか、または、その基本領域が結合された結合領域から画素特徴を計算するかを統合領域デザインマップの情報を基に決定することで、細かく描くべきところを細かく描くことができるようになる。
【００３３】
さらに、選び出された特徴から画素特徴を計算する計算式の選び方で、画風が変えられるので、この計算式を選択する際にも統合領域デザインマップの情報を基に決定することで、適切な表現が加えられるようになる。
【００３４】
上述した前記部分領域分割手段は、統合領域、あるいは基本領域、あるいは結合領域、を夫々複数の部分領域に分け、その部分領域毎に、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴、あるいは前記基本領域特徴記憶手段に記憶されている基本領域特徴、あるいは前記結合領域特徴記憶手段に記憶されている結合領域特徴を参照して部分領域特徴を計算する際に、部分領域が属していた統合領域の統合領域デザインマップに記述されている情報に応じて異なる計算式が選択され、それを用いて部分領域算出手段によって部分領域の部分領域特徴が計算され、計算された部分領域特徴が部分領域特徴記憶手段に記憶されることが好ましい。
【００３５】
この場合、部分領域は基になる統合領域、基本領域、結合領域から分けて作られるが、この部分領域の作り方も、表現変化を加える重要な要素であるため、統合領域の統合領域デザインマップに記述されている情報に応じて適切な計算式を与えることで、結果として適切な表現を与えられるようになる。
【００３６】
上述した前記特徴変更手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴と前記部分領域分割手段により計算される部分領域特徴とのうち４種類の領域特徴から、あるいは任意の数種類から選択された各領域特徴を変更するための数式を複数用意しており、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域デザインマップに記述されている情報に応じて、適切な数式を選択して、その選択された数式を用いて各特徴量を変更することが好ましい。
【００３７】
この場合、既に計算されている各領域特徴の色や外形をさらに変化させる特徴変更手段に統合領域デザインマップに記述されている情報を利用できるようにすることで、画像のどこの特徴にどのような変化を与えるべきかが明確になる。
【００３８】
前記統合領域特徴、結合領域特徴、基本領域特徴、各領域特徴の記述単位である統合領域、結合領域、基本領域の各領域毎に領域の通し番号とその領域に含まれている画素の統計量を要素として持ち、最低限、平均色、各領域毎に含まれている画素の重心、各領域毎に含まれている画素数、を含むことが好ましい。
【００３９】
この場合、絵画の表現に必要なものには様々な統計量が考えられるが、どの領域にも必ず含まれていなくては、表現力が極端に落ちる要素があるため、それを規定することで、表現力が失われるリスクを避けることができる。
【００４０】
上述した前記表現手段は、表現処理を画像データに対して、前記統合領域特徴記憶手段に記憶されている統合領域特徴、または前記基本領域特徴記憶手段に記憶されている基本領域特徴、または前記結合領域特徴記憶手段に記憶されている結合領域特徴から計算される画像範囲を単位として、夫々に異なる処理をオペーレータの指示で加えられるように、画像データを複数の領域に分けるためのデータ入力手段を備えていることが好ましい。
【００４１】
この場合、画像加工装置に統合領域、基本領域、結合領域を単位として表現を与える画像範囲を直接指示することが可能になる。
【００４２】
上述した前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴とに対して、前記部分領域分割手段により夫々３つの領域特徴から計算される部分領域特徴を利用して、夫々３つの領域特徴から作り出される筆触の形を様々に変化されることが好ましい。
【００４３】
この場合、一つの領域特徴から作り出される部分領域の数に応じて、筆触の形の複雑さを変えることができる。例えば３つの部分領域が作られていれば、その部分領域特徴を用いることで、２次曲線に従った筆触の変形が可能になる。
【００４４】
上述した前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、夫々から前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の領域特徴と画像の位置情報を入力値として、最も好ましい特徴が選ばれたときに値が最小になる所定の計算３を行い、ｎを自然数とし、その計算の結果は１番目からｎ番目に小さい値までを与えたｎ個の基本領域の基本領域特徴、もしくはｎ個の統合領域の統合領域特徴、もしくはｎ個の結合領域の結合領域特徴、もしくはそれらのいくつかと、さらに、先の計算結果の最小の値と２番目に小さな値との差（最小の値とｎ−１番目に小さな値との差から計算されるｎ−１個の値）の全て、もしくはいくつかを入力値として画素特徴を計算することが望ましい。
【００４５】
この場合、一つの画素を決定する際に一つの領域だけでなく、その画素に影響力のあると考えられる複数の領域の特徴を考慮して画素特徴を計算することができるため、より微妙な表現を実現できるようになる。
【００４６】
本発明に係る画像加工方法はコンピュータを用いて画像を加工する画像加工方法であって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理ステップの処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶ステップと、
前記分割画像データ記憶ステップに保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出ステップと、
前記コンピュータが、前記基本領域特徴算出ステップにおいて算出した基本領域特徴を領域毎に記憶する基本領域特徴記憶ステップと、
前記コンピュータが、前記基本領域特徴記憶ステップにおいて記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成する領域統合ステップと、
前記コンピュータが、前記領域統合ステップにおいて統合した統合領域を記憶する統合領域特徴記憶ステップと、
前記統合領域特徴記憶ステップに記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶ステップに記憶されている基本領域特徴との２つの領域特徴から計算される結果を基に前記画像データに対して表現処理を行う表現ステップとを含むものである。
【００４７】
本発明に係る画像加工方法はコンピュータを用いて画像を加工する画像加工方法であって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理ステップの処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶ステップと、
前記分割画像データ記憶ステップに保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出ステップと、
前記コンピュータが、前記基本領域特徴算出ステップにおいて算出した特徴を基本領域毎に記憶する基本領域特徴記憶ステップと、
前記コンピュータが、前記基本領域特徴記憶ステップにおいて記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成すると共に、統合領域デザインマップを制作する領域統合ステップと、
前記コンピュータが、前記領域統合ステップにおいて統合した統合領域を記憶する統合領域記憶ステップと、
前記コンピュータが、前記統合領域特徴記憶ステップにおいて記憶した統合領域特徴を基に複数の基本領域を結合して結合領域を作成する領域結合ステップと、
前記コンピュータが、前記領域結合ステップにおいて結合した結合領域を記憶する結合領域特徴記憶ステップと、
前記コンピュータが、前記統合領域特徴記憶ステップにおいて記憶した統合領域特徴と基本領域特徴記憶ステップにおいて記憶した基本領域特徴と結合領域を記憶する結合領域記憶ステップにおいて記憶した結合領域特徴との全て、あるいは任意の数種の領域を前記統合領域デザインマップを参考にしながら、適応的に複数の部分に分割し、その部分領域毎に部分領域特徴を計算する部分領域分割ステップと、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に変更を加える特徴変更ステップと
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に対して、前記統合領域デザインマップを参照しながら、適応的に表現処理を行う表現ステップとを含むものである。
【００４８】
本発明に係る画像加工プログラムは画像を加工する画像加工プログラムであって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理手段の処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶手段と、
前記分割画像データ記憶手段に保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出手段と、
前記コンピュータが、前記基本領域特徴算出手段において算出した基本領域特徴を基本領域毎に記憶する基本領域特徴記憶手段と、
前記コンピュータが、前記基本領域特徴記憶手段において記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成する領域統合手段と、
前記コンピュータが、前記領域統合手段において統合した統合領域を記憶する統合領域特徴記憶手段と、
前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴との２つの領域特徴から計算される結果を基に前記画像データに対して表現処理を行う手段としてコンピュータを機能させるものである。
【００４９】
本発明に係る画像加工プログラムは画像を加工する画像加工プログラムであって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理手段の処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶手段と、
前記分割画像データ記憶手段に保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出手段と、
前記コンピュータが、前記基本領域特徴算出手段において算出した特徴を基本領域毎に記憶する基本領域特徴特徴記憶手段と、
前記コンピュータが、前記基本領域特徴記憶手段において記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成すると共に、統合領域デザインマップを制作する領域統合手段と、
前記コンピュータが、前記領域統合手段において統合した統合領域を記憶する統合領域特徴記憶手段と、
前記コンピュータが、前記統合領域特徴記憶手段において記憶した統合領域特徴を基に複数の基本領域を結合して結合領域を作成する領域結合手段と、
前記コンピュータが、前記領域結合手段において結合した結合領域を記憶する結合領域特徴記憶手段と、
前記コンピュータが、前記統合領域特徴記憶手段において記憶した統合領域特徴と基本領域特徴記憶手段において記憶した基本領域特徴と結合領域を記憶する結合領域特徴記憶手段において記憶した結合領域特徴との全て、あるいは任意の数種の領域を前記統合領域デザインマップを参照しながら、適応的に複数の部分に分割し、その部分領域毎に部分領域特徴を計算する部分領域分割手段と、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に変更を加える特徴変更手段と、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に対して、前記統合領域デザインマップを参考にしながら、適応的に画像加工処理を行う手段としてコンピュータを機能させるものである。
【００５０】
更に本発明はコンピュータに用いられ、画像データを加工するプログラムにおいて、
画像データに含まれる画素について、少なくとも色を判断基準の一つとして各画素をグループ化し、これにより当該画像データを複数の基本領域に分割するステップと、
分割された基本領域毎に、少なくとも色の特徴を含む当該基本領域の特徴を算出するステップと、
分割された基本領域について、注目した一の基本領域に対して互いに連鎖しかつ互いに隣接するもの同士の基本領域の特徴の差が第１の閾値より小さい基本領域群を検出し、それら基本領域をグループ化して仮統合領域とし、同様にして前記一の基本領域以外の基本領域に対してもグループ化される基本領域群を検出して仮統合領域とし、こうして複数の第１回目の仮統合領域を得るステップと、
第１の閾値を、第１回目の仮統合領域を得るステップ時よりも大きくし、前記ステップと同様のステップを行って、複数の仮統合領域を得てこれらを第２回目の仮統合領域とし、第１回目の仮統合領域と第２回目の仮統合領域とが共通の基本領域を含んでいてかつ第１回目の仮統合領域に含まれる基本領域の数に対する第２回目の仮統合領域の基本領域の数の増加率が予め設定された値よりも小さいときに、その仮統合領域を正式な統合領域として決定するステップと、
第２回目の仮統合領域が決定した後に、第１の閾値の値を更に大きくして同様にして３回目の仮統合領域を定める処理を行うと共に、同様にして２回目の仮統合領域を正式に統合領域として決定する処理を行い、以後、同様の操作を複数回繰り返し、繰り返す際に、前回の処理で統合領域として決定した基本領域を除いた残りの基本領域に対してのみ統合処理を続けるステップと、
正式な統合領域としての決定処理が終った後、正式な統合領域ごとに、何回目の仮統合処理により仮統合領域から正式な統合領域に決定されたのかを示す段階数を記録するステップと、
前記正式に決定された統合領域毎に、基本領域に含まれる画素のデータに基づいて少なくとも色の特徴を含む当該統合領域の特徴を算出するステップと、を含むことを特徴とする。
【００５１】
このプログラムにおいて、前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかを決定するステップと、
選択された結果により決定された表現の単位領域毎に、その表現の単位領域の特徴に基づいて当該単位領域に含まれる画素の色を決定するステップと、を含むようにしてもよい。なお統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかの決定は例えば、前記統合領域の段階数に応じて行われる。
【発明の効果】
【００５２】
本発明によれば、画像データについて、色的にも距離的にも近い画素同士をまとめてグループ化し、これにより複数の基本領域に分割すると共にこれら複数の基本領域において互いに似通っている基本領域同士を更にグループ化して複数の統合領域とし、統合領域自体を表現の単位とするのか、それとも基本領域を表現の単位とするのかを、自動あるいは手動で指定するようにしているため、多様な表現を実現することができる。
【００５３】
また画像データを複数の基本領域、統合領域、結合領域及び部分領域に分割し、夫々の特徴を算出し、統合領域デザインマップの情報、またはデータ入力手段から入力される情報、または予め決められた計算式に従って、画像を構成する画素が、各領域の特徴量のいずれかを基にして、いずれの画素特徴計算式を利用するかを決定したのち、画像を構成する画素特徴が計算されるため、一つの作品の中に多様な表現を盛り込むことが可能になる。
【発明を実施するための最良の形態】
【００５４】
以下、本発明の一実施の形態による画像加工装置について図面を参照しながら説明する。図１は、本発明の一実施形態による画像加工装置の構成を示すブロック図である。図１に示す画像加工装置は、ＲＯＭ(リードオンリメモリ)、ＣＰＵ(中央演算処理装置)、ＲＡＭ(ランダムアクセスメモリ)、外部記憶装置、入力装置、表示装置、通信装置等を備えるコンピュータから構成されている。このコンピュータは、外部記憶装置等に予め記憶されている画像加工プログラムをＣＰＵ等で実行することにより、画像データ入力部１、画像特徴抽出部２、基本領域分割部３、基本領域特徴算出部４、基本領域特徴記憶部５、領域統合部６、統合領域特徴算出部７、統合領域特徴記憶部８、領域結合部９、結合領域特徴算出部１０、結合領域特徴記憶部１１、部分領域分割部１２、部分領域特徴算出部１３、部分領域特徴記憶部１４、表現部１５、特徴変更部１６、統合領域デザインマップ記憶部１７、画像処理領域指示部１８、画像処理領域プリセット記憶部１９、データ入力部２０、画像データ表示部２１、画像データ出力部２２、分割画像データ記憶部２３、処理手順記憶部２４として機能する。
【００５５】
前記画像データ入力部１は、マウス、キーボード及びタブレット等の入力装置、通信インターフェース等の通信装置から構成され、入力装置を用いたユーザーの指令に応じて、スキャナ及びデジタルカメラ等の画像データを原画像として受け付け、原画像を画像特徴抽出部２を構成する基本領域分割部３に入力すると共に、その画像に対する画像処理の手順と処理に必要なパラメータを記述した処理手順をキーボードから直接受け付けたり、ハードディスクから読み込んだりして、その処理手順をＲＡＭまたは外部記憶装置等から構成される処理手順記憶部２４に記憶する。
【００５６】
ここで原画像としては、種々の画像データを用いることができ、ＲＧＢ表色系、ＸＹＺ表色系、Ｌ*ａ*ｂ*表色系で表現される画像データを用いたり、一枚または複数枚の画像データを用いたりしても良い。
【００５７】
前記基本領域分割部３は、入力される原画像を処理手順記憶部２４に記憶されている処理手順に従い、公知の領域分割処理により複数の基本領域に分割し、その結果を分割画像データ記録部２３に保存すると共に、基本領域特徴算出部４で分割された基本領域を、分割画像データ記録部２３に記憶されている分割画像データを基に、当該基本領域毎に当該基本領域の特徴を算出し、算出された基本領域特徴は基本領域特徴記憶部５に保存される。
【００５８】
ここで領域分割処理としては、種々の領域分割処理を用いることができ、５次元のK-平均アルゴリズム(泉ら:「色情報と位置情報とを併用したセグメンテーション手法の一検討」、電子情報通信学会春期全国大会予稿集、D680(1991)、特開平１０−１１５６９号広報に開示されている絵画から筆触を抽出する手法を用いることができる。また基本領域の特徴は、少なくとも基本領域の平均色、基本領域の画像上の位置、基本領域に含まれる画素数を含み、必要に応じて第１主成分、第２主成分等、基本分割領域から抽出可能な特徴量を用いても良い。具体的な領域分割の手法及び様子は後述する。
【００５９】
前記基本領域特徴記憶部５は、ＲＡＭまたは外部記憶装置等から構成され、基本領域特徴を当該基本領域の領域番号に対応付けてテーブル形式で記憶する。
【００６０】
前記領域統合部６は基本領域特徴記憶部５に保存されている基本領域特徴を基に、処理手順記憶部２４に記憶されている処理手順に従い、複数の基本領域を統合して統合領域を作成し、該統合領域の統合領域番号に対応付けてその統合領域にまとめられた基本領域番号を統合領域対応番号表として統合領域特徴記憶部８に保存すると共に、統合された領域の性質と何度目の繰り返し処理によって統合されたかという情報を統合領域記号として統合領域デザインマップにまとめ、それを統合領域デザインマップ記憶部１７に保存する。
【００６１】
前記統合領域特徴算出部７は、領域統合部６において一つの統合領域に統合された基本領域が一つのまとまりとしての特徴を分割画像データ記憶部２３に記憶されている分割画像データを基にして算出する。
【００６２】
前記統合領域特徴記憶部８は、ＲＡＭまたは外部記憶装置等から構成され、統合領域特徴算出部７によって算出された領域特徴を当該統合領域の領域番号に対応付けてテーブル形式で記憶する。
【００６３】
前記領域結合部９は、同一の領域統合としてまとめられた近接する複数の基本領域の中から、処理手順記憶部２４に記憶されている処理手順に決められたルールと、場合によっては画像処理領域指示部１８によって指示されたルールとを用いて、結合される基本領域を選び、該結合領域の結合領域番号に対応付けてその結合領域にまとめられた基本領域番号を結合領域対応番号表として結合領域特徴記憶部１１に保存する。
【００６４】
前記結合領域特徴算出部１０は、領域結合部９にて一つの結合領域に統合された基本領域が一つのまとまりとしての特徴を分割画像データ記憶部２３に記憶されている分割画像データを基に算出する。
【００６５】
前記結合領域特徴記憶部１１は、ＲＡＭまたは外部記憶装置等から構成され、結合領域特徴算出部１０によって算出された特徴を当該結合領域の領域番号に対応付けてテーブル形式で記憶する。
【００６６】
前記部分領域分割部１２は、基本領域特徴記憶部５に記憶されている基本領域特徴と統合領域特徴記憶部８に記憶されている統合領域特徴と結合領域特徴記憶部11に記憶されている結合領域特徴とから、処理手順記憶部２４に記憶されている処理手順に決められたルールと、場合によっては画像処理領域指示部１８によって指示されたルールも用いて各領域特徴を選び出し、選び出された各領域特徴を処理手順記憶部２４によって予め決められた手法、または画像処理領域指示部１８によって指示された手法に基づいて部分領域に分割し、部分領域とその基になった基本領域、統合領域及び結合領域との対応関係を部分領域対応番号表として部分領域特徴記憶部１４に保存する。
【００６７】
前記部分領域特徴算出部１３は、部分領域分割部１２によって分割された部分領域の特徴を分割画像データ記憶部２３に記憶されている分割画像データを基に算出する。
【００６８】
前記部分領域特徴記憶部１４は、ＲＡＭまたは外部記憶装置等から構成され、部分領域特徴算出部１３によって算出された特徴を当該部分領域の領域番号に対応付けてテーブル形式で記憶する。
【００６９】
前記表現部１５は、基本領域特徴記憶部５に記憶されている基本領域特徴と統合領域特徴記憶部８に記憶されている統合領域特徴と結合領域特徴記憶部１１に記憶されている結合領域特徴と部分領域特徴記憶部１４に記憶されている部分領域特徴とから、処理手順記憶部２４に記憶されている処理手順に決められた手法と、場合によっては画像処理領域指示部１８によって指示された手法とに基づいて絵画風画像を構成する。
【００７０】
前記特徴変更部１６は、処理手順記憶部２４に記憶されている処理手順に決められた手法と、場合によっては画像処理領域指示部１８によって指示された手法とに基づいて、基本領域特徴記憶部５に記憶されている基本領域特徴と統合領域特徴記憶部８に記憶されている統合領域特徴と結合領域特徴記憶部１１に記憶されている結合領域特徴と部分領域特徴記憶部１４に記憶されている部分領域特徴とに選択的に変更を加える。
【００７１】
前記統合領域デザインマップ記憶部１７は、領域統合部６が統合する際に算出した統合領域記号を統合領域番号と共にまとめた統合領域デザインマップを記憶しており、この統合領域デザインマップは画像処理領域指示部１８に利用される。
【００７２】
前記画像処理領域指示部１８は、統合領域デザインマップ記憶部１７に記憶されている統合領域デザインマップ内の統合領域記号を基に、領域結合部９、部分領域分割部１２、表現部１５、特徴変更部１６の全て、または一部に、画像処理領域プリセット記憶部１９に予め保存されている処理の指示プリセットから、またはキーボード等から構成されるデータ入力部２０を介して入力されるオペレータの命令により、どの領域にどの処理を行うかを指示する。
【００７３】
前記画像処理領域プリセット記憶部１９は、画像処理領域指示部１８に利用される処理の指示プリセットが多数保存されている。
【００７４】
前記データ入力部２０は、画像処理領域指示部１８にオペレータが命令を送るための入力装置であり、キーボードやマウスまたはペンタブレット、音声認識装置等から構成されている。
【００７５】
前記画像データ表示部２１は、表現部１５によって計算された加工画像を表示したり、統合領域デザインマップ記憶部１７に記憶されている統合領域記号をオペレータに表示したりするＣＲＴや液晶ディスプレー等によって構成されている。
【００７６】
前記画像データ出力部２２は、紙等に出力するプリンターやＣＲＴや液晶画面に表示するディスプレー等によって構成されており、表現部１５によって計算された加工画像を表示したり、プリントしたりする。
【００７７】
前記分割画像データ記憶部２３は、ＲＡＭまたは外部記憶装置等から構成され、基本領域分割部３によって基本領域に割り振られた画素のリストを記憶している。
【００７８】
前記処理手順記憶部２４は、ＲＡＭまたは外部記憶装置等から構成され、画像データ入力部１から入力された画像に対応した処理手順を保存しており、保存された処理手順は選択的に処理を行う各処理部（領域統合処理、領域結合処理、部分分割処理及び表現処理）で利用される。
【００７９】
本実施の形態では、各部は各手段の一例に相当するが、画像処理領域指示部１８及び画像処理領域プリセット記憶部１９については、領域結合部９、部分領域分割部１２、表現部１５及び特徴変更部１６の一部に相当する。
【００８０】
次に、上記のように構成された画像加工装置による画像加工処理について説明する。図２は、図１に示す画像加工装置による画像加工処理を説明するためのフローチャートである。先ず、ステップＳ１において、画像データ入力部１から画像データ及び処理手順が取得される。取得された画像データは基本領域分割部３に送られると共に、処理手順は処理手順記憶部２４に保存される。
【００８１】
次に、ステップＳ２において、処理手順記憶部２４に保存されている処理手順に従い、基本領域の分割が行われる。ここでの分割が最終的な絵画を作り出す筆触の基本になるため、原画像が持つ特徴に合わせて適応的に例えばｋ−平均アルゴリズムの初期値を変化させることが好ましい。例えば、原画像の空間的な色変化が激しい場合はエッジとみなされる特徴が多くなるため、既知のエッジ抽出演算子を用いてエッジを検出し、このエッジの特徴の多少に合わせて、領域数の初期値を変化させる等の手法である。
【００８２】
ｋ−平均アルゴリズムを用いた領域分割のイメージを図３に示す。ここでは理解を容易にするために極めて模式的な説明で進める。先ず取り込んだ画像データ１００Ａを例えば３×３の領域に等分に分割する。そしてそのうちの一つの領域１００について領域分割を行う。これは例えば適当に9分割し（この例では、画像データ１００Ａの分割数と偶然同じ数になっている）、分割された9つの領域に含まれる画素の平均色、重心を計算しそれをそれぞれの領域中心として定義する。図３（ａ）の例では、便宜上一列、３行に各重心を配列して示されている。そして領域１００内の全ての画素が前記９個の領域中心のいずれに近いかを計算する。ここでいう「近い」とは、色及び位置が近いということである。より具体的には、各画素のＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の色の強さを夫々便宜上Ｒ、Ｇ、ＢとしかつＸＹ座標における座標をＸ，Ｙとし、同様に前記領域中心の一つ例えば図３（ｂ）に示した領域中心Ｍ１１についても同様に色の強さをｒ、ｇ、ｂとしかつ重心のＸＹ座標における座標をｘ，ｙとし、（１）式の計算を行う。
｛（Ｒ−ｒ）２＋（Ｇ−ｇ）２＋（Ｂ−ｂ）２＋（Ｘ−ｘ）２＋（Ｙ−ｙ）２｝１／２ ………（１）
即ち領域１００に含まれる全ての画素について、前記９個の領域中心（図３の９個のプロット）に対して（１）式の計算を行うことになる。そうするとある画素に着目した場合、当該画素についての計算結果が９個得られることになる。この中で最小の値が得られる領域中心の領域に当該画素が含まれることになる。これは領域中心Ｍ１１と他の領域中心とのいずれに対しても色の強さが同じであれば、つまり（１）式の前半３項の値が同じであれば、距離的に近い設定画素の方と仲間になるということである。このような計算を繰り返すことにより全画素が前記９個の領域中心のどの画素とグループ化されるのかが決定される。図３（ｂ）はこの様子を示したものである。
【００８３】
ところで９個の領域中心は適当に決めたものであるから、更に次の処理を行う。図３（ｂ）のようにグループ化された領域の各々についてＸ，Ｙ座標における重心を求め、その重心の画素を新たな領域中心とする。図３（ｃ）の●は旧領域中心、○は新たな領域中心である。そして領域１００内の全画素についてこれら新たな９個の領域中心に対して既述と全く同じ処理（図３（ａ）〜（ｃ）の処理）を行い、得られたグループについて同様に重心を求め、更なる新たな９個の領域中心を求める。このような処理を繰り返していくと、９個の領域中心の位置が収束する。そのときの９個のグループの各々が基本領域ということになる。そして領域１００以外の他の８個の領域についても同様にしてグループ化し、基本領域を得る。なお画像データ１００Ａは縦横に分割しなくてもよいが、処理の時間を短縮する上では分割して処理した方が得策である。
【００８４】
この領域分割処理が終了すると、全ての画素は基本領域に属していることになるので、その対応関係を記述した分割画像データを分割画像データ記憶部２３に記憶しておく。この分割画像データとは、イメージとしては画像データが基本領域に分割された状態を示し、画像領域に分割の境界線が記載されたものであり、
データとしては、基本領域の番号と当該基本領域に含まれる画素のＸ，Ｙ座標位置とを対応づけたものである。
【００８５】
次のステップＳ３では、分割画像データ記憶部２３に記憶されている分割画像データを基に、基本領域特徴算出部４により基本領域の特徴を計算する。前記ステップＳ２でｋ−平均アルゴリズムを利用した場合には、分割処理が終了した時点で、基本領域の重心値、平均色、基本領域に含まれる画素数は既に計算されているが、そうでない場合は、これらも基本領域の特徴と一緒に計算する。また、これらの値に加え、特開平１０−１１５６９号広報に開示されてる技術と同様の手法で領域ｎの方向要素Ｄｎ、扁平要素Ｔｎなどを計算し、その結果を基本領域特徴記憶部５に保存する。
【００８６】
ここで方向要素Ｄｎとは、図４に示すように基本領域３００の伸びている方向を表す。
より具体的には、基本領域３００を楕円と見立ててその長軸の伸びている方向を示し、例えば画像データのＸ軸に平行な向きを０度とし、０度から１８０度までを所定の数に等分割し、方向要素Ｄｎとして割り当てることができる。またこの方向要素Ｄｎは、分散が最大になるときの両端の画素を求めそれらの画素を結ぶ直線２０１の方向として決めることもできる。更に扁平要素Ｔｎとは、分散が最小になるときの両端の画素を求め、それらの画素を結ぶ直線２０２の長さを先の直線の長さで割り算した値として決めることができる。
【００８７】
図５は基本領域の番号と、当該基本領域の特徴とを対応づけたデーブルを示しており、各基本領域毎に、赤色、緑色、青色の各色の強さの平均値と、重心位置と、方向要素と、扁平要素と、画素数と、が記載されている。
【００８８】
次のステップＳ４において、処理領域手順記憶部２４に保存されている処理手順の指示に従い基本領域特徴の値を基に領域統合処理を行う。処理手順の指示には、定数Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９、Ｃ１０が記述されており、これらの値を用いて領域統合部６の処理が行われる。領域統合部６の処理の詳細をフローチャートにより説明するが、その前に理解を容易にするために図６から図８を参照しながら処理の概要について説明しておく。
【００８９】
この統合処理で行おうとしていることは、既述のようにして求められた基本領域をグループ化することにある。このグループ化は、基本領域の特徴が似通っており、且つ隣接しているもの同士をまとめることにより行われるが、この実施の形態では、似通っている基本領域同士を一旦グループ化して仮統合領域なるものを形成し、この仮統合領域を検証して正式な統合領域としている。グループ化をするにあたり、基本領域同士が似通っているか否かの判断は、基本領域の特徴の差が閾値よりも低いか否かを判断することにより行われる。基本領域の特徴の差とは、例えば色の強さの差であり、ある基本領域のＲ、Ｇ、Ｂの強さをＲ、Ｇ、Ｂとし、隣接する基本領域の色の強さをｒ、ｇ、ｂとすると、これら色の強さの差（特徴の差Ｄ）とは、（２）式で表される。
Ｄ＝｛（Ｒ−ｒ）２＋（Ｇ−ｇ）２＋（Ｂ−ｂ）２｝１／２ ………（２）
あるいは色の強さと既述の方向要素とを加えたものを特徴として取り上げるときには、一方の基本領域の方向要素及び他方の基本領域の方向要素を夫々Ｄｎ及びｄｎとすると、特徴の差Ｄは（３）式で表される。
Ｄ＝｛（Ｒ−ｒ）２＋（Ｇ−ｇ）２＋（Ｂ−ｂ）２＋（Ｄｎ−ｄｎ）２ ｝１／２ ………（３）
また特徴の差としては、更に既述の扁平要素を加えるようにしてもよく、どれを特徴の差とするかは適宜決定することができる。仮統合領域の決定の様子を図６及び図７を参照しながら極めて模式的に説明する。所定の順序で各基本領域に注目する。今基本領域１番に注目したとすると、この基本領域１番の周囲の基本領域に対して順番に特徴の差を求め、その特徴の差Ｄが閾値Ｃ６よりも小さければこれら基本領域同士をグループ化する。「周囲の基本領域に対して順番に特徴の差を求める」とは、基本領域１番に近い基本領域のうち例えば重心同士が近いものの上位９番目（この「９番目」は実際の装置において適用される一例である）までを拾い上げて比較するという意味である。この例では、基本領域１番に対して特徴の差が閾値Ｃ６よりも小さい基本領域が３番、９番であったとすると、図７に示すように１番、３番、９番の基本領域がグループ化される。同様にして基本領域２番に注目すると、５番、７番、１０番であり、これらがグループ化される。そして基本領域３番と６番とがグループ化されたとすると、１番、３番、６番、９番がグループ化される。以下同様にして、基本領域の仲間同士が連鎖してグループ化され、統合される。こうして統合された領域が仮統合領域であり、図８（ａ）に示される。
【００９０】
この仮統合領域をそのまま統合領域としてもよいが、よりきめこまかな処理を後で行うことができる利点を得るために、この仮統合領域を検証する。今、全ての基本領域について仮統合領域としてまとめる処理（グループ化のチェック）が行われたとすると、全ての基本領域がいずれかの仮統合領域に属するとは限らないが、基本領域一つの領域も仮統合領域と考えることにする。
【００９１】
こうして１回目のグループ化のチェックが行われた後、再度全ての基本領域について同様の処理を行う。つまり２回目のグループ化のチェックを行う。ただしこのときの閾値Ｃ６の値は、１回目の閾値よりも高くする。高くした閾値よりも特徴の差が小さいときにグループ化されるということは、つまりグループ化する条件を緩めることである。このようにしてグループ化すると、１回目にグループ化されたもの同士は離れることはなく、新たな基本領域が仲間に加わることになる。図８（ｂ）は２度目の仮統合処理の途中経過を示している。ここで基本領域5が仮統合領域の1と2に含まれているので、仮統合領域の1と2は番号の小さな1の方に統合され2はなくなる。図８（c）は２度目の仮統合処理結果を示している。そして各仮統合領域に含まれる基本領域の数が１回目に比べてどれだけ増えたかをチェックする。例えば図８において仮統合領域番号１番の基本領域の数は１回目は４個、２回目は10個であり、増加率は１5割になる。この基本領域の数の増加率が所定値以下であれば、例えば１割以下であれば、その仮統合領域を、正式に統合領域とする。これは、ある条件で仲間を集め、少し条件を緩めて仲間を集めてみてもそれほど仲間の数が変わらないということは、周囲に比べて特徴の度合いの強いグループであると判断しているのである。なおより詳しくは、後のフローチャートに示しておくが、仮統合領域内の基本領域の数が所定値以上であることも条件に加えている。正式な統合領域になった基本領域群は、それ以降のグループ化処理からは外れる。
【００９２】
このようなグループ化処理を所定回数、例えば７回行うとすると、どの段階で正式な統合領域に格上げされたかを記録しておく。例えば仮統合領域番号ｊ番は、２回目のグループ化処理で正式な統合領域になったとすると、２段階目の仮統合領域ということになり、以下の説明ではこれを２ｔｈの均一統合領域と呼ぶ場合もある。最終的には２ｔｈの均一統合領域、３ｔｈの均一統合領域………７ｔｈの均一統合領域が形成される。早く統合されて均一統合領域になるものほど、周囲に対する特徴の度合いの強いグループということがいえる。後述するが、このように統合領域に優先順位をつけておいて管理すると、きめ細かな筆触を表すことができる。
【００９３】
ここでこの例では均一統合領域の他に対比統合領域というものも扱っている。ｉ回目例えば２回目のグループ化処理を終えて、仮統合領域について正式な均一統合領域にするか否かをチェックし、「否」であると判定された場合には、その仮統合領域が周囲に対して対比の強い領域か否かを所定条件の下で判定し、対比が強いと判断されれば対比統合領域として管理され、以降のグループ化処理から外れることになる。この場合もどの段階で対比統合処理になったかが記録され、２ｔｈの対比統合領域、３ｔｈの対比統合領域………７ｔｈの対比統合領域が形成されることになる。
【００９４】
以上の模式的な説明を踏まえた上で図9と図10に示したフローチャートで統合処理の具体的なステップについて説明する。
【００９５】
先ず、領域統合部６の処理繰り返し回数ｉ＝０とし、図９に示したステップＳ１０１において、処理回数ｉを増やす。
【００９６】
次にステップＳ１０２で予め決められている繰り返し終了回数Ｃ１、例えばＣ１＝１０より大きいかどうかを判断し、もし大きければ、その時点で処理を終了する。もし小さければ、処理をＳ１０３に移行する。
【００９７】
ステップＳ１０３では仮統合領域の決定を行う。この仮統合領域の決定プロセスは、後程図10のフローチャートで説明する。ｉ回目の仮統合領域が決定したら、通し番号ｊの順番に全ての仮統合領域を次のステップの条件を満たしているかどうかを調べる。初期値としてｊ＝１を入れる（Ｓ１０４）。
【００９８】
ステップＳ１０５において、以下の条件を満たしているかどうかを調べる。
【００９９】
Ｎｉ，ｊ≧Ｇ／（Ｕ×ｉ＋１）、且つ（Ｎｉ，ｊ−Ｎｉ−１，ｊ）／Ｎｉ−１，ｊ＜Ｃ２
ここで、Ｎｉ，ｊはｉ回目に求められたｊ番目の仮統合領域に含まれる基本料域の数であり、Ｇには基本領域の総数を用い、Ｕは処理手順に記述されている値であり、例えば１２０が用いられる。この条件により、ある規定の数より大きな基本領域が仮統合領域に集まっているかどうかを判断している。
【０１００】
また、もう一つの式によって、ｉ−１回目に対応する仮統合領域に含まれる基本領域数がｉ回目の仮統合処理で大きく変化していないかどうかを調べている。ここで、Ｃ２も処理手順に記述されている値であり、例えば１．２を用いる。仮統合領域は先の模式的な説明において記述したように、ｉ回目の仮統合処理で用いる閾値Ｃ６ｉをｉ−１回目の統合で用いる閾値Ｃ６ｉ−１より大きくすることで、ｉ回目の仮統合処理でつくられる仮統合領域に含まれる基本領域の数を増やしているが、この場合、この増加が１．２倍以下であることを調べている。
【０１０１】
このように上の２つの条件を満たしている場合はステップＳ１０７に移り、仮統合領域から正式に均一統合領域として決定され、その基本領域を統合対象から除外する。つまり、基本領域のグループ化処理の回数を１回増やしたときに、あるグループに含まれる基本領域の数の増加率が設定値以上であり、そのグループ内の基本領域の数が設定値以上であったときに、そのグループを正式な統合領域とするのである。
【０１０２】
次に、ステップＳ１０８に移り、決定した均一統合領域に、ｉ-ｔｈ均一統合領域と名付け、それを統合領域記号として統合領域デザインマップに通しの統合領域番号と共に保存し、さらに決定した均一統合領域とそこに属した基本領域の番号の対応表を統合領域特徴記憶部８に保存する。
【０１０３】
ステップＳ１０５に戻り、先の２つの条件が満たされなかった場合は、ステップＳ１０６に移行する。ステップＳ１０６では、Ｎｉ，ｊ≧Ｃ３、Ｎｉ，ｊ≦Ｃ４、Ａｉ，ｊ＞Ｃ５の３つの条件を全て満たしているかどうかを調べることで、統合領域の対比の強さを判断している。ここでＡｉ，ｊは、次のようにして決められた値である。図１１に示すように例えば注目した統合領域ｊに含まれその境界３００に接した基本領域をｋとし、当該統合領域ｊの境界３００に接しかつ注目した統合領域ｊに含まれていない基本領域の中で基本領域ｋに最も近い基本領域をｋ｀とする。そして基本領域ｋの明度と基本領域をｋ｀の明度との差をとり、この差をＡｉ，ｊ，ｋとした場合、注目した統合領域ｊに含まれかつそのその境界３００に接した全ての基本領域ｋについて同様の処理を行って得られたＡｉ，ｊ，ｋの平均を取った値がＡｉ，ｊ である。
【０１０４】
Ｃ５については、例えば原画像の明るさのレンジをＬとし、基準閾値をＢ＝Ｌ／８０とした場合、Ｃ５は基準閾値Ｂの６倍の値を用いることができる。なお基準閾値とは、Ｃ５などの値を決めるためにコンピュータが持っている単位値である。ただし、Ｃ５は基準閾値Ｂの６倍に限らず、１倍から２０倍の中の任意の値を利用することができる。また、Ｃ３＝２及びＣ４＝５を用いることで、対比が強く、面積が小さい統合領域を選び出している。
また、周りとの明るさの対比が同じでも、ｉが小さい値の時は統合領域内の基本領域の明るさのバラツキが少ないため、より強い対比を感じることができる。また、このステップにおいて、Ａｉ，ｊには明るさの対比のみを扱ったが、明るさの対比に代えてあるいは明るさの対比に加えて色度、彩度を考慮した式を採用することもできる。この３条件全てが満たされた場合は、ステップＳ１０９に処理に移行し、満たされなかった場合はステップＳ１１１に移り、ｊの値を一つ増やしてステップ１１２に処理を移す。
【０１０５】
ステップＳ１０９に処理が移った場合は、仮統合領域を正式に対比統合領域として決定し、統合対象から除外する。そして、次のステップＳ１１０において、ｉ-ｔｈ対比統合領域として統合領域デザインマップに記録した後、ステップＳ１１１に移り、ｊの値を一つ増やしてステップＳ１１２に処理を移す。
【０１０６】
ステップＳ１１２においてｊの値をｉ番目の処理の仮統合領域総数と比較し、同じであれば、この段階での仮統合領域について、正式な統合領域への移行処理を終えているので、ステップＳ１０１に移行し、異なる場合は正式な統合領域への移行処理が残っているので、ステップＳ１０４に移行する。
【０１０７】
次に、ステップＳ１０３の仮統合領域の決定方法について図10に示したフローチャートを用いて説明する。なおこのフローは、図８（ａ）〜（ｃ）と対応している。ここでは、ｉ回目の仮統合領域の決定フローであると仮定する。ステップＳ２０１において、仮統合領域番号ｊに対し、先ず初めに、それに含まれる初めの一つとなる基本領域ｊ’を決め、基本領域ｊ’を仮統合領域番号ｊのリストに入れる。
【０１０８】
続いてステップＳ２０２において、注目した基本領域ｊ’とその周囲の基本領域ｊ’’との特徴の差Ｄｊ’’を計算する。次にステップＳ２０３では、Ｄｊ’’＜Ｃ６ｉをチェックし、この条件を満たしていたらステップＳ２０５に処理を移し、その基本領域ｊ’’を仮統合領域ｊのリストに加える。ここで、Ｃ６ｉの値はＣ６ｉ＝ｉ×Ｂ／Ｃ１とし、Ｂは先に示した基準閾値Ｂである。そのため、Ｃ６ｉの値は回数ｉが増えるたびに大きくなっていくので、統合回数が増えるたびに色差の大きな基本領域同士も統合され易くなっていく。
【０１０９】
上述のＤｊ’’＜Ｃ６ｉの条件を満たしていなかったら、ステップＳ２０４を飛ばしてステップＳ２０５に移行する。そして、ステップＳ２０５で、注目した基本領域ｊ’の周囲に計算していない基本領域ｊ’’が有るかどうかをチェックし、もし有ればステップＳ２０２に処理を移し、無ければ処理Ｓ２０６に処理を移す。
【０１１０】
ステップＳ２０６では、仮統合領域リストｊ内に注目していない基本領域ｊ’が有るかどうかを調べ、もし有れば、ステップＳ２０２へ移行し、無ければステップＳ２０７へ移行する。ステップＳ２０７では、全ての基本領域が仮統合領域に属しているかを調べ、属していたら仮統合領域処理を終了して、図３のステップＳ１０３に戻る。まだ属していないものが有れば、仮統合領域番号ｊを一つ増やして、ステップＳ２０１へ戻る。これが図４に示した仮統合領域を決定する処理の流れであり、図３及び図４の処理を繰り返すことで、統合領域が決定される。
【０１１１】
この統合処理の特徴として、仮統合領域に含まれる基本領域の数が閾値を変えて仮統合し直しても変わらなかった場合あるいはあまり変わらなかった場合に正式に統合領域と決定することで、例えば風景画において、空などのグラデーションの途中のような場所で統合領域が途切れてしまうことが避けられるという効果がある。なお仮統合領域に含まれる基本領域の数の変化の程度の把握については、その数の増加率について予め設定値を持っておけばよく、その設定値が１であれば、仮統合し直しても変わらなかった場合に相当し、また設定値が１に近い値であれば、あまり変わらなかった場合ということになる。これに対して１回目の仮統合領域を均一統合領域として扱うと、統合領域に優先順位がつけられないので、表現の自由度が狭まり、例えば連続して色が変わる領域について不連続な色の配置となり、不自然な表現になる場合もあるが、本発明はこのような場合も含まれる。
【０１１２】
統合処理は、図２のステップＳ４で終わったことになるが、この時点で、統合領域番号と基本領域との対応関係（どの統合領域番号の統合領域にどの基本領域が含まれるかということ）が統合領域特徴記憶部８に記憶されているだけではなく、各統合領域がｉ度目の統合処理で統合され、それが均一統合領域もしくは対比統合領域として統合領域デザインマップに書き込まれていることになる。
【０１１３】
また、この統合処理を行う際に、基本領域特徴ｎの一つである扁平要素ＴｎがＴｎ＞Ｃ７を満たしている場合は、その基本領域を統合処理から外し、その基本領域をエッジ統合領域と名付け統合領域デザインマップの統合領域記号に「エッジ」と書き込んでも良い。
さらに、繰り返し処理が終了した後にどの統合領域にも含まれなかった基本領域については独立統合領域と名付け統合領域デザインマップにそれを統合領域記号として書き込んでも良い。このようにすることで、統合されていない一つの基本領域からなるエッジ統合領域と独立統合領域とを夫々加えることで、全ての基本領域が統合領域の統合領域記号として統合領域デザインマップに書き込まれることになる。ここで例えばＣ７は０．９５を用いることができる。エッジ統合領域と独立統合領域は、画像の中で重要な表現を担うことが多く、例えば人の顔と背景との輪郭線などに相当するものであるから、これを抽出しておくことにより輪郭のぼけなどを回避することができる。
【０１１４】
話を戻して、図２のステップＳ５では、統合領域としてまとめられた画素を分割画像データ記憶部２３の分割画像データから集めて、その統合領域特徴を計算する。計算する項目はステップＳ３と同じ項目、つまり、統合領域の重心値、平均色、統合領域ｎの方向要素Ｄｎ、扁平要素Ｔｎ及び統合領域に属する各基本領域に含まれる画素数である。これら統合領域の特徴は統合領域特徴記憶部８に保存される。
【０１１５】
次に、ステップＳ６では、画像処理領域記憶部１９に保存されている処理プリセットの情報を用いて自動で処理する場合と、統合領域デザインマップを画像データ表示部２１に表示し、そのマップを参考にユーザーが処理をデータ入力部２０を用いて指示する場合の２つから一つを選択することができる。
【０１１６】
図２には、ステップＳ９からＳ１３までの処理がシーケンシャルに記述されているが、処理手順記憶部２４に記憶されている処理手順に、これらの処理の記述がない場合は、これらのステップを飛ばして、画像表現部１５で画像特徴の算出を行うステップＳ１３に移行する場合もある。この場合は、基本領域特徴及び統合領域特徴から、絵画作品を作り出すことになり、この２つの領域特徴から筆触を作り出す場合、基本領域特徴から小さな筆触が、そして統合領域特徴から大きな筆触が作り出される。今までは小さな筆触の多くに同じ色を塗ることで、広い範囲を一色にすることはできたが、このように極端に大きさの違う筆触が一つの絵の中で同時に作り出されることはなかった。
【０１１７】
ステップＳ９からステップＳ１３までの処理は、基本領域を結合して大きくしたり、逆に分割して小さくしたりすることで、作り出す絵画作品に様々な表現を加えるためのものであるため、処理手順記憶部２４に記憶されている処理手順に、結合処理に関するステップＳ９及びステップＳ１０と部分領域処理に関するステップＳ１１及びステップＳ１２とのどちらか一方のみを行うという記述を行うことも可能である。
【０１１８】
即ち、ステップＳ５までの処理により得られた統合領域について、これをそのまま利用して表現（描画）していくのか、それとも各統合領域内のいくつかの基本領域を結合し（ステップＳ９及びＳ１０）、それら結合領域を単位として描画するのか、あるいは各統合領域を部分分割して分割領域を単位として（ステップＳ１１及びＳ１２）描画するのかを選択していくことになる。なお最終的に表現処理（描画処理）を行う場合には、これらの領域単位の他に基本領域を単位とする場合も含まれる。
【０１１９】
ステップＳ９がどのようにして実行されるかについて述べると、ステップＳ６にて画像領域指示部１８により自動処理が選択されると、画像領域指示部１８は、画像処理領域プリセット記憶部１９からプリセット処理の指示を読み込む。プリセット処理の指示とは、例えばｔｈ１からｔｈ７までの均一統合領域のうち、優先順位の高いもの例えばｔｈ１及びｔｈ２の均一統合領域については領域結合処理を行い、ｔｈ３の均一統合領域については部分領域分割処理を行い、ｔｈ４からｔｈ７の均一統合領域についてはどちらの処理も行わないといった指示である。なおここに示した例は、あくまでも模式的な説明であり、これらの指示は適宜予め設定される。
【０１２０】
ステップＳ６にて手動処理が選択されると、図１２に示すように統合デザインマップ記憶部１７に記憶されている統合デザインマップを画面に表示し、操作する者がこの画面を見ながら既述のような指示を手動で入力する。従って通常は手動によるプリセット処理の方がきめ細かい表現をできるが、操作の簡略化という点を重視するならば自動処理が選択されるかもしれない。
【０１２１】
ステップＳ９がある統合領域に対して実行される必要がある場合、先ず、当該統合領域内の基本領域をＣ８個ずつペアにする。ペアにするルールとしては、例えばＣ８＝２の場合、近接している２つがなるべく縦につながる様にすることが好ましいが、つながった結果が丸に近くなるようなルールを使用することもできる。近接している２つが縦につながるルールとしては、注目した基本領域の重心位置に近い重心位置の基本領域を検索し、それら基本領域の方向ベクトルが一直線に近いもの同士を結合するといったルールが挙げられる。
【０１２２】
ステップＳ１０は分割画像データ記憶部４の分割画像データの画素から先のステップＳ９で結合された領域を一つの領域として、結合領域特徴を計算し、計算された結合領域特徴を結合領域特徴記憶部１１に記憶する。ここでいう結合領域特徴とは、図５に示した既述の特徴と同様である。
【０１２３】
次に、ステップＳ１１がある統合領域に対して実行される必要がある場合、画像処理領域指示部１８の指示により、既に計算されている基本領域、統合領域及び結合領域のいずれか一つを選び出し、その領域をＣ９個の部分領域に分割し、そのＣ９個の領域特徴を分割画像データ記憶部４の分割画像データの画素から計算し、計算された結合領域特徴を結合領域特徴記憶部１４に記憶する。部分領域の分割のイメージを図１３に示すと、例えば統合領域Ｐ１，Ｐ２，Ｐ３のうちＰ３についてのみ縦に例えば３つに分割されている様子である。この分割数として「３」は便宜上の数値である。このように部分領域に分割するルールも予め定められており、部分分割の対象となる領域に対してそのルールに基づいて部分領域に分割されることになる。この分割処理は、表現したときに刷毛で描いたように見せるためである。
【０１２４】
ここで上記のステップＳ９からＳ１２を利用する場合を想定して処理を説明する。ステップＳ６については、自動処理でない場合について先ず説明する。図１２に、画像データ表示部２１に表示される統合領域デザインマップ内の統合領域記号の例を示す。黒で塗りつぶされている区域がエッジ統合領域、白く抜けている部分が対比統合領域及び独立統合領域、２均一と示されているテクスチャーの部分は２度目の仮統合領域を求めた際に均一統合領域として決定した区域、以下同様に３均一、４均一、５均一、６均一は順に求められた均一統合領域であり、７均一は７度目以上で均一統合領域として決定した区域をまとめたものである。グラデーションのある空が一つにまとまり、その部分に２均一というラベルが付いていることから、提案手法の統合処理が上手く機能し、空が一つに統合されたことが分かる。
【０１２５】
エッジ統合領域、対比統合領域及び独立統合領域は、基本領域から作り出した筆触で描き、少ない繰り返し回数で決定された均一統合領域は、統合領域または先のステップの処理であるステップＳ９及びステップＳ１０で作り出す結合領域やステップＳ１１及びステップＳ１２で作り出す部分分割領域を基に筆触を作り出すことが好ましいということになる。ここで問題なのは、多い繰り返し回数で統合された均一領域について、これらをどちらのグループに入れるべきかは画像の種類によってバラツキがあることである。
【０１２６】
均一統合領域については、すべて表現を加えるための領域にすると決めてしまえば自動で処理することができるが、より質の高い作品を目指す場合には、マニュアル処理にして、画像データ表示部２１に示された統合領域デザインマップの統合領域記号を見てから、統合領域もしくは基本領域を単位として処理の指示を与えるようにすることができる。
【０１２７】
結果として、ステップＳ７またはステップＳ８で、統合領域毎にどの領域特徴から筆触を作るかの指示が出されるため、その指示に従ってこれに続く処理ステップＳ９及びステップＳ１０とステップＳ１１及びステップＳ１２とが実行される。即ち、統合領域は基本領域の集合であり、更に統合領域の中に結合領域及び部分分割領域が存在することがある。仮に３ｔｈの均一統合領域１０番について、ステップＳ７またはＳ８における処理の指示が「表現の単位領域を統合領域とする」という指示であったとすると、統合領域１０番を単位として表現される（統合領域特徴から筆触を作る）ということになる。この場合には、統合領域１０番については、統合領域１０番に含まれる全画素について、当該統合領域１０番の特徴に基づいて色（例えばＲ，Ｇ，Ｂ）及びその明るさが指定されることになる。またステップＳ７またはＳ８における処理の指示が「表現の単位領域を基本領域とする」という指示であったとすると、統合領域１０番に含まれる各基本領域を単位として表現される（基本領域特徴から筆触を作る）ということになる。この場合には、各基本領域毎に、それら基本領域に含まれる全画素について各基本領域の特徴に基づいて色が指定されることになる。更にまた前記処理の指示が「表現の単位領域を結合領域とする」という指示であったとすると、統合領域１０番に含まれる結合領域を表現の単位として描かれ、あるいは前記処理の指示が「表現の単位領域を部分分割領域とする」という指示であったとすると、統合領域１０番に含まれる部分分割領域を表現の単位として描かれるということになる。
【０１２８】
また各統合領域は、何回目の処理（何段階目）で仮統合領域から正式な統合領域になったかということが統合領域デザインマップ記憶部１７に記憶されているので、統合領域の特徴ではなくその統合領域に含まれる基本領域を表現の単位領域とするのは、どの段階の統合領域とするか、また統合領域の特徴を表現の単位領域とするのはどの段階の統合領域とするかというデータがメモリに記憶されている。一例を挙げれば、例えば１ｔｈ〜３ｔｈの均一統合領域については、統合領域統合領域の特徴を表現の単位領域とし、４ｔｈ〜７ｔｈの均一統合領域については、各統合領域に含まれる基本領域を表現の単位領域とするといった情報が予めメモリに入っている例を挙げることができる。この段階の数値は入力部を介して選択できるようになっており、こうすれば、統合領域ごとにどの領域特徴から筆触を作るのかという作業が自動で行うことができる。つまり本発明では手動でも自動でもこうした作業を行うことができるのである。
【０１２９】
ステップＳ１３では、既に計算された各領域特徴、より詳しくは既述の表現単位となった領域（基本領域、統合領域、結合領域あるいは部分分割領域）の特徴を変更することができる。この処理ステップも、処理手順記憶部２４の処理手順に記載が有ったときだけ実行される。ここで行われる処理の一部(領域の形と方向の変更)は、特開平１０−１１５６９号広報に開示されるグループ特徴加工部を構成する技術と基本部分は同一であるが、特開平１０−１１５６９号広報に開示された特徴加工はこの特許で基本領域と記述される領域特徴のみに適応される。これに対し、本特許では、各種の領域特徴（基本領域、統合領域、結合領域あるいは部分分割領域）は、既に図５に示したように同じフォーマットで記述されているため、異なる種類の領域特徴も含めた状態で、領域特徴を変更することができる。
【０１３０】
また、この処理を適用する基本領域を単位とした範囲も選択的に画像処理領域指示部１８から指示される。また、このステップで色彩についても注目した統合領域とその周囲の統合領域との色彩の差を基にした変更が加えられた夫々の領域特徴は、夫々の領域記憶部に戻される。
【０１３１】
図１４に表現部１５の詳しいブロック図を示し、ステップＳ１４での処理の詳細を図１５に示した。この図１５を用いて、ステップＳ１４について説明する。
【０１３２】
ステップＳ３０１において、統合領域毎に、統合領域デザインマップに記載されている統合領域記号を読み、画像処理領域指示部１８の指示に従って、統合領域記号に対応した種類の領域を集めて、通し番号を付け直して表現領域セットを作る。つまり最終的に表現するときには、どの領域が表現単位となるのかが指定されていればよく、基本領域の統合、統合領域内の基本領域の結合、統合領域の部分分割といった一連の処理は、要するに表現単位となる領域の選択の自由度を高めるために行ったのであって、表現するときには、その単位となる領域さえ指定すればよい。例えば統合領域が部分分割されたとすると、部分分割された各領域にナンバリングすることと、各領域の領域特徴が分かりさえすればよいので、この段階では、何番目の試行により統合されたとか、どの基本領域が属しているかといったことは関係がなくなる。
【０１３３】
ステップＳ１４の段階では、表現単位が決定されると、その単位となる領域に新たにナンバリングを付して、各番号付けされた領域とその特徴とをテーブルに抽出する処理が行われる。このテーブルが上記の表現領域セットに相当する。例えばモデル化した説明をすれば、例えば１枚の画像について、処理の結果、基本領域２番、５番、１０番及び統合領域２番、３番、並びに統合領域４番内の３つの部分分割領域から構成されたとすると、これら各領域について新たに番号を付し、この段階ではどのような種類の領域であるかはもはや関係がなくなるのである。
【０１３４】
なお対比の強い部分や輪郭であるエッジの部分に絵画的な表現を加えると、元の画像の重要な特徴を崩してしまうため、例えば人間の顔であれば、誰を描いているのかが分からなくなってしまう。これを避けるために、画像処理領域指示部18としては、エッジ統合領域、対比統合領域、独立統合領域、多い繰り返し回数で決定された均一統合領域等の統合領域記号が付けられている統合領域には表現をあまり加えない写実的な表現で描くべきであるため、統合領域を表現単位とするよりもそれら統合領域に含まれる基本領域を表現単位として表現領域セットに加えるように指示することが好ましい。一方、少ない繰り返し回数で決定された均一統合領域には絵画らしい表現を加えられるように、統合領域そのものや、結合領域、部分領域を表現単位として表現領域セットに加えるように指示することが好ましい。
【０１３５】
次に行われるステップＳ３０２からＳ３０４は、画像に含まれる各画素がどの表現単位領域に属するのかを決定する処理である。この処理は画像に含まれる画素一つ一つについて順番に各表現単位領域との距離計算を行い、例えばその重心位置に物理的に最も近い表現単位領域を、その画素が属する表現単位領域として決定してもよいが、そうすると距離計算のコンピュータの負荷が大きくなるので、ここではジオグラフテーブルを用いている。このジオグラフテーブルとは、各表現単位領域に対して、その重心位置に物理的に近い表現単位領域を指定数まで近い順にリストアップした表である。これを見ることで、任意の表現単位領域の近傍に存在する表現単位領域を見つけることができる。
【０１３６】
画像に含まれる画素群のなかの１番目（ｋ＝１）の画素については、その画素の付近に位置する複数の表現単位領域について順番に所定の距離計算を行い、距離が最小になった表現単位領域を画素特徴記憶部２８に画素番号と共に書き込む。この距離計算式は距離計算式記憶部２６に複数用意されており、その中から選択した距離計算式を用いて計算される。ある計算式では、画素ｋの位置と表現単位領域ｎの重心位置とが最も近くても、前記表現単位領域ｎよりも離れている表現単位領域ｎ｀の伸びている方向の延長線上に当該画素ｋが位置していれば、当該画素ｋは、表現単位領域ｎ｀に最も近い値が得られる。つまりこの場合は、表現単位領域の伸びている方向を重視して表現しようとするものであり、表現の仕方などに応じて距離計算式を選択すればよい。
【０１３７】
そして２番目以降の画素ｋについては、画素（ｋ−１）が属する表現単位領域とジオグラフテーブルが示す近傍表現単位領域について順番に前記距離計算をすればよく、計算値が最小になった表現単位領域に属していると判断する。このようにすれば、距離計算の負荷が小さくなるという利点がある。
【０１３８】
このような概略を踏まえて図１４のフローの説明に戻ると、ステップＳ３０２において、表現領域セットを使ってジオグラフテーブルを作成する。ジオグラフテーブルの作成手法に関しては、特開平１０−１１５６９号広報に開示される手法を利用することができるが、要は互いに位置的に接近している表現単位領域同士をテーブル化すればよいだけなので、テーブル化するアルゴリズムは適宜作成すればよい。
【０１３９】
ステップＳ３０３において、画素特徴算出部２５では、例えば画素番号をｋで表し、ｋ−１番目の画素が属する表現単位領域にリストアップされている他の表現単位領域をジオグラフテーブルから読み出し、処理手順記憶部２４の処理手順と画像処理領域指示部１８の指示とに従って距離計算式記憶部２６から選ばれた距離計算式を用いて注目画素ｋとの距離を計算する。ｋ＝１の場合は表現単位領域１の近傍領域について計算する。距離計算式としては、特開平１０−１１５６９号広報に開示される式（８）が利用できるが、これに限らず、多様な計算式を距離計算式記憶部２６に予め用意しておき、統合領域デザインマップに記載されている統合領域記号に応じて選択して距離計算をし、ステップＳ３０４で距離計算の値が最小になった表現単位領域の番号を画素特徴記憶部２７に画素番号と共に書き込むことで、一つの加工画像の中に様々な筆触を作り出すことができる。
【０１４０】
表現単位領域が部分領域で構成されている場合は、部分領域の一つ一つに対して距離計算を行うことで、部分領域に対応した小さな筆触を作り出すことができるため、印象派によく見られるぶれたブラシのタッチを表現することができる。また、複数の部分領域の値をグループとして用いることで、より複雑な形の筆触を一つ作り出すこともできる。
【０１４１】
例えば、一つの基本領域の中央と両端とから、３つの部分領域が作られている場合、その３つの部分領域の重心を通る２次曲線を定義でき、一方、特開平１０−１１５６９号広報に開示される距離計算式（８）は、領域の第１主成分が領域のローカルなＹ軸に対応しているが、このＹ軸を先の２次曲線に座標変換した上で距離計算を行なうと、筆触が２次曲線に沿って曲がることになる。
【０１４２】
この部分領域の重心を用いて筆触を曲げる技術を使うことで、元の領域が曲がっていたら、それを２次曲線の筆触で近似できることになる。もしも加工画像全体に正確で、より表現の豊かな筆触が必要な場合は、ステップＳ１２で全ての領域の部分領域を求めておくことが好ましい。
【０１４３】
ステップＳ３０５では画素特徴変換部２８において、処理手順記憶部２４の処理手順と画像処理領域指示部１８の指示とに従って画素特徴変換式記憶部２９に保存されている複数の計算式から一つを選び、その画素の画素特徴記憶部２７に保存されている番号の表現単位領域の特徴から画素の色をその式で算出し、その値を加工画像の対応する画素位置に書き込む。このようにすることで、一つの筆触内に色の変化を与えることができるようになる。図２のステップＳ１にてコンピュータが取り込んだ画像、例えば写真画像の各画素は、ステップＳ３０４までの処理においてどの表現単位領域に属するかが判定されているので、このステップＳ３０５においては、その画素が属する表現単位領域に対応する特徴に基づいて当該画素に色が割り当てられる。最も単純な手法によれば例えば表現単位領域のＲ，Ｇ，Ｂの各平均色が割り当てられるが、この例ではその特徴に所定の計算処理を施して計算結果に基づいて前記平均色を割り当てるようにしている。計算処理としては、表現単位領域の重心位置から離れる画素ほど前記平均色が小さくなるといった処理である。
【０１４４】
ステップＳ３０６では画素番号を一つ増やして、ステップＳ３０７でｋの値がＣ１０より大きいことをチェックし、ｋ＞Ｃ１０であれば、処理を終了し、条件を満たさなければ、ステップＳ３０３に戻し、次の画素の処理を続ける。
【０１４５】
図１５の処理が終了したら図２に示したステップＳ１５に処理を戻し、ステップＳ１５では、ステップＳ１４において算出された加工画像を画像データ出力部２２から出力して、印刷したり保存したりする他、画像データ表示部２１にも確認のために表示することができる。即ち、ステップＳ１４までにおいて、各画素に色が割り当てられるので、このステップＳ１５では、割り当てられた色に基づいて各画素を発色させ、これにより先に取り込んだ例えば写真画像が加工されて、絵画風の筆触が表現された加工画像が得られる。
【０１４６】
図１６は、分割画像データ記憶部２３に記憶されている分割画像データである。ここで示されている一つ一つの利用域が基本領域である。
【０１４７】
図１７は、分割画像データから計算される基本領域特徴、結合領域特徴及び分割領域特徴について、エッジ領域、孤立領域、対比領域、６回以上の繰り返しで統一領域に決定した領域については、基本領域特徴と注目画素との、そして、２〜５回の繰り返しで統一領域に決定した領域については、部分領域特徴と注目画素との距離計算をすることで、作り出された加工画像である。
【０１４８】
図１８は、分割画像データから計算される基本領域特徴、結合領域特徴及び分割領域特徴について、エッジ領域、孤立領域及び対比領域については、基本領域特徴と注目画素との、そして、統一領域に決定した領域については、結合領域から計算された部分領域特徴の重心値を利用して計算された２次曲線で座標変換し、さらに、座標変換された第１主成分の軸に沿ってその領域に含まれる画素の数に比例した線幅のみ、めだつ曲線を入れて作り出した加工画像である。
【図面の簡単な説明】
【０１４９】
【図１】本発明の一実施形態による画像加工装置の構成を示すブロック図である。
【図２】図1に示す画像加工装置による画像加工処理を説明するためのフローチャートである。
【図３】画像データを基本領域に分割する様子を示す説明図である。
【図４】基本領域の特徴の一つである方向要素を説明するための説明図である。
【図５】基本領域の特徴の一例を示す説明図である。
【図６】基本領域を統合して仮統合領域を形成する様子を説明するための説明図である。
【図７】基本領域を統合して仮統合領域を形成する様子を説明するための説明図である。
【図８】試行を繰り返すことにより仮統合領域に含まれる基本領域が増加する様子を示す説明図である。
【図９】図2に示す統合領域作成処理を説明するためのフローチャートである。
【図１０】図3に示す仮統合領域作成処理を説明するためのフローチャートである。
【図１１】対比統合領域を形成する様子を示す説明図である。
【図１２】統合領域デザインマップに記述されている統合領域記号を画像として表示する一例を示す図である。
【図１３】統合領域を部分分割する様子を示す説明図である。
【図１４】図１に示す表現部の構成を詳しく説明するためのブロック図である。
【図１５】図２に示す画素特徴の算出を説明するためのフローチャートである。
【図１６】分割画像データの一例を示す図である。
【図１７】加工画像の一例を示す図である。
【図１８】加工画像の一例を示す図である。
【符号の説明】
【０１５０】
１ 画像データ入力部
２ 画像特徴抽出部
３ 基本領域分割部
４ 基本領域特徴算出部
５ 基本領域特徴記憶部
６ 領域統合部
７ 統合領域特徴算出部
８ 統合領域特徴記憶部
９ 領域結合部
１０ 結合領域特徴算出部
１１ 結合領域特徴記憶部
１２ 部分領域分割部
１３ 部分領域特徴算出部
１４ 部分領域特徴記憶部
１５ 表現部
１６ 特徴変更部
１７ 統合領域デザインマップ記憶部
１８ 画像処理領域指示部
１９ 画像処理領域プリセット記憶部
２０ データ入力部
２１ 画像データ表示部
２２ 画像データ出力部
２３ 分割画像データ記憶部
２４ 処理手順記憶部
２５ 画素特徴算出部
２６ 距離計算式記憶部
２７ 画素特徴記憶部
２８ 画素特徴変換部
２９ 画素特徴変換式記憶部
【特許請求の範囲】
【請求項１】
画像データに含まれる画素について、少なくとも色を判断基準の一つとして各画素をグループ化し、これにより当該画像データを複数の基本領域に分割する基本領域分割処理手段と、
分割された基本領域毎に、少なくとも色の特徴を含む当該基本領域の特徴を算出する基本領域特徴算出手段と、
この基本領域特徴算出手段により算出された基本領域特徴の内の少なくとも色に基づいて、複数の基本領域を統合して統合領域を制作する領域統合手段と、
前記統合領域毎に、基本領域に含まれる画素のデータに基づいて少なくとも色の特徴を含む当該統合領域の特徴を算出する統合領域特徴算出手段と、
前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかを決定する画像処理領域指示部と、
選択された結果により決定された表現の単位領域毎に、その表現の単位領域の特徴に基づいて当該単位領域に含まれる画素の色を決定する表現部と、を備えたことを特徴とする画像加工装置。
【請求項２】
前記表現部は、前記統合領域特徴と基本領域特徴との２つの領域特徴、もしくはどちらか一方の領域特徴と画素の位置情報を入力値として、最も好ましい領域特徴が選ばれたときに最小の値を示すように考えられた所定の計算１を行い、その結果最小の値を与えた基本領域の基本領域特徴、もしくは統合領域の統合領域特徴、もしくはその両者に加え、先の計算結果の最小の値と２番目に小さな値との差から計算される値の全て、もしくはいくつかを入力値として色情報などの画素特徴を計算することを特徴とする請求項１に記載の画像加工装置。
【請求項３】
同じ統合領域に統合された複数の基本領域の中から２つ以上の基本領域を選び結合を行う領域結合手段と、
この領域結合手段により結合された結合領域の特徴を計算する結合領域算出手段と、を更に備え、
画像処理領域指示部は、前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするか当該統合領域に含まれている結合領域を表現の単位領域とするかを決定することを特徴とする請求項１または２に記載の画像加工装置。
【請求項４】
統合領域及び／または基本領域を各々複数の部分領域に分ける部分領域分割手段と、
前記統合領域特徴あるいは前記基本領域特徴を参照して、各領域特徴から部分領域特徴を算出する部分領域特徴算出手段と、を更に備え、
画像処理領域指示部は、前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするか当該統合領域を分割した部分領域を表現の単位領域とするかを決定することを特徴とする請求項１または２に記載の画像加工装置。
【請求項５】
前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、夫々から前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の領域特徴と画素の位置情報を入力値として、最も好ましい特徴が選ばれたときに最小の値を示すように考えられた所定の計算２を行い、その結果最小の値を与えた基本領域の基本領域特徴、もしくは統合領域の統合領域特徴、もしくは結合領域の結合領域特徴、もしくはそれらに加え、先の所定の計算２の計算結果の最小の値と２番目に小さな値との差から計算される値の全て、またはその中のいくつかを入力値として画像を構成する画素の画素特徴を計算することを特徴とする請求項１から４のいずれか一に記載の画像加工装置。
【請求項６】
前記画像特徴抽出手段は、統合領域特徴と基本領域特徴と結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、夫々から前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の各領域特徴を、
その各領域特徴において、基本領域または統合領域または結合領域または部分領域の周囲に位置する基本領域または統合領域または結合領域または部分領域の各領域特徴から計算された値を基に変更する特徴変更手段と、を備えていることを特徴とする請求項１から５のいずれか一に記載の画像加工装置。
【請求項７】
前記領域統合手段は、印の付いていない基本領域をみつけ、それに印1を付ける。その基本領域に隣接する基本領域間の特徴量の差が第１の閾値より小さい基本領域に印1を付け、さらに、その印1を付けられた基本領域に隣接する基本領域間の特徴量の差が第１の閾値より小さい基本領域にも印1を付けるという作業を繰り返し、最終的に印1が付けられた基本領域をまとめ仮統合領域1とし、まとめ終わったら、初めに戻り、印の付いていない基本領域を見つけ、その基本領域に印2を付け同様の処理を繰り返し、最終的に印の付いてない基本領域がなくなるまで繰り返す。次に、仮統合領域に含まれる基本領域の数が第１の個数より大きい仮統合領域に注目し、それに隣接する基本領域間の特徴量の差が第１の閾値より大きく、第２の閾値より小さい基本領域を同様の手法でまとめ、まとめられた新たな仮統合領域が先の注目した仮統合領域に含まれていた基本領域を含んでおり、且つ新たな仮統合領域にまとめられた基本領域の数を先の注目した仮統合領域にまとめられていた基本領域の数で割った値が１より大きく規定値１より小さい場合に、その仮統合領域を正式に統合領域として決定することを特徴とする請求項１から６のいずれか一に記載の画像加工装置。
【請求項８】
前記領域統合手段は、２回目の仮統合領域が決定した後に、第２の閾値の値を新たに第１の閾値として、３回目の仮統合領域を定める処理と２回目の仮統合領域を正式に統合領域として決定する処理を行い、以後、同様の操作を複数回繰り返し、繰り返す際に、前回の処理で統合領域として決定した基本領域を除いた残りの基本領域に対してのみ統合処理を続け、ｎ回目の正式な統合領域としての決定処理が終った時には、その統合領域に通し番号を与え、統合領域デザインマップにその通し番号とｎ回目の均一統合領域であることとを記録することを特徴とする請求項１から７のいずれか一に記載の画像加工装置。
【請求項９】
前記領域統合手段は、ｎ回目の繰り返し処理後に、基本領域数が第１の個数より大きく、第２の個数より小さい仮統合領域に注目し、その仮統合領域の境界付近に位置する基本領域の中で、注目した仮統合領域内にある基本領域の基本領域特徴とそれに隣接し、且つ注目した仮統合領域外にある基本領域の基本領域特徴との差の平均値の絶対値が規定値２より大きい場合に、その仮統合領域に通し番号を与え、統合領域デザインマップにその通し番号とｎ回目の対比統合領域であることとを記録し、この仮統合領域を統合処理の対象から除外した後にｎ＋１回目の繰り返し処理を行うことを特徴とする請求項１から８のいずれか一に記載の画像加工装置。
【請求項１０】
前記領域統合手段は、全ての処理をする前に、規定値３より大きい基本領域特徴を持つ基本領域を予め除外しておき、除外された基本領域の情報を先の統合領域デザインマップに記述しておくことを特徴とする請求項１から９のいずれか一に記載の画像加工装置。
【請求項１１】
前記領域結合手段は、前記領域統合手段により同じ統合領域にまとめられた近接する複数の基本領域に対し、１つの結合領域として結合させる基本領域の個数とそれらの基本領域が結合可能となる基本領域特徴との関係をその基本領域が属する統合領域の統合領域デザインマップに記述されている情報に応じて変化させることを特徴とする請求項１から１０のいずれか一に記載の画像加工装置。
【請求項１２】
前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、夫々から前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の各領域特徴を、夫々が含まれている統合領域の統合領域デザインマップに記述されている情報を基に選び出し、さらに前記統合領域デザインマップに記述されている情報を基に選び出された特徴から画素特徴を計算する計算式を切り替えて、画素特徴を計算することを特徴とする請求項１から１１のいずれか一に記載の画像加工装置。
【請求項１３】
前記部分領域分割手段は、統合領域、あるいは基本領域、あるいは結合領域、を夫々複数の部分領域に分け、その部分領域毎に、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴、あるいは前記基本領域特徴記憶手段に記憶されている基本領域特徴、あるいは前記結合領域特徴記憶手段に記憶されている結合領域特徴を参照して前記部分領域特徴算出手段により部分領域特徴を計算する際に、部分領域が属していた統合領域の統合領域デザインマップに記述されている情報に応じて異なる計算式が選択され、それを用いて部分領域の部分領域特徴が計算され、計算された部分領域特徴が前記部分領域特徴記憶手段に記憶されることを特徴とする請求項１から１２のいずれか一に記載の画像加工装置。
【請求項１４】
前記特徴変更手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴と前記部分領域分割手段により計算される部分領域特徴とのうち４種類の領域特徴から、あるいは任意の数種類の領域特徴から選択された各領域特徴を変更するための数式を複数用意しており、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域デザインマップに記述されている情報に応じて、適切な数式を選択して、その選択された数式を用いて各特徴量を変更することを特徴とする請求項１から１３のいずれか一に記載の画像加工装置。
【請求項１５】
前記統合領域特徴、結合領域特徴、基本領域特徴、各領域特徴の記述単位である統合領域、結合領域、基本領域の各領域毎に領域の通し番号とその領域に含まれている画素の統計量を要素として持ち、最低限、平均色、各領域毎に含まれている画素の重心、各領域毎に含まれている画素数、を含むことを特徴とする請求項１から１４のいずれか一に記載の画像加工装置。
【請求項１６】
前記表現手段は、表現処理を画像データに対して、前記統合領域特徴記憶手段に記憶されている統合領域特徴、または前記基本領域特徴記憶手段に記憶されている基本領域特徴、または前記結合領域特徴記憶手段に記憶されている結合領域特徴から計算される画像範囲を単位として、夫々に異なる処理をオペーレータの指示で加えられるように、画像データを複数の領域特徴に分けるためのデータ入力手段を備えていることを特徴とする請求項１から１５のいずれか一に記載の画像加工装置。
【請求項１７】
前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴とに対して、前記部分領域分割手段により夫々３つの領域特徴から計算される部分領域特徴を利用して、夫々３つの領域特徴から作り出される筆触の形を様々に変化されることを特徴とする請求項１から１２のいずれか一に記載の画像加工装置。
【請求項１８】
前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、それぞれから前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の領域特徴と画像の位置情報を入力値として、最も好ましい領域特徴が選ばれたときに値が最小になる所定の計算３を行い、ｎを自然数とし、その計算の結果１番目からｎ番目に小さい値までを与えたｎ個の基本領域の基本領域特徴、もしくはｎ個の統合領域の統合領域特徴、もしくはｎ個の結合領域の結合領域特徴、もしくはそれらのいくつかと、さらに先の計算結果の最小の値と２番目に小さな値との差（最小の値とｎ−１番目に小さな値との差から計算されるｎ−１個の値）の全て、もしくはいくつかを入力値として画素特徴を計算することを特徴とする請求項１から１７のいずれか一に記載の画像加工装置。
【請求項１９】
コンピュータを用いて画像を加工する画像加工方法であって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理ステップの処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶ステップと、
前記分割画像データ記憶ステップに保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出ステップと、
前記コンピュータが、前記基本領域特徴算出ステップにおいて算出した基本領域特徴を領域毎に記憶する基本領域特徴記憶ステップと、
前記コンピュータが、前記基本領域特徴記憶ステップにおいて記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成する領域統合ステップと、
前記コンピュータが、前記領域統合ステップにおいて統合した統合領域を記憶する統合領域特徴記憶ステップと、
前記統合領域特徴記憶ステップに記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶ステップに記憶されている基本領域特徴との２つの領域特徴から計算される結果を基に前記画像データに対して表現処理を行う表現ステップと、を備えていることを特徴とする画像加工方法。
【請求項２０】
コンピュータを用いて画像を加工する画像加工方法であって、
前記コンピュータが画像データを複数の基本領域に分割する基本領域分割処理ステップの処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶ステップと、
前記分割画像データ記憶ステップに保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出ステップと、
前記コンピュータが前記基本領域特徴算出ステップにおいて算出した特徴を基本領域毎に記憶する基本領域特徴記憶ステップと、
前記コンピュータが、前記基本領域特徴記憶ステップにおいて記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成すると共に、統合領域デザインマップを制作する領域統合ステップと、
前記コンピュータが、前記領域統合ステップにおいて統合した統合領域を記憶する統合領域特徴記憶ステップと、
前記コンピュータが、前記統合領域特徴記憶ステップにおいて記憶した統合領域特徴を基に複数の基本領域を結合して結合領域を作成する領域結合ステップと、
前記コンピュータが、前記領域結合ステップにおいて結合した結合領域を記憶する結合領域特徴記憶ステップと、
前記コンピュータが、前記統合領域特徴記憶ステップにおいて記憶した統合領域特徴と基本領域特徴記憶ステップにおいて記憶した基本領域特徴と結合領域を記憶する結合領域特徴記憶ステップにおいて記憶した結合領域特徴との全て、あるいは任意の数種の領域特徴を前記統合領域デザインマップを参照しながら、適応的に複数の部分に分割し、その部分領域毎に部分領域特徴を計算する部分領域分割ステップと、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に変更を加える特徴変更ステップと、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に対して、前記統合領域デザインマップを参照しながら、適応的に表現処理を行う表現ステップと、を備えていることを特徴とする画像加工方法。
【請求項２１】
コンピュータを用いて画像を加工する画像加工プログラムであって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理手段の処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶手段と、
前記分割画像データ記憶手段に保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出手段と、
前記コンピュータが、前記基本領域特徴算出手段において算出した基本領域特徴を基本領域毎に記憶する基本領域特徴記憶手段と、
前記コンピュータが、前記基本領域特徴記憶手段において記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成する領域統合手段と、
前記コンピュータが、前記領域統合手段において統合した統合領域を記憶する統合領域特徴記憶手段と、
前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴との２つの領域特徴から計算される結果を基に前記画像データに対して表現処理を行う手段としてコンピュータを機能させることを特徴とする画像加工プログラム。
【請求項２２】
コンピュータを用いて画像を加工する画像加工プログラムであって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理手段の処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶手段と、
前記分割画像データ記憶手段に保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出手段と、
前記コンピュータが、前記基本領域特徴算出手段において算出した特徴を基本領域毎に記憶する基本領域特徴記憶手段と、
前記コンピュータが、前記基本領域特徴記憶手段において記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成すると共に、統合領域デザインマップを制作する領域統合手段と、
前記コンピュータが、前記領域統合手段において統合した統合領域を記憶する統合領域特徴記憶手段と、
前記コンピュータが、前記統合領域特徴記憶手段において記憶した統合領域特徴を基に複数の基本領域を結合して結合領域を作成する領域結合手段と、
前記コンピュータが、前記領域結合手段において結合した結合領域を記憶する結合領域特徴記憶手段と、
前記コンピュータが、前記統合領域特徴記憶手段において記憶した統合領域特徴と基本領域特徴記憶手段において記憶した基本領域特徴と結合領域を記憶する結合領域特徴記憶手段において記憶した結合領域特徴との全て、あるいは任意の数種の領域特徴を前記統合領域デザインマップを参照しながら、適応的に複数の部分に分割し、その部分領域毎に部分領域特徴を計算する部分領域分割手段と
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に変更を加える特徴変更手段と、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に対して、前記統合領域デザインマップを参照しながら、適応的に表現処理を行う手段としてコンピュータを機能させることを備えていることを特徴とする画像加工プログラム。
【請求項２３】
コンピュータに用いられ、画像データを加工するプログラムにおいて、
画像データに含まれる画素について、少なくとも色を判断基準の一つとして各画素をグループ化し、これにより当該画像データを複数の基本領域に分割するステップと、
分割された基本領域毎に、少なくとも色の特徴を含む当該基本領域の特徴を算出するステップと、
分割された基本領域について、注目した一の基本領域に対して互いに連鎖しかつ互いに隣接するもの同士の基本領域の特徴の差が第１の閾値より小さい基本領域群を検出し、それら基本領域をグループ化して仮統合領域とし、同様にして前記一の基本領域以外の基本領域に対してもグループ化される基本領域群を検出して仮統合領域とし、こうして複数の第１回目の仮統合領域を得るステップと、
第１の閾値を、第１回目の仮統合領域を得るステップ時よりも大きくし、前記ステップと同様のステップを行って、複数の仮統合領域を得てこれらを第２回目の仮統合領域とし、第１回目の仮統合領域と第２回目の仮統合領域とが共通の基本領域を含んでいてかつ第１回目の仮統合領域に含まれる基本領域の数に対する第２回目の仮統合領域の基本領域の数の増加率が予め設定された値よりも小さいときに、その仮統合領域を正式な統合領域として決定するステップと、
第２回目の仮統合領域が決定した後に、第１の閾値の値を更に大きくして同様にして３回目の仮統合領域を定める処理を行うと共に、同様にして２回目の仮統合領域を正式に統合領域として決定する処理を行い、以後、同様の操作を複数回繰り返し、繰り返す際に、前回の処理で統合領域として決定した基本領域を除いた残りの基本領域に対してのみ統合処理を続けるステップと、
正式な統合領域としての決定処理が終った後、正式な統合領域ごとに、何回目の統合処理により仮統合領域から正式な統合領域に決定されたのかを示す段階数を記録するステップと、
前記正式に決定された統合領域毎に、基本領域に含まれる画素のデータに基づいて少なくとも色の特徴を含む当該統合領域の特徴を算出するステップと、を含むことを特徴とする画像加工プログラム。
【請求項２４】
前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかを決定するステップと、
選択された結果により決定された表現の単位領域毎に、その表現の単位領域の特徴に基づいて当該単位領域に含まれる画素の色を決定するステップと、を含むことを特徴とする請求項２３記載の画像加工プログラム。
【請求項２５】
統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかの決定は、前記統合領域の段階数に応じて行われることを特徴とする請求項２４記載の画像加工プログラム。
【請求項１】
画像データに含まれる画素について、少なくとも色を判断基準の一つとして各画素をグループ化し、これにより当該画像データを複数の基本領域に分割する基本領域分割処理手段と、
分割された基本領域毎に、少なくとも色の特徴を含む当該基本領域の特徴を算出する基本領域特徴算出手段と、
この基本領域特徴算出手段により算出された基本領域特徴の内の少なくとも色に基づいて、複数の基本領域を統合して統合領域を制作する領域統合手段と、
前記統合領域毎に、基本領域に含まれる画素のデータに基づいて少なくとも色の特徴を含む当該統合領域の特徴を算出する統合領域特徴算出手段と、
前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかを決定する画像処理領域指示部と、
選択された結果により決定された表現の単位領域毎に、その表現の単位領域の特徴に基づいて当該単位領域に含まれる画素の色を決定する表現部と、を備えたことを特徴とする画像加工装置。
【請求項２】
前記表現部は、前記統合領域特徴と基本領域特徴との２つの領域特徴、もしくはどちらか一方の領域特徴と画素の位置情報を入力値として、最も好ましい領域特徴が選ばれたときに最小の値を示すように考えられた所定の計算１を行い、その結果最小の値を与えた基本領域の基本領域特徴、もしくは統合領域の統合領域特徴、もしくはその両者に加え、先の計算結果の最小の値と２番目に小さな値との差から計算される値の全て、もしくはいくつかを入力値として色情報などの画素特徴を計算することを特徴とする請求項１に記載の画像加工装置。
【請求項３】
同じ統合領域に統合された複数の基本領域の中から２つ以上の基本領域を選び結合を行う領域結合手段と、
この領域結合手段により結合された結合領域の特徴を計算する結合領域算出手段と、を更に備え、
画像処理領域指示部は、前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするか当該統合領域に含まれている結合領域を表現の単位領域とするかを決定することを特徴とする請求項１または２に記載の画像加工装置。
【請求項４】
統合領域及び／または基本領域を各々複数の部分領域に分ける部分領域分割手段と、
前記統合領域特徴あるいは前記基本領域特徴を参照して、各領域特徴から部分領域特徴を算出する部分領域特徴算出手段と、を更に備え、
画像処理領域指示部は、前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするか当該統合領域を分割した部分領域を表現の単位領域とするかを決定することを特徴とする請求項１または２に記載の画像加工装置。
【請求項５】
前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、夫々から前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の領域特徴と画素の位置情報を入力値として、最も好ましい特徴が選ばれたときに最小の値を示すように考えられた所定の計算２を行い、その結果最小の値を与えた基本領域の基本領域特徴、もしくは統合領域の統合領域特徴、もしくは結合領域の結合領域特徴、もしくはそれらに加え、先の所定の計算２の計算結果の最小の値と２番目に小さな値との差から計算される値の全て、またはその中のいくつかを入力値として画像を構成する画素の画素特徴を計算することを特徴とする請求項１から４のいずれか一に記載の画像加工装置。
【請求項６】
前記画像特徴抽出手段は、統合領域特徴と基本領域特徴と結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、夫々から前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の各領域特徴を、
その各領域特徴において、基本領域または統合領域または結合領域または部分領域の周囲に位置する基本領域または統合領域または結合領域または部分領域の各領域特徴から計算された値を基に変更する特徴変更手段と、を備えていることを特徴とする請求項１から５のいずれか一に記載の画像加工装置。
【請求項７】
前記領域統合手段は、印の付いていない基本領域をみつけ、それに印1を付ける。その基本領域に隣接する基本領域間の特徴量の差が第１の閾値より小さい基本領域に印1を付け、さらに、その印1を付けられた基本領域に隣接する基本領域間の特徴量の差が第１の閾値より小さい基本領域にも印1を付けるという作業を繰り返し、最終的に印1が付けられた基本領域をまとめ仮統合領域1とし、まとめ終わったら、初めに戻り、印の付いていない基本領域を見つけ、その基本領域に印2を付け同様の処理を繰り返し、最終的に印の付いてない基本領域がなくなるまで繰り返す。次に、仮統合領域に含まれる基本領域の数が第１の個数より大きい仮統合領域に注目し、それに隣接する基本領域間の特徴量の差が第１の閾値より大きく、第２の閾値より小さい基本領域を同様の手法でまとめ、まとめられた新たな仮統合領域が先の注目した仮統合領域に含まれていた基本領域を含んでおり、且つ新たな仮統合領域にまとめられた基本領域の数を先の注目した仮統合領域にまとめられていた基本領域の数で割った値が１より大きく規定値１より小さい場合に、その仮統合領域を正式に統合領域として決定することを特徴とする請求項１から６のいずれか一に記載の画像加工装置。
【請求項８】
前記領域統合手段は、２回目の仮統合領域が決定した後に、第２の閾値の値を新たに第１の閾値として、３回目の仮統合領域を定める処理と２回目の仮統合領域を正式に統合領域として決定する処理を行い、以後、同様の操作を複数回繰り返し、繰り返す際に、前回の処理で統合領域として決定した基本領域を除いた残りの基本領域に対してのみ統合処理を続け、ｎ回目の正式な統合領域としての決定処理が終った時には、その統合領域に通し番号を与え、統合領域デザインマップにその通し番号とｎ回目の均一統合領域であることとを記録することを特徴とする請求項１から７のいずれか一に記載の画像加工装置。
【請求項９】
前記領域統合手段は、ｎ回目の繰り返し処理後に、基本領域数が第１の個数より大きく、第２の個数より小さい仮統合領域に注目し、その仮統合領域の境界付近に位置する基本領域の中で、注目した仮統合領域内にある基本領域の基本領域特徴とそれに隣接し、且つ注目した仮統合領域外にある基本領域の基本領域特徴との差の平均値の絶対値が規定値２より大きい場合に、その仮統合領域に通し番号を与え、統合領域デザインマップにその通し番号とｎ回目の対比統合領域であることとを記録し、この仮統合領域を統合処理の対象から除外した後にｎ＋１回目の繰り返し処理を行うことを特徴とする請求項１から８のいずれか一に記載の画像加工装置。
【請求項１０】
前記領域統合手段は、全ての処理をする前に、規定値３より大きい基本領域特徴を持つ基本領域を予め除外しておき、除外された基本領域の情報を先の統合領域デザインマップに記述しておくことを特徴とする請求項１から９のいずれか一に記載の画像加工装置。
【請求項１１】
前記領域結合手段は、前記領域統合手段により同じ統合領域にまとめられた近接する複数の基本領域に対し、１つの結合領域として結合させる基本領域の個数とそれらの基本領域が結合可能となる基本領域特徴との関係をその基本領域が属する統合領域の統合領域デザインマップに記述されている情報に応じて変化させることを特徴とする請求項１から１０のいずれか一に記載の画像加工装置。
【請求項１２】
前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、夫々から前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の各領域特徴を、夫々が含まれている統合領域の統合領域デザインマップに記述されている情報を基に選び出し、さらに前記統合領域デザインマップに記述されている情報を基に選び出された特徴から画素特徴を計算する計算式を切り替えて、画素特徴を計算することを特徴とする請求項１から１１のいずれか一に記載の画像加工装置。
【請求項１３】
前記部分領域分割手段は、統合領域、あるいは基本領域、あるいは結合領域、を夫々複数の部分領域に分け、その部分領域毎に、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴、あるいは前記基本領域特徴記憶手段に記憶されている基本領域特徴、あるいは前記結合領域特徴記憶手段に記憶されている結合領域特徴を参照して前記部分領域特徴算出手段により部分領域特徴を計算する際に、部分領域が属していた統合領域の統合領域デザインマップに記述されている情報に応じて異なる計算式が選択され、それを用いて部分領域の部分領域特徴が計算され、計算された部分領域特徴が前記部分領域特徴記憶手段に記憶されることを特徴とする請求項１から１２のいずれか一に記載の画像加工装置。
【請求項１４】
前記特徴変更手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴と前記部分領域分割手段により計算される部分領域特徴とのうち４種類の領域特徴から、あるいは任意の数種類の領域特徴から選択された各領域特徴を変更するための数式を複数用意しており、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域デザインマップに記述されている情報に応じて、適切な数式を選択して、その選択された数式を用いて各特徴量を変更することを特徴とする請求項１から１３のいずれか一に記載の画像加工装置。
【請求項１５】
前記統合領域特徴、結合領域特徴、基本領域特徴、各領域特徴の記述単位である統合領域、結合領域、基本領域の各領域毎に領域の通し番号とその領域に含まれている画素の統計量を要素として持ち、最低限、平均色、各領域毎に含まれている画素の重心、各領域毎に含まれている画素数、を含むことを特徴とする請求項１から１４のいずれか一に記載の画像加工装置。
【請求項１６】
前記表現手段は、表現処理を画像データに対して、前記統合領域特徴記憶手段に記憶されている統合領域特徴、または前記基本領域特徴記憶手段に記憶されている基本領域特徴、または前記結合領域特徴記憶手段に記憶されている結合領域特徴から計算される画像範囲を単位として、夫々に異なる処理をオペーレータの指示で加えられるように、画像データを複数の領域特徴に分けるためのデータ入力手段を備えていることを特徴とする請求項１から１５のいずれか一に記載の画像加工装置。
【請求項１７】
前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴とに対して、前記部分領域分割手段により夫々３つの領域特徴から計算される部分領域特徴を利用して、夫々３つの領域特徴から作り出される筆触の形を様々に変化されることを特徴とする請求項１から１２のいずれか一に記載の画像加工装置。
【請求項１８】
前記表現手段は、前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴と前記結合領域特徴記憶手段に記憶されている結合領域特徴との３種類の領域特徴と、あるいはそれらに加えて、それぞれから前記部分領域分割手段よって計算される部分領域特徴のうち４種類の領域特徴、あるいはその中の任意の数種類の領域特徴と画像の位置情報を入力値として、最も好ましい領域特徴が選ばれたときに値が最小になる所定の計算３を行い、ｎを自然数とし、その計算の結果１番目からｎ番目に小さい値までを与えたｎ個の基本領域の基本領域特徴、もしくはｎ個の統合領域の統合領域特徴、もしくはｎ個の結合領域の結合領域特徴、もしくはそれらのいくつかと、さらに先の計算結果の最小の値と２番目に小さな値との差（最小の値とｎ−１番目に小さな値との差から計算されるｎ−１個の値）の全て、もしくはいくつかを入力値として画素特徴を計算することを特徴とする請求項１から１７のいずれか一に記載の画像加工装置。
【請求項１９】
コンピュータを用いて画像を加工する画像加工方法であって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理ステップの処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶ステップと、
前記分割画像データ記憶ステップに保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出ステップと、
前記コンピュータが、前記基本領域特徴算出ステップにおいて算出した基本領域特徴を領域毎に記憶する基本領域特徴記憶ステップと、
前記コンピュータが、前記基本領域特徴記憶ステップにおいて記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成する領域統合ステップと、
前記コンピュータが、前記領域統合ステップにおいて統合した統合領域を記憶する統合領域特徴記憶ステップと、
前記統合領域特徴記憶ステップに記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶ステップに記憶されている基本領域特徴との２つの領域特徴から計算される結果を基に前記画像データに対して表現処理を行う表現ステップと、を備えていることを特徴とする画像加工方法。
【請求項２０】
コンピュータを用いて画像を加工する画像加工方法であって、
前記コンピュータが画像データを複数の基本領域に分割する基本領域分割処理ステップの処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶ステップと、
前記分割画像データ記憶ステップに保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出ステップと、
前記コンピュータが前記基本領域特徴算出ステップにおいて算出した特徴を基本領域毎に記憶する基本領域特徴記憶ステップと、
前記コンピュータが、前記基本領域特徴記憶ステップにおいて記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成すると共に、統合領域デザインマップを制作する領域統合ステップと、
前記コンピュータが、前記領域統合ステップにおいて統合した統合領域を記憶する統合領域特徴記憶ステップと、
前記コンピュータが、前記統合領域特徴記憶ステップにおいて記憶した統合領域特徴を基に複数の基本領域を結合して結合領域を作成する領域結合ステップと、
前記コンピュータが、前記領域結合ステップにおいて結合した結合領域を記憶する結合領域特徴記憶ステップと、
前記コンピュータが、前記統合領域特徴記憶ステップにおいて記憶した統合領域特徴と基本領域特徴記憶ステップにおいて記憶した基本領域特徴と結合領域を記憶する結合領域特徴記憶ステップにおいて記憶した結合領域特徴との全て、あるいは任意の数種の領域特徴を前記統合領域デザインマップを参照しながら、適応的に複数の部分に分割し、その部分領域毎に部分領域特徴を計算する部分領域分割ステップと、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に変更を加える特徴変更ステップと、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に対して、前記統合領域デザインマップを参照しながら、適応的に表現処理を行う表現ステップと、を備えていることを特徴とする画像加工方法。
【請求項２１】
コンピュータを用いて画像を加工する画像加工プログラムであって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理手段の処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶手段と、
前記分割画像データ記憶手段に保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出手段と、
前記コンピュータが、前記基本領域特徴算出手段において算出した基本領域特徴を基本領域毎に記憶する基本領域特徴記憶手段と、
前記コンピュータが、前記基本領域特徴記憶手段において記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成する領域統合手段と、
前記コンピュータが、前記領域統合手段において統合した統合領域を記憶する統合領域特徴記憶手段と、
前記統合領域特徴記憶手段に記憶されている統合領域の統合領域特徴と前記基本領域特徴記憶手段に記憶されている基本領域特徴との２つの領域特徴から計算される結果を基に前記画像データに対して表現処理を行う手段としてコンピュータを機能させることを特徴とする画像加工プログラム。
【請求項２２】
コンピュータを用いて画像を加工する画像加工プログラムであって、
前記コンピュータが、画像データを複数の基本領域に分割する基本領域分割処理手段の処理の結果として得られる分割画像データを記憶しておく分割画像データ記憶手段と、
前記分割画像データ記憶手段に保存されている分割画像データを基に基本領域毎に特徴を算出する基本領域特徴算出手段と、
前記コンピュータが、前記基本領域特徴算出手段において算出した特徴を基本領域毎に記憶する基本領域特徴記憶手段と、
前記コンピュータが、前記基本領域特徴記憶手段において記憶した基本領域特徴を基に複数の基本領域を統合して統合領域を作成すると共に、統合領域デザインマップを制作する領域統合手段と、
前記コンピュータが、前記領域統合手段において統合した統合領域を記憶する統合領域特徴記憶手段と、
前記コンピュータが、前記統合領域特徴記憶手段において記憶した統合領域特徴を基に複数の基本領域を結合して結合領域を作成する領域結合手段と、
前記コンピュータが、前記領域結合手段において結合した結合領域を記憶する結合領域特徴記憶手段と、
前記コンピュータが、前記統合領域特徴記憶手段において記憶した統合領域特徴と基本領域特徴記憶手段において記憶した基本領域特徴と結合領域を記憶する結合領域特徴記憶手段において記憶した結合領域特徴との全て、あるいは任意の数種の領域特徴を前記統合領域デザインマップを参照しながら、適応的に複数の部分に分割し、その部分領域毎に部分領域特徴を計算する部分領域分割手段と
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に変更を加える特徴変更手段と、
前記コンピュータが、前記統合領域特徴、あるいは前記基本領域特徴、あるいは前記結合領域特徴、あるいは前記部分領域特徴に対して、前記統合領域デザインマップを参照しながら、適応的に表現処理を行う手段としてコンピュータを機能させることを備えていることを特徴とする画像加工プログラム。
【請求項２３】
コンピュータに用いられ、画像データを加工するプログラムにおいて、
画像データに含まれる画素について、少なくとも色を判断基準の一つとして各画素をグループ化し、これにより当該画像データを複数の基本領域に分割するステップと、
分割された基本領域毎に、少なくとも色の特徴を含む当該基本領域の特徴を算出するステップと、
分割された基本領域について、注目した一の基本領域に対して互いに連鎖しかつ互いに隣接するもの同士の基本領域の特徴の差が第１の閾値より小さい基本領域群を検出し、それら基本領域をグループ化して仮統合領域とし、同様にして前記一の基本領域以外の基本領域に対してもグループ化される基本領域群を検出して仮統合領域とし、こうして複数の第１回目の仮統合領域を得るステップと、
第１の閾値を、第１回目の仮統合領域を得るステップ時よりも大きくし、前記ステップと同様のステップを行って、複数の仮統合領域を得てこれらを第２回目の仮統合領域とし、第１回目の仮統合領域と第２回目の仮統合領域とが共通の基本領域を含んでいてかつ第１回目の仮統合領域に含まれる基本領域の数に対する第２回目の仮統合領域の基本領域の数の増加率が予め設定された値よりも小さいときに、その仮統合領域を正式な統合領域として決定するステップと、
第２回目の仮統合領域が決定した後に、第１の閾値の値を更に大きくして同様にして３回目の仮統合領域を定める処理を行うと共に、同様にして２回目の仮統合領域を正式に統合領域として決定する処理を行い、以後、同様の操作を複数回繰り返し、繰り返す際に、前回の処理で統合領域として決定した基本領域を除いた残りの基本領域に対してのみ統合処理を続けるステップと、
正式な統合領域としての決定処理が終った後、正式な統合領域ごとに、何回目の統合処理により仮統合領域から正式な統合領域に決定されたのかを示す段階数を記録するステップと、
前記正式に決定された統合領域毎に、基本領域に含まれる画素のデータに基づいて少なくとも色の特徴を含む当該統合領域の特徴を算出するステップと、を含むことを特徴とする画像加工プログラム。
【請求項２４】
前記統合領域に応じて、当該統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかを決定するステップと、
選択された結果により決定された表現の単位領域毎に、その表現の単位領域の特徴に基づいて当該単位領域に含まれる画素の色を決定するステップと、を含むことを特徴とする請求項２３記載の画像加工プログラム。
【請求項２５】
統合領域を表現の単位領域とするか当該統合領域に含まれている基本領域を表現の単位領域とするかの決定は、前記統合領域の段階数に応じて行われることを特徴とする請求項２４記載の画像加工プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−３１６８８（Ｐ２００６−３１６８８Ａ）
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願番号】特願２００５−１７５７９８（Ｐ２００５−１７５７９８）
【出願日】平成１７年６月１５日（２００５．６．１５）
【出願人】（５０４０９０３５２）
【Ｆターム（参考）】
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願日】平成１７年６月１５日（２００５．６．１５）
【出願人】（５０４０９０３５２）
【Ｆターム（参考）】
[ Back to top ]