画像処理装置及び画像処理方法、並びにプログラム
【課題】実際の水墨画により近い画像を得ること。
【解決手段】原画像取得部４１は、原画像１００のデータを取得する。水墨画変換部４４は、原画像取得部４１により取得された原画像１００のデータから、水墨画調画像１２０のデータに変換する。特徴領域検出部４２は、原画像取得部４１により取得された原画像１００のデータから、当該原画像１００の特徴領域（本実施形態ではエッジ領域）を検出する。重要度情報算出部４３は、原画像取得部４１により取得された原画像１００のデータから、当該原画像１００の重要度の情報を算出する。変換部４５は、水墨画変換部４４による変換後の水墨画調画像のデータをさらに変換する画像処理として、重要度情報算出部４３により算出された重要度の情報に基づいて、特徴領域検出部４２により検出された特徴領域をぼかすぼかし処理と、水墨画調画像に対して余白領域１４０の付加を設定する余白設定処理とを実行する。
【解決手段】原画像取得部４１は、原画像１００のデータを取得する。水墨画変換部４４は、原画像取得部４１により取得された原画像１００のデータから、水墨画調画像１２０のデータに変換する。特徴領域検出部４２は、原画像取得部４１により取得された原画像１００のデータから、当該原画像１００の特徴領域（本実施形態ではエッジ領域）を検出する。重要度情報算出部４３は、原画像取得部４１により取得された原画像１００のデータから、当該原画像１００の重要度の情報を算出する。変換部４５は、水墨画変換部４４による変換後の水墨画調画像のデータをさらに変換する画像処理として、重要度情報算出部４３により算出された重要度の情報に基づいて、特徴領域検出部４２により検出された特徴領域をぼかすぼかし処理と、水墨画調画像に対して余白領域１４０の付加を設定する余白設定処理とを実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、演出効果を高める目的で、原画像のデータに対して画像処理を施して、芸術性を高める加工がなされるようになっている。
例えば、上述の目的を達成すべく、顔を被写体として含む原画像のデータについて、エッジ検出することで、当該原画像のデータを、芸術性の高い画像の一種である水墨画のような画像（以下、「水墨画調画像」と呼ぶ）のデータに変換をする画像処理が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１１４０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された画像処理では、顔の部位によって変換後の輪郭線の太さが変換されるだけであり、例えば、水墨表現についてはなんら考慮に入れられていないため、変換後の画像は、実際の水墨画とはかけ離れた画像となる場合があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、実際の水墨画により近い画像を得ることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
原画像のデータを取得する原画像取得手段と、
前記原画像取得手段により取得された原画像のデータから、水墨画調画像のデータに変換する第１変換手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出手段と、
前記第１変換手段による変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出手段により算出された重要度の情報に基づいて、前記特徴領域検出手段により検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換手段と、
を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、実際の水墨画により近い画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【図２】図１の画像処理装置の機能的構成のうち、水墨画調画像生成処理、全体ぼかし処理及び余白領域設定処理を実行するための機能的構成を示す機能ブロック図である。
【図３】原画像のデータの一例を示している。
【図４】筆運びパターンの一例を示す図である。
【図５】エッジ画像の一例を示す図である。
【図６】図５のエッジ画像から変換された水墨画調画像の一例を示す図である。
【図７】水墨画調画像と、白背景画像と、により余白領域が設定された水墨画調画像に付加される設定がなされた後の画像の一例を示している。
【図８】図２の機能的構成を有する図１の画像処理装置が実行する水墨画調画像処理の流れの一例を示すフローチャートである。
【図９】図８の水墨画調画像処理のうち、重要度領域算出処理について説明するフローチャートである。
【図１０】図８の水墨画調画像処理のうち、水墨画調画像生成処理について説明するフローチャートである。
【図１１】図８の水墨画調画像処理のうち、全体ぼかし処理について説明するフローチャートである。
【図１２】図８の水墨画調画像処理のうち、余白領域設定処理について説明するフローチャートである。
【図１３】第２実施形態に係る全体ぼかし処理を実行するための機能的構成を示す機能ブロック図である。
【図１４】第２実施形態の原画像のデータの一例を示している。
【図１５】第２実施形態の水墨画調画像処理のうち、全体ぼかし処理について説明するフローチャートである。
【発明を実施するための形態】
【０００９】
［第１実施形態］
以下、本発明の第１実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の第１実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【００１１】
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
【００１５】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１６】
入力部１７は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１７】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００１８】
図２は、このような画像処理装置１の機能的構成のうち、水墨画調画像生成処理、全体ぼかし処理及び余白領域設定処理を実行するための機能的構成を示す機能ブロック図である。
ここで、水墨画調画像生成処理とは、画像処理の対象として入力された原画像のデータから、水墨画調画像のデータを生成するまでの一連の処理をいう。
全体ぼかし処理とは、当該原画像のデータから算出された重要度の情報に基づいて、当該水墨画調画像内の特徴領域をぼかすまでの一連の処理をいう。
また、余白領域設定処理とは、当該重要度の情報に基づいて、当該水墨画調画像に対して付加する余白領域を設定するまでの一連の処理をいう。
【００１９】
ＣＰＵ１１の制御に基づいて水墨画調画像生成処理が実行される場合には、画像処理部１４において、原画像取得部４１と、特徴領域検出部４２と、水墨画変換部４４と、が機能する。ＣＰＵ１１の制御に基づいて全体ぼかし処理が実行される場合には、画像処理部１４において、原画像取得部４１と、重要度情報算出部４３と、変換部４５と、が機能する。
また、ＣＰＵ１１の制御に基づいて余白領域設定処理が実行される場合には、画像処理部１４において、重要度情報算出部４３と、変換部４５と、が機能する。
また、記憶部１９の一領域として、筆運びパターン記憶部（図示せず）が設けられる。
【００２０】
原画像取得部４１は、別装置から送信されて通信部２０に受信された画像のデータや、リムーバブルメディア３１からドライブ２１によって読み出された画像のデータ等を、原画像のデータとして取得して、特徴領域検出部４２及び重要度情報算出部４３に供給する。
【００２１】
特徴領域検出部４２は、原画像のデータに対してエッジ検出処理を施し、例えば、検出されたエッジを黒色として、それ以外を白色とする２値画像（以下、このような２値画像を「エッジ画像」と呼ぶ）のデータを生成する。そして、特徴領域検出部４２は、生成したエッジ画像のデータについて特徴領域を検出する。特徴領域として検出される対象は、特に限定されないが、本実施形態ではエッジ領域であるものとする。このようにして特徴領域検出部４２により生成されたエッジ画像のデータは、水墨画変換部４４に供給される。
【００２２】
重要度情報算出部４３は、原画像取得部４１により取得された原画像のデータから、色、輝度、又はエッジの方向等を重要度の指標として用いて、原画像を構成する各画素の重要度をそれぞれ検出する。そして、重要度情報算出部４３は、検出した重要度に基づいて画素毎に検出された重要度の空間的な分布を示す重要度マップを生成することで、当該原画像の重要度の情報を算出する重要度領域算出処理を実行する。
【００２３】
具体的には例えば、重要度情報算出部４３は、図３に示すような原画像のデータに対して重要度領域算出処理を実施することで、重要度の情報を算出する。このようにして重要度情報算出部４３により算出された重要度の情報は、水墨画変換部４４及び変換部４５に供給される。
【００２４】
図３は、原画像１００のデータの一例を示している。
図３において、原画像１００を構成する複数の各画素１０１のうち、グレーの領域が重要度領域１０２である。そして、重要度領域１０２に基づいて算出された重要度重心１１１が重要度領域１０２の略中心部分に示されている。
【００２５】
より具体的には、本実施形態の重要度情報算出部４３は、このような重要度領域算出処理を実施すべく、図２に示すように、重要度算出部５１と、重要度領域算出部５２と、重要度重心算出部５３と、を備えている。
【００２６】
重要度算出部５１は、原画像取得部４１により取得された原画像を構成する各画素の重要度を算出する。例えば図３の例では、原画像１００を構成する各画素の重要度が算出される。重要度の算出は、特に限定されないが、本実施形態においては、重要度算出部５１は、各画素を中心とした所定範囲の色情報、輝度（明るさ情報）又はエッジ方向の情報に基づいて重要度を算出する。この場合、重要度算出部５１は、単一画素のみでは重要度を算出することはできないので、注目画素に対する一定領域の周辺領域に対してその代表値としての画素が重要かどうかに基づいて重要度を算出する。具体的には、重要度算出部５１は、注目画素の周りのエッジに対して違う方向のエッジが検出されると、その部分は周りと毛色が異なる対象として認識することで、何か特徴のある対象が描画されていると認識し該当部分の重要度を上げる。重要度算出部５１により算出された重要度の情報は、重要度領域算出部５２及び重要度重心算出部５３に供給される。
【００２７】
重要度領域算出部５２は、重要度算出部５１により画素毎に算出された重要度に基づいて重要度領域、例えば図３の例では重要度領域１０２を算出する。重要度領域の算出は、特に限定されないが、本実施形態においては、重要度算出部５１により算出された重要度の評価値の上限を１００とした場合、重要度の評価値が９０以上である領域を重要度領域として算出することができる。重要度領域算出部５２により算出された重要度領域の情報は、水墨画変換部４４及び変換部４５に供給される。
【００２８】
重要度重心算出部５３は、重要度算出部５１により画素毎に算出された各画素の重要度に基づいて原画像の重要度重心を算出する。重要度重心の算出は、特に限定されないが、本実施形態においては、重要度重心算出部５３は、重要度領域算出部５２により重要度領域であると算出された領域の中心位置を重要度重心として算出する。具体的には、重要度重心算出部５３は、初めに、重要度の空間分布の重要度重心（ｘ，ｙ）を計算する。重要度重心算出部５３は、重要度が閾値以上の画素に対して、以下の式（１）（２）を適用し重要度重心（ｘ，ｙ）を算出する。この閾値は、ユーザが必要に応じて適宜変更することができ、本実施形態においては、重要度の上限を１００とした場合、９０を閾値とすることができる。
ｍｘ＝１／（ｎ＋ｓｕｍｗ）×Σ（ｘ×ｗ（ｘ，ｙ））・・・（１）
ｍｘ＝１／（ｎ＋ｓｕｍｗ）×Σ（ｙ×ｗ（ｘ，ｙ））・・・（２）
（ｎは、重要度が閾値以上の画素の数、ｓｕｍｗは、重要度の合計、ｗ（ｘ，ｙ）はｘ，ｙにおける重要度を示す）。
重要度情報算出部４３により算出された重要度重心の情報は、変換部４５に供給される。
【００２９】
水墨画変換部４４は、エッジ画像のデータを水墨画調画像のデータに変換する処理を実行する。このような処理を、以下、「水墨画変換処理」と呼ぶ。
本実施形態の水墨画変換処理として、書道用の筆の筆跡を模したテクスチャを原画像に貼り付ける画像処理が採用されている。この「書道用の筆の筆跡を模したテクスチャ」のパターンを、本明細書では、「筆運びパターン」と呼称している。
【００３０】
筆運びパターンとして採用されるテクスチャの形状や大きさ等は特に限定されない。ただし、本実施形態では、図４に示す２種類の筆運びパターンが採用されている。
図４は、筆運びパターンの一例を示す図である。
図４（Ａ）は、筆の「命毛」の部分（筆の先端部分）で書いた際の筆跡を模した筆運びパターンを示している。なお、以下、図４（Ａ）に示すような筆運びパターンを、「直筆パターン」と呼ぶ。
図４（Ｂ）は、筆の「のど」から「腹」又は「腰」までの側部分（「穂」の一部分）で書いた際の筆跡を模した筆運びパターンを示している。なお、以下、図４（Ｂ）に示すような筆運びパターンを、「側筆パターン」と呼ぶ。
図４（Ａ）と図４（Ｂ）とを比較すると容易にわかるが、直筆パターンは、長手方向と直交する方向の長さ（以下、「幅」と呼ぶ）が狭く、その分だけ濃淡の差が小さいという特徴を有している。これに対して、側筆パターンは、幅が広く、その分だけ濃淡の差が大きいという特徴を有している。
本実施形態では、このような直筆パターン及び側筆パターンの各データは、筆運びパターン記憶部（図示せず）に記憶されている。
なお、筆運びパターンのデータの生成手法は、特に限定されず、例えばＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を利用して生成する手法を採用してもよい。ただし、本実施形態では、実際に、墨を付けた筆により紙媒体に書かれた筆跡を、スキャナやデジタルカメラ等によって画像のデータ化したものを、筆運びパターンのデータとするという手法が採用されている。
【００３１】
水墨画変換部４４は、エッジ画像のデータを処理対象として、エッジ領域に直筆パターンを貼り付け、エッジ領域の周囲領域に側筆パターンを貼り付け、エッジ領域が閉領域を形成する場合には、閉領域の内部に側筆パターンを貼り付ける水墨画変換処理を実行する。
【００３２】
具体的には例えば、水墨画変換部４４は、図５に示すようなエッジ画像のデータに対して水墨画変換処理を実施することで、図６に示すような水墨画調画像のデータを生成する。
【００３３】
図５は、エッジ画像の一例を示している。
図５において、黒くて細い領域がエッジ領域である。
例えば、エッジ領域Ｅ１は山の輪郭を示しており、エッジ領域Ｅ２は雲の輪郭を示しており、エッジ領域Ｅ３は家の輪郭を示している。
【００３４】
図６は、図５のエッジ画像から変換された水墨画調画像の一例を示している。
山の輪郭を示すエッジ領域Ｅ１に直筆パターンＤ１が貼り付けられ、当該エッジ領域Ｅ１の右側の周囲領域に側筆パターンＳ１が貼り付けられている。
また、雲の輪郭を示すエッジ領域Ｅ２は閉領域を形成しているため、当該エッジ領域Ｅ２に直筆パターンＤ２が貼り付けられ、当該閉領域の内部には側筆パターンＳ２が塗りつぶされるように貼り付けられている。
同様に、家の輪郭を示すエッジ領域Ｅ３は閉領域を形成しているため、当該エッジ領域Ｅ３に直筆パターンＤ３が貼り付けられ、当該閉領域の内部には側筆パターンＳ３が塗りつぶされるように貼り付けられている。
【００３５】
より具体的には、本実施形態の水墨画変換部４４は、このような水墨画変換処理を施すべく、以下の処理を行う。
【００３６】
具体的には、水墨画変換部４４は、エッジ画像のデータについて特徴領域を検出する。特徴領域として検出される対象は、特に限定されないが、本実施形態ではエッジ領域であるものとする。
【００３７】
水墨画変換部４４は、検出した特徴領域に基づいて、筆運びパターン記憶部（図示せず）に各データが記憶されている各筆運びパターンから、使用する筆運びパターンを決定する。
即ち、本実施形態では、水墨画変換部４４は、特徴領域であるエッジ領域に対して使用される筆運びパターンとして、直筆パターンを決定する。また、水墨画変換部４４は、特徴領域であるエッジ領域の周囲領域、又は閉曲線を形成しているエッジ領域の当該閉曲線内部の領域に対して使用される筆運びパターンとして、側筆パターンを決定する。
【００３８】
水墨画変換部４４は、決定した筆運びパターンのデータを用いて、エッジ画像のデータを水墨画調画像のデータに変換する。
具体的には、水墨画変換部４４は、エッジ領域に直筆パターンを貼り付けるように、当該エッジ領域のデータを直筆パターンのデータに変換する。同様に、水墨画変換部４４は、エッジ領域の周囲領域に側筆パターンを貼り付けるように、当該エッジ領域の周囲領域のデータを側筆パターンのデータに変換する。また、エッジ領域が閉領域を形成する場合には、水墨画変換部４４は、閉領域の内部に側筆パターンを貼り付けて塗りつぶすように、当該閉領域の内部のデータを側筆パターンのデータに変換する。
【００３９】
水墨画変換部４４は、重要度情報算出部４３により生成された重要度マップに基づいて、水墨画変換部４４で使用される筆運びパターンの各々の色、即ち墨の濃淡の度合いを調整する。
具体的には、重要度マップは、上述したように、画素毎の重要度の空間方向の分布を示している。一方で、濃淡は、複数の画素群からなる領域を占有する筆運びパターン毎に決定される。
そこで、水墨画変換部４４は、調整対象の筆運びパターンが占有する領域に含まれる複数の画素群の各々の重要度を重要度マップから抽出し、抽出した複数の重要度に基づいて、当該領域全体の統合的な重要度を演算する。
なお、領域全体の統合的な重要度の求め方は、当該領域を構成する複数の画素の重要度を用いる手法であれば特に限定されず、例えば二乗平均や中間値を取る手法を採用することが可能である。ただし、本実施形態では、少ない演算量及び演算時間で容易に求めるべく、複数の画素の重要度の単純な平均を取る手法が採用されている。
水墨画変換部４４は、領域全体の総合的な重要度が高いほど、当該領域を占める筆運びパターンが濃く（黒色に近く）なるように、逆に、領域全体の総合的な重要度が低いほど、当該領域を占める筆運びパターンが薄く（白色に近く）なるように、濃淡を調整する。
【００４０】
水墨画変換部４４は、墨のにじみを表現するために、水墨画変換部４４により筆運びパターンに変換された（貼り付けられた）領域の各々のデータを処理対象として、処理対象の領域を周辺にぼかすための画像処理（以下、「ぼかし処理」と呼ぶ）を実行する。
ぼかし処理におけるぼかし量（幅）は、処理対象の領域の濃淡の度合いにより決定される。即ち、上述したように処理対象の領域の濃淡は重要度マップに基づいて調整されるため、当該処理対象の領域のぼかし量もまた重要度マップに基づいて決定される。この場合、重要度が高いほど濃くなる（黒色に近づく）ので、ぼかし量は小さくなり、逆に、重要度が低いほど薄くなる（白色に近づく）ので、ぼかし量は大きくなる。
また、画素毎のぼかし方は、処理対象の領域（筆運びパターン）の端からの距離ｘに依存する手法であれば足り、特に限定されないが、本実施形態では、距離ｘが大きくなるほど薄くなる手法が採用されている。より具体的には、本実施形態では、画像の階調（濃淡を示す輝度の範囲）は２５６階調として、次の式（３）に従って処理対象の画素のぼかす色（濃淡を示す輝度）を演算する手法が採用されている。
Ｂ＝（２５５−Ｌ）×（１−ｅｘｐ（−ｘ×ｘ／ｆ（Ｄ＋ｎ）））＋Ｌ・・・（３）
式（３）において、Ｂは、処理対象の画素のぼかす色（濃淡を示す輝度）を示している。Ｌは、処理対象の画素に貼り付けられた筆運びパターンの色（処理対象の領域全体についての濃淡を示す輝度）を示している。ｆ（Ｄ＋ｎ）は、入力パラメータ（Ｄ＋ｎ）に従って出力値が大きくなる任意の関数を示している。Ｄは、処理対象の画素に貼り付けられた筆運びパターン（処理対象の領域）のぼかし量を示している。ｎは、任意の整数を示している。
【００４１】
変換部４５は、重要度情報算出部４３により算出された重要度の情報に基づいて、特徴領域中の水墨画調画像のデータに対し全体ぼかし処理を実行するぼかし部６１と、原画像の余白領域を設定する余白領域設定処理を実行する余白領域設定部６２と、を備えている。
【００４２】
ぼかし部６１は、重要度領域算出部５２により算出された重要度領域内における各画素の重要度と、重要度重心算出部５３により算出された重要度重心から各画素までの距離とに基づいて、各画素におけるぼかし量を算出する。具体的には、ぼかし部６１は、所定の関数やガウス分布（正規分布）の一次近似に基づき、輝度を白の階調（２５６）まで徐々に変化させることにより、縁のぼかし量が最大となるように、ぼかし量を算出する。即ち、ぼかし処理は、ブラシの端からの距離ｘに依存し、ブラシの端からの距離が大きくなるとほど薄い色となる。ここで、ぼかす量をＤとし、ブラシ描画の色（輝度）をＬとすると、ぼかす色Ｂは、以下の式（４）で表される。
Ｂ＝（２５５−Ｌ）×（１−ｅｘｐ（−ｘ×ｘ／ｆ（Ｄ＋ｎ）））＋Ｌ・・・（４）
本実施形態においては、画像の階調は２５６階調とし、関数ｆは、Ｄ＋ｎの値に従って大きくなるような任意の関数を示す。また、ｎは任意の整数を示す。
ぼかし部６１は、画素毎に算出したぼかし量に基づいて、水墨画調画像の画像全体に対するぼかし処理を行う。
【００４３】
余白領域設定部６２は、水墨画調画像のデータに対して余白領域設定処理を実施することで、当該水墨画調画像に対して余白領域を付加する設定を行う。
【００４４】
より具体的には、本実施形態の余白領域設定部６２は、このような余白領域設定処理を実施すべく、図２に示すように、重要度重心位置比率算出部７１と、背景画像位置比率算出部７２と、合成部７３と、を備えている。
【００４５】
重要度重心位置比率算出部７１は、重要度重心算出部５３により算出された重要度重心の位置比率を算出する。
【００４６】
背景画像位置比率算出部７２は、重要度重心位置比率算出部７１により算出された重要度重心の位置比率に基づいて白背景画像の重心位置比率を算出する。
【００４７】
合成部７３は、重要度重心位置比率算出部７１により算出された重要度重心の位置比率と、背景画像位置比率算出部７２により算出された背景画像の重心の位置比率と、に基づいて、白背景画像のデータに、ぼかし部６１によるぼかし処理後の水墨画調画像のデータを重畳させるように合成する合成処理を実行する。合成処理後のデータが、最終的な出力画像のデータとして画像処理部１４から出力される。
【００４８】
図７は、水墨画調画像１２０と、白背景画像１３０と、により余白領域１４０が水墨画調画像１２０に付加される設定がなされた後の画像の一例を示している。図７の例では、水墨画調画像１２０の外縁と、水墨画調画像１２０に重畳された白背景画像１３０との間の領域が、余白領域１４０として設定されている。
【００４９】
具体的には、図７（１）には、幅Ｘ及び高さＹにより構成される重要度重心の座標（ｘ，ｙ）を有する水墨画調画像１２０を示している。この場合、重要度重心位置比率算出部７１は、幅Ｘ及び高さＹのサイズにより構成される水墨画調画像１２０のアスペクト比（Ｘ／Ｙ）に対する重要度重心１１１の座標（ｘ，ｙ）の位置比率（ｘ／Ｘ＝ｙ／Ｙ）を算出する。次に、余白領域設定部６２は、図７（２）に示すように、水墨画調画像１２０のアスペクト比（Ｘ／Ｙ）と同じアスペクト比（Ａ／Ｂ）を有する白背景画像１３０のサイズを構成する幅Ａ及び高さＢを設定する。この場合、（Ｘ／Ｙ）＝α（Ａ／Ｂ）が成立する（αは、余白度合いを示す）。
【００５０】
余白度合い（α）とは、水墨画調画像１２０と白背景画像１３０との間に設定される余白領域１４０の大きさ（面積）の程度を示す。余白度合いは、ユーザが入力部（図示せず）を操作することにより、自由に設定することが適宜できる。余白領域設定部６２は、ユーザの操作に基づいて余白度合いが強く設定された場合には、余白領域１４０の大きさ（面積）を大きく設定し、余白度合いが弱く設定された場合には、余白領域１４０の大きさ（面積）を小さく設定する。背景画像位置比率算出部７２は、重要度重心位置比率算出部７１により算出された重要度重心１１１の位置比率（ｘ／Ｘ＝ｙ／Ｙ）と同じ位置比率となるような、白背景画像１３０の位置比率（ａ／Ａ＝ｂ／Ｂ）を算出する。即ち、下記式（５）〜式（７）が成立する（ａ，ｂ）を算出する。
（Ｘ／Ｙ）＝α（Ａ／Ｂ）・・・（５）
（ｘ／Ｘ＝ｙ／Ｙ）・・・（６）
（ａ／Ａ＝ｂ／Ｂ）・・・（７）
（（ａ，ｂ）は、白背景画像１３０の重心１３１の座標（ａ，ｂ）を示す）
【００５１】
上述の式（５）〜（７）によれば、水墨画調画像１２０（原画像）の重要度重心１１１の位置比率が片側に寄っている場合には、白背景画像１３０の重心１３１も同じ側に寄ることとなる。また、背景画像位置比率算出部７２は、重要度がある部分に偏っていると、当該部分側の余白領域１４０を小さく算出し、重要度の中心から遠い部分にある余白領域１４０を多めに算出する。従って、水墨画調画像１２０（原画像）のうち、注目して欲しいオブジェクトの位置を尊重して表示することができる。そして、余白領域設定部６２は、図７（３）に示すように、水墨画調画像１２０（原画像）の重要度重心１１１の座標（ｘ，ｙ）と白背景画像１３０の重心１３１の座標（ａ，ｂ）とが一致するように、水墨画調画像１２０と白背景画像１３０との各データを合成する合成処理を実行する。
【００５２】
次に、このような図２の機能的構成を有する画像処理装置１が実行する水墨画調画像処理について説明する。
図８は、水墨画調画像処理の流れの一例を示すフローチャートである。
原画像取得部４１により原画像のデータが取得されると、水墨画調画像処理が開始され、次のような一連の処理が実行される。
【００５３】
ステップＳ１１において、原画像取得部４１は、原画像のデータを取得する。
【００５４】
ステップＳ１２において、特徴領域検出部４２は、原画像のデータに対して平滑化処理を施す。平滑化処理とは、水墨画調画像においては、原画像に含まれるノイズや細かなテクスチャによりエッジは不要と考え、これらを原画像から除去又は低減して、被写体の輪郭を示すエッジを保存するように、原画像を平滑化するような画像処理をいう。
【００５５】
ステップＳ１３において、重要度情報算出部４３は、後述する図９の重要度領域算出処理を実行することで、原画像取得部４１により取得された原画像のデータから、当該原画像の重要度の情報を算出する。
【００５６】
ステップＳ１４において、画像処理部１４は、原画像のデータに対しモノクロ処理を施すことで、２値化された（モノクロ化された）エッジ画像のデータを生成する。
ステップＳ１５において、水墨画変換部４４は、後述の図１０を参照して説明する水墨画調画像生成処理を実行することで、エッジ画像のデータを水墨画調画像のデータに変換する。
【００５７】
ステップＳ１６において、ぼかし部６１は、後述の図１１を参照して説明する全体ぼかし処理を実行することで、各画素におけるぼかし量を算出し、画素毎に算出した当該ぼかし量に基づいて水墨画調画像のデータ全体を対象としてぼかし処理を実行する。
【００５８】
ステップＳ１７において、余白領域設定部６２は、後述の図１２を参照して説明する余白領域設定処理を実行することで、水墨画調画像の重要度重心（原画像の重要度重心）と、白背景画像の重心とに基づいて、ぼかし処理後の水墨画調画像と、白背景画像との各データを合成する合成処理を実行する。
【００５９】
ステップＳ１８において、画像処理部１４は、余白領域が設定された水墨画調画像のデータ、即ちぼかし処理後の水墨画調画像に対して余白領域が付加された画像のデータを図１の記憶部１９に記憶する。
なお、ここで、水墨画調画像に対して余白領域が付加された画像のサイズ、即ち解像度は、原画像と同一にしてもよいし、原画像と異なるようにしてもよい。ただし、原画像と同一のサイズにする場合には、画像処理部１４は、水墨画調画像に対して余白領域が付加された画像のデータに対して、そのサイズを原画像と一致させるように縮小処理を施す。
これにより、水墨画調画像処理は終了となる。
【００６０】
以上、図８を参照して、水墨画調画像処理の流れについて説明した。
次に、図９を参照して、図８の水墨画調画像処理のうち、ステップ１３の重要度領域算出処理の詳細な流れについて説明する。
図９は、重要度領域算出処理について説明するフローチャートである。
【００６１】
ステップＳ３１において、重要度算出部５１は、原画像の各画素の重要度を算出する。例えば図３の例では、原画像１００の各画素１０１の重要度が算出される。
ステップＳ３２において、重要度重心算出部５３は、算出された各画素の重要度から原画像の重要度重心を算出する。例えば図３の例では、各画素１０１の重要度から原画像１００の重要度重心１１が算出される。
ステップ３３において、重要度領域算出部５２は、閾値以上の重要度を有する画素から、原画像の重要度領域を算出する。例えば図３の例では、画素１０１から原画像１００の重要度領域１０２が算出される。
これにより、重要度領域算出処理は終了となり、即ち図８のステップＳ１３の処理が終了し、処理はステップＳ１４に進む。
【００６２】
以上、図９を参照して、重要度領域算出処理の流れについて説明した。
次に、図１０を参照して、図８の水墨画調画像処理のうち、ステップＳ１５の水墨画調画像生成処理の詳細な流れについて説明する。
図１０は、水墨画調画像生成処理について説明するフローチャートである。
【００６３】
ステップＳ５１において、特徴領域検出部４２は、エッジ画像のデータから、エッジを探索する。
ステップＳ５２において、特徴領域検出部４２は、ステップＳ５１の処理結果に基づいて、エッジが存在するか否かを判定する。
エッジが存在する場合には、ステップＳ５３において、特徴領域検出部４２は、当該エッジを追跡する。
【００６４】
具体的には、特徴領域検出部４２は、エッジ画像の左上からいわゆるラスター順に走査していき、エッジ領域に属する画素を探索する（ステップＳ５１）。特徴領域検出部４２は、このようなエッジ領域に属する画素が存在すれば（ステップＳ５２ＹＥＳ）、当該エッジ領域に属する他の画素を探索するようにエッジを追跡していく（ステップＳ５３）。
【００６５】
ステップＳ５４において、水墨画変換部４４は、このようにして追跡されたエッジ領域に基づいて、筆運びパターン記憶部（図示せず）に各データが記憶されている各筆運びパターンから、次ステップ以降において使用される筆運びパターンを決定する。
即ち、水墨画変換部４４は、ステップＳ５３の処理で追跡されたエッジ領域に対して使用される筆運びパターンとして、直筆パターンを決定する。また、水墨画変換部４４は、当該エッジ領域の周囲領域に対して使用される筆運びパターンとして、側筆パターンを決定する。さらに、水墨画変換部４４は、当該エッジ領域が閉曲線の領域である場合には、当該閉曲線の内部に使用される筆運びパターンとして、側筆パターンを決定する。
【００６６】
ステップＳ５５において、水墨画変換部４４は、ステップＳ５３の処理で追跡されたエッジ領域に直筆パターンを貼り付けるように、当該エッジ領域のデータを直筆パターンのデータに変換する処理（以下、「貼り付け処理」と呼ぶ）を実行する。
具体的には、ステップＳ５３の処理で追跡されたエッジ領域の長さ（長手方向の曲線の長さ）はその都度異なるため、水墨画変換部４４は、筆運びパターン記憶部（図示せず）から読み出した直筆パターンのデータを、エッジ領域の長さに応じて拡大又は縮小する。そして、水墨画変換部４４は、当該エッジ領域の始点のデータから、拡大又は縮小された直筆パターンのデータに変換（貼り付け）していく。
【００６７】
ステップＳ５６において、水墨画変換部４４は、ステップＳ３３（図９）の処理で算出された重要度領域に基づいて、ステップＳ５５の貼り付け処理の対象となった直筆パターンの描画色を算出する。描画色、即ち、墨の濃淡は、原画像の重要度に応じて決定される。重要度は、画素毎に値を持つため、描画色を決定する際には、水墨画変換部４４は、ブラシで描画する領域の重要度の平均を計算する。水墨画変換部４４は、計算した平均重要度が高いほど濃い色（黒に近い色）で描画し、平均重要度が低いほど薄い色（白に近い色）で描画する。水墨画変換部４４は、後述のステップＳ５９及びステップＳ６３の処理においてもステップＳ５６の処理と同様に重要度の平均に基づき描画色の算出の処理を行う。
【００６８】
ステップＳ５７において、水墨画変換部４４は、ステップＳ３３（図９）の処理で算出された重要度領域に基づいて、ステップＳ５５の貼り付け処理の対象となった直筆パターンのぼかし処理を実行する。この際、水墨画変換部４４は、画像の重要度に基づいて墨の濃淡を決定するのと同様に、水墨画変換部４４は、画像の重要度に基づいてぼかす量（幅）を決定する。水墨画変換部４４は、重要度が高いほど墨は濃い色になるためぼかす量を少なくし、重要度が低いほど墨は薄い色になるためぼかす量を多くする。水墨画変換部４４は、後述のステップＳ６０及びステップＳ６４の処理においてもステップＳ５７の処理と同様に重要度に基づきぼかし処理を行う。
【００６９】
ステップＳ５８において、水墨画変換部４４は、ステップＳ５３の処理で追跡されたエッジ領域の周囲領域に側筆パターンを貼り付けるように、貼り付け処理を実行する。
【００７０】
ステップＳ５９において、水墨画変換部４４は、ステップＳ３３（図９）の処理で算出された重要度領域に基づいて、ステップＳ５８の貼り付け処理の対象となった側筆パターンの描画色を算出する。
【００７１】
ステップＳ６０において、水墨画変換部４４は、ステップＳ３３（図９）の処理で生成された重要度領域に基づいて、ステップＳ５８の貼り付け処理の対象となった側筆パターンのぼかし処理を実行する。
【００７２】
ステップＳ６１において、水墨画変換部４４は、ステップＳ５３の処理で追跡されたエッジ領域が閉曲線の領域か否かを判定する。
エッジ領域が閉曲線の領域でない場合、即ち始点と終点とがある領域である場合、ステップＳ６１においてＮＯであると判定されて、処理はステップＳ５１に戻され別のエッジが探索されて、ステップＳ５２以降の処理が繰り返される。
これに対して、エッジ領域が閉曲線の領域でない場合、即ち始点と終点とがある領域である場合、ステップＳ６１においてＹＥＳであると判定されて、処理はステップＳ６２に進む。
【００７３】
ステップＳ６２において、水墨画変換部４４は、ステップＳ５３の処理で追跡されたエッジ領域の閉曲線の内側に側筆パターンを貼り付けるように、貼り付け処理を実行する。
【００７４】
ステップＳ６３において、水墨画変換部４４は、ステップＳ３３（図９）の処理で算出された重要度領域に基づいて、ステップＳ６２の貼り付け処理の対象となった側筆パターンの描画色を算出する。
【００７５】
ステップＳ６４において、水墨画変換部４４は、ステップＳ３３（図９）の処理で算出された重要度領域に基づいて、ステップＳ６２の貼り付け処理の対象となった側筆パターンのぼかし処理を実行する。
【００７６】
その後、処理はステップＳ５１に戻され別のエッジが探索されて、ステップＳ５２以降の処理が繰り返される。
このようにして、エッジ画像に含まれるエッジ領域毎に、上述したステップＳ５１乃至Ｓ６４のループ処理が繰り返し実行される。そして、最後のエッジ領域についての処理が終了すると、次のステップＳ５１の処理でエッジの探索ができないので、その次のステップＳ５２においてＮＯであると判定されて、水墨画調画像生成処理は終了となる。即ち、図８のステップ１５の処理が終了する。
【００７７】
以上、図１０を参照して、水墨画調画像生成処理の流れについて説明した。
次に、図１１を参照して、図８の水墨画調画像処理のうち、ステップＳ１６の全体ぼかし処理の詳細な流れについて説明する。
図１１は、全体ぼかし処理について説明するフローチャートである。
【００７８】
ステップＳ８１において、ぼかし部６１は、重要度重心算出部５３により算出された重要度重心の情報を取得する。
ステップＳ８２において、ぼかし部６１は、重要度領域算出部５２により算出された重要度領域の情報を取得する。
【００７９】
ステップＳ８３において、ぼかし部６１は、原画像の重要度領域内の１の画素を注目画素に設定する。
ステップＳ８４において、ぼかし部６１は、当該注目画素における重要度と、ステップＳ８１において取得した重要度重心から各画素までの距離に基づいて、ぼかし量を算出する。
【００８０】
ステップＳ８５において、ぼかし部６１は、重要度領域内の全画素が注目画素に設定済であるか否かを判定する。重要度領域内の全画素がステップＳ８３において注目画素に設定されていない場合には、ステップＳ８５においてＮＯであると判定されて、処理はステップＳ８３に戻る。即ち、全ての画素に対してぼかし量が算出されるまでの間、ステップＳ８３乃至Ｓ８５の処理が繰り返し行われる。これに対し、重要度領域内の全画素がステップＳ８３において注目画素に設定された場合には、ステップＳ８５においてＹＥＳであると判定されて、処理はステップＳ８６に進む。
【００８１】
ステップＳ８６において、ぼかし部６１は、ステップＳ８４において画素毎に算出したぼかし量に基づいて原画像の画像全体をぼかすぼかし処理を実行する。この処理が終了すると、全体ぼかし処理は終了となり、即ち、図８のステップ１６の処理が終了し、処理はステップＳ１７に進む。
【００８２】
以上、図１１を参照して、全体ぼかし処理の流れについて説明した。
次に、図１２を参照して、図８の水墨画調画像処理のうち、ステップＳ１７の余白領域設定処理の詳細な流れについて説明する。
図１２は、余白領域設定処理について説明するフローチャートである。
【００８３】
ステップＳ１０１において、重要度重心位置比率算出部７１は、水墨画調画像の重要度重心の位置比率を算出する。例えば図７の例では、原画像１００の重要度重心１１１の位置比率が算出される。
【００８４】
ステップＳ１０２において、余白領域設定部６２は、ユーザの操作に基づき図７の余白領域１４０の余白度合いの強弱を設定する。例えば図７の例では、余白領域１４０の余白度合いの強弱が設定される。
ステップＳ１０３において、余白領域設定部６２は、白背景画像のサイズを設定する。例えば図７の例では、白背景画像１３０のサイズが設定される。
【００８５】
ステップＳ１０４において、背景画像位置比率算出部７２は、白背景画像の重心を算出する。例えば図７の例では、白背景画像１３０の重心１３１が算出される。
【００８６】
ステップＳ１０５において、合成部７３は、白背景画像の重心と水墨画調画像の重要度重心とに基づいて、白背景画像の重心と重要度重心との座標位置が一致するように重畳させて合成する合成処理を行う。例えば図７の例では、白背景画像１３０の重心１３１と原画像１００の重要度重心１１１とに基づいて、重心１３１と重要度重心１１１との座標位置が一致するように重畳させられて合成される合成処理が行われる。この処理が終了すると、余白領域設定処理は終了となり、図８のステップ１７の処理が終了し、処理はステップＳ１８に進む。
【００８７】
以上のように構成される第１実施形態の画像処理装置は、原画像取得部４１と、特徴領域検出部４２と、重要度情報算出部４３と、水墨画変換部４４と、変換部４５と、を備えている。
原画像取得部４１は、原画像１００のデータを取得する。
水墨画変換部４４は、原画像取得部４１により取得された原画像１００のデータから、水墨画調画像１２０のデータに変換する。
特徴領域検出部４２は、原画像取得部４１により取得された原画像１００のデータから、当該原画像１００の特徴領域（本実施形態ではエッジ領域）を検出する。
重要度情報算出部４３は、原画像取得部４１により取得された原画像１００のデータから、当該原画像１００の重要度の情報を算出する。
変換部４５は、水墨画変換部４４による変換後の水墨画調画像のデータをさらに変換する画像処理として、重要度情報算出部４３により算出された重要度の情報に基づいて、特徴領域検出部４２により検出された特徴領域をぼかすぼかし処理と、水墨画調画像に対して余白領域１４０の付加を設定する余白設定処理とを実行する。
このように、原画像１００における重要度の情報に基づいて水墨画調画像１２０のぼかし処理を行うことで、水墨画の自然な筆の描画を忠実に表現することができる。その結果、実際の水墨画により近い画像を得ることができる。
同様に、原画像１００における重要度の情報に基づいて水墨画調画像１２０に対する余白領域１４０の付加を設定する余白設定処理を行うことで、水墨画の自然な構図を忠実に表現することができる。その結果、実際の水墨画により近い画像を得ることができる。
【００８８】
本実施形態の画像処理装置の重要度情報算出部４３は、重要度算出部５１と、重要度重心算出部５３と、を備える。
重要度算出部５１は、原画像１００を構成する各画素１０１毎に重要度を算出する。
重要度重心算出部５３は、重要度算出部５１により算出された各画素１０１の重要度に基づいて、原画像１００の重要度重心１１１を算出する。そして、変換部４５は、重要度重心算出部５３により算出された重要度重心に基づいて水墨画調画像１２０のデータの変換を行う。
このように重要度重心に基づいて水墨画調画像１２０のデータの変換を行うことで、水墨画に描画されているオブジェクトを水墨画特有の描画方法に基づき表現することが可能となる。その結果、さらに一段と、実際の水墨画により近い画像を得ることができる。
【００８９】
本実施形態の画像処理装置の変換部４５は、ぼかし部６１を有する
ぼかし部６１は、特徴領域検出部４２により検出された特徴領域及び当該特徴領域内の１以上の領域内のオブジェクトを処理対象として、重要度重心算出部５３により算出された重要度重心に基づいてぼかし処理を実行する。
このように重要度重心に基づいてぼかし処理を行うことで、水墨画として描画されるオブジェクトを水墨画特有の描画方法に基づき表現することが可能となる。その結果、さらに一段と、実際の水墨画により近い画像を得ることができる。
【００９０】
本実施形態の画像処理装置の変換部４５は、重要度重心位置比率算出部７１と、背景画像位置比率算出部７２と、を備える。
重要度重心位置比率算出部７１は、重要度重心算出部５３により算出された重要度重心の位置比率を算出する。
背景画像位置比率算出部７２は、重要度重心位置比率算出部により算出された重要度重心の位置比率に基づいて、白背景画像１３０の重心位置比率を算出する。
変換部４５は、重要度重心位置比率算出部７１により算出された重要度重心の位置比率と、背景画像位置比率算出部７２により算出された白背景画像１３０の重心の位置比率と、に基づいて、白背景画像１３０のデータに対して水墨画調画像１２０のデータを合成することで、水墨画調画像１２０に対して余白領域１４０の付加を設定する。
このように重要度重心の位置比率に基づいて水墨画調画像１２０の余白領域１４０を設定することで、水墨画の自然な構図を忠実に表現することができる。その結果、実際の水墨画により近い画像を得ることができる。
【００９１】
本実施形態の画像処理装置の重要度情報算出部４３は、重要度領域算出部５２をさらに備える。
重要度領域算出部５２は、重要度算出部５１により画素１０１毎に算出された重要度に基づいて重要度領域１０２を算出する。
そして、ぼかし部６１は、重要度領域算出部５２により算出された重要度領域１０２内における各画素１０１の重要度と、各画素１０１と重要度重心算出部５３により算出された重要度重心１１１との距離と、に基づいて各画素１０１におけるぼかし量を算出する。
このように各画素１０１における重要度と、重要度重心との距離と、に応じてぼかし処理を実行することで、水墨画特有の墨のにじみを適切に表現することが可能になる。その結果、さらに一段と、実際の水墨画により近い画像を得ることができる。
【００９２】
以上、本発明の第１実施形態に係る画像処理装置１について説明した。
次に、本発明の第２実施形態に係る画像処理装置１について説明する。
【００９３】
［第２実施形態］
本発明の第２実施形態に係る画像処理装置１は、第１実施形態に係る画像処理装置１と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
従って、図１は、第２実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図でもある。
さらに、第２実施形態に係る画像処理装置１が実行する水墨画調画像処理、重要度領域算出処理、水墨画調画像生成処理は、第１実施形態に係る各処理と基本的に同様の流れとなる。従って、図８、図９、図１０は、第２実施形態に係る水墨画調画像処理、重要度領域算出処理、水墨画調画像生成処理の流れを説明するフローチャートでもある。
【００９４】
図１３は、本発明の画像処理装置１の機能的構成のうち、第２実施形態に係る全体ぼかし処理を実行するための機能的構成を示す機能ブロック図である。
【００９５】
図２と図１３とを比較するに、第２実施形態に係る画像処理装置１の画像処理部１４内の機能的構成は、重要度領域が複数ある場合には、複数の重要度領域を統合重要度領域として統合する点を除くと、第１実施形態に係る画像処理装置１と基本的に同様であるため説明を省略する。即ち、第１実施形態の画像処理装置１のぼかし部６１は、重要度領域内における各画素の重要度と、各画素と重要度重心との距離と、に基づいて各画素におけるぼかし量を算出する。
これに対し、第２実施形態の画像処理装置１のぼかし部６１は、重要度領域が複数ある場合には、複数の重要度領域を統合重要度領域として統合し、重要度領域内においては、第１実施形態と同様の処理に基づきぼかし量を算出する。そして、第２実施形態の画像処理装置１のぼかし部６１は、重要度領域外においては、統合重要度領域内における各画素の重要度と、各画素と重要度重心との距離と、重要度重心と統合重要度領域の縁の方向と、に基づいて各画素におけるぼかし量を算出する。
【００９６】
なお、第２実施形態の画像処理装置１の原画像取得部４１〜水墨画変換部４４及び、変換部４５内の余白領域設定部６２については、第１実施形態の画像処理装置１の原画像取得部４１〜水墨画変換部４４及び、変換部４５内の余白領域設定部６２と同様であるため、詳細な説明を省略し、異なる箇所のみ説明する。
【００９７】
図１３は、図１の画像処理装置１の機能的構成のうち、第２実施形態に係る全体ぼかし処理を実行するための機能的構成を示す機能ブロック図である。
第２実施形態に係る全体ぼかし処理とは、重要度領域が単数である場合には、第１実施形態と同様の処理に基づきぼかし処理を行う。そして、ぼかし部６１は、重要度領域が複数である場合には、複数の重要度領域を統合重要度領域として統合し、統合重要度領域内における各画素の重要度と、各画素と重要度重心との距離と、重要度重心と統合重要度領域の縁の方向と、に基づいて各画素におけるぼかし量を算出する。そしてぼかし部６１は、算出されたぼかし量に基づいて水墨画調画像の全体に対しぼかし処理を行う。
【００９８】
第２実施形態では、ぼかし部６１は、第２実施形態に係る全体ぼかし処理を実行するにあたり、さらに重要度領域統合部８１を備える。
重要度領域統合部８１は、重要度領域算出部５２により算出された重要度領域が複数ある場合には、重要度領域算出部５２により算出された複数の重要度領域を統合重要度領域として統合する。
第２実施形態のぼかし部６１は、統合重要度領域のうち、重要度領域内においては、重要度領域内における各画素の重要度と、各画素と重要度重心算出部により算出された重要度重心との距離と、に基づいて各画素におけるぼかし量を算出し、重要度領域外においては、統合重要度領域内における各画素の重要度と、各画素と重要度重心算出部により算出された重要度重心との距離と、重要度重心と統合重要度領域の縁の方向と、に基づいて各画素におけるぼかし量を算出する。
【００９９】
図１４は、第２実施形態の原画像１００のデータの一例を示している。
図１４において、原画像１００を構成する複数の各画素１０１のうち、グレーの領域が複数の重要度領域１０２Ａ，１０２Ｂである。そして、複数の重要度領域１０２Ａ，１０２Ｂに基づいて統合された統合重要度領域２０２が黒枠により示されている。また、統合重要度領域２０２に基づいて算出された重要度重心２１１が統合重要度領域２０２の略中心部分に示されている。
【０１００】
図１５は、図８の水墨画調画像処理のうち、ステップＳ１６の全体ぼかし処理について説明するフローチャートである。
【０１０１】
ステップＳ１２１において、ぼかし部６１は、重要度重心算出部５３により算出された重要度重心の情報を取得する。
ステップＳ１２２において、ぼかし部６１は、重要度領域算出部５２により算出された重要度領域の情報を取得する。
【０１０２】
ステップＳ１２３において、ぼかし部６１は、重要度領域算出部５２により算出された重要度領域は、複数であるか否かを判定する。重要度領域が複数ではない、即ち、単数であると判定した場合にはステップＳ１３０に進み、図１１の第１実施形態の全体ぼかし処理のステップＳ８３〜Ｓ８５の処理と同様の処理を行う。この場合、第２実施形態のステップＳ１３０〜Ｓ１３２の処理と、第１実施形態のステップＳ８３〜Ｓ８５の処理は同様であるため説明を省略する。これに対して、重要度領域が複数であると判定した場合には、処理はステップＳ１２４に進む。
【０１０３】
ステップＳ１２４において、重要度領域統合部８１は、図１４の複数の重要度領域１０２Ａ，１０２Ｂを統合重要度領域２０２として統合する。
ステップＳ１２５において、ぼかし部６１は、図１４の原画像１００の統合重要度領域２０２内の１の画素１０１を注目画素に設定する。
【０１０４】
ステップＳ１２６において、ぼかし部６１は、ステップＳ１２５で設定した注目画素が重要度領域内の画素であるか否かを判定する。例えば図１４の例では、重要度領域１０２Ａ，１０２Ｂ内の画素１０１であるか否かが判定される。注目画素が重要度領域内の画素である場合には、処理はステップＳ１２７に進み、図１１の第１実施形態の全体ぼかし処理のステップＳ８４の処理と同様の処理を行う。この場合、第２実施形態のステップＳ１２７の処理と、第１実施形態のステップＳ８４の処理は同様であるため説明を省略する。これに対して、注目画素が重要度領域内の画素ではないと判定した場合には、処理はステップＳ１２８に進む。
【０１０５】
ステップＳ１２８において、ぼかし部６１は、当該注目画素における重要度と、ステップＳ１２１において取得した重要度重心からの距離と、重要度重心と統合重要度領域の縁の方向と、に基づいて、ぼかし量を算出する。
【０１０６】
ステップＳ１２９において、ぼかし部６１は、統合重要度領域内の全画素が注目画素に設定済であるか否かを判定する。統合重要度領域内の全画素がステップＳ１２５において注目画素に設定されていない場合には、ステップＳ１２９においてＮＯであると判定されて、処理はステップＳ１２５に戻る。即ち、統合重要度領域内の全ての画素に対してぼかし量が算出されるまでの間、ステップＳ１２５乃至Ｓ１２９の処理が繰り返し行われる。これに対し、統合重要度領域内の全画素がステップＳ１２５において注目画素に設定された場合には、ステップＳ１２９においてＹＥＳであると判定されて、処理はステップＳ１３３に進む。
【０１０７】
ステップＳ１３３において、ぼかし部６１は、ステップＳ１２７、Ｓ１２８及びＳ１３１において画素毎に算出したぼかし量に基づいて原画像の画像全体をぼかすぼかし処理を実行する。この処理が終了すると、全体ぼかし処理は終了となり、即ち図８のステップ１６の処理が終了し、処理はステップＳ１７に進む。
【０１０８】
以上のように構成される第２実施形態の画像処理装置のぼかし部６１は、重要度領域統合部８１を備えている。
重要度領域統合部８１は、重要度領域算出部５２により算出された重要度領域が複数ある場合には、重要度領域算出部５２により算出された図１４の複数の重要度領域１０２Ａ，１０２Ｂを統合重要度領域２０２として統合する。
ぼかし部６１は、統合重要度領域２０２のうち、重要度領域１０２Ａ，１０２Ｂ内においては、重要度領域１０２Ａ，１０２Ｂ内における各画素１０１の重要度と、各画素１０１と重要度重心算出部５３により算出された重要度重心２１１との距離と、に基づいて各画素１０１におけるぼかし量を算出し、重要度領域１０２Ａ，１０２Ｂ外においては、統合重要度領域２０２内における各画素１０１の重要度と、各画素１０１と重要度重心算出部５３により算出された重要度重心２１１との距離と、重要度重心２１１と統合重要度領域２０２の縁の方向と、に基づいて各画素１０１におけるぼかし量を算出する。原画像１００内において、重要だが重要度重心からの距離がある画素１０１は、重要であるにも関わらず、それほど重要でないと判断される場合がある。これに対し本実施形態においては、ぼかし部６１は、重要度領域１０２Ａ，１０２Ｂが複数ある場合には、統合重要度領域２０２として複数の重要度領域１０２Ａ，１０２Ｂを統合する。これにより、複数の重要度領域に基づいて各画素１０１における重要度を勘案してぼかし量を算出することで、水墨画として描画されるオブジェクトを水墨画特有の描画方法に基づき表現することが可能となる。その結果、さらに一段と、実際の水墨画により近い画像を得ることができる。
【０１０９】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１１０】
例えば、重要度算出部５１は、各画素を中心とした所定範囲の色情報、輝度（明るさ情報）又はエッジ方向の情報に基づいて重要度を算出しているが、これに限られない。例えば、重要度算出部５１は、注目画素に対する一定領域内の空間周波数に基づいて、該当する部分の重要度を上げる、という手法をとることもできる。また、重要度算出部５１は、一の原画像のデータについて顔探索枠を所定方向に走査して、目、鼻、ロ等に相当する特徴部分（顔パーツ）を特定して、各顔パーツの位置関係から顔であるか否かを判定する。そして、重要度算出部５１は、判定された特徴部分の種別に応じて予め定められた重要度を算出することもできる。また、重要度算出部５１は、風景写真やポートレート中の特定のオブジェクトを特定して、特定されたオブジェクトの種別に応じて予め定められた重要度を算出することもできる。また、重要度算出部５１は、画素毎に重要度を算出しているがこれに限られるものではなく、各領域毎の重要度を算出することができる。
【０１１１】
また例えば、変換部４５の余白領域設定部６２は、重要度重心位置比率算出部７１により算出された重要度重心の位置比率と、背景画像位置比率算出部７２により算出された背景画像の重心の位置比率と、に基づいて、背景画像のデータに対して水墨画調画像のデータを合成することで、水墨画調画像に対して余白領域の付加を設定しているがこれに限られない。例えば、変換部４５の余白領域設定部６２は、水墨画調画像のデータを複数の領域に分割する画像領域分割部（図示せず）をさらに備えてもよい。そして、余白領域設定部６２は、画像領域分割部（図示せず）により分割された領域のうち、重要度算出部５１により算出された重要度が高い画素を含む領域が水墨画調画像の端に接している場合には、当該領域の端には余白領域の付加を行わないようにすることができる。このように重要度の高い画素を含む領域の端については余白領域の付加を設定しないことで、水墨画の自然な構図を忠実に表現することができる。その結果、実際の水墨画により近い画像を得ることができる。
【０１１２】
また例えば、ぼかし部６１により算出されるぼかし量は、所定の関数に基づき、白ベースのコントラストを徐々に０まで変化させることにより、縁のぼかし量が最大となるように、ぼかし量を算出することもできる。
【０１１３】
本発明の画像処理装置は、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、スマートフォン、プリンタ、テレビジョン受像機、ビデオカメラ、携帯ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【０１１４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１１５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１１６】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【０１１７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【０１１８】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１９】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
原画像のデータを取得する原画像取得手段と、
前記原画像取得手段により取得された原画像のデータから、水墨画調画像のデータに変換する第１変換手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出手段と、
前記第１変換手段による変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出手段により算出された重要度の情報に基づいて、前記特徴領域検出手段により検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
前記重要度情報算出手段は、
前記原画像を構成する画素毎に重要度を算出する重要度算出手段と、
前記重要度算出手段により算出された前記各画素の重要度に基づいて、前記原画像の重要度重心を算出する重要度重心算出手段と、
を有し、
前記第２変換手段は、前記重要度重心算出手段により算出された前記重要度重心に基づいて前記水墨画調画像のデータを変換する前記画像処理を実行する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記第２変換手段は、
前記特徴領域検出手段により検出された前記特徴領域及び当該特徴領域内の１以上の領域内のオブジェクトを処理対象として、前記重要度重心算出手段により算出された前記重要度重心に基づいて前記ぼかし処理を実行するぼかし手段を有する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記第２変換手段は、
前記重要度重心算出手段により算出された前記重要度重心の位置比率を算出する重要度重心位置比率算出手段と、
前記重要度重心位置比率算出手段により算出された前記重要度重心の位置比率に基づいて、背景画像の重心位置比率を算出する背景画像位置比率算出手段と、
を備え、
前記重要度重心位置比率算出手段により算出された前記重要度重心の位置比率と、前記背景画像位置比率算出手段により算出された前記背景画像の重心の位置比率と、に基づいて、前記背景画像のデータに対して前記水墨画調画像のデータを合成することで、前記水墨画調画像に対して前記余白領域の付加を設定する、
ことを特徴とする付記２に記載の画像処理装置。
［付記５］
前記重要度情報算出手段は、
前記重要度算出手段により画素毎に算出された前記重要度に基づいて重要度領域を算出する重要度領域算出手段をさらに備え、
前記ぼかし手段は、
前記重要度領域算出手段により算出された重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、に基づいて各画素におけるぼかし量を算出することを特徴とする付記２乃至４のうち何れか１つに記載の画像処理装置。
［付記６］
前記ぼかし手段は、
前記重要度領域算出手段により算出された重要度領域が複数ある場合には、前記重要度領域算出手段により算出された複数の重要度領域を統合重要度領域として統合する重要度領域統合手段をさらに備え、
前記統合重要度領域のうち、
前記重要度領域内においては、重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、に基づいて各画素におけるぼかし量を算出し、
前記重要度領域外においては、統合重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、前記重要度重心と前記統合重要度領域の縁の方向と、に基づいて各画素におけるぼかし量を算出することを特徴とする付記５に記載の画像処理装置。
［付記７］
前記第２変換手段は、
前記水墨画調画像のデータを複数の領域に分割する画像領域分割手段をさらに備え、
前記画像領域分割手段により分割された領域のうち、前記重要度算出手段により算出された重要度が高い画素を含む領域が前記水墨画調画像の端に接している場合には、当該領域の端には余白領域の付加を行わないことを特徴とする付記４に記載の画像処理装置。
［付記８］
水墨画調画像のデータを変換する画像処理装置が実行する画像処理方法であって、
原画像のデータを取得する原画像取得ステップと、
前記原画像取得ステップにより取得された原画像のデータから、水墨画調画像のデータに変換する第１変換ステップと、
前記原画像取得ステップにより取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出ステップと、
前記原画像取得ステップにより取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出ステップと、
前記第１変換ステップによる変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出ステップにより算出された重要度の情報に基づいて、前記特徴領域検出ステップにより検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換ステップと、
を含む画像処理方法。
［付記９］
水墨画調画像のデータを変換する画像処理装置を制御するコンピュータに、
原画像のデータを取得する原画像取得機能、
前記原画像取得機能により取得された原画像のデータから、水墨画調画像のデータに変換する第１変換機能、
前記原画像取得機能により取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出機能、
前記原画像取得機能により取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出機能、
前記第１変換機能による変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出機能により算出された重要度の情報に基づいて、前記特徴領域検出機能により検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換機能、
を含む画像処理を実行させるプログラム。
【符号の説明】
【０１２０】
１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、４１・・・原画像取得部、４２・・・特徴領域検出部、４３・・・重要度情報算出部、４４・・・水墨画変換部、４５・・・変換部、５１・・・重要度算出部、５２・・・重要度領域算出部、５３・・・重要度重心算出部、６１・・・ぼかし部、６２・・・余白領域設定部、７１・・・重要度重心位置比率算出部、７２・・・背景画像位置比率算出部、７３・・・合成部、８１・・・重要度領域統合部
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、演出効果を高める目的で、原画像のデータに対して画像処理を施して、芸術性を高める加工がなされるようになっている。
例えば、上述の目的を達成すべく、顔を被写体として含む原画像のデータについて、エッジ検出することで、当該原画像のデータを、芸術性の高い画像の一種である水墨画のような画像（以下、「水墨画調画像」と呼ぶ）のデータに変換をする画像処理が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１１４０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された画像処理では、顔の部位によって変換後の輪郭線の太さが変換されるだけであり、例えば、水墨表現についてはなんら考慮に入れられていないため、変換後の画像は、実際の水墨画とはかけ離れた画像となる場合があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、実際の水墨画により近い画像を得ることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
原画像のデータを取得する原画像取得手段と、
前記原画像取得手段により取得された原画像のデータから、水墨画調画像のデータに変換する第１変換手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出手段と、
前記第１変換手段による変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出手段により算出された重要度の情報に基づいて、前記特徴領域検出手段により検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換手段と、
を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、実際の水墨画により近い画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【図２】図１の画像処理装置の機能的構成のうち、水墨画調画像生成処理、全体ぼかし処理及び余白領域設定処理を実行するための機能的構成を示す機能ブロック図である。
【図３】原画像のデータの一例を示している。
【図４】筆運びパターンの一例を示す図である。
【図５】エッジ画像の一例を示す図である。
【図６】図５のエッジ画像から変換された水墨画調画像の一例を示す図である。
【図７】水墨画調画像と、白背景画像と、により余白領域が設定された水墨画調画像に付加される設定がなされた後の画像の一例を示している。
【図８】図２の機能的構成を有する図１の画像処理装置が実行する水墨画調画像処理の流れの一例を示すフローチャートである。
【図９】図８の水墨画調画像処理のうち、重要度領域算出処理について説明するフローチャートである。
【図１０】図８の水墨画調画像処理のうち、水墨画調画像生成処理について説明するフローチャートである。
【図１１】図８の水墨画調画像処理のうち、全体ぼかし処理について説明するフローチャートである。
【図１２】図８の水墨画調画像処理のうち、余白領域設定処理について説明するフローチャートである。
【図１３】第２実施形態に係る全体ぼかし処理を実行するための機能的構成を示す機能ブロック図である。
【図１４】第２実施形態の原画像のデータの一例を示している。
【図１５】第２実施形態の水墨画調画像処理のうち、全体ぼかし処理について説明するフローチャートである。
【発明を実施するための形態】
【０００９】
［第１実施形態］
以下、本発明の第１実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の第１実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【００１１】
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
【００１５】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１６】
入力部１７は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１７】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００１８】
図２は、このような画像処理装置１の機能的構成のうち、水墨画調画像生成処理、全体ぼかし処理及び余白領域設定処理を実行するための機能的構成を示す機能ブロック図である。
ここで、水墨画調画像生成処理とは、画像処理の対象として入力された原画像のデータから、水墨画調画像のデータを生成するまでの一連の処理をいう。
全体ぼかし処理とは、当該原画像のデータから算出された重要度の情報に基づいて、当該水墨画調画像内の特徴領域をぼかすまでの一連の処理をいう。
また、余白領域設定処理とは、当該重要度の情報に基づいて、当該水墨画調画像に対して付加する余白領域を設定するまでの一連の処理をいう。
【００１９】
ＣＰＵ１１の制御に基づいて水墨画調画像生成処理が実行される場合には、画像処理部１４において、原画像取得部４１と、特徴領域検出部４２と、水墨画変換部４４と、が機能する。ＣＰＵ１１の制御に基づいて全体ぼかし処理が実行される場合には、画像処理部１４において、原画像取得部４１と、重要度情報算出部４３と、変換部４５と、が機能する。
また、ＣＰＵ１１の制御に基づいて余白領域設定処理が実行される場合には、画像処理部１４において、重要度情報算出部４３と、変換部４５と、が機能する。
また、記憶部１９の一領域として、筆運びパターン記憶部（図示せず）が設けられる。
【００２０】
原画像取得部４１は、別装置から送信されて通信部２０に受信された画像のデータや、リムーバブルメディア３１からドライブ２１によって読み出された画像のデータ等を、原画像のデータとして取得して、特徴領域検出部４２及び重要度情報算出部４３に供給する。
【００２１】
特徴領域検出部４２は、原画像のデータに対してエッジ検出処理を施し、例えば、検出されたエッジを黒色として、それ以外を白色とする２値画像（以下、このような２値画像を「エッジ画像」と呼ぶ）のデータを生成する。そして、特徴領域検出部４２は、生成したエッジ画像のデータについて特徴領域を検出する。特徴領域として検出される対象は、特に限定されないが、本実施形態ではエッジ領域であるものとする。このようにして特徴領域検出部４２により生成されたエッジ画像のデータは、水墨画変換部４４に供給される。
【００２２】
重要度情報算出部４３は、原画像取得部４１により取得された原画像のデータから、色、輝度、又はエッジの方向等を重要度の指標として用いて、原画像を構成する各画素の重要度をそれぞれ検出する。そして、重要度情報算出部４３は、検出した重要度に基づいて画素毎に検出された重要度の空間的な分布を示す重要度マップを生成することで、当該原画像の重要度の情報を算出する重要度領域算出処理を実行する。
【００２３】
具体的には例えば、重要度情報算出部４３は、図３に示すような原画像のデータに対して重要度領域算出処理を実施することで、重要度の情報を算出する。このようにして重要度情報算出部４３により算出された重要度の情報は、水墨画変換部４４及び変換部４５に供給される。
【００２４】
図３は、原画像１００のデータの一例を示している。
図３において、原画像１００を構成する複数の各画素１０１のうち、グレーの領域が重要度領域１０２である。そして、重要度領域１０２に基づいて算出された重要度重心１１１が重要度領域１０２の略中心部分に示されている。
【００２５】
より具体的には、本実施形態の重要度情報算出部４３は、このような重要度領域算出処理を実施すべく、図２に示すように、重要度算出部５１と、重要度領域算出部５２と、重要度重心算出部５３と、を備えている。
【００２６】
重要度算出部５１は、原画像取得部４１により取得された原画像を構成する各画素の重要度を算出する。例えば図３の例では、原画像１００を構成する各画素の重要度が算出される。重要度の算出は、特に限定されないが、本実施形態においては、重要度算出部５１は、各画素を中心とした所定範囲の色情報、輝度（明るさ情報）又はエッジ方向の情報に基づいて重要度を算出する。この場合、重要度算出部５１は、単一画素のみでは重要度を算出することはできないので、注目画素に対する一定領域の周辺領域に対してその代表値としての画素が重要かどうかに基づいて重要度を算出する。具体的には、重要度算出部５１は、注目画素の周りのエッジに対して違う方向のエッジが検出されると、その部分は周りと毛色が異なる対象として認識することで、何か特徴のある対象が描画されていると認識し該当部分の重要度を上げる。重要度算出部５１により算出された重要度の情報は、重要度領域算出部５２及び重要度重心算出部５３に供給される。
【００２７】
重要度領域算出部５２は、重要度算出部５１により画素毎に算出された重要度に基づいて重要度領域、例えば図３の例では重要度領域１０２を算出する。重要度領域の算出は、特に限定されないが、本実施形態においては、重要度算出部５１により算出された重要度の評価値の上限を１００とした場合、重要度の評価値が９０以上である領域を重要度領域として算出することができる。重要度領域算出部５２により算出された重要度領域の情報は、水墨画変換部４４及び変換部４５に供給される。
【００２８】
重要度重心算出部５３は、重要度算出部５１により画素毎に算出された各画素の重要度に基づいて原画像の重要度重心を算出する。重要度重心の算出は、特に限定されないが、本実施形態においては、重要度重心算出部５３は、重要度領域算出部５２により重要度領域であると算出された領域の中心位置を重要度重心として算出する。具体的には、重要度重心算出部５３は、初めに、重要度の空間分布の重要度重心（ｘ，ｙ）を計算する。重要度重心算出部５３は、重要度が閾値以上の画素に対して、以下の式（１）（２）を適用し重要度重心（ｘ，ｙ）を算出する。この閾値は、ユーザが必要に応じて適宜変更することができ、本実施形態においては、重要度の上限を１００とした場合、９０を閾値とすることができる。
ｍｘ＝１／（ｎ＋ｓｕｍｗ）×Σ（ｘ×ｗ（ｘ，ｙ））・・・（１）
ｍｘ＝１／（ｎ＋ｓｕｍｗ）×Σ（ｙ×ｗ（ｘ，ｙ））・・・（２）
（ｎは、重要度が閾値以上の画素の数、ｓｕｍｗは、重要度の合計、ｗ（ｘ，ｙ）はｘ，ｙにおける重要度を示す）。
重要度情報算出部４３により算出された重要度重心の情報は、変換部４５に供給される。
【００２９】
水墨画変換部４４は、エッジ画像のデータを水墨画調画像のデータに変換する処理を実行する。このような処理を、以下、「水墨画変換処理」と呼ぶ。
本実施形態の水墨画変換処理として、書道用の筆の筆跡を模したテクスチャを原画像に貼り付ける画像処理が採用されている。この「書道用の筆の筆跡を模したテクスチャ」のパターンを、本明細書では、「筆運びパターン」と呼称している。
【００３０】
筆運びパターンとして採用されるテクスチャの形状や大きさ等は特に限定されない。ただし、本実施形態では、図４に示す２種類の筆運びパターンが採用されている。
図４は、筆運びパターンの一例を示す図である。
図４（Ａ）は、筆の「命毛」の部分（筆の先端部分）で書いた際の筆跡を模した筆運びパターンを示している。なお、以下、図４（Ａ）に示すような筆運びパターンを、「直筆パターン」と呼ぶ。
図４（Ｂ）は、筆の「のど」から「腹」又は「腰」までの側部分（「穂」の一部分）で書いた際の筆跡を模した筆運びパターンを示している。なお、以下、図４（Ｂ）に示すような筆運びパターンを、「側筆パターン」と呼ぶ。
図４（Ａ）と図４（Ｂ）とを比較すると容易にわかるが、直筆パターンは、長手方向と直交する方向の長さ（以下、「幅」と呼ぶ）が狭く、その分だけ濃淡の差が小さいという特徴を有している。これに対して、側筆パターンは、幅が広く、その分だけ濃淡の差が大きいという特徴を有している。
本実施形態では、このような直筆パターン及び側筆パターンの各データは、筆運びパターン記憶部（図示せず）に記憶されている。
なお、筆運びパターンのデータの生成手法は、特に限定されず、例えばＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を利用して生成する手法を採用してもよい。ただし、本実施形態では、実際に、墨を付けた筆により紙媒体に書かれた筆跡を、スキャナやデジタルカメラ等によって画像のデータ化したものを、筆運びパターンのデータとするという手法が採用されている。
【００３１】
水墨画変換部４４は、エッジ画像のデータを処理対象として、エッジ領域に直筆パターンを貼り付け、エッジ領域の周囲領域に側筆パターンを貼り付け、エッジ領域が閉領域を形成する場合には、閉領域の内部に側筆パターンを貼り付ける水墨画変換処理を実行する。
【００３２】
具体的には例えば、水墨画変換部４４は、図５に示すようなエッジ画像のデータに対して水墨画変換処理を実施することで、図６に示すような水墨画調画像のデータを生成する。
【００３３】
図５は、エッジ画像の一例を示している。
図５において、黒くて細い領域がエッジ領域である。
例えば、エッジ領域Ｅ１は山の輪郭を示しており、エッジ領域Ｅ２は雲の輪郭を示しており、エッジ領域Ｅ３は家の輪郭を示している。
【００３４】
図６は、図５のエッジ画像から変換された水墨画調画像の一例を示している。
山の輪郭を示すエッジ領域Ｅ１に直筆パターンＤ１が貼り付けられ、当該エッジ領域Ｅ１の右側の周囲領域に側筆パターンＳ１が貼り付けられている。
また、雲の輪郭を示すエッジ領域Ｅ２は閉領域を形成しているため、当該エッジ領域Ｅ２に直筆パターンＤ２が貼り付けられ、当該閉領域の内部には側筆パターンＳ２が塗りつぶされるように貼り付けられている。
同様に、家の輪郭を示すエッジ領域Ｅ３は閉領域を形成しているため、当該エッジ領域Ｅ３に直筆パターンＤ３が貼り付けられ、当該閉領域の内部には側筆パターンＳ３が塗りつぶされるように貼り付けられている。
【００３５】
より具体的には、本実施形態の水墨画変換部４４は、このような水墨画変換処理を施すべく、以下の処理を行う。
【００３６】
具体的には、水墨画変換部４４は、エッジ画像のデータについて特徴領域を検出する。特徴領域として検出される対象は、特に限定されないが、本実施形態ではエッジ領域であるものとする。
【００３７】
水墨画変換部４４は、検出した特徴領域に基づいて、筆運びパターン記憶部（図示せず）に各データが記憶されている各筆運びパターンから、使用する筆運びパターンを決定する。
即ち、本実施形態では、水墨画変換部４４は、特徴領域であるエッジ領域に対して使用される筆運びパターンとして、直筆パターンを決定する。また、水墨画変換部４４は、特徴領域であるエッジ領域の周囲領域、又は閉曲線を形成しているエッジ領域の当該閉曲線内部の領域に対して使用される筆運びパターンとして、側筆パターンを決定する。
【００３８】
水墨画変換部４４は、決定した筆運びパターンのデータを用いて、エッジ画像のデータを水墨画調画像のデータに変換する。
具体的には、水墨画変換部４４は、エッジ領域に直筆パターンを貼り付けるように、当該エッジ領域のデータを直筆パターンのデータに変換する。同様に、水墨画変換部４４は、エッジ領域の周囲領域に側筆パターンを貼り付けるように、当該エッジ領域の周囲領域のデータを側筆パターンのデータに変換する。また、エッジ領域が閉領域を形成する場合には、水墨画変換部４４は、閉領域の内部に側筆パターンを貼り付けて塗りつぶすように、当該閉領域の内部のデータを側筆パターンのデータに変換する。
【００３９】
水墨画変換部４４は、重要度情報算出部４３により生成された重要度マップに基づいて、水墨画変換部４４で使用される筆運びパターンの各々の色、即ち墨の濃淡の度合いを調整する。
具体的には、重要度マップは、上述したように、画素毎の重要度の空間方向の分布を示している。一方で、濃淡は、複数の画素群からなる領域を占有する筆運びパターン毎に決定される。
そこで、水墨画変換部４４は、調整対象の筆運びパターンが占有する領域に含まれる複数の画素群の各々の重要度を重要度マップから抽出し、抽出した複数の重要度に基づいて、当該領域全体の統合的な重要度を演算する。
なお、領域全体の統合的な重要度の求め方は、当該領域を構成する複数の画素の重要度を用いる手法であれば特に限定されず、例えば二乗平均や中間値を取る手法を採用することが可能である。ただし、本実施形態では、少ない演算量及び演算時間で容易に求めるべく、複数の画素の重要度の単純な平均を取る手法が採用されている。
水墨画変換部４４は、領域全体の総合的な重要度が高いほど、当該領域を占める筆運びパターンが濃く（黒色に近く）なるように、逆に、領域全体の総合的な重要度が低いほど、当該領域を占める筆運びパターンが薄く（白色に近く）なるように、濃淡を調整する。
【００４０】
水墨画変換部４４は、墨のにじみを表現するために、水墨画変換部４４により筆運びパターンに変換された（貼り付けられた）領域の各々のデータを処理対象として、処理対象の領域を周辺にぼかすための画像処理（以下、「ぼかし処理」と呼ぶ）を実行する。
ぼかし処理におけるぼかし量（幅）は、処理対象の領域の濃淡の度合いにより決定される。即ち、上述したように処理対象の領域の濃淡は重要度マップに基づいて調整されるため、当該処理対象の領域のぼかし量もまた重要度マップに基づいて決定される。この場合、重要度が高いほど濃くなる（黒色に近づく）ので、ぼかし量は小さくなり、逆に、重要度が低いほど薄くなる（白色に近づく）ので、ぼかし量は大きくなる。
また、画素毎のぼかし方は、処理対象の領域（筆運びパターン）の端からの距離ｘに依存する手法であれば足り、特に限定されないが、本実施形態では、距離ｘが大きくなるほど薄くなる手法が採用されている。より具体的には、本実施形態では、画像の階調（濃淡を示す輝度の範囲）は２５６階調として、次の式（３）に従って処理対象の画素のぼかす色（濃淡を示す輝度）を演算する手法が採用されている。
Ｂ＝（２５５−Ｌ）×（１−ｅｘｐ（−ｘ×ｘ／ｆ（Ｄ＋ｎ）））＋Ｌ・・・（３）
式（３）において、Ｂは、処理対象の画素のぼかす色（濃淡を示す輝度）を示している。Ｌは、処理対象の画素に貼り付けられた筆運びパターンの色（処理対象の領域全体についての濃淡を示す輝度）を示している。ｆ（Ｄ＋ｎ）は、入力パラメータ（Ｄ＋ｎ）に従って出力値が大きくなる任意の関数を示している。Ｄは、処理対象の画素に貼り付けられた筆運びパターン（処理対象の領域）のぼかし量を示している。ｎは、任意の整数を示している。
【００４１】
変換部４５は、重要度情報算出部４３により算出された重要度の情報に基づいて、特徴領域中の水墨画調画像のデータに対し全体ぼかし処理を実行するぼかし部６１と、原画像の余白領域を設定する余白領域設定処理を実行する余白領域設定部６２と、を備えている。
【００４２】
ぼかし部６１は、重要度領域算出部５２により算出された重要度領域内における各画素の重要度と、重要度重心算出部５３により算出された重要度重心から各画素までの距離とに基づいて、各画素におけるぼかし量を算出する。具体的には、ぼかし部６１は、所定の関数やガウス分布（正規分布）の一次近似に基づき、輝度を白の階調（２５６）まで徐々に変化させることにより、縁のぼかし量が最大となるように、ぼかし量を算出する。即ち、ぼかし処理は、ブラシの端からの距離ｘに依存し、ブラシの端からの距離が大きくなるとほど薄い色となる。ここで、ぼかす量をＤとし、ブラシ描画の色（輝度）をＬとすると、ぼかす色Ｂは、以下の式（４）で表される。
Ｂ＝（２５５−Ｌ）×（１−ｅｘｐ（−ｘ×ｘ／ｆ（Ｄ＋ｎ）））＋Ｌ・・・（４）
本実施形態においては、画像の階調は２５６階調とし、関数ｆは、Ｄ＋ｎの値に従って大きくなるような任意の関数を示す。また、ｎは任意の整数を示す。
ぼかし部６１は、画素毎に算出したぼかし量に基づいて、水墨画調画像の画像全体に対するぼかし処理を行う。
【００４３】
余白領域設定部６２は、水墨画調画像のデータに対して余白領域設定処理を実施することで、当該水墨画調画像に対して余白領域を付加する設定を行う。
【００４４】
より具体的には、本実施形態の余白領域設定部６２は、このような余白領域設定処理を実施すべく、図２に示すように、重要度重心位置比率算出部７１と、背景画像位置比率算出部７２と、合成部７３と、を備えている。
【００４５】
重要度重心位置比率算出部７１は、重要度重心算出部５３により算出された重要度重心の位置比率を算出する。
【００４６】
背景画像位置比率算出部７２は、重要度重心位置比率算出部７１により算出された重要度重心の位置比率に基づいて白背景画像の重心位置比率を算出する。
【００４７】
合成部７３は、重要度重心位置比率算出部７１により算出された重要度重心の位置比率と、背景画像位置比率算出部７２により算出された背景画像の重心の位置比率と、に基づいて、白背景画像のデータに、ぼかし部６１によるぼかし処理後の水墨画調画像のデータを重畳させるように合成する合成処理を実行する。合成処理後のデータが、最終的な出力画像のデータとして画像処理部１４から出力される。
【００４８】
図７は、水墨画調画像１２０と、白背景画像１３０と、により余白領域１４０が水墨画調画像１２０に付加される設定がなされた後の画像の一例を示している。図７の例では、水墨画調画像１２０の外縁と、水墨画調画像１２０に重畳された白背景画像１３０との間の領域が、余白領域１４０として設定されている。
【００４９】
具体的には、図７（１）には、幅Ｘ及び高さＹにより構成される重要度重心の座標（ｘ，ｙ）を有する水墨画調画像１２０を示している。この場合、重要度重心位置比率算出部７１は、幅Ｘ及び高さＹのサイズにより構成される水墨画調画像１２０のアスペクト比（Ｘ／Ｙ）に対する重要度重心１１１の座標（ｘ，ｙ）の位置比率（ｘ／Ｘ＝ｙ／Ｙ）を算出する。次に、余白領域設定部６２は、図７（２）に示すように、水墨画調画像１２０のアスペクト比（Ｘ／Ｙ）と同じアスペクト比（Ａ／Ｂ）を有する白背景画像１３０のサイズを構成する幅Ａ及び高さＢを設定する。この場合、（Ｘ／Ｙ）＝α（Ａ／Ｂ）が成立する（αは、余白度合いを示す）。
【００５０】
余白度合い（α）とは、水墨画調画像１２０と白背景画像１３０との間に設定される余白領域１４０の大きさ（面積）の程度を示す。余白度合いは、ユーザが入力部（図示せず）を操作することにより、自由に設定することが適宜できる。余白領域設定部６２は、ユーザの操作に基づいて余白度合いが強く設定された場合には、余白領域１４０の大きさ（面積）を大きく設定し、余白度合いが弱く設定された場合には、余白領域１４０の大きさ（面積）を小さく設定する。背景画像位置比率算出部７２は、重要度重心位置比率算出部７１により算出された重要度重心１１１の位置比率（ｘ／Ｘ＝ｙ／Ｙ）と同じ位置比率となるような、白背景画像１３０の位置比率（ａ／Ａ＝ｂ／Ｂ）を算出する。即ち、下記式（５）〜式（７）が成立する（ａ，ｂ）を算出する。
（Ｘ／Ｙ）＝α（Ａ／Ｂ）・・・（５）
（ｘ／Ｘ＝ｙ／Ｙ）・・・（６）
（ａ／Ａ＝ｂ／Ｂ）・・・（７）
（（ａ，ｂ）は、白背景画像１３０の重心１３１の座標（ａ，ｂ）を示す）
【００５１】
上述の式（５）〜（７）によれば、水墨画調画像１２０（原画像）の重要度重心１１１の位置比率が片側に寄っている場合には、白背景画像１３０の重心１３１も同じ側に寄ることとなる。また、背景画像位置比率算出部７２は、重要度がある部分に偏っていると、当該部分側の余白領域１４０を小さく算出し、重要度の中心から遠い部分にある余白領域１４０を多めに算出する。従って、水墨画調画像１２０（原画像）のうち、注目して欲しいオブジェクトの位置を尊重して表示することができる。そして、余白領域設定部６２は、図７（３）に示すように、水墨画調画像１２０（原画像）の重要度重心１１１の座標（ｘ，ｙ）と白背景画像１３０の重心１３１の座標（ａ，ｂ）とが一致するように、水墨画調画像１２０と白背景画像１３０との各データを合成する合成処理を実行する。
【００５２】
次に、このような図２の機能的構成を有する画像処理装置１が実行する水墨画調画像処理について説明する。
図８は、水墨画調画像処理の流れの一例を示すフローチャートである。
原画像取得部４１により原画像のデータが取得されると、水墨画調画像処理が開始され、次のような一連の処理が実行される。
【００５３】
ステップＳ１１において、原画像取得部４１は、原画像のデータを取得する。
【００５４】
ステップＳ１２において、特徴領域検出部４２は、原画像のデータに対して平滑化処理を施す。平滑化処理とは、水墨画調画像においては、原画像に含まれるノイズや細かなテクスチャによりエッジは不要と考え、これらを原画像から除去又は低減して、被写体の輪郭を示すエッジを保存するように、原画像を平滑化するような画像処理をいう。
【００５５】
ステップＳ１３において、重要度情報算出部４３は、後述する図９の重要度領域算出処理を実行することで、原画像取得部４１により取得された原画像のデータから、当該原画像の重要度の情報を算出する。
【００５６】
ステップＳ１４において、画像処理部１４は、原画像のデータに対しモノクロ処理を施すことで、２値化された（モノクロ化された）エッジ画像のデータを生成する。
ステップＳ１５において、水墨画変換部４４は、後述の図１０を参照して説明する水墨画調画像生成処理を実行することで、エッジ画像のデータを水墨画調画像のデータに変換する。
【００５７】
ステップＳ１６において、ぼかし部６１は、後述の図１１を参照して説明する全体ぼかし処理を実行することで、各画素におけるぼかし量を算出し、画素毎に算出した当該ぼかし量に基づいて水墨画調画像のデータ全体を対象としてぼかし処理を実行する。
【００５８】
ステップＳ１７において、余白領域設定部６２は、後述の図１２を参照して説明する余白領域設定処理を実行することで、水墨画調画像の重要度重心（原画像の重要度重心）と、白背景画像の重心とに基づいて、ぼかし処理後の水墨画調画像と、白背景画像との各データを合成する合成処理を実行する。
【００５９】
ステップＳ１８において、画像処理部１４は、余白領域が設定された水墨画調画像のデータ、即ちぼかし処理後の水墨画調画像に対して余白領域が付加された画像のデータを図１の記憶部１９に記憶する。
なお、ここで、水墨画調画像に対して余白領域が付加された画像のサイズ、即ち解像度は、原画像と同一にしてもよいし、原画像と異なるようにしてもよい。ただし、原画像と同一のサイズにする場合には、画像処理部１４は、水墨画調画像に対して余白領域が付加された画像のデータに対して、そのサイズを原画像と一致させるように縮小処理を施す。
これにより、水墨画調画像処理は終了となる。
【００６０】
以上、図８を参照して、水墨画調画像処理の流れについて説明した。
次に、図９を参照して、図８の水墨画調画像処理のうち、ステップ１３の重要度領域算出処理の詳細な流れについて説明する。
図９は、重要度領域算出処理について説明するフローチャートである。
【００６１】
ステップＳ３１において、重要度算出部５１は、原画像の各画素の重要度を算出する。例えば図３の例では、原画像１００の各画素１０１の重要度が算出される。
ステップＳ３２において、重要度重心算出部５３は、算出された各画素の重要度から原画像の重要度重心を算出する。例えば図３の例では、各画素１０１の重要度から原画像１００の重要度重心１１が算出される。
ステップ３３において、重要度領域算出部５２は、閾値以上の重要度を有する画素から、原画像の重要度領域を算出する。例えば図３の例では、画素１０１から原画像１００の重要度領域１０２が算出される。
これにより、重要度領域算出処理は終了となり、即ち図８のステップＳ１３の処理が終了し、処理はステップＳ１４に進む。
【００６２】
以上、図９を参照して、重要度領域算出処理の流れについて説明した。
次に、図１０を参照して、図８の水墨画調画像処理のうち、ステップＳ１５の水墨画調画像生成処理の詳細な流れについて説明する。
図１０は、水墨画調画像生成処理について説明するフローチャートである。
【００６３】
ステップＳ５１において、特徴領域検出部４２は、エッジ画像のデータから、エッジを探索する。
ステップＳ５２において、特徴領域検出部４２は、ステップＳ５１の処理結果に基づいて、エッジが存在するか否かを判定する。
エッジが存在する場合には、ステップＳ５３において、特徴領域検出部４２は、当該エッジを追跡する。
【００６４】
具体的には、特徴領域検出部４２は、エッジ画像の左上からいわゆるラスター順に走査していき、エッジ領域に属する画素を探索する（ステップＳ５１）。特徴領域検出部４２は、このようなエッジ領域に属する画素が存在すれば（ステップＳ５２ＹＥＳ）、当該エッジ領域に属する他の画素を探索するようにエッジを追跡していく（ステップＳ５３）。
【００６５】
ステップＳ５４において、水墨画変換部４４は、このようにして追跡されたエッジ領域に基づいて、筆運びパターン記憶部（図示せず）に各データが記憶されている各筆運びパターンから、次ステップ以降において使用される筆運びパターンを決定する。
即ち、水墨画変換部４４は、ステップＳ５３の処理で追跡されたエッジ領域に対して使用される筆運びパターンとして、直筆パターンを決定する。また、水墨画変換部４４は、当該エッジ領域の周囲領域に対して使用される筆運びパターンとして、側筆パターンを決定する。さらに、水墨画変換部４４は、当該エッジ領域が閉曲線の領域である場合には、当該閉曲線の内部に使用される筆運びパターンとして、側筆パターンを決定する。
【００６６】
ステップＳ５５において、水墨画変換部４４は、ステップＳ５３の処理で追跡されたエッジ領域に直筆パターンを貼り付けるように、当該エッジ領域のデータを直筆パターンのデータに変換する処理（以下、「貼り付け処理」と呼ぶ）を実行する。
具体的には、ステップＳ５３の処理で追跡されたエッジ領域の長さ（長手方向の曲線の長さ）はその都度異なるため、水墨画変換部４４は、筆運びパターン記憶部（図示せず）から読み出した直筆パターンのデータを、エッジ領域の長さに応じて拡大又は縮小する。そして、水墨画変換部４４は、当該エッジ領域の始点のデータから、拡大又は縮小された直筆パターンのデータに変換（貼り付け）していく。
【００６７】
ステップＳ５６において、水墨画変換部４４は、ステップＳ３３（図９）の処理で算出された重要度領域に基づいて、ステップＳ５５の貼り付け処理の対象となった直筆パターンの描画色を算出する。描画色、即ち、墨の濃淡は、原画像の重要度に応じて決定される。重要度は、画素毎に値を持つため、描画色を決定する際には、水墨画変換部４４は、ブラシで描画する領域の重要度の平均を計算する。水墨画変換部４４は、計算した平均重要度が高いほど濃い色（黒に近い色）で描画し、平均重要度が低いほど薄い色（白に近い色）で描画する。水墨画変換部４４は、後述のステップＳ５９及びステップＳ６３の処理においてもステップＳ５６の処理と同様に重要度の平均に基づき描画色の算出の処理を行う。
【００６８】
ステップＳ５７において、水墨画変換部４４は、ステップＳ３３（図９）の処理で算出された重要度領域に基づいて、ステップＳ５５の貼り付け処理の対象となった直筆パターンのぼかし処理を実行する。この際、水墨画変換部４４は、画像の重要度に基づいて墨の濃淡を決定するのと同様に、水墨画変換部４４は、画像の重要度に基づいてぼかす量（幅）を決定する。水墨画変換部４４は、重要度が高いほど墨は濃い色になるためぼかす量を少なくし、重要度が低いほど墨は薄い色になるためぼかす量を多くする。水墨画変換部４４は、後述のステップＳ６０及びステップＳ６４の処理においてもステップＳ５７の処理と同様に重要度に基づきぼかし処理を行う。
【００６９】
ステップＳ５８において、水墨画変換部４４は、ステップＳ５３の処理で追跡されたエッジ領域の周囲領域に側筆パターンを貼り付けるように、貼り付け処理を実行する。
【００７０】
ステップＳ５９において、水墨画変換部４４は、ステップＳ３３（図９）の処理で算出された重要度領域に基づいて、ステップＳ５８の貼り付け処理の対象となった側筆パターンの描画色を算出する。
【００７１】
ステップＳ６０において、水墨画変換部４４は、ステップＳ３３（図９）の処理で生成された重要度領域に基づいて、ステップＳ５８の貼り付け処理の対象となった側筆パターンのぼかし処理を実行する。
【００７２】
ステップＳ６１において、水墨画変換部４４は、ステップＳ５３の処理で追跡されたエッジ領域が閉曲線の領域か否かを判定する。
エッジ領域が閉曲線の領域でない場合、即ち始点と終点とがある領域である場合、ステップＳ６１においてＮＯであると判定されて、処理はステップＳ５１に戻され別のエッジが探索されて、ステップＳ５２以降の処理が繰り返される。
これに対して、エッジ領域が閉曲線の領域でない場合、即ち始点と終点とがある領域である場合、ステップＳ６１においてＹＥＳであると判定されて、処理はステップＳ６２に進む。
【００７３】
ステップＳ６２において、水墨画変換部４４は、ステップＳ５３の処理で追跡されたエッジ領域の閉曲線の内側に側筆パターンを貼り付けるように、貼り付け処理を実行する。
【００７４】
ステップＳ６３において、水墨画変換部４４は、ステップＳ３３（図９）の処理で算出された重要度領域に基づいて、ステップＳ６２の貼り付け処理の対象となった側筆パターンの描画色を算出する。
【００７５】
ステップＳ６４において、水墨画変換部４４は、ステップＳ３３（図９）の処理で算出された重要度領域に基づいて、ステップＳ６２の貼り付け処理の対象となった側筆パターンのぼかし処理を実行する。
【００７６】
その後、処理はステップＳ５１に戻され別のエッジが探索されて、ステップＳ５２以降の処理が繰り返される。
このようにして、エッジ画像に含まれるエッジ領域毎に、上述したステップＳ５１乃至Ｓ６４のループ処理が繰り返し実行される。そして、最後のエッジ領域についての処理が終了すると、次のステップＳ５１の処理でエッジの探索ができないので、その次のステップＳ５２においてＮＯであると判定されて、水墨画調画像生成処理は終了となる。即ち、図８のステップ１５の処理が終了する。
【００７７】
以上、図１０を参照して、水墨画調画像生成処理の流れについて説明した。
次に、図１１を参照して、図８の水墨画調画像処理のうち、ステップＳ１６の全体ぼかし処理の詳細な流れについて説明する。
図１１は、全体ぼかし処理について説明するフローチャートである。
【００７８】
ステップＳ８１において、ぼかし部６１は、重要度重心算出部５３により算出された重要度重心の情報を取得する。
ステップＳ８２において、ぼかし部６１は、重要度領域算出部５２により算出された重要度領域の情報を取得する。
【００７９】
ステップＳ８３において、ぼかし部６１は、原画像の重要度領域内の１の画素を注目画素に設定する。
ステップＳ８４において、ぼかし部６１は、当該注目画素における重要度と、ステップＳ８１において取得した重要度重心から各画素までの距離に基づいて、ぼかし量を算出する。
【００８０】
ステップＳ８５において、ぼかし部６１は、重要度領域内の全画素が注目画素に設定済であるか否かを判定する。重要度領域内の全画素がステップＳ８３において注目画素に設定されていない場合には、ステップＳ８５においてＮＯであると判定されて、処理はステップＳ８３に戻る。即ち、全ての画素に対してぼかし量が算出されるまでの間、ステップＳ８３乃至Ｓ８５の処理が繰り返し行われる。これに対し、重要度領域内の全画素がステップＳ８３において注目画素に設定された場合には、ステップＳ８５においてＹＥＳであると判定されて、処理はステップＳ８６に進む。
【００８１】
ステップＳ８６において、ぼかし部６１は、ステップＳ８４において画素毎に算出したぼかし量に基づいて原画像の画像全体をぼかすぼかし処理を実行する。この処理が終了すると、全体ぼかし処理は終了となり、即ち、図８のステップ１６の処理が終了し、処理はステップＳ１７に進む。
【００８２】
以上、図１１を参照して、全体ぼかし処理の流れについて説明した。
次に、図１２を参照して、図８の水墨画調画像処理のうち、ステップＳ１７の余白領域設定処理の詳細な流れについて説明する。
図１２は、余白領域設定処理について説明するフローチャートである。
【００８３】
ステップＳ１０１において、重要度重心位置比率算出部７１は、水墨画調画像の重要度重心の位置比率を算出する。例えば図７の例では、原画像１００の重要度重心１１１の位置比率が算出される。
【００８４】
ステップＳ１０２において、余白領域設定部６２は、ユーザの操作に基づき図７の余白領域１４０の余白度合いの強弱を設定する。例えば図７の例では、余白領域１４０の余白度合いの強弱が設定される。
ステップＳ１０３において、余白領域設定部６２は、白背景画像のサイズを設定する。例えば図７の例では、白背景画像１３０のサイズが設定される。
【００８５】
ステップＳ１０４において、背景画像位置比率算出部７２は、白背景画像の重心を算出する。例えば図７の例では、白背景画像１３０の重心１３１が算出される。
【００８６】
ステップＳ１０５において、合成部７３は、白背景画像の重心と水墨画調画像の重要度重心とに基づいて、白背景画像の重心と重要度重心との座標位置が一致するように重畳させて合成する合成処理を行う。例えば図７の例では、白背景画像１３０の重心１３１と原画像１００の重要度重心１１１とに基づいて、重心１３１と重要度重心１１１との座標位置が一致するように重畳させられて合成される合成処理が行われる。この処理が終了すると、余白領域設定処理は終了となり、図８のステップ１７の処理が終了し、処理はステップＳ１８に進む。
【００８７】
以上のように構成される第１実施形態の画像処理装置は、原画像取得部４１と、特徴領域検出部４２と、重要度情報算出部４３と、水墨画変換部４４と、変換部４５と、を備えている。
原画像取得部４１は、原画像１００のデータを取得する。
水墨画変換部４４は、原画像取得部４１により取得された原画像１００のデータから、水墨画調画像１２０のデータに変換する。
特徴領域検出部４２は、原画像取得部４１により取得された原画像１００のデータから、当該原画像１００の特徴領域（本実施形態ではエッジ領域）を検出する。
重要度情報算出部４３は、原画像取得部４１により取得された原画像１００のデータから、当該原画像１００の重要度の情報を算出する。
変換部４５は、水墨画変換部４４による変換後の水墨画調画像のデータをさらに変換する画像処理として、重要度情報算出部４３により算出された重要度の情報に基づいて、特徴領域検出部４２により検出された特徴領域をぼかすぼかし処理と、水墨画調画像に対して余白領域１４０の付加を設定する余白設定処理とを実行する。
このように、原画像１００における重要度の情報に基づいて水墨画調画像１２０のぼかし処理を行うことで、水墨画の自然な筆の描画を忠実に表現することができる。その結果、実際の水墨画により近い画像を得ることができる。
同様に、原画像１００における重要度の情報に基づいて水墨画調画像１２０に対する余白領域１４０の付加を設定する余白設定処理を行うことで、水墨画の自然な構図を忠実に表現することができる。その結果、実際の水墨画により近い画像を得ることができる。
【００８８】
本実施形態の画像処理装置の重要度情報算出部４３は、重要度算出部５１と、重要度重心算出部５３と、を備える。
重要度算出部５１は、原画像１００を構成する各画素１０１毎に重要度を算出する。
重要度重心算出部５３は、重要度算出部５１により算出された各画素１０１の重要度に基づいて、原画像１００の重要度重心１１１を算出する。そして、変換部４５は、重要度重心算出部５３により算出された重要度重心に基づいて水墨画調画像１２０のデータの変換を行う。
このように重要度重心に基づいて水墨画調画像１２０のデータの変換を行うことで、水墨画に描画されているオブジェクトを水墨画特有の描画方法に基づき表現することが可能となる。その結果、さらに一段と、実際の水墨画により近い画像を得ることができる。
【００８９】
本実施形態の画像処理装置の変換部４５は、ぼかし部６１を有する
ぼかし部６１は、特徴領域検出部４２により検出された特徴領域及び当該特徴領域内の１以上の領域内のオブジェクトを処理対象として、重要度重心算出部５３により算出された重要度重心に基づいてぼかし処理を実行する。
このように重要度重心に基づいてぼかし処理を行うことで、水墨画として描画されるオブジェクトを水墨画特有の描画方法に基づき表現することが可能となる。その結果、さらに一段と、実際の水墨画により近い画像を得ることができる。
【００９０】
本実施形態の画像処理装置の変換部４５は、重要度重心位置比率算出部７１と、背景画像位置比率算出部７２と、を備える。
重要度重心位置比率算出部７１は、重要度重心算出部５３により算出された重要度重心の位置比率を算出する。
背景画像位置比率算出部７２は、重要度重心位置比率算出部により算出された重要度重心の位置比率に基づいて、白背景画像１３０の重心位置比率を算出する。
変換部４５は、重要度重心位置比率算出部７１により算出された重要度重心の位置比率と、背景画像位置比率算出部７２により算出された白背景画像１３０の重心の位置比率と、に基づいて、白背景画像１３０のデータに対して水墨画調画像１２０のデータを合成することで、水墨画調画像１２０に対して余白領域１４０の付加を設定する。
このように重要度重心の位置比率に基づいて水墨画調画像１２０の余白領域１４０を設定することで、水墨画の自然な構図を忠実に表現することができる。その結果、実際の水墨画により近い画像を得ることができる。
【００９１】
本実施形態の画像処理装置の重要度情報算出部４３は、重要度領域算出部５２をさらに備える。
重要度領域算出部５２は、重要度算出部５１により画素１０１毎に算出された重要度に基づいて重要度領域１０２を算出する。
そして、ぼかし部６１は、重要度領域算出部５２により算出された重要度領域１０２内における各画素１０１の重要度と、各画素１０１と重要度重心算出部５３により算出された重要度重心１１１との距離と、に基づいて各画素１０１におけるぼかし量を算出する。
このように各画素１０１における重要度と、重要度重心との距離と、に応じてぼかし処理を実行することで、水墨画特有の墨のにじみを適切に表現することが可能になる。その結果、さらに一段と、実際の水墨画により近い画像を得ることができる。
【００９２】
以上、本発明の第１実施形態に係る画像処理装置１について説明した。
次に、本発明の第２実施形態に係る画像処理装置１について説明する。
【００９３】
［第２実施形態］
本発明の第２実施形態に係る画像処理装置１は、第１実施形態に係る画像処理装置１と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
従って、図１は、第２実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図でもある。
さらに、第２実施形態に係る画像処理装置１が実行する水墨画調画像処理、重要度領域算出処理、水墨画調画像生成処理は、第１実施形態に係る各処理と基本的に同様の流れとなる。従って、図８、図９、図１０は、第２実施形態に係る水墨画調画像処理、重要度領域算出処理、水墨画調画像生成処理の流れを説明するフローチャートでもある。
【００９４】
図１３は、本発明の画像処理装置１の機能的構成のうち、第２実施形態に係る全体ぼかし処理を実行するための機能的構成を示す機能ブロック図である。
【００９５】
図２と図１３とを比較するに、第２実施形態に係る画像処理装置１の画像処理部１４内の機能的構成は、重要度領域が複数ある場合には、複数の重要度領域を統合重要度領域として統合する点を除くと、第１実施形態に係る画像処理装置１と基本的に同様であるため説明を省略する。即ち、第１実施形態の画像処理装置１のぼかし部６１は、重要度領域内における各画素の重要度と、各画素と重要度重心との距離と、に基づいて各画素におけるぼかし量を算出する。
これに対し、第２実施形態の画像処理装置１のぼかし部６１は、重要度領域が複数ある場合には、複数の重要度領域を統合重要度領域として統合し、重要度領域内においては、第１実施形態と同様の処理に基づきぼかし量を算出する。そして、第２実施形態の画像処理装置１のぼかし部６１は、重要度領域外においては、統合重要度領域内における各画素の重要度と、各画素と重要度重心との距離と、重要度重心と統合重要度領域の縁の方向と、に基づいて各画素におけるぼかし量を算出する。
【００９６】
なお、第２実施形態の画像処理装置１の原画像取得部４１〜水墨画変換部４４及び、変換部４５内の余白領域設定部６２については、第１実施形態の画像処理装置１の原画像取得部４１〜水墨画変換部４４及び、変換部４５内の余白領域設定部６２と同様であるため、詳細な説明を省略し、異なる箇所のみ説明する。
【００９７】
図１３は、図１の画像処理装置１の機能的構成のうち、第２実施形態に係る全体ぼかし処理を実行するための機能的構成を示す機能ブロック図である。
第２実施形態に係る全体ぼかし処理とは、重要度領域が単数である場合には、第１実施形態と同様の処理に基づきぼかし処理を行う。そして、ぼかし部６１は、重要度領域が複数である場合には、複数の重要度領域を統合重要度領域として統合し、統合重要度領域内における各画素の重要度と、各画素と重要度重心との距離と、重要度重心と統合重要度領域の縁の方向と、に基づいて各画素におけるぼかし量を算出する。そしてぼかし部６１は、算出されたぼかし量に基づいて水墨画調画像の全体に対しぼかし処理を行う。
【００９８】
第２実施形態では、ぼかし部６１は、第２実施形態に係る全体ぼかし処理を実行するにあたり、さらに重要度領域統合部８１を備える。
重要度領域統合部８１は、重要度領域算出部５２により算出された重要度領域が複数ある場合には、重要度領域算出部５２により算出された複数の重要度領域を統合重要度領域として統合する。
第２実施形態のぼかし部６１は、統合重要度領域のうち、重要度領域内においては、重要度領域内における各画素の重要度と、各画素と重要度重心算出部により算出された重要度重心との距離と、に基づいて各画素におけるぼかし量を算出し、重要度領域外においては、統合重要度領域内における各画素の重要度と、各画素と重要度重心算出部により算出された重要度重心との距離と、重要度重心と統合重要度領域の縁の方向と、に基づいて各画素におけるぼかし量を算出する。
【００９９】
図１４は、第２実施形態の原画像１００のデータの一例を示している。
図１４において、原画像１００を構成する複数の各画素１０１のうち、グレーの領域が複数の重要度領域１０２Ａ，１０２Ｂである。そして、複数の重要度領域１０２Ａ，１０２Ｂに基づいて統合された統合重要度領域２０２が黒枠により示されている。また、統合重要度領域２０２に基づいて算出された重要度重心２１１が統合重要度領域２０２の略中心部分に示されている。
【０１００】
図１５は、図８の水墨画調画像処理のうち、ステップＳ１６の全体ぼかし処理について説明するフローチャートである。
【０１０１】
ステップＳ１２１において、ぼかし部６１は、重要度重心算出部５３により算出された重要度重心の情報を取得する。
ステップＳ１２２において、ぼかし部６１は、重要度領域算出部５２により算出された重要度領域の情報を取得する。
【０１０２】
ステップＳ１２３において、ぼかし部６１は、重要度領域算出部５２により算出された重要度領域は、複数であるか否かを判定する。重要度領域が複数ではない、即ち、単数であると判定した場合にはステップＳ１３０に進み、図１１の第１実施形態の全体ぼかし処理のステップＳ８３〜Ｓ８５の処理と同様の処理を行う。この場合、第２実施形態のステップＳ１３０〜Ｓ１３２の処理と、第１実施形態のステップＳ８３〜Ｓ８５の処理は同様であるため説明を省略する。これに対して、重要度領域が複数であると判定した場合には、処理はステップＳ１２４に進む。
【０１０３】
ステップＳ１２４において、重要度領域統合部８１は、図１４の複数の重要度領域１０２Ａ，１０２Ｂを統合重要度領域２０２として統合する。
ステップＳ１２５において、ぼかし部６１は、図１４の原画像１００の統合重要度領域２０２内の１の画素１０１を注目画素に設定する。
【０１０４】
ステップＳ１２６において、ぼかし部６１は、ステップＳ１２５で設定した注目画素が重要度領域内の画素であるか否かを判定する。例えば図１４の例では、重要度領域１０２Ａ，１０２Ｂ内の画素１０１であるか否かが判定される。注目画素が重要度領域内の画素である場合には、処理はステップＳ１２７に進み、図１１の第１実施形態の全体ぼかし処理のステップＳ８４の処理と同様の処理を行う。この場合、第２実施形態のステップＳ１２７の処理と、第１実施形態のステップＳ８４の処理は同様であるため説明を省略する。これに対して、注目画素が重要度領域内の画素ではないと判定した場合には、処理はステップＳ１２８に進む。
【０１０５】
ステップＳ１２８において、ぼかし部６１は、当該注目画素における重要度と、ステップＳ１２１において取得した重要度重心からの距離と、重要度重心と統合重要度領域の縁の方向と、に基づいて、ぼかし量を算出する。
【０１０６】
ステップＳ１２９において、ぼかし部６１は、統合重要度領域内の全画素が注目画素に設定済であるか否かを判定する。統合重要度領域内の全画素がステップＳ１２５において注目画素に設定されていない場合には、ステップＳ１２９においてＮＯであると判定されて、処理はステップＳ１２５に戻る。即ち、統合重要度領域内の全ての画素に対してぼかし量が算出されるまでの間、ステップＳ１２５乃至Ｓ１２９の処理が繰り返し行われる。これに対し、統合重要度領域内の全画素がステップＳ１２５において注目画素に設定された場合には、ステップＳ１２９においてＹＥＳであると判定されて、処理はステップＳ１３３に進む。
【０１０７】
ステップＳ１３３において、ぼかし部６１は、ステップＳ１２７、Ｓ１２８及びＳ１３１において画素毎に算出したぼかし量に基づいて原画像の画像全体をぼかすぼかし処理を実行する。この処理が終了すると、全体ぼかし処理は終了となり、即ち図８のステップ１６の処理が終了し、処理はステップＳ１７に進む。
【０１０８】
以上のように構成される第２実施形態の画像処理装置のぼかし部６１は、重要度領域統合部８１を備えている。
重要度領域統合部８１は、重要度領域算出部５２により算出された重要度領域が複数ある場合には、重要度領域算出部５２により算出された図１４の複数の重要度領域１０２Ａ，１０２Ｂを統合重要度領域２０２として統合する。
ぼかし部６１は、統合重要度領域２０２のうち、重要度領域１０２Ａ，１０２Ｂ内においては、重要度領域１０２Ａ，１０２Ｂ内における各画素１０１の重要度と、各画素１０１と重要度重心算出部５３により算出された重要度重心２１１との距離と、に基づいて各画素１０１におけるぼかし量を算出し、重要度領域１０２Ａ，１０２Ｂ外においては、統合重要度領域２０２内における各画素１０１の重要度と、各画素１０１と重要度重心算出部５３により算出された重要度重心２１１との距離と、重要度重心２１１と統合重要度領域２０２の縁の方向と、に基づいて各画素１０１におけるぼかし量を算出する。原画像１００内において、重要だが重要度重心からの距離がある画素１０１は、重要であるにも関わらず、それほど重要でないと判断される場合がある。これに対し本実施形態においては、ぼかし部６１は、重要度領域１０２Ａ，１０２Ｂが複数ある場合には、統合重要度領域２０２として複数の重要度領域１０２Ａ，１０２Ｂを統合する。これにより、複数の重要度領域に基づいて各画素１０１における重要度を勘案してぼかし量を算出することで、水墨画として描画されるオブジェクトを水墨画特有の描画方法に基づき表現することが可能となる。その結果、さらに一段と、実際の水墨画により近い画像を得ることができる。
【０１０９】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１１０】
例えば、重要度算出部５１は、各画素を中心とした所定範囲の色情報、輝度（明るさ情報）又はエッジ方向の情報に基づいて重要度を算出しているが、これに限られない。例えば、重要度算出部５１は、注目画素に対する一定領域内の空間周波数に基づいて、該当する部分の重要度を上げる、という手法をとることもできる。また、重要度算出部５１は、一の原画像のデータについて顔探索枠を所定方向に走査して、目、鼻、ロ等に相当する特徴部分（顔パーツ）を特定して、各顔パーツの位置関係から顔であるか否かを判定する。そして、重要度算出部５１は、判定された特徴部分の種別に応じて予め定められた重要度を算出することもできる。また、重要度算出部５１は、風景写真やポートレート中の特定のオブジェクトを特定して、特定されたオブジェクトの種別に応じて予め定められた重要度を算出することもできる。また、重要度算出部５１は、画素毎に重要度を算出しているがこれに限られるものではなく、各領域毎の重要度を算出することができる。
【０１１１】
また例えば、変換部４５の余白領域設定部６２は、重要度重心位置比率算出部７１により算出された重要度重心の位置比率と、背景画像位置比率算出部７２により算出された背景画像の重心の位置比率と、に基づいて、背景画像のデータに対して水墨画調画像のデータを合成することで、水墨画調画像に対して余白領域の付加を設定しているがこれに限られない。例えば、変換部４５の余白領域設定部６２は、水墨画調画像のデータを複数の領域に分割する画像領域分割部（図示せず）をさらに備えてもよい。そして、余白領域設定部６２は、画像領域分割部（図示せず）により分割された領域のうち、重要度算出部５１により算出された重要度が高い画素を含む領域が水墨画調画像の端に接している場合には、当該領域の端には余白領域の付加を行わないようにすることができる。このように重要度の高い画素を含む領域の端については余白領域の付加を設定しないことで、水墨画の自然な構図を忠実に表現することができる。その結果、実際の水墨画により近い画像を得ることができる。
【０１１２】
また例えば、ぼかし部６１により算出されるぼかし量は、所定の関数に基づき、白ベースのコントラストを徐々に０まで変化させることにより、縁のぼかし量が最大となるように、ぼかし量を算出することもできる。
【０１１３】
本発明の画像処理装置は、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、スマートフォン、プリンタ、テレビジョン受像機、ビデオカメラ、携帯ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【０１１４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１１５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１１６】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【０１１７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【０１１８】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１９】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
原画像のデータを取得する原画像取得手段と、
前記原画像取得手段により取得された原画像のデータから、水墨画調画像のデータに変換する第１変換手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出手段と、
前記第１変換手段による変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出手段により算出された重要度の情報に基づいて、前記特徴領域検出手段により検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
前記重要度情報算出手段は、
前記原画像を構成する画素毎に重要度を算出する重要度算出手段と、
前記重要度算出手段により算出された前記各画素の重要度に基づいて、前記原画像の重要度重心を算出する重要度重心算出手段と、
を有し、
前記第２変換手段は、前記重要度重心算出手段により算出された前記重要度重心に基づいて前記水墨画調画像のデータを変換する前記画像処理を実行する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記第２変換手段は、
前記特徴領域検出手段により検出された前記特徴領域及び当該特徴領域内の１以上の領域内のオブジェクトを処理対象として、前記重要度重心算出手段により算出された前記重要度重心に基づいて前記ぼかし処理を実行するぼかし手段を有する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記第２変換手段は、
前記重要度重心算出手段により算出された前記重要度重心の位置比率を算出する重要度重心位置比率算出手段と、
前記重要度重心位置比率算出手段により算出された前記重要度重心の位置比率に基づいて、背景画像の重心位置比率を算出する背景画像位置比率算出手段と、
を備え、
前記重要度重心位置比率算出手段により算出された前記重要度重心の位置比率と、前記背景画像位置比率算出手段により算出された前記背景画像の重心の位置比率と、に基づいて、前記背景画像のデータに対して前記水墨画調画像のデータを合成することで、前記水墨画調画像に対して前記余白領域の付加を設定する、
ことを特徴とする付記２に記載の画像処理装置。
［付記５］
前記重要度情報算出手段は、
前記重要度算出手段により画素毎に算出された前記重要度に基づいて重要度領域を算出する重要度領域算出手段をさらに備え、
前記ぼかし手段は、
前記重要度領域算出手段により算出された重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、に基づいて各画素におけるぼかし量を算出することを特徴とする付記２乃至４のうち何れか１つに記載の画像処理装置。
［付記６］
前記ぼかし手段は、
前記重要度領域算出手段により算出された重要度領域が複数ある場合には、前記重要度領域算出手段により算出された複数の重要度領域を統合重要度領域として統合する重要度領域統合手段をさらに備え、
前記統合重要度領域のうち、
前記重要度領域内においては、重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、に基づいて各画素におけるぼかし量を算出し、
前記重要度領域外においては、統合重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、前記重要度重心と前記統合重要度領域の縁の方向と、に基づいて各画素におけるぼかし量を算出することを特徴とする付記５に記載の画像処理装置。
［付記７］
前記第２変換手段は、
前記水墨画調画像のデータを複数の領域に分割する画像領域分割手段をさらに備え、
前記画像領域分割手段により分割された領域のうち、前記重要度算出手段により算出された重要度が高い画素を含む領域が前記水墨画調画像の端に接している場合には、当該領域の端には余白領域の付加を行わないことを特徴とする付記４に記載の画像処理装置。
［付記８］
水墨画調画像のデータを変換する画像処理装置が実行する画像処理方法であって、
原画像のデータを取得する原画像取得ステップと、
前記原画像取得ステップにより取得された原画像のデータから、水墨画調画像のデータに変換する第１変換ステップと、
前記原画像取得ステップにより取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出ステップと、
前記原画像取得ステップにより取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出ステップと、
前記第１変換ステップによる変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出ステップにより算出された重要度の情報に基づいて、前記特徴領域検出ステップにより検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換ステップと、
を含む画像処理方法。
［付記９］
水墨画調画像のデータを変換する画像処理装置を制御するコンピュータに、
原画像のデータを取得する原画像取得機能、
前記原画像取得機能により取得された原画像のデータから、水墨画調画像のデータに変換する第１変換機能、
前記原画像取得機能により取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出機能、
前記原画像取得機能により取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出機能、
前記第１変換機能による変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出機能により算出された重要度の情報に基づいて、前記特徴領域検出機能により検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換機能、
を含む画像処理を実行させるプログラム。
【符号の説明】
【０１２０】
１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、４１・・・原画像取得部、４２・・・特徴領域検出部、４３・・・重要度情報算出部、４４・・・水墨画変換部、４５・・・変換部、５１・・・重要度算出部、５２・・・重要度領域算出部、５３・・・重要度重心算出部、６１・・・ぼかし部、６２・・・余白領域設定部、７１・・・重要度重心位置比率算出部、７２・・・背景画像位置比率算出部、７３・・・合成部、８１・・・重要度領域統合部
【特許請求の範囲】
【請求項１】
原画像のデータを取得する原画像取得手段と、
前記原画像取得手段により取得された原画像のデータから、水墨画調画像のデータに変換する第１変換手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出手段と、
前記第１変換手段による変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出手段により算出された重要度の情報に基づいて、前記特徴領域検出手段により検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記重要度情報算出手段は、
前記原画像を構成する画素毎に重要度を算出する重要度算出手段と、
前記重要度算出手段により算出された前記各画素の重要度に基づいて、前記原画像の重要度重心を算出する重要度重心算出手段と、
を有し、
前記第２変換手段は、前記重要度重心算出手段により算出された前記重要度重心に基づいて前記水墨画調画像のデータを変換する前記画像処理を実行する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２変換手段は、
前記特徴領域検出手段により検出された前記特徴領域及び当該特徴領域内の１以上の領域内のオブジェクトを処理対象として、前記重要度重心算出手段により算出された前記重要度重心に基づいて前記ぼかし処理を実行するぼかし手段を有する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２変換手段は、
前記重要度重心算出手段により算出された前記重要度重心の位置比率を算出する重要度重心位置比率算出手段と、
前記重要度重心位置比率算出手段により算出された前記重要度重心の位置比率に基づいて、背景画像の重心位置比率を算出する背景画像位置比率算出手段と、
を備え、
前記重要度重心位置比率算出手段により算出された前記重要度重心の位置比率と、前記背景画像位置比率算出手段により算出された前記背景画像の重心の位置比率と、に基づいて、前記背景画像のデータに対して前記水墨画調画像のデータを合成することで、前記水墨画調画像に対して前記余白領域の付加を設定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記重要度情報算出手段は、
前記重要度算出手段により画素毎に算出された前記重要度に基づいて重要度領域を算出する重要度領域算出手段をさらに備え、
前記ぼかし手段は、
前記重要度領域算出手段により算出された重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、に基づいて各画素におけるぼかし量を算出することを特徴とする請求項２乃至４のうち何れか１項に記載の画像処理装置。
【請求項６】
前記ぼかし手段は、
前記重要度領域算出手段により算出された重要度領域が複数ある場合には、前記重要度領域算出手段により算出された複数の重要度領域を統合重要度領域として統合する重要度領域統合手段をさらに備え、
前記統合重要度領域のうち、
前記重要度領域内においては、重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、に基づいて各画素におけるぼかし量を算出し、
前記重要度領域外においては、統合重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、前記重要度重心と前記統合重要度領域の縁の方向と、に基づいて各画素におけるぼかし量を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２変換手段は、
前記水墨画調画像のデータを複数の領域に分割する画像領域分割手段をさらに備え、
前記画像領域分割手段により分割された領域のうち、前記重要度算出手段により算出された重要度が高い画素を含む領域が前記水墨画調画像の端に接している場合には、当該領域の端には余白領域の付加を行わないことを特徴とする請求項４に記載の画像処理装置。
【請求項８】
水墨画調画像のデータを変換する画像処理装置が実行する画像処理方法であって、
原画像のデータを取得する原画像取得ステップと、
前記原画像取得ステップにより取得された原画像のデータから、水墨画調画像のデータに変換する第１変換ステップと、
前記原画像取得ステップにより取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出ステップと、
前記原画像取得ステップにより取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出ステップと、
前記第１変換ステップによる変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出ステップにより算出された重要度の情報に基づいて、前記特徴領域検出ステップにより検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換ステップと、
を含む画像処理方法。
【請求項９】
水墨画調画像のデータを変換する画像処理装置を制御するコンピュータに、
原画像のデータを取得する原画像取得機能、
前記原画像取得機能により取得された原画像のデータから、水墨画調画像のデータに変換する第１変換機能、
前記原画像取得機能により取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出機能、
前記原画像取得機能により取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出機能、
前記第１変換機能による変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出機能により算出された重要度の情報に基づいて、前記特徴領域検出機能により検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換機能、
を含む画像処理を実行させるプログラム。
【請求項１】
原画像のデータを取得する原画像取得手段と、
前記原画像取得手段により取得された原画像のデータから、水墨画調画像のデータに変換する第１変換手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出手段と、
前記原画像取得手段により取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出手段と、
前記第１変換手段による変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出手段により算出された重要度の情報に基づいて、前記特徴領域検出手段により検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記重要度情報算出手段は、
前記原画像を構成する画素毎に重要度を算出する重要度算出手段と、
前記重要度算出手段により算出された前記各画素の重要度に基づいて、前記原画像の重要度重心を算出する重要度重心算出手段と、
を有し、
前記第２変換手段は、前記重要度重心算出手段により算出された前記重要度重心に基づいて前記水墨画調画像のデータを変換する前記画像処理を実行する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２変換手段は、
前記特徴領域検出手段により検出された前記特徴領域及び当該特徴領域内の１以上の領域内のオブジェクトを処理対象として、前記重要度重心算出手段により算出された前記重要度重心に基づいて前記ぼかし処理を実行するぼかし手段を有する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２変換手段は、
前記重要度重心算出手段により算出された前記重要度重心の位置比率を算出する重要度重心位置比率算出手段と、
前記重要度重心位置比率算出手段により算出された前記重要度重心の位置比率に基づいて、背景画像の重心位置比率を算出する背景画像位置比率算出手段と、
を備え、
前記重要度重心位置比率算出手段により算出された前記重要度重心の位置比率と、前記背景画像位置比率算出手段により算出された前記背景画像の重心の位置比率と、に基づいて、前記背景画像のデータに対して前記水墨画調画像のデータを合成することで、前記水墨画調画像に対して前記余白領域の付加を設定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記重要度情報算出手段は、
前記重要度算出手段により画素毎に算出された前記重要度に基づいて重要度領域を算出する重要度領域算出手段をさらに備え、
前記ぼかし手段は、
前記重要度領域算出手段により算出された重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、に基づいて各画素におけるぼかし量を算出することを特徴とする請求項２乃至４のうち何れか１項に記載の画像処理装置。
【請求項６】
前記ぼかし手段は、
前記重要度領域算出手段により算出された重要度領域が複数ある場合には、前記重要度領域算出手段により算出された複数の重要度領域を統合重要度領域として統合する重要度領域統合手段をさらに備え、
前記統合重要度領域のうち、
前記重要度領域内においては、重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、に基づいて各画素におけるぼかし量を算出し、
前記重要度領域外においては、統合重要度領域内における各画素の重要度と、前記各画素と前記重要度重心算出手段により算出された重要度重心との距離と、前記重要度重心と前記統合重要度領域の縁の方向と、に基づいて各画素におけるぼかし量を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２変換手段は、
前記水墨画調画像のデータを複数の領域に分割する画像領域分割手段をさらに備え、
前記画像領域分割手段により分割された領域のうち、前記重要度算出手段により算出された重要度が高い画素を含む領域が前記水墨画調画像の端に接している場合には、当該領域の端には余白領域の付加を行わないことを特徴とする請求項４に記載の画像処理装置。
【請求項８】
水墨画調画像のデータを変換する画像処理装置が実行する画像処理方法であって、
原画像のデータを取得する原画像取得ステップと、
前記原画像取得ステップにより取得された原画像のデータから、水墨画調画像のデータに変換する第１変換ステップと、
前記原画像取得ステップにより取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出ステップと、
前記原画像取得ステップにより取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出ステップと、
前記第１変換ステップによる変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出ステップにより算出された重要度の情報に基づいて、前記特徴領域検出ステップにより検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換ステップと、
を含む画像処理方法。
【請求項９】
水墨画調画像のデータを変換する画像処理装置を制御するコンピュータに、
原画像のデータを取得する原画像取得機能、
前記原画像取得機能により取得された原画像のデータから、水墨画調画像のデータに変換する第１変換機能、
前記原画像取得機能により取得された原画像のデータから、当該原画像の特徴領域を検出する特徴領域検出機能、
前記原画像取得機能により取得された原画像のデータから、当該原画像の重要度の情報を算出する重要度情報算出機能、
前記第１変換機能による変換後の前記水墨画調画像のデータをさらに変換する画像処理として、前記重要度情報算出機能により算出された重要度の情報に基づいて、前記特徴領域検出機能により検出された前記特徴領域をぼかすぼかし処理と、前記水墨画調画像に対して余白領域の付加を設定する余白設定処理とを実行する第２変換機能、
を含む画像処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図４】
【図６】
【図２】
【図３】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図４】
【図６】
【公開番号】特開２０１３−７４５３８（Ｐ２０１３−７４５３８Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１３３７５（Ｐ２０１１−２１３３７５）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]