画像処理装置、画像処理方法およびプログラム
【課題】簡単な操作でユーザが特殊効果を与えることを希望する領域を抽出することのできる画像処理装置を提供する。
【解決手段】表示部に表示された画像データにおいて、ユーザから特殊効果を与える対象領域の指定を受け付ける受付部１０４と、対象領域の画像の特徴を示す特徴量に基づいて、画像データから類似領域を検索する類似領域検索部１０５と、類似領域のうち、所定の数の類似領域を表示部に表示する表示処理部１０３と、類似領域の選択を受け付ける受付部１０４と、選択を受け付けた類似領域と対象領域とに対し、特殊効果を与えるための特殊効果処理を行う特殊効果処理部１１１とを備える。
【解決手段】表示部に表示された画像データにおいて、ユーザから特殊効果を与える対象領域の指定を受け付ける受付部１０４と、対象領域の画像の特徴を示す特徴量に基づいて、画像データから類似領域を検索する類似領域検索部１０５と、類似領域のうち、所定の数の類似領域を表示部に表示する表示処理部１０３と、類似領域の選択を受け付ける受付部１０４と、選択を受け付けた類似領域と対象領域とに対し、特殊効果を与えるための特殊効果処理を行う特殊効果処理部１１１とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、プロダクションプリンティング（商用印刷市場や企業内印刷市場向け高速複写機による印刷）において、印刷された画像に対し、クリアトナー（透明トナー）を用いた光沢度変更や、金属色、蛍光色等の特色等により特殊効果を与える技術が知られている。さらに、このような特殊効果を与えるための画像データ（版データ）を作成するソフトウェアとして、アドビ社製のフォトショップ（登録商標）等が知られている。これらのソフトウェアにおいては、ユーザは、ソフトウェアの領域選択機能によって、画像データのうち特殊効果を与える領域を指定することができる。
【０００３】
一方、類似画像を検索する技術としては、例えば特許文献１には、予め登録された登録画像から問い合わせ画像に類似する類似画像を検索し、検索結果を出力する類似画像検索装置が開示されている。この類似画像検索装置は、異なる画像間の類似性に基づいて問い合わせ画像に類似する画像を検索するものであり、具体的には、色クラスタリングにより、各登録画像から被検索画像を抽出し、被検索画像から複数の階層を有する木構造を生成し、各階層の被検索画像の特徴量と、問い合わせ画像の特徴量に基づいて検索結果を出力するものである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特殊効果を与えるための版データを作成するにあたり、ユーザは、画像データ中に特殊効果を与えたい領域が多数存在する場合には、これらの領域すべてを指定しなければならず、面倒であるという問題があった。
【０００５】
また、ユーザにより選択された領域に類似する領域を、特殊効果を与える領域として自動的に抽出することが考えられるが、ユーザが対象領域に類似する領域すべてに特殊効果を与えることを希望するとは限らないことから、ユーザにより選択された領域に類似する領域に自動的に特殊効果を与えるのは望ましくない。
【０００６】
本発明は、上記に鑑みてなされたものであって、印刷物上で特殊効果を与えるための版データを作成するためのオブジェクト領域の選択を行う手法において、ユーザに領域の数を指定させ、それに応じた数のオブジェクト領域候補の抽出を行い、ユーザが選択した後にオブジェクト領域候補の順位にフィードバックさせることで、簡単な操作でユーザが特殊効果を与えることを希望する領域を抽出することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、画像処理装置であって、表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付部と、前記対象領域受付部が指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索部と、前記類似領域検索部により検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理部と、ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付部と、前記類似領域受付部が選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理部とを備えることを特徴とする。
【０００８】
また、本発明は、画像処理装置において実行される画像処理方法であって、対象領域受付部が、表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付ステップと、類似領域検索部が、前記対象領域受付ステップにおいて指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索ステップと、表示処理部が、前記類似領域検索ステップにおいて検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理ステップと、類似領域受付部が、ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付ステップと、特殊効果処理部が、前記類似領域受付ステップにおいて選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理ステップとを有することを特徴とする。
【０００９】
また、本発明は、コンピュータを、表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付部と、前記対象領域受付部が指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索部と、前記類似領域検索部により検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理部と、ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付部と、前記類似領域受付部が選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理部として機能させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、受付部が表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付けると、類似領域検索部が、特殊効果を与える対象領域の候補として、対象領域に類似する類似領域を自動的に検出し、表示処理部が、検出された類似領域のうち所定の数の類似領域を表示部に表示し、さらにユーザが選択した後にオブジェクト領域候補の順位にフィードバックさせるので、ユーザは、多数の領域に特殊効果を与えることを希望する場合であっても、画像データ中においてすべての対象領域を１つずつ選択する必要がなく、表示された限られた数の類似領域の中から所望の領域を対象領域として選択するという簡単な操作により特殊効果を与えたい複数の領域を選択することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、画像処理装置の構成を示すブロック図である。
【図２】図２は、グラフカットアルゴリズムの手順を示すフローチャートである。
【図３】図３は、グラフカットアルゴリズムについて説明するための図である。
【図４】図４は、グラフカットアルゴリズムについて説明するための図である。
【図５】図５は、ＳＩＦＴ処理の手順を示すフローチャートである。
【図６】図６は、スケール検出を説明するための図である。
【図７】図７は、キーポイント検出を説明するための図である。
【図８】図８は、キーポイントのローカライズを説明するための図である。
【図９】図９は、低コントラストのキーポイントの削除について説明するための図である。
【図１０】図１０は、オリエンテーションの算出について説明するための図である。
【図１１】図１１は、特徴ベクトルの算出について説明するための図である。
【図１２】図１２は、類似度算出の一例について説明するための図である。
【図１３】図１３は、重みの変更の一例を説明するための図である。
【図１４】図１４は、画像処理装置１００による画像処理を示すフローチャートである。
【図１５】図１５は、画像データ２００を示す図である。
【図１６】図１６は、画像処理中に表示部に表示される画像を示す図である。
【図１７】図１７は、画像処理中に表示部に表示される画像を示す図である。
【図１８】図１８は、画像処理中に表示部に表示される画像を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、画像処理装置、画像処理方法およびプログラムの実施の形態を詳細に説明する。
【００１３】
図１は、実施の形態にかかる画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、図示せぬ画像形成装置において記録用紙に印刷される画像の一部に特殊効果を与えるための画像処理を行う。特殊効果としては、記録用紙に印刷される画像の一部にクリアトナー（透明トナー）を重ねることにより光沢度を変更するものや、金属色、蛍光色などの特色を付与するものがある。以下、本実施の形態においては、クリアトナーを乗せることにより、画像の光沢度を変更し、光沢感を出す特殊効果を例に説明する。画像処理装置１００は、より具体的には、画像形成装置における印刷対象となる画像データに対し、画像形成装置においてクリアトナーを乗せる領域を特定するための処理を行う。
【００１４】
画像処理装置１００は、画像データ取得部１０１と、分割部１０２と、表示処理部１０３と、受付部１０４と、類似領域検索部１０５と、重み変更部１０６と、候補表示数決定部１０７と、候補領域選択部１０８と、繰り返し判断部１０９と、輝度変更部１１０と、特徴効果処理部１１１と、記憶部１２０とを備えている。
【００１５】
画像データ取得部１０１は、印刷用の画像データをファイルなどから取得し、記憶部１２０に記憶する。分割部１０２は、予め定められたルールにしたがい、記憶部１２０に記憶されている画像データを複数の部分領域に分割する。分割部１０２は、具体的には、グラフカットアルゴリズムやＷａｔｅｒｓｈｅｄアルゴリズムなどにより、画像データを複数の部分領域に分割する。
【００１６】
グラフカットアルゴリズムは、領域分割をエネルギー最小化問題として定義し、グラフ構造の最大フロー問題を解くことにより領域分割を行なう手法である。例えば、分割部１０２は、グラフカットアルゴリズムに従って、前景、背景の分布モデルと、グラフ構造のエネルギー最小化のアルゴリズムを利用して、前景と背景を自動的に分割することができる。
【００１７】
図２は、グラフカットアルゴリズムの手順を示すフローチャートである。図３、図４は、グラフカットアルゴリズムについて説明するための図である。グラフカットアルゴリズムは、ネットワーク上のノードを既定数の組みに分類する方法であり、ノード間接続（ｔ−ｌｉｎｋ）とスーパーノードとの接続（ｎ−ｌｉｎｋ）の両方を利用し、それぞれ隣接効果と特定のモデルとの類似性の両方を考慮することができる。画像処理における領域分割にグラフカットアルゴリズムを適用する場合には、図４（ａ）に示すように、画像データ中の各画素をノードとし、それらを前景・背景の２値に分類する。前景・背景がスーパーノードとなる。隣接効果に加え、前景モデル／背景モデルを独立して持つことで、高精度な分割を行うことができる。
【００１８】
まず、分割部１０２は、画像データを読み込んで（ステップＳ１）、読み込んだ画像データを表示部に表示し（ステップＳ２）、外枠の入力と表示を行う（ステップＳ３）。そして、分割部１０２は、図３に示すように、外枠の線上から背景の画素値データをサンプリング、外枠の内側全体から前景の画素値データをサンプリングし、前景モデル、背景モデルを生成する（ステップＳ４）。
【００１９】
ここで、図４（ｂ）に示すように、分割部１０２は、ＲＧＢ３次元空間上で、前景／背景の画素値の分布を既定数のＧａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＧＭＭ）で近似し、前景らしさ、背景らしさを定義し、スーパーノードへの重みとして利用する。本実施の形態では、ＧＭＭのコンポーネント数は５で固定とする。これにより散乱背景や、複雑な色分布を持つ前景にも対応できる能力を得ることができる。
【００２０】
そして、分割部１０２は、図３に示すように、外枠の線を背景のシードとし、外枠線から内側だけの画素を処理対象として、エネルギー最小化により領域を自動分割し（ステップＳ５）、分割された領域を表示部に表示する（ステップＳ６）。
【００２１】
ここで、エネルギー最小化による領域の自動分割について説明する。エネルギー最小化で用いられるエネルギー関数Ｅは、次の式で示される。
【００２２】
エネルギー関数Ｅ＝Ｅcolor＋Ｅcoherence
【００２３】
エネルギー関数Ｅでは、前景モデル、背景モデルを基に入力された画像データの各画素が、前景・背景どちらのモデルに近いかを評価するエネルギー関数項（Ｅcolor）を定義し、ｎ−ｌｉｎｋを計算する。また、ｔ−ｌｉｎｋによる隣接関係を評価する項（Ｅcoherence）がエネルギー関数Ｅの式に組み込まれている。
【００２４】
分割部１０２は、図４（ｃ）に示すように、上記エネルギー関数Ｅを用いて合計カットエネルギーが最小になり、かつクラス内エネルギーが最大になるように、ネットワークを分割する。
【００２５】
分割部１０２は、このようにしてグラフカットアルゴリズムを用いて画像データを複数の部分領域に分割する。なお、分割部１０２が領域分割を行う手法はグラフカットアルゴリズムに限定されるものではない。
【００２６】
その他の技術情報として、C.Rother，V.Kolmogorv，A.Blake，GrabCut:Interactive Foreground Extraction UsingIteratedGraphCuts，ACM，Trans.Graphics(SIGGRAPH'04)，vol.23，no.3，pp.309-314，2004.を参照することができる。
【００２７】
Ｗａｔｅｒｓｈｅｄアルゴリズムは、画像の評価値を標高とし、地形に水を満たしていったとき順次水没していく尾根点を領域境界とする手法であり、詳細については、Vincent, Luc, and Pierre Soille, “Watersheds in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations,” IEEE Transactions of Pattern Analysis and Machine Intelligence,Vol.13,No.6,June1991,pp.583-598.を参照することができる。また、Ｗａｔｅｒｓｈｅｄアルゴリズムを用いた具体的な処理については、特許第４０４６９２０号公報を参照することができる。
【００２８】
表示処理部１０３は、記憶部１２０を参照し、ディスプレイ画面などの表示部に情報を表示するための処理を行う。表示処理部１０３は、例えば、記憶部１２０に記憶されている画像データを表示部に表示する。
【００２９】
受付部１０４は、ユーザから入力された各種情報を受け付ける。ユーザから入力される情報としては、例えば、画像データのうち、特殊効果を付与すべき対象領域の指定、特殊効果を付与すべき対象領域の最終的な数である最終指定数などがある。ユーザが、画像データのうち１つの領域だけではなく、多数の領域に対し、特殊効果を与えたい場合がある。この場合には、このように、ユーザは、最終指定数を入力する。
【００３０】
類似領域検索部１０５は、対象領域の候補として、対象領域に類似する領域である類似領域を検索する。類似領域検索部１０５は、画像データのうち、受付部１０４が指定を受け付けた対象領域以外の領域を検索対象として、類似領域を検索する。具体的には、類似領域検索部１０５は、対象領域の特徴量と、検索対象となる領域である被検索領域の特徴量に基づいて、対象領域と被検索領域の類似度を算出する。類似領域検索部１０５による類似度算出には、予め定められた複数の特徴量を用いることとする。
【００３１】
ここで、特徴量としては、コントラストの局所勾配に関しては、ＳＩＦＴ特徴量やＳＵＲＦ特徴量などの局所特徴量、色に関しては、色のヒストグラムや、対象領域に含まれる各画素の画素値、テクスチャに関しては同時生起行列からの統計量、形状に関してはセントラルモーメントの特徴、曲率に関しては外形の屈曲特徴といったものが挙げられる。
【００３２】
例えば、局所特徴量のＳＩＦＴ特徴量は、類似領域検索部１０５による以下のＳＩＦＴ処理により求めることができる。図５は、ＳＩＦＴ処理の手順を示すフローチャートである。図５に示すように、類似領域検索部１０５は、バンドパスフィルタによりスケール検出を行い（ステップＳ１１）、フィルタで検出された値が、周囲（互いに隣接する画素、互いに隣接するスケール）で極値（極小値、極大値）になっている画素をキーポイントとして検出する（ステップＳ１２）。そして、類似領域検索部１０５は、キーポイントのうち過検出部分を削除することによりキーポイントのローカライズを行い（ステップＳ１３）、画像データの回転をロバストにするためにオリエンテーションを算出する（ステップＳ１４）。そして、類似領域検索部１０５は、画像データをオリエンテーションの方向に回転してから特徴ベクトルを算出する（ステップＳ１５）。これにより、ＳＩＦＴ特徴量を求めることができる。
【００３３】
ここで、図６は、ステップＳ１１のスケール検出について説明するための図である。類似領域検索部１０５は、（１−２）式で示されるガウス関数Ｇを用いて、（１−１）式により平滑化画像Ｌを求め、（１−３）式により、異なるσの平滑化画像Ｌの差分によってＤｏＧ画像を生成することでスケール検出を行う。
【００３４】
【数１】
【００３５】
図７は、ステップＳ１２のキーポイント検出について説明するための図である。類似領域検索部１０５は、スケール検出により検出された値、すなわちＤｏＧ画像の画素値が、周囲（互いに隣接する画素、互いに隣接するスケール）で極値（極大値、極小値）となる画素をキーポイントとして選択する。具体的には、類似領域検索部１０５は、図７に示すように、注目画素のＤｏＧ画素の画素値を、周囲として画像スケール空間の２６近傍と比較し、極値（極大値、極小値）となる画素をキーポイントとして選択する。ここで、類似領域検索部１０５は、画像サイズが異なっていても異なるスケールで同じ位置の画素をキーポイントとして選択する。また、高速化のため、ｋσ0が大きい平滑化画像はダウンサンプリングした画像で代用される。
【００３６】
図８は、ステップＳ１３のキーポイントのローカライズについて説明するための図である。類似領域検索部１０５は、図８に示すように、ステップＳ１２で選択されたキーポイントのうち、エッジ部分と低コントラスト部分を、過検出部分として削除する。エッジ部分を削除するのは、主曲率が小さい点は点として同定しづらいからである。また、類似領域検索部１０５は、ヘッセ行列を利用してエッジ部分を削除する。
【００３７】
図９は、低コントラストのキーポイントの削除について説明するための図である。類似領域検索部１０５は、曲面フィッティングを行うことにより、サブピクセル精度でキーポイントの位置（サブピクセル位置）を推定する。
【００３８】
具体的には、類似領域検索部１０５は、ある点ｘ＝（ｘ，ｙ，σ）TでのＤｏＧ関数Ｄ（ｘ）を、（２−１）式に示すようにテイラー展開する。そして、類似領域検索部１０５は、（２−２）式に示すように、ｘに関する導関数を求め、これを０とし、さらに（２−３）式に示すように（２−２）式を変形する。そして、類似領域検索部１０５は、（２−４）式により、サブピクセル位置を求める。
【００３９】
【数２】
【００４０】
そして、類似領域検索部１０５は、推定したサブピクセル位置でのＤｏＧ画像の出力値が所定の閾値以下である場合には、このキーポイントを削除する。
【００４１】
図１０は、ステップＳ１４のオリエンテーションの算出について説明するための図である。オリエンテーションの算出は、キーポイントごとに特徴量の記述を行う処理のステップであり、類似領域検索部１０５は、（３−１）式、（３−２）式により、キーポイントごとに代表勾配方向を１つ求め、画像データの回転をロバストにする。
【００４２】
【数３】
【００４３】
図１１は、ステップＳ１５の特徴ベクトルの算出について説明するための図である。類似領域検索部１０５は、画像データをオリエンテーションの方向に回転する。次に、類似領域検索部１０５は、回転した画像データを４画素×４画素のブロックに分割する。そして、類似領域検索部１０５は、各ブロックで８方向の方向ベクトルを求め（４×４×８＝１２８次元ベクトル）、ヒストグラムを方向ベクトルの総和で正規化した値をＳＩＦＴ特徴量として求める。
【００４４】
以上のような処理によりＳＩＦＴ特徴量が求められるが、ＳＩＦＴ特徴量の算出の詳細については、D. Lowe. Object recognition from local scale-invariant features. In ICCV, 1999. を参照することができる。色のヒストグラムの具体的な算出方法については、特開２０００-１８７７３１号公報を参照することができる。
【００４５】
また、類似度は、被検索領域が対象領域とどの程度類似しているかを表す指標である。図１２は、類似度算出の一例について説明するための図である。例えば、類似領域検索部１０５は、図１２に示すように、ＳＩＦＴ特徴量等の局所特徴量や色ヒストグラム等の各特徴量で距離を求める。そして、類似領域検索部１０５は、（４−１）式、（４−２）式により、各特徴量の距離を正規化して重み付けする。次に、類似領域検索部１０５は、（４−３）式により、各特徴量の距離を要素としたベクトルを生成し、ベクトルの長さを類似度とする。
【００４６】
【数４】
【００４７】
なお、類似度算出には、複数の特徴量を用いることとするが、いずれの特徴量を利用するかは、予め設定されていればよく、その種類は特に限定されるものではない。
【００４８】
類似領域検索部１０５は、対象領域と被検索領域の類似度を算出する際に、各特徴量に対し所定の重みを付与する。なお、いずれの特徴量に対する重み値もデフォルト値は一定値、すなわちゼロとし、いずれの特徴量も同等に類似度に寄与させることとする。
【００４９】
類似領域検索部１０５は、例えば特許第４１４８６４２号公報に記載されているように、色クラスタリングにより、画像データから複数の被検索領域を抽出し、複数の該被検索領域から複数の階層を有する木構造を生成する。そして、生成された木構造の各階層に含まれる被検索領域毎に取得された特徴量と、対象領域から取得された特徴量とに基づいて検索結果として、類似領域を得る。ここで、被検索領域は、画像データの色クラスタリングにより抽出された複数の領域画像と、抽出された領域画像同士をエッジの有無により統合した統合領域画像とからなる。そして、類似領域検索部１０５は、領域画像と統合領域画像との関係を木構造で表現した検索結果であって、該領域画像と該統合領域画像とが同じ木構造に属する場合に、木構造上での領域間の関係を考慮して不要な被検索画像を除去した検索結果として、類似領域を得る。
【００５０】
なお、他の例としては、類似領域検索部１０５は、特許第４３３３９０２号公報に記載されている方法を用いて類似領域を検出してもよい。このように、類似領域検索部１０５は、対象領域の特徴量に基づいて、類似領域を検索すればよく、そのための具体的な方法は、特に限定されるものではない。
【００５１】
重み変更部１０６は、受付部１０４が受け付けた情報に基づいて、予め定められたルールに従い、類似領域検索部１０５が利用する重みの値を適宜自動的に変更する。図１３は、重みの変更の一例を説明するための図である。例えば、重み変更部１０６は、図１３に示すように、ＳＩＦＴ特徴量等の局所特徴量や色ヒストグラムの各特徴量で距離を求める。そして、重み変更部１０６は、（５−１）式、（５−２）式により、各特徴量の距離を正規化し、選択された対象と非選択の対象それぞれの各特徴量の距離の平均値を求める。そして、重み変更部１０６は、（５−３）式により、非選択対象の平均値から選択対象の平均値を引いて、その割合を新たな重みとする。
【００５２】
【数５】
【００５３】
候補表示数決定部１０７は、受付部１０４が指定を受け付けた最終指定数に基づいて、候補表示数を決定する。ここで、候補表示数とは、ユーザから対象領域の選択を受け付けるべく表示部に表示する類似領域の数である。本実施の形態にかかる画像処理装置１００においては、ユーザから対象領域の指定を受け付けるだけでなく、受付部１０４が対象領域の指定を受け付けると、これに類似する類似画像を対象領域の候補として表示部に表示し、ユーザが対象領域として類似領域を選択することを可能としている。候補表示数は、このようにユーザによる対象領域の選択を受け付ける際に表示部に表示する対象領域の候補としての類似領域の数である。なお、候補表示数は、ユーザから入力され受付部１０４が受け付ける場合もある。
【００５４】
候補表示数決定部１０７は、具体的には、例えば最終指定数の１．５倍を候補表示数として決定する。なお、候補表示数は、最終指定数に基づいて決定されればよく、候補表示数の具体的な決定方法は、実施の形態に限定されるものではない。なお、候補表示数決定部１０７は、最終指定数よりも大きい数を候補表示数として決定するのが好ましい。
【００５５】
候補領域選択部１０８は、類似領域検索部１０５により検出された複数の類似領域から、候補表示数決定部１０７により決定された候補表示数の類似領域を、表示部に表示すべき類似領域として選択する。候補領域選択部１０８は、例えば類似度の高い順に候補表示数の類似領域を選択する。
【００５６】
繰り返し判断部１０９は、受付部１０４が受け付けた情報に基づいて、類似領域検索部１０５による類似領域検索を再度行うか否かを判断し、再度行うと判断した場合に、重み変更部１０６に対し、重み値の変更を指示し、さらに類似領域検索部１０５に類似領域検索の実行を指示する。
【００５７】
輝度変更部１１０は、ユーザにより対象領域として選択された領域の輝度を変更することにより、画像データから特殊効果が与えられたイメージ画像を表示部に表示するためのイメージ画像データを作成する。
【００５８】
特殊効果処理部１１１は、図示せぬ画像形成装置において画像データのうちユーザにより選択された対象領域に対しクリアトナーを重ねる特殊効果を施すべく、画像データに対し、クリアトナーを重ねる領域を指定した、印刷用画像データを作成し、印刷用画像データを記憶部１２０に記憶する。
【００５９】
記憶部１２０は、上述のように、画像データ取得部１０１が取得した画像データ、特殊効果処理部１１１により作成された印刷用画像データのほか、ユーザから入力され、受付部１０４が受け付けた、最終指定数や候補表示数、類似領域検索部１０５が参照する重み値など、画像処理装置１００の各部が参照する情報を記憶している。
【００６０】
図１４は、画像処理装置１００による画像処理を示すフローチャートである。画像処理において、まず画像データ取得部１０１は、ファイル等から処理対象となる画像データを取得し、これを記憶部１２０に読み込む（ステップＳ１００）。次に、分割部１０２は、予め定められたルールにしたがい、画像データを分割する（ステップＳ１０１）。次に、表示処理部１０３は、画像データを表示部に表示する（ステップＳ１０２）。なお、表示処理部１０３は、このとき、例えば分割部１０２により得られた部分領域間の境界位置に境界線を重畳して表示する。これにより、ユーザは、部分領域の境界を判別することができる。なお、このフローチャートでは、画像処理装置１００は、画像読み込み直後に画像データの分割を行っているが、これに限定されるものではない。例えば、画像データ分割をこのタイミングでは行わず、類似領域検索の結果が出た後に、検出された結果領域毎に画像データ分割処理を行うように画像処理装置１００を構成してもよい。
【００６１】
次に、受付部１０４は、ユーザから最終指定数の入力を受け付ける（ステップＳ１０３）。さらに、受付部１０４は、ユーザから候補表示数の入力を受け付けた場合には（ステップＳ１０４，Ｙｅｓ）、ステップＳ１０６へ進む。一方、受付部１０４が候補表示数の入力を受け付けない場合には（ステップＳ１０４，Ｎｏ）、候補表示数決定部１０７は、ステップＳ１０３において、受付部１０４が受け付けた最終指定数に基づいて、候補表示数を決定する（ステップＳ１０５）。なお、候補表示数決定部１０７により決定される候補表示数は、最終指定数よりも大きい数である。また、ステップＳ１０４において、ユーザから候補表示数の入力を受け付ける場合においても、最終指定数よりも大きい値の入力を指示するような情報を表示部に表示する等して、最終指定数よりも大きい候補表示数の入力を促すことが望ましい。
【００６２】
次に、受付部１０４は、ユーザから対象領域として、所定の領域の選択を受け付ける（ステップＳ１０６）。このとき、ユーザにより選択される対象領域の数は、１つでもよくまた２以上の少数であってもよい。例えば、ユーザにより部分領域のうち一点が指定されると、当該一点を含む部分領域が対象領域として選択される。このように、部分領域が表示されることにより、ユーザは、容易に対象領域を選択することができる。また、ユーザは、部分領域を選択するのに替えて特殊効果を与えたい領域（対象領域）の外周をマウス等のユーザインターフェースでなぞる操作により、対象領域を指定してもよい。また、ユーザは、特殊効果を与えたい領域としての矩形領域の頂点を指定することにより、対象領域を指定してもよい。また、ユーザは、特殊効果を与えたい領域に対し、マウスの左クリックにより、白丸のマーカーを入力し、特殊効果を与えない領域に対しては、マウスの右クリックにより、赤丸のマーカーを入力することにより、対象領域とこれ以外の領域とを指定してもよい。
【００６３】
次に、類似領域検索部１０５は、受付部１０４が受け付けた対象領域に類似する類似領域を検索する（ステップＳ１０７）。具体的には、類似領域検索部１０５は、画像データのうち対象領域以外の領域から被検索領域を抽出する。そして、類似領域検索部１０５は、対象領域および被検索領域から特徴量を抽出し、両者の特徴量に基づいて、被検索画像の類似度を算出する。そして、類似領域検索部１０５は、類似度が閾値以上である場合に、被検索画像を類似画像として検出する。特徴量の例としては、コントラストの局所勾配に関しては、ＳＩＦＴ特徴量やＳＵＲＦ特徴量等の局所特徴量、色に関しては、色のヒストグラムや、対象領域に含まれる各画素の画素値、テクスチャに関しては同時生起行列からの統計量、形状に関してはセントラルモーメントの特徴、曲率に関しては外形の屈曲特徴といったものが挙げられる。なお、局所特徴量のＳＩＦＴ特徴量の算出、色ヒストグラムの算出方法については上述したとおりである。なお、類似度算出には、複数の特徴量を用いることとするが、いずれの特徴量を利用するかは、予め設定されていればよく、その種類は特に限定されるものではない。
【００６４】
次に、候補領域選択部１０８は、類似領域検索部１０５により検出された類似領域の中から、受付部１０４が受け付けた候補表示数または候補表示数決定部１０７により決定された候補表示数の類似領域を選択する（ステップＳ１０８）。本実施の形態においては、候補領域選択部１０８は、類似度の高い順に候補表示数の類似領域を選択することとする。
【００６５】
次に、表示処理部１０３は、候補領域選択部１０８により選択された候補表示数の類似領域を表示部に表示する（ステップＳ１０９）。これにより、ユーザは、表示部に表示された、対象領域の候補となる類似領域を閲覧し、表示された類似領域の中から、特殊効果を与えたい領域を選択することができる。
【００６６】
ユーザから特殊効果を与えたい領域（対象領域）として所定の類似領域が選択されると、受付部１０４は、対象領域の選択を受け付ける（ステップＳ１１０）。次に、繰り返し判断部１０９は、受付部１０４が受け付けた対象領域の数である選択数と、受付部１０４が受け付けた最終指定数とを比較する。選択数が最終指定数に達していない場合には（ステップＳ１１１，Ｎｏ）、重み変更部１０６に重み変更を指示し、類似領域検索部１０５に再度類似領域の検索を行うことを指示する。
【００６７】
次に、重み変更部１０６は、類似領域検索部１０５が利用する複数の特徴量に対する重み値を変更する（ステップＳ１１２）。具体的にはステップＳ１１０においてユーザにより選択された類似領域と、ユーザにより選択されなかった類似領域との特徴量に基づいて、各特徴量の重み値を自動的に変更する。なお、重み変更部１０６は、具体的には、上述したとおり、各特徴量で距離を求め、各特徴量の距離を正規化し、選択された対象と非選択の対象それぞれの各特徴量の距離の平均値を求め、非選択対象の平均値から選択対象の平均値を引いて、その割合を新たな重みとするなどして重みを変更できる。また、別の方法としては、複数の特徴量の尤度情報からベイズの定理にしたがって、特徴量毎の事後確率を算出する方法もある。その場合は、重み変更部１０６は、算出した事後確率に基づいて、新たな重み値を算出する。なお、重み値算出処理の詳細については、例えば、特許第４３３３９０２号公報を参照することができる。また、他の例としては、重み変更部１０６は、特開平９−１０１９７０号公報に記載された方法により重み値を算出してもよい。
【００６８】
次に、ステップＳ１０７に戻り、類似領域検索部１０５は、ステップＳ１１２において変更された後の重み値を用いて、再び類似領域を検索する（ステップＳ１０７）。
【００６９】
このように、１回の類似領域検索の結果に対し、最終指定数の対象領域が選択されなかった場合には、重み変更部１０６は、ユーザにより選択された類似領域と選択されなかった類似領域の特徴量に基づいて、類似領域検索の際の特徴量の重みを変更し、類似領域検索部１０５は、変更後の重みが付与された特徴量に基づいて、再度類似領域を検索する。これにより、２回目以降の類似領域検索においては、直前の類似領域検索の結果に対するユーザによる対象領域の選択結果を反映し、対象領域としてユーザが意図する領域により近い領域を類似領域として検出することができる。
【００７０】
一方、ステップＳ１１１において、選択数が最終指定数に達した場合には（ステップＳ１１１，Ｙｅｓ）、対象領域の選択は完了し、続いて特殊効果処理部１１１は、選択されたすべての対象領域に対し画像形成装置において特殊効果を与えるための処理を行い、処理後の印刷用画像データを画像形成装置に出力する（ステップＳ１１３）。以上で、画像処理装置１００における画像処理が完了する。
【００７１】
以下、図１５の画像データ２００に対し、画像処理装置１００が図１４に示す画像処理を行う場合について具体的に説明する。図１６、図１７、図１８は、画像処理中に表示部に表示される画像を示す図である。
【００７２】
図１５に示す画像データ２００は、トマトを示すものであり、トマト２１０には、７個の水滴２１１ａ〜２１１ｇがついている。さらに、ユーザにより、７個の水滴の領域が特殊効果を与える対象領域として指定されるものとする。
【００７３】
画像処理において、画像データ２００が読み込まれ（ステップＳ１００）、画像データ２００が分割され（ステップＳ１０１）、画像データ２００が表示部に表示される（ステップＳ１０２）。さらに、ステップＳ１０３、ステップＳ１０４において、ユーザから最終指定数７が入力され、候補表示数１０が入力されるとする。
【００７４】
上述のように、図１４を参照しつつ説明した画像処理は、１回の類似領域検索において最終的に抽出したい対象領域すべてが検出されるとは限らず、意図していない領域も類似領域として検出されるという前提の下、ステップＳ１０７〜ステップＳ１１２のルーチン処理により、ユーザからの対象領域の選択と、類似領域の検索を繰り返すことにより、最終指定数の対象領域を選択していくものである。そのため、候補表示数としては、最終指定数よりも大きい値を候補表示数として指定することにより、できるだけ多くの対象領域が表示されるようにするのが好ましい。ただし、候補表示数が多過ぎると、不要な類似領域が多数表示され、ユーザが所望の領域を選択するのが困難となり、好ましくない。適切な候補表示数は、画像データの品質等にも依存する。
【００７５】
本例においては、最終指定数７に対し、候補表示数を１０と指定したが、好ましい候補表示数は、対象とする画像データによっても異なってくる。そこで、ユーザは、ステップＳ１０７〜ステップＳ１１２において、対象領域の選択を行いつつ、候補表示数を適宜変更してもよい。なお、ステップＳ１０７〜ステップＳ１１２においては、ユーザから候補表示数変更指示の入力を受け付けることが可能であり、受付部１０４が候補表示数変更指示を受け付けると、受付部１０４が受け付けた候補表示数変更指示にしたがい、候補表示数が変更され、以降の画像処理においては、変更後の候補表示数に基づいた処理が行われるものとする。
【００７６】
さらに、ステップＳ１０６において、ユーザにより、図１６に示すように、水滴２１１ｃが対象領域として選択されるとする。この場合、ステップＳ１０７において、類似領域検索部１０５により、対象領域としての水滴２１１ｃに類似する類似領域が検索される。図１７は、ステップＳ１０７において類似領域検索部１０５により検出され、ステップＳ１０９において表示される９個の類似領域２１２ａ〜２１２ｉを示す図である。なお、本実施の形態においては、対象領域としてユーザにより指定された水滴２１１ｃの領域と９個の類似領域２１２ａ〜２１２ｉの合計が候補表示数となるように、候補表示数１０より１だけ少ない９個の類似領域２１２ａ〜２１２ｉが表示される。
【００７７】
図１７に示す例においては、７つの水滴２１１ａ〜２１１ｇのうち、２つの水滴２１１ａ，２１１ｅは類似領域として検出されず、ステップＳ１０７において表示部に表示されない。類似領域検索の精度は、画像データに依存するため、図１７に示す例のように、１回の類似領域検索においては、類似領域として検出されない水滴が存在したり、実際の水滴と異なる領域が類似領域として検出される場合がある。そこで、本実施の形態にかかる画像処理装置１００においては、上述のように、類似領域の検索と、対象領域の選択を繰り返すこととする。
【００７８】
ステップＳ１１０においては、ユーザは、図１７に示される類似領域２１２ａ〜２１２ｉのうち、水滴２１１ｂ，２１１ｄ，２１１ｆ，２１１ｇに一致する４つの類似領域２１２ａ〜２１２ｄを対象領域として選択する。図１８は、ユーザによる対象領域の選択結果を示している。図１８に示す例においては、７つの水滴のうち、５つの水滴２１１ｂ，２１１ｃ，２１１ｄ，２１１ｆ，２１１ｇが選択されているが、残り２つの水滴２１１ａ，２１１ｅは、類似領域として表示されておらず、対象領域として選択されていない。これら２つの水滴２１１ａ，２１１ｅは、ルーチン処理により再度重み値が変更され、類似領域検索が行われた場合に、類似領域として検出されれば、ステップＳ１０９において、表示部に表示され、ユーザによる選択が可能となる。
【００７９】
そして、ステップＳ１０６において、ユーザにより対象領域として選択された水滴２１１ｃと、ステップＳ１１０において選択された対象領域の合計の選択数が最終指定数に達すると（ステップＳ１１１，Ｙｅｓ）、ステップＳ１１３に進み、対象領域に対する特殊効果処理が施され、処理が完了する。
【００８０】
さらに、図１４等を参照しつつ説明した画像処理の実行中において、表示部に表示される画像データや、対象領域付近の画像を適宜拡大または縮小して表示することができる。具体的には、ユーザから拡大または縮小指示が入力されると、受付部１０４が受け付けた拡大または縮小指示に従い、表示処理部１０３は、表示中の画像を適宜拡大または縮小して表示する。これにより、ユーザが細かい部分を見るのを容易にしたり、細かい部分を指定するのを容易にすることができる。
【００８１】
また、画像処理の実行中において、受付部１０４が、ユーザからイメージ表示指示を受け付けた場合には、輝度変更部１１０は、イメージ表示指示を受け付けた段階において、ユーザにより選択されている対象領域の輝度を変更し、イメージ画像データを作成する。そして、表示処理部１０３は、輝度変更部１１０による輝度変更後の画像データであるイメージ画像を表示部に表示する。これにより、印刷された画像にクリアトナーが乗せられたイメージ画像を適宜表示部に表示することができるので、ユーザは、実際に印刷を行わなくとも、画像処理装置１００において対象領域を選択する段階において、クリアトナーが乗せられたイメージを確認しながら対象領域の選択を行うことができる。
【００８２】
画像データのうち、ユーザが特殊効果の付与を希望する対象領域の画像は互いに類似していると想定される。そこで、本実施の形態にかかる画像処理装置１００においては、このように、ユーザに少数の対象領域を選択させ、選択された対象領域に類似する類似領域を特殊効果の付与の対象となる対象領域の候補となる候補領域として、表示部に表示することとした。すなわち、本実施の形態では、ユーザに領域の数を指定させ、それに応じた数の領域候補の抽出を行い、ユーザが選択した後に領域候補の順位にフィードバックさせている。これにより、ユーザは、多数の対象領域を指定したい場合に、その１つ１つを選択するといった面倒な作業を行うことなく、表示部に表示された対象領域の候補としての類似領域の中から、所望の領域を選択するといった簡単な操作により、多数の対象領域を選択することができる。
【００８３】
なお、他の例としては、画像処理装置１００は分割部１０２を備えなくともよい。この場合には、図１４を参照しつつ説明した画像データ読み込み（ステップＳ１００）に続き、ステップＳ１０２において、分割を行っていない画像データを表示すればよい。また、対象領域の選択においては、ユーザが所望の領域を対象領域として選択すればよい。
【００８４】
本実施の形態の画像処理装置１００は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００８５】
本実施形態の画像処理装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００８６】
また、本実施形態の画像処理装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像処理装置１００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００８７】
本実施の形態の画像処理装置１００で実行されるプログラムは、上述した各部（画像データ取得部、分割部、表示処理部、受付部、類似領域検索部、重み変更部、候補表示数決定部、候補領域選択部、繰り返し判断部、輝度変更部、特殊効果処理部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像データ取得部、分割部、表示処理部、受付部、類似領域検索部、重み変更部、候補表示数決定部、候補領域選択部、繰り返し判断部、輝度変更部、特殊効果処理部が主記憶装置上に生成されるようになっている。
【符号の説明】
【００８８】
１００ 画像処理装置
１０１ 画像データ取得部
１０２ 分割部
１０３ 表示処理部
１０４ 受付部
１０５ 類似領域検索部
１０６ 重み変更部
１０７ 候補表示数決定部
１０８ 候補領域選択部
１０９ 繰り返し判断部
１１０ 輝度変更部
１１１ 特殊効果処理部
１２０ 記憶部
【先行技術文献】
【特許文献】
【００８９】
【特許文献１】特許第４１４８６４２号公報
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、プロダクションプリンティング（商用印刷市場や企業内印刷市場向け高速複写機による印刷）において、印刷された画像に対し、クリアトナー（透明トナー）を用いた光沢度変更や、金属色、蛍光色等の特色等により特殊効果を与える技術が知られている。さらに、このような特殊効果を与えるための画像データ（版データ）を作成するソフトウェアとして、アドビ社製のフォトショップ（登録商標）等が知られている。これらのソフトウェアにおいては、ユーザは、ソフトウェアの領域選択機能によって、画像データのうち特殊効果を与える領域を指定することができる。
【０００３】
一方、類似画像を検索する技術としては、例えば特許文献１には、予め登録された登録画像から問い合わせ画像に類似する類似画像を検索し、検索結果を出力する類似画像検索装置が開示されている。この類似画像検索装置は、異なる画像間の類似性に基づいて問い合わせ画像に類似する画像を検索するものであり、具体的には、色クラスタリングにより、各登録画像から被検索画像を抽出し、被検索画像から複数の階層を有する木構造を生成し、各階層の被検索画像の特徴量と、問い合わせ画像の特徴量に基づいて検索結果を出力するものである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特殊効果を与えるための版データを作成するにあたり、ユーザは、画像データ中に特殊効果を与えたい領域が多数存在する場合には、これらの領域すべてを指定しなければならず、面倒であるという問題があった。
【０００５】
また、ユーザにより選択された領域に類似する領域を、特殊効果を与える領域として自動的に抽出することが考えられるが、ユーザが対象領域に類似する領域すべてに特殊効果を与えることを希望するとは限らないことから、ユーザにより選択された領域に類似する領域に自動的に特殊効果を与えるのは望ましくない。
【０００６】
本発明は、上記に鑑みてなされたものであって、印刷物上で特殊効果を与えるための版データを作成するためのオブジェクト領域の選択を行う手法において、ユーザに領域の数を指定させ、それに応じた数のオブジェクト領域候補の抽出を行い、ユーザが選択した後にオブジェクト領域候補の順位にフィードバックさせることで、簡単な操作でユーザが特殊効果を与えることを希望する領域を抽出することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、画像処理装置であって、表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付部と、前記対象領域受付部が指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索部と、前記類似領域検索部により検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理部と、ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付部と、前記類似領域受付部が選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理部とを備えることを特徴とする。
【０００８】
また、本発明は、画像処理装置において実行される画像処理方法であって、対象領域受付部が、表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付ステップと、類似領域検索部が、前記対象領域受付ステップにおいて指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索ステップと、表示処理部が、前記類似領域検索ステップにおいて検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理ステップと、類似領域受付部が、ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付ステップと、特殊効果処理部が、前記類似領域受付ステップにおいて選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理ステップとを有することを特徴とする。
【０００９】
また、本発明は、コンピュータを、表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付部と、前記対象領域受付部が指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索部と、前記類似領域検索部により検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理部と、ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付部と、前記類似領域受付部が選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理部として機能させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、受付部が表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付けると、類似領域検索部が、特殊効果を与える対象領域の候補として、対象領域に類似する類似領域を自動的に検出し、表示処理部が、検出された類似領域のうち所定の数の類似領域を表示部に表示し、さらにユーザが選択した後にオブジェクト領域候補の順位にフィードバックさせるので、ユーザは、多数の領域に特殊効果を与えることを希望する場合であっても、画像データ中においてすべての対象領域を１つずつ選択する必要がなく、表示された限られた数の類似領域の中から所望の領域を対象領域として選択するという簡単な操作により特殊効果を与えたい複数の領域を選択することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、画像処理装置の構成を示すブロック図である。
【図２】図２は、グラフカットアルゴリズムの手順を示すフローチャートである。
【図３】図３は、グラフカットアルゴリズムについて説明するための図である。
【図４】図４は、グラフカットアルゴリズムについて説明するための図である。
【図５】図５は、ＳＩＦＴ処理の手順を示すフローチャートである。
【図６】図６は、スケール検出を説明するための図である。
【図７】図７は、キーポイント検出を説明するための図である。
【図８】図８は、キーポイントのローカライズを説明するための図である。
【図９】図９は、低コントラストのキーポイントの削除について説明するための図である。
【図１０】図１０は、オリエンテーションの算出について説明するための図である。
【図１１】図１１は、特徴ベクトルの算出について説明するための図である。
【図１２】図１２は、類似度算出の一例について説明するための図である。
【図１３】図１３は、重みの変更の一例を説明するための図である。
【図１４】図１４は、画像処理装置１００による画像処理を示すフローチャートである。
【図１５】図１５は、画像データ２００を示す図である。
【図１６】図１６は、画像処理中に表示部に表示される画像を示す図である。
【図１７】図１７は、画像処理中に表示部に表示される画像を示す図である。
【図１８】図１８は、画像処理中に表示部に表示される画像を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、画像処理装置、画像処理方法およびプログラムの実施の形態を詳細に説明する。
【００１３】
図１は、実施の形態にかかる画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、図示せぬ画像形成装置において記録用紙に印刷される画像の一部に特殊効果を与えるための画像処理を行う。特殊効果としては、記録用紙に印刷される画像の一部にクリアトナー（透明トナー）を重ねることにより光沢度を変更するものや、金属色、蛍光色などの特色を付与するものがある。以下、本実施の形態においては、クリアトナーを乗せることにより、画像の光沢度を変更し、光沢感を出す特殊効果を例に説明する。画像処理装置１００は、より具体的には、画像形成装置における印刷対象となる画像データに対し、画像形成装置においてクリアトナーを乗せる領域を特定するための処理を行う。
【００１４】
画像処理装置１００は、画像データ取得部１０１と、分割部１０２と、表示処理部１０３と、受付部１０４と、類似領域検索部１０５と、重み変更部１０６と、候補表示数決定部１０７と、候補領域選択部１０８と、繰り返し判断部１０９と、輝度変更部１１０と、特徴効果処理部１１１と、記憶部１２０とを備えている。
【００１５】
画像データ取得部１０１は、印刷用の画像データをファイルなどから取得し、記憶部１２０に記憶する。分割部１０２は、予め定められたルールにしたがい、記憶部１２０に記憶されている画像データを複数の部分領域に分割する。分割部１０２は、具体的には、グラフカットアルゴリズムやＷａｔｅｒｓｈｅｄアルゴリズムなどにより、画像データを複数の部分領域に分割する。
【００１６】
グラフカットアルゴリズムは、領域分割をエネルギー最小化問題として定義し、グラフ構造の最大フロー問題を解くことにより領域分割を行なう手法である。例えば、分割部１０２は、グラフカットアルゴリズムに従って、前景、背景の分布モデルと、グラフ構造のエネルギー最小化のアルゴリズムを利用して、前景と背景を自動的に分割することができる。
【００１７】
図２は、グラフカットアルゴリズムの手順を示すフローチャートである。図３、図４は、グラフカットアルゴリズムについて説明するための図である。グラフカットアルゴリズムは、ネットワーク上のノードを既定数の組みに分類する方法であり、ノード間接続（ｔ−ｌｉｎｋ）とスーパーノードとの接続（ｎ−ｌｉｎｋ）の両方を利用し、それぞれ隣接効果と特定のモデルとの類似性の両方を考慮することができる。画像処理における領域分割にグラフカットアルゴリズムを適用する場合には、図４（ａ）に示すように、画像データ中の各画素をノードとし、それらを前景・背景の２値に分類する。前景・背景がスーパーノードとなる。隣接効果に加え、前景モデル／背景モデルを独立して持つことで、高精度な分割を行うことができる。
【００１８】
まず、分割部１０２は、画像データを読み込んで（ステップＳ１）、読み込んだ画像データを表示部に表示し（ステップＳ２）、外枠の入力と表示を行う（ステップＳ３）。そして、分割部１０２は、図３に示すように、外枠の線上から背景の画素値データをサンプリング、外枠の内側全体から前景の画素値データをサンプリングし、前景モデル、背景モデルを生成する（ステップＳ４）。
【００１９】
ここで、図４（ｂ）に示すように、分割部１０２は、ＲＧＢ３次元空間上で、前景／背景の画素値の分布を既定数のＧａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＧＭＭ）で近似し、前景らしさ、背景らしさを定義し、スーパーノードへの重みとして利用する。本実施の形態では、ＧＭＭのコンポーネント数は５で固定とする。これにより散乱背景や、複雑な色分布を持つ前景にも対応できる能力を得ることができる。
【００２０】
そして、分割部１０２は、図３に示すように、外枠の線を背景のシードとし、外枠線から内側だけの画素を処理対象として、エネルギー最小化により領域を自動分割し（ステップＳ５）、分割された領域を表示部に表示する（ステップＳ６）。
【００２１】
ここで、エネルギー最小化による領域の自動分割について説明する。エネルギー最小化で用いられるエネルギー関数Ｅは、次の式で示される。
【００２２】
エネルギー関数Ｅ＝Ｅcolor＋Ｅcoherence
【００２３】
エネルギー関数Ｅでは、前景モデル、背景モデルを基に入力された画像データの各画素が、前景・背景どちらのモデルに近いかを評価するエネルギー関数項（Ｅcolor）を定義し、ｎ−ｌｉｎｋを計算する。また、ｔ−ｌｉｎｋによる隣接関係を評価する項（Ｅcoherence）がエネルギー関数Ｅの式に組み込まれている。
【００２４】
分割部１０２は、図４（ｃ）に示すように、上記エネルギー関数Ｅを用いて合計カットエネルギーが最小になり、かつクラス内エネルギーが最大になるように、ネットワークを分割する。
【００２５】
分割部１０２は、このようにしてグラフカットアルゴリズムを用いて画像データを複数の部分領域に分割する。なお、分割部１０２が領域分割を行う手法はグラフカットアルゴリズムに限定されるものではない。
【００２６】
その他の技術情報として、C.Rother，V.Kolmogorv，A.Blake，GrabCut:Interactive Foreground Extraction UsingIteratedGraphCuts，ACM，Trans.Graphics(SIGGRAPH'04)，vol.23，no.3，pp.309-314，2004.を参照することができる。
【００２７】
Ｗａｔｅｒｓｈｅｄアルゴリズムは、画像の評価値を標高とし、地形に水を満たしていったとき順次水没していく尾根点を領域境界とする手法であり、詳細については、Vincent, Luc, and Pierre Soille, “Watersheds in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations,” IEEE Transactions of Pattern Analysis and Machine Intelligence,Vol.13,No.6,June1991,pp.583-598.を参照することができる。また、Ｗａｔｅｒｓｈｅｄアルゴリズムを用いた具体的な処理については、特許第４０４６９２０号公報を参照することができる。
【００２８】
表示処理部１０３は、記憶部１２０を参照し、ディスプレイ画面などの表示部に情報を表示するための処理を行う。表示処理部１０３は、例えば、記憶部１２０に記憶されている画像データを表示部に表示する。
【００２９】
受付部１０４は、ユーザから入力された各種情報を受け付ける。ユーザから入力される情報としては、例えば、画像データのうち、特殊効果を付与すべき対象領域の指定、特殊効果を付与すべき対象領域の最終的な数である最終指定数などがある。ユーザが、画像データのうち１つの領域だけではなく、多数の領域に対し、特殊効果を与えたい場合がある。この場合には、このように、ユーザは、最終指定数を入力する。
【００３０】
類似領域検索部１０５は、対象領域の候補として、対象領域に類似する領域である類似領域を検索する。類似領域検索部１０５は、画像データのうち、受付部１０４が指定を受け付けた対象領域以外の領域を検索対象として、類似領域を検索する。具体的には、類似領域検索部１０５は、対象領域の特徴量と、検索対象となる領域である被検索領域の特徴量に基づいて、対象領域と被検索領域の類似度を算出する。類似領域検索部１０５による類似度算出には、予め定められた複数の特徴量を用いることとする。
【００３１】
ここで、特徴量としては、コントラストの局所勾配に関しては、ＳＩＦＴ特徴量やＳＵＲＦ特徴量などの局所特徴量、色に関しては、色のヒストグラムや、対象領域に含まれる各画素の画素値、テクスチャに関しては同時生起行列からの統計量、形状に関してはセントラルモーメントの特徴、曲率に関しては外形の屈曲特徴といったものが挙げられる。
【００３２】
例えば、局所特徴量のＳＩＦＴ特徴量は、類似領域検索部１０５による以下のＳＩＦＴ処理により求めることができる。図５は、ＳＩＦＴ処理の手順を示すフローチャートである。図５に示すように、類似領域検索部１０５は、バンドパスフィルタによりスケール検出を行い（ステップＳ１１）、フィルタで検出された値が、周囲（互いに隣接する画素、互いに隣接するスケール）で極値（極小値、極大値）になっている画素をキーポイントとして検出する（ステップＳ１２）。そして、類似領域検索部１０５は、キーポイントのうち過検出部分を削除することによりキーポイントのローカライズを行い（ステップＳ１３）、画像データの回転をロバストにするためにオリエンテーションを算出する（ステップＳ１４）。そして、類似領域検索部１０５は、画像データをオリエンテーションの方向に回転してから特徴ベクトルを算出する（ステップＳ１５）。これにより、ＳＩＦＴ特徴量を求めることができる。
【００３３】
ここで、図６は、ステップＳ１１のスケール検出について説明するための図である。類似領域検索部１０５は、（１−２）式で示されるガウス関数Ｇを用いて、（１−１）式により平滑化画像Ｌを求め、（１−３）式により、異なるσの平滑化画像Ｌの差分によってＤｏＧ画像を生成することでスケール検出を行う。
【００３４】
【数１】
【００３５】
図７は、ステップＳ１２のキーポイント検出について説明するための図である。類似領域検索部１０５は、スケール検出により検出された値、すなわちＤｏＧ画像の画素値が、周囲（互いに隣接する画素、互いに隣接するスケール）で極値（極大値、極小値）となる画素をキーポイントとして選択する。具体的には、類似領域検索部１０５は、図７に示すように、注目画素のＤｏＧ画素の画素値を、周囲として画像スケール空間の２６近傍と比較し、極値（極大値、極小値）となる画素をキーポイントとして選択する。ここで、類似領域検索部１０５は、画像サイズが異なっていても異なるスケールで同じ位置の画素をキーポイントとして選択する。また、高速化のため、ｋσ0が大きい平滑化画像はダウンサンプリングした画像で代用される。
【００３６】
図８は、ステップＳ１３のキーポイントのローカライズについて説明するための図である。類似領域検索部１０５は、図８に示すように、ステップＳ１２で選択されたキーポイントのうち、エッジ部分と低コントラスト部分を、過検出部分として削除する。エッジ部分を削除するのは、主曲率が小さい点は点として同定しづらいからである。また、類似領域検索部１０５は、ヘッセ行列を利用してエッジ部分を削除する。
【００３７】
図９は、低コントラストのキーポイントの削除について説明するための図である。類似領域検索部１０５は、曲面フィッティングを行うことにより、サブピクセル精度でキーポイントの位置（サブピクセル位置）を推定する。
【００３８】
具体的には、類似領域検索部１０５は、ある点ｘ＝（ｘ，ｙ，σ）TでのＤｏＧ関数Ｄ（ｘ）を、（２−１）式に示すようにテイラー展開する。そして、類似領域検索部１０５は、（２−２）式に示すように、ｘに関する導関数を求め、これを０とし、さらに（２−３）式に示すように（２−２）式を変形する。そして、類似領域検索部１０５は、（２−４）式により、サブピクセル位置を求める。
【００３９】
【数２】
【００４０】
そして、類似領域検索部１０５は、推定したサブピクセル位置でのＤｏＧ画像の出力値が所定の閾値以下である場合には、このキーポイントを削除する。
【００４１】
図１０は、ステップＳ１４のオリエンテーションの算出について説明するための図である。オリエンテーションの算出は、キーポイントごとに特徴量の記述を行う処理のステップであり、類似領域検索部１０５は、（３−１）式、（３−２）式により、キーポイントごとに代表勾配方向を１つ求め、画像データの回転をロバストにする。
【００４２】
【数３】
【００４３】
図１１は、ステップＳ１５の特徴ベクトルの算出について説明するための図である。類似領域検索部１０５は、画像データをオリエンテーションの方向に回転する。次に、類似領域検索部１０５は、回転した画像データを４画素×４画素のブロックに分割する。そして、類似領域検索部１０５は、各ブロックで８方向の方向ベクトルを求め（４×４×８＝１２８次元ベクトル）、ヒストグラムを方向ベクトルの総和で正規化した値をＳＩＦＴ特徴量として求める。
【００４４】
以上のような処理によりＳＩＦＴ特徴量が求められるが、ＳＩＦＴ特徴量の算出の詳細については、D. Lowe. Object recognition from local scale-invariant features. In ICCV, 1999. を参照することができる。色のヒストグラムの具体的な算出方法については、特開２０００-１８７７３１号公報を参照することができる。
【００４５】
また、類似度は、被検索領域が対象領域とどの程度類似しているかを表す指標である。図１２は、類似度算出の一例について説明するための図である。例えば、類似領域検索部１０５は、図１２に示すように、ＳＩＦＴ特徴量等の局所特徴量や色ヒストグラム等の各特徴量で距離を求める。そして、類似領域検索部１０５は、（４−１）式、（４−２）式により、各特徴量の距離を正規化して重み付けする。次に、類似領域検索部１０５は、（４−３）式により、各特徴量の距離を要素としたベクトルを生成し、ベクトルの長さを類似度とする。
【００４６】
【数４】
【００４７】
なお、類似度算出には、複数の特徴量を用いることとするが、いずれの特徴量を利用するかは、予め設定されていればよく、その種類は特に限定されるものではない。
【００４８】
類似領域検索部１０５は、対象領域と被検索領域の類似度を算出する際に、各特徴量に対し所定の重みを付与する。なお、いずれの特徴量に対する重み値もデフォルト値は一定値、すなわちゼロとし、いずれの特徴量も同等に類似度に寄与させることとする。
【００４９】
類似領域検索部１０５は、例えば特許第４１４８６４２号公報に記載されているように、色クラスタリングにより、画像データから複数の被検索領域を抽出し、複数の該被検索領域から複数の階層を有する木構造を生成する。そして、生成された木構造の各階層に含まれる被検索領域毎に取得された特徴量と、対象領域から取得された特徴量とに基づいて検索結果として、類似領域を得る。ここで、被検索領域は、画像データの色クラスタリングにより抽出された複数の領域画像と、抽出された領域画像同士をエッジの有無により統合した統合領域画像とからなる。そして、類似領域検索部１０５は、領域画像と統合領域画像との関係を木構造で表現した検索結果であって、該領域画像と該統合領域画像とが同じ木構造に属する場合に、木構造上での領域間の関係を考慮して不要な被検索画像を除去した検索結果として、類似領域を得る。
【００５０】
なお、他の例としては、類似領域検索部１０５は、特許第４３３３９０２号公報に記載されている方法を用いて類似領域を検出してもよい。このように、類似領域検索部１０５は、対象領域の特徴量に基づいて、類似領域を検索すればよく、そのための具体的な方法は、特に限定されるものではない。
【００５１】
重み変更部１０６は、受付部１０４が受け付けた情報に基づいて、予め定められたルールに従い、類似領域検索部１０５が利用する重みの値を適宜自動的に変更する。図１３は、重みの変更の一例を説明するための図である。例えば、重み変更部１０６は、図１３に示すように、ＳＩＦＴ特徴量等の局所特徴量や色ヒストグラムの各特徴量で距離を求める。そして、重み変更部１０６は、（５−１）式、（５−２）式により、各特徴量の距離を正規化し、選択された対象と非選択の対象それぞれの各特徴量の距離の平均値を求める。そして、重み変更部１０６は、（５−３）式により、非選択対象の平均値から選択対象の平均値を引いて、その割合を新たな重みとする。
【００５２】
【数５】
【００５３】
候補表示数決定部１０７は、受付部１０４が指定を受け付けた最終指定数に基づいて、候補表示数を決定する。ここで、候補表示数とは、ユーザから対象領域の選択を受け付けるべく表示部に表示する類似領域の数である。本実施の形態にかかる画像処理装置１００においては、ユーザから対象領域の指定を受け付けるだけでなく、受付部１０４が対象領域の指定を受け付けると、これに類似する類似画像を対象領域の候補として表示部に表示し、ユーザが対象領域として類似領域を選択することを可能としている。候補表示数は、このようにユーザによる対象領域の選択を受け付ける際に表示部に表示する対象領域の候補としての類似領域の数である。なお、候補表示数は、ユーザから入力され受付部１０４が受け付ける場合もある。
【００５４】
候補表示数決定部１０７は、具体的には、例えば最終指定数の１．５倍を候補表示数として決定する。なお、候補表示数は、最終指定数に基づいて決定されればよく、候補表示数の具体的な決定方法は、実施の形態に限定されるものではない。なお、候補表示数決定部１０７は、最終指定数よりも大きい数を候補表示数として決定するのが好ましい。
【００５５】
候補領域選択部１０８は、類似領域検索部１０５により検出された複数の類似領域から、候補表示数決定部１０７により決定された候補表示数の類似領域を、表示部に表示すべき類似領域として選択する。候補領域選択部１０８は、例えば類似度の高い順に候補表示数の類似領域を選択する。
【００５６】
繰り返し判断部１０９は、受付部１０４が受け付けた情報に基づいて、類似領域検索部１０５による類似領域検索を再度行うか否かを判断し、再度行うと判断した場合に、重み変更部１０６に対し、重み値の変更を指示し、さらに類似領域検索部１０５に類似領域検索の実行を指示する。
【００５７】
輝度変更部１１０は、ユーザにより対象領域として選択された領域の輝度を変更することにより、画像データから特殊効果が与えられたイメージ画像を表示部に表示するためのイメージ画像データを作成する。
【００５８】
特殊効果処理部１１１は、図示せぬ画像形成装置において画像データのうちユーザにより選択された対象領域に対しクリアトナーを重ねる特殊効果を施すべく、画像データに対し、クリアトナーを重ねる領域を指定した、印刷用画像データを作成し、印刷用画像データを記憶部１２０に記憶する。
【００５９】
記憶部１２０は、上述のように、画像データ取得部１０１が取得した画像データ、特殊効果処理部１１１により作成された印刷用画像データのほか、ユーザから入力され、受付部１０４が受け付けた、最終指定数や候補表示数、類似領域検索部１０５が参照する重み値など、画像処理装置１００の各部が参照する情報を記憶している。
【００６０】
図１４は、画像処理装置１００による画像処理を示すフローチャートである。画像処理において、まず画像データ取得部１０１は、ファイル等から処理対象となる画像データを取得し、これを記憶部１２０に読み込む（ステップＳ１００）。次に、分割部１０２は、予め定められたルールにしたがい、画像データを分割する（ステップＳ１０１）。次に、表示処理部１０３は、画像データを表示部に表示する（ステップＳ１０２）。なお、表示処理部１０３は、このとき、例えば分割部１０２により得られた部分領域間の境界位置に境界線を重畳して表示する。これにより、ユーザは、部分領域の境界を判別することができる。なお、このフローチャートでは、画像処理装置１００は、画像読み込み直後に画像データの分割を行っているが、これに限定されるものではない。例えば、画像データ分割をこのタイミングでは行わず、類似領域検索の結果が出た後に、検出された結果領域毎に画像データ分割処理を行うように画像処理装置１００を構成してもよい。
【００６１】
次に、受付部１０４は、ユーザから最終指定数の入力を受け付ける（ステップＳ１０３）。さらに、受付部１０４は、ユーザから候補表示数の入力を受け付けた場合には（ステップＳ１０４，Ｙｅｓ）、ステップＳ１０６へ進む。一方、受付部１０４が候補表示数の入力を受け付けない場合には（ステップＳ１０４，Ｎｏ）、候補表示数決定部１０７は、ステップＳ１０３において、受付部１０４が受け付けた最終指定数に基づいて、候補表示数を決定する（ステップＳ１０５）。なお、候補表示数決定部１０７により決定される候補表示数は、最終指定数よりも大きい数である。また、ステップＳ１０４において、ユーザから候補表示数の入力を受け付ける場合においても、最終指定数よりも大きい値の入力を指示するような情報を表示部に表示する等して、最終指定数よりも大きい候補表示数の入力を促すことが望ましい。
【００６２】
次に、受付部１０４は、ユーザから対象領域として、所定の領域の選択を受け付ける（ステップＳ１０６）。このとき、ユーザにより選択される対象領域の数は、１つでもよくまた２以上の少数であってもよい。例えば、ユーザにより部分領域のうち一点が指定されると、当該一点を含む部分領域が対象領域として選択される。このように、部分領域が表示されることにより、ユーザは、容易に対象領域を選択することができる。また、ユーザは、部分領域を選択するのに替えて特殊効果を与えたい領域（対象領域）の外周をマウス等のユーザインターフェースでなぞる操作により、対象領域を指定してもよい。また、ユーザは、特殊効果を与えたい領域としての矩形領域の頂点を指定することにより、対象領域を指定してもよい。また、ユーザは、特殊効果を与えたい領域に対し、マウスの左クリックにより、白丸のマーカーを入力し、特殊効果を与えない領域に対しては、マウスの右クリックにより、赤丸のマーカーを入力することにより、対象領域とこれ以外の領域とを指定してもよい。
【００６３】
次に、類似領域検索部１０５は、受付部１０４が受け付けた対象領域に類似する類似領域を検索する（ステップＳ１０７）。具体的には、類似領域検索部１０５は、画像データのうち対象領域以外の領域から被検索領域を抽出する。そして、類似領域検索部１０５は、対象領域および被検索領域から特徴量を抽出し、両者の特徴量に基づいて、被検索画像の類似度を算出する。そして、類似領域検索部１０５は、類似度が閾値以上である場合に、被検索画像を類似画像として検出する。特徴量の例としては、コントラストの局所勾配に関しては、ＳＩＦＴ特徴量やＳＵＲＦ特徴量等の局所特徴量、色に関しては、色のヒストグラムや、対象領域に含まれる各画素の画素値、テクスチャに関しては同時生起行列からの統計量、形状に関してはセントラルモーメントの特徴、曲率に関しては外形の屈曲特徴といったものが挙げられる。なお、局所特徴量のＳＩＦＴ特徴量の算出、色ヒストグラムの算出方法については上述したとおりである。なお、類似度算出には、複数の特徴量を用いることとするが、いずれの特徴量を利用するかは、予め設定されていればよく、その種類は特に限定されるものではない。
【００６４】
次に、候補領域選択部１０８は、類似領域検索部１０５により検出された類似領域の中から、受付部１０４が受け付けた候補表示数または候補表示数決定部１０７により決定された候補表示数の類似領域を選択する（ステップＳ１０８）。本実施の形態においては、候補領域選択部１０８は、類似度の高い順に候補表示数の類似領域を選択することとする。
【００６５】
次に、表示処理部１０３は、候補領域選択部１０８により選択された候補表示数の類似領域を表示部に表示する（ステップＳ１０９）。これにより、ユーザは、表示部に表示された、対象領域の候補となる類似領域を閲覧し、表示された類似領域の中から、特殊効果を与えたい領域を選択することができる。
【００６６】
ユーザから特殊効果を与えたい領域（対象領域）として所定の類似領域が選択されると、受付部１０４は、対象領域の選択を受け付ける（ステップＳ１１０）。次に、繰り返し判断部１０９は、受付部１０４が受け付けた対象領域の数である選択数と、受付部１０４が受け付けた最終指定数とを比較する。選択数が最終指定数に達していない場合には（ステップＳ１１１，Ｎｏ）、重み変更部１０６に重み変更を指示し、類似領域検索部１０５に再度類似領域の検索を行うことを指示する。
【００６７】
次に、重み変更部１０６は、類似領域検索部１０５が利用する複数の特徴量に対する重み値を変更する（ステップＳ１１２）。具体的にはステップＳ１１０においてユーザにより選択された類似領域と、ユーザにより選択されなかった類似領域との特徴量に基づいて、各特徴量の重み値を自動的に変更する。なお、重み変更部１０６は、具体的には、上述したとおり、各特徴量で距離を求め、各特徴量の距離を正規化し、選択された対象と非選択の対象それぞれの各特徴量の距離の平均値を求め、非選択対象の平均値から選択対象の平均値を引いて、その割合を新たな重みとするなどして重みを変更できる。また、別の方法としては、複数の特徴量の尤度情報からベイズの定理にしたがって、特徴量毎の事後確率を算出する方法もある。その場合は、重み変更部１０６は、算出した事後確率に基づいて、新たな重み値を算出する。なお、重み値算出処理の詳細については、例えば、特許第４３３３９０２号公報を参照することができる。また、他の例としては、重み変更部１０６は、特開平９−１０１９７０号公報に記載された方法により重み値を算出してもよい。
【００６８】
次に、ステップＳ１０７に戻り、類似領域検索部１０５は、ステップＳ１１２において変更された後の重み値を用いて、再び類似領域を検索する（ステップＳ１０７）。
【００６９】
このように、１回の類似領域検索の結果に対し、最終指定数の対象領域が選択されなかった場合には、重み変更部１０６は、ユーザにより選択された類似領域と選択されなかった類似領域の特徴量に基づいて、類似領域検索の際の特徴量の重みを変更し、類似領域検索部１０５は、変更後の重みが付与された特徴量に基づいて、再度類似領域を検索する。これにより、２回目以降の類似領域検索においては、直前の類似領域検索の結果に対するユーザによる対象領域の選択結果を反映し、対象領域としてユーザが意図する領域により近い領域を類似領域として検出することができる。
【００７０】
一方、ステップＳ１１１において、選択数が最終指定数に達した場合には（ステップＳ１１１，Ｙｅｓ）、対象領域の選択は完了し、続いて特殊効果処理部１１１は、選択されたすべての対象領域に対し画像形成装置において特殊効果を与えるための処理を行い、処理後の印刷用画像データを画像形成装置に出力する（ステップＳ１１３）。以上で、画像処理装置１００における画像処理が完了する。
【００７１】
以下、図１５の画像データ２００に対し、画像処理装置１００が図１４に示す画像処理を行う場合について具体的に説明する。図１６、図１７、図１８は、画像処理中に表示部に表示される画像を示す図である。
【００７２】
図１５に示す画像データ２００は、トマトを示すものであり、トマト２１０には、７個の水滴２１１ａ〜２１１ｇがついている。さらに、ユーザにより、７個の水滴の領域が特殊効果を与える対象領域として指定されるものとする。
【００７３】
画像処理において、画像データ２００が読み込まれ（ステップＳ１００）、画像データ２００が分割され（ステップＳ１０１）、画像データ２００が表示部に表示される（ステップＳ１０２）。さらに、ステップＳ１０３、ステップＳ１０４において、ユーザから最終指定数７が入力され、候補表示数１０が入力されるとする。
【００７４】
上述のように、図１４を参照しつつ説明した画像処理は、１回の類似領域検索において最終的に抽出したい対象領域すべてが検出されるとは限らず、意図していない領域も類似領域として検出されるという前提の下、ステップＳ１０７〜ステップＳ１１２のルーチン処理により、ユーザからの対象領域の選択と、類似領域の検索を繰り返すことにより、最終指定数の対象領域を選択していくものである。そのため、候補表示数としては、最終指定数よりも大きい値を候補表示数として指定することにより、できるだけ多くの対象領域が表示されるようにするのが好ましい。ただし、候補表示数が多過ぎると、不要な類似領域が多数表示され、ユーザが所望の領域を選択するのが困難となり、好ましくない。適切な候補表示数は、画像データの品質等にも依存する。
【００７５】
本例においては、最終指定数７に対し、候補表示数を１０と指定したが、好ましい候補表示数は、対象とする画像データによっても異なってくる。そこで、ユーザは、ステップＳ１０７〜ステップＳ１１２において、対象領域の選択を行いつつ、候補表示数を適宜変更してもよい。なお、ステップＳ１０７〜ステップＳ１１２においては、ユーザから候補表示数変更指示の入力を受け付けることが可能であり、受付部１０４が候補表示数変更指示を受け付けると、受付部１０４が受け付けた候補表示数変更指示にしたがい、候補表示数が変更され、以降の画像処理においては、変更後の候補表示数に基づいた処理が行われるものとする。
【００７６】
さらに、ステップＳ１０６において、ユーザにより、図１６に示すように、水滴２１１ｃが対象領域として選択されるとする。この場合、ステップＳ１０７において、類似領域検索部１０５により、対象領域としての水滴２１１ｃに類似する類似領域が検索される。図１７は、ステップＳ１０７において類似領域検索部１０５により検出され、ステップＳ１０９において表示される９個の類似領域２１２ａ〜２１２ｉを示す図である。なお、本実施の形態においては、対象領域としてユーザにより指定された水滴２１１ｃの領域と９個の類似領域２１２ａ〜２１２ｉの合計が候補表示数となるように、候補表示数１０より１だけ少ない９個の類似領域２１２ａ〜２１２ｉが表示される。
【００７７】
図１７に示す例においては、７つの水滴２１１ａ〜２１１ｇのうち、２つの水滴２１１ａ，２１１ｅは類似領域として検出されず、ステップＳ１０７において表示部に表示されない。類似領域検索の精度は、画像データに依存するため、図１７に示す例のように、１回の類似領域検索においては、類似領域として検出されない水滴が存在したり、実際の水滴と異なる領域が類似領域として検出される場合がある。そこで、本実施の形態にかかる画像処理装置１００においては、上述のように、類似領域の検索と、対象領域の選択を繰り返すこととする。
【００７８】
ステップＳ１１０においては、ユーザは、図１７に示される類似領域２１２ａ〜２１２ｉのうち、水滴２１１ｂ，２１１ｄ，２１１ｆ，２１１ｇに一致する４つの類似領域２１２ａ〜２１２ｄを対象領域として選択する。図１８は、ユーザによる対象領域の選択結果を示している。図１８に示す例においては、７つの水滴のうち、５つの水滴２１１ｂ，２１１ｃ，２１１ｄ，２１１ｆ，２１１ｇが選択されているが、残り２つの水滴２１１ａ，２１１ｅは、類似領域として表示されておらず、対象領域として選択されていない。これら２つの水滴２１１ａ，２１１ｅは、ルーチン処理により再度重み値が変更され、類似領域検索が行われた場合に、類似領域として検出されれば、ステップＳ１０９において、表示部に表示され、ユーザによる選択が可能となる。
【００７９】
そして、ステップＳ１０６において、ユーザにより対象領域として選択された水滴２１１ｃと、ステップＳ１１０において選択された対象領域の合計の選択数が最終指定数に達すると（ステップＳ１１１，Ｙｅｓ）、ステップＳ１１３に進み、対象領域に対する特殊効果処理が施され、処理が完了する。
【００８０】
さらに、図１４等を参照しつつ説明した画像処理の実行中において、表示部に表示される画像データや、対象領域付近の画像を適宜拡大または縮小して表示することができる。具体的には、ユーザから拡大または縮小指示が入力されると、受付部１０４が受け付けた拡大または縮小指示に従い、表示処理部１０３は、表示中の画像を適宜拡大または縮小して表示する。これにより、ユーザが細かい部分を見るのを容易にしたり、細かい部分を指定するのを容易にすることができる。
【００８１】
また、画像処理の実行中において、受付部１０４が、ユーザからイメージ表示指示を受け付けた場合には、輝度変更部１１０は、イメージ表示指示を受け付けた段階において、ユーザにより選択されている対象領域の輝度を変更し、イメージ画像データを作成する。そして、表示処理部１０３は、輝度変更部１１０による輝度変更後の画像データであるイメージ画像を表示部に表示する。これにより、印刷された画像にクリアトナーが乗せられたイメージ画像を適宜表示部に表示することができるので、ユーザは、実際に印刷を行わなくとも、画像処理装置１００において対象領域を選択する段階において、クリアトナーが乗せられたイメージを確認しながら対象領域の選択を行うことができる。
【００８２】
画像データのうち、ユーザが特殊効果の付与を希望する対象領域の画像は互いに類似していると想定される。そこで、本実施の形態にかかる画像処理装置１００においては、このように、ユーザに少数の対象領域を選択させ、選択された対象領域に類似する類似領域を特殊効果の付与の対象となる対象領域の候補となる候補領域として、表示部に表示することとした。すなわち、本実施の形態では、ユーザに領域の数を指定させ、それに応じた数の領域候補の抽出を行い、ユーザが選択した後に領域候補の順位にフィードバックさせている。これにより、ユーザは、多数の対象領域を指定したい場合に、その１つ１つを選択するといった面倒な作業を行うことなく、表示部に表示された対象領域の候補としての類似領域の中から、所望の領域を選択するといった簡単な操作により、多数の対象領域を選択することができる。
【００８３】
なお、他の例としては、画像処理装置１００は分割部１０２を備えなくともよい。この場合には、図１４を参照しつつ説明した画像データ読み込み（ステップＳ１００）に続き、ステップＳ１０２において、分割を行っていない画像データを表示すればよい。また、対象領域の選択においては、ユーザが所望の領域を対象領域として選択すればよい。
【００８４】
本実施の形態の画像処理装置１００は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００８５】
本実施形態の画像処理装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００８６】
また、本実施形態の画像処理装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像処理装置１００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００８７】
本実施の形態の画像処理装置１００で実行されるプログラムは、上述した各部（画像データ取得部、分割部、表示処理部、受付部、類似領域検索部、重み変更部、候補表示数決定部、候補領域選択部、繰り返し判断部、輝度変更部、特殊効果処理部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像データ取得部、分割部、表示処理部、受付部、類似領域検索部、重み変更部、候補表示数決定部、候補領域選択部、繰り返し判断部、輝度変更部、特殊効果処理部が主記憶装置上に生成されるようになっている。
【符号の説明】
【００８８】
１００ 画像処理装置
１０１ 画像データ取得部
１０２ 分割部
１０３ 表示処理部
１０４ 受付部
１０５ 類似領域検索部
１０６ 重み変更部
１０７ 候補表示数決定部
１０８ 候補領域選択部
１０９ 繰り返し判断部
１１０ 輝度変更部
１１１ 特殊効果処理部
１２０ 記憶部
【先行技術文献】
【特許文献】
【００８９】
【特許文献１】特許第４１４８６４２号公報
【特許請求の範囲】
【請求項１】
表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付部と、
前記対象領域受付部が指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索部と、
前記類似領域検索部により検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理部と、
ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付部と、
前記類似領域受付部が選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
ユーザから前記類似領域の表示数の指定を受け付ける表示数受付部をさらに備え、
前記表示処理部は、前記表示数の前記類似領域を前記表示部に表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記類似領域検索部は、複数の特徴量であって、各特徴量に予め設定された重みが付与された前記複数の特徴量に基づいて、前記類似領域を検出し、
ユーザから最終的に前記対象領域として指定すべき前記類似領域の数である最終指定数の入力を受け付ける最終指定数受付部と、
前記類似領域受付部が選択を受け付けた前記類似領域の選択数が、前記最終指定数よりも小さい場合に、前記類似領域受付部が選択を受け付けた前記類似領域に基づいて、前記特徴量の重みを変更する重み変更部と
をさらに備え、
前記類似領域検索部は、前記重み変更部により前記重みが変更された場合に、前記重み変更部による変更後の前記重みが付与された複数の前記特徴量に基づいて、前記類似領域を検出し、
前記表示処理部は、前記重み変更部による前記重み変更後の前記類似領域を前記表示部に表示し、
前記類似領域受付部は、前記重み変更部による前記重み変更後の前記類似領域の選択を受け付け、
前記類似領域受付部が選択を受け付けた前記類似領域の前記選択数が、前記最終指定数と等しくなるまで前記重み変更部に重み変更を指示する繰り返し判断部をさらに備え、
前記重み変更部は、前記繰り返し判断部により重み変更が指示された場合に、再び前記特徴量の前記重みを変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記最終指定数に基づいて、前記表示処理部が前記表示部に表示する前記類似領域の前記表示数を決定する表示数決定部をさらに備え、
前記表示処理部は、前記表示数決定部により決定された前記表示数の前記類似領域を前記表示部に表示することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
予め定められたルールに従い、前記画像データを複数の部分領域に分割する分割部をさらに備え、
前記対象領域受付部は、前記対象領域として前記部分領域の指定を受け付けることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
ユーザから拡大表示または縮小表示の指定を受け付ける表示変更受付部をさらに備え、
前記表示処理部は、前記表示変更受付部が指定を受け付けた前記拡大表示または前記縮小表示に従い、前記表示部に表示中の前記画像データを拡大または縮小して表示することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記類似領域受付部が選択を受け付けた前記類似領域の前記画像データの輝度を変更することにより、前記特殊効果が与えられたイメージを表示部に表示するためのイメージ画像データを作成する輝度変更部をさらに備え、
前記表示処理部は、前記イメージ画像データを前記表示部に表示することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
画像処理装置において実行される画像処理方法であって、
対象領域受付部が、表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付ステップと、
類似領域検索部が、前記対象領域受付ステップにおいて指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索ステップと、
表示処理部が、前記類似領域検索ステップにおいて検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理ステップと、
類似領域受付部が、ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付ステップと、
特殊効果処理部が、前記類似領域受付ステップにおいて選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理ステップと
を有することを特徴とする画像処理方法。
【請求項９】
コンピュータを、
表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付部と、
前記対象領域受付部が指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索部と、
前記類似領域検索部により検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理部と、
ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付部と、
前記類似領域受付部が選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理部と
して機能させるためのプログラム。
【請求項１】
表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付部と、
前記対象領域受付部が指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索部と、
前記類似領域検索部により検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理部と、
ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付部と、
前記類似領域受付部が選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
ユーザから前記類似領域の表示数の指定を受け付ける表示数受付部をさらに備え、
前記表示処理部は、前記表示数の前記類似領域を前記表示部に表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記類似領域検索部は、複数の特徴量であって、各特徴量に予め設定された重みが付与された前記複数の特徴量に基づいて、前記類似領域を検出し、
ユーザから最終的に前記対象領域として指定すべき前記類似領域の数である最終指定数の入力を受け付ける最終指定数受付部と、
前記類似領域受付部が選択を受け付けた前記類似領域の選択数が、前記最終指定数よりも小さい場合に、前記類似領域受付部が選択を受け付けた前記類似領域に基づいて、前記特徴量の重みを変更する重み変更部と
をさらに備え、
前記類似領域検索部は、前記重み変更部により前記重みが変更された場合に、前記重み変更部による変更後の前記重みが付与された複数の前記特徴量に基づいて、前記類似領域を検出し、
前記表示処理部は、前記重み変更部による前記重み変更後の前記類似領域を前記表示部に表示し、
前記類似領域受付部は、前記重み変更部による前記重み変更後の前記類似領域の選択を受け付け、
前記類似領域受付部が選択を受け付けた前記類似領域の前記選択数が、前記最終指定数と等しくなるまで前記重み変更部に重み変更を指示する繰り返し判断部をさらに備え、
前記重み変更部は、前記繰り返し判断部により重み変更が指示された場合に、再び前記特徴量の前記重みを変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記最終指定数に基づいて、前記表示処理部が前記表示部に表示する前記類似領域の前記表示数を決定する表示数決定部をさらに備え、
前記表示処理部は、前記表示数決定部により決定された前記表示数の前記類似領域を前記表示部に表示することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
予め定められたルールに従い、前記画像データを複数の部分領域に分割する分割部をさらに備え、
前記対象領域受付部は、前記対象領域として前記部分領域の指定を受け付けることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
ユーザから拡大表示または縮小表示の指定を受け付ける表示変更受付部をさらに備え、
前記表示処理部は、前記表示変更受付部が指定を受け付けた前記拡大表示または前記縮小表示に従い、前記表示部に表示中の前記画像データを拡大または縮小して表示することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記類似領域受付部が選択を受け付けた前記類似領域の前記画像データの輝度を変更することにより、前記特殊効果が与えられたイメージを表示部に表示するためのイメージ画像データを作成する輝度変更部をさらに備え、
前記表示処理部は、前記イメージ画像データを前記表示部に表示することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
画像処理装置において実行される画像処理方法であって、
対象領域受付部が、表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付ステップと、
類似領域検索部が、前記対象領域受付ステップにおいて指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索ステップと、
表示処理部が、前記類似領域検索ステップにおいて検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理ステップと、
類似領域受付部が、ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付ステップと、
特殊効果処理部が、前記類似領域受付ステップにおいて選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理ステップと
を有することを特徴とする画像処理方法。
【請求項９】
コンピュータを、
表示部に表示された画像データにおいて、ユーザから特殊効果を与える１または２以上の対象領域の指定を受け付ける対象領域受付部と、
前記対象領域受付部が指定を受け付けた前記対象領域の画像の特徴を示す特徴量に基づいて、前記画像データから前記対象領域に類似する画像の領域である類似領域を検索する類似領域検索部と、
前記類似領域検索部により検出された前記類似領域のうち、所定の数の前記類似領域を表示部に表示する表示処理部と、
ユーザから前記表示部に表示された前記所定の数の前記類似領域の中から所望の前記類似領域の選択を受け付ける類似領域受付部と、
前記類似領域受付部が選択を受け付けた前記類似領域と前記対象領域とに対し、前記特殊効果を与えるための特殊効果処理を行う特殊効果処理部と
して機能させるためのプログラム。
【図１】
【図２】
【図５】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図５】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−７７２９６（Ｐ２０１３−７７２９６Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１２−１８７９６１（Ｐ２０１２−１８７９６１）
【出願日】平成２４年８月２８日（２０１２．８．２８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２４年８月２８日（２０１２．８．２８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]