画像処理装置、画像処理方法およびプログラム
【課題】画像中の対象物体の境界領域に重ねられる記録材のパターンを適正化する。
【解決手段】原画像から抽出される対象領域の画像形成のために原画像に重ねられる記録材のパターンを生成する画像処理装置１０であって、前記対象領域の境界領域に含まれる画像データの特徴量を算出する演算部１５と、前記特徴量に基づき、前記境界領域中の色の変化の度合いを判定する判定部１６と、前記境界領域中の色の変化の度合いに応じて、前記境界領域の記録材のパターンのグラデーションを決定するパターン生成部１７と、を有することを特徴とする画像処理装置１０が提供される。
【解決手段】原画像から抽出される対象領域の画像形成のために原画像に重ねられる記録材のパターンを生成する画像処理装置１０であって、前記対象領域の境界領域に含まれる画像データの特徴量を算出する演算部１５と、前記特徴量に基づき、前記境界領域中の色の変化の度合いを判定する判定部１６と、前記境界領域中の色の変化の度合いに応じて、前記境界領域の記録材のパターンのグラデーションを決定するパターン生成部１７と、を有することを特徴とする画像処理装置１０が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成のための記録材のパターンを生成する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、無色のトナーもしくはインクなどの記録材を利用して、電子写真記録方式やインクジェット記録方式等における画像形成を行う画像処理装置が開発されている。たとえば、特許文献１では、画像中のエッジ領域に対してクリアトナー量を減少させることにより紙面の凹凸を低減することが提案されている。特許文献２では、画像から特徴領域を抽出し、抽出された領域に選択的にクリアトナーを重ねることが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１、２では、写真中の対象物体に被写体ボケなどがあり対象物体の境界部分があいまいな場合に最終的な印刷物を自然に仕上げることは難しい。たとえば、特許文献１では、エッジなどの画像の特徴に従って、予め定められたクリアトナーのトナー量を変化させることは可能であるが、前記境界部分のあいまいさに応じてトナー量を簡易に変化させて調整することは難しい。また、特許文献２では、画像から抽出された特徴領域に対してクリアトナーの量を適宜調整することはできるが、特徴領域に対してグラデーションなどのパターンを形成することはできない。
【０００４】
上記課題に鑑み、本発明の目的とするところは、画像形成のための記録材のパターンを生成する際、画像をより自然に仕上げるために画像中の対象物体の境界領域のパターンを適正化することにある。
【課題を解決するための手段】
【０００５】
本発明の一の態様によれば、原画像から抽出される対象領域の画像形成のために原画像に重ねられる記録材のパターンを生成する画像処理装置であって、前記対象領域の境界領域に含まれる画像データの特徴量を算出する演算部と、前記特徴量に基づき、前記境界領域中の色の変化の度合いを判定する判定部と、前記境界領域中の色の変化の度合いに応じて、前記境界領域の記録材のパターンのグラデーションを決定するパターン生成部と、を備えることを特徴とする画像処理装置が提供される。
【発明の効果】
【０００６】
本発明によれば、画像形成のための記録材のパターンを生成する際、画像をより自然に仕上げることができる。
【図面の簡単な説明】
【０００７】
【図１】各実施形態に係る画像形成システムの全体構成図。
【図２】第１及び第２実施形態に係る画像処理装置の機能構成図。
【図３】原画像に対するトナーパターンを説明するための図。
【図４】原画像に対するトナーパターンのグラデーション処理を説明するための図。
【図５】各実施形態に係る画像処理装置にて画像処理する対象を説明する図。
【図６】各実施形態に係る画像処理装置にて画像処理する領域を説明する図。
【図７】グラデーションの方向の計算方法の一例を説明する図。
【図８】第１及び第２実施形態に係る画像処理装置の全体動作を示すフローチャート。
【図９】各実施形態に係る画像処理装置の境界抽出処理の概要を示すフローチャート。
【図１０】第１実施形態に係る画像処理装置のグラディエント計算処理を示すフローチャート。
【図１１】各実施形態に係る画像処理装置のグラディエント判定処理を示すフローチャート。
【図１２】各実施形態に係る画像処理装置のクリアトナーパターン生成処理を示すフローチャート。
【図１３】第２実施形態に係る画像処理装置の動作（グラディエント計算処理を含む）を示すフローチャート。
【図１４】第３実施形態に係る画像処理装置の機能構成図。
【図１５】ルックアップテーブルの一例を示した図。
【図１６】第３実施形態に係る画像処理装置の全体動作を示すフローチャート。
【図１７】ディザパターンの一例を示した図。
【図１８】ルックアップテーブルの一例を示した図。
【発明を実施するための形態】
【０００８】
以下、本発明の好適な実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【０００９】
＜はじめに＞
前述の通り、近年、無色のトナーもしくはインクなどの記録材を利用し、電子写真やインクジェットの画像形成などを行う画像処理装置が提案されている。この画像処理装置では、透明なトナー（以下、クリアトナーとも呼称する。）を原画像の一部分に重ねる。これは、スポットクリアと呼ばれている。このような画像形成により、光沢の差異によって原画像の一部分を目立たせることができる。
【００１０】
［クリアトナーパターン］
たとえば図３の左側に示した原画像の写真の空の領域を目立たせたい場合、その部分に図３の右側のクリアトナーパターンを重ねる。これにより仕上がった画像の空の領域を目立たせることができる。
【００１１】
原画像から抽出される空の領域が明確な場合には、後述する画像の領域分割処理が上手く機能するため、クリアトナーを重ねる領域も抽出されることが多い。しかし、画像処理する対象物体に被写体ボケなどがありその境界があいまいな場合には、クリアトナーを重ねる領域をきれいに抽出することは難しい。この場合、画像のあいまいさに合わせて画像中の対象物体の境界領域のパターンをなだらかに変化させるように、対象物体の境界領域でクリアトナー量を調整する。このようにして境界部分でのトナーパターンの遷移を滑らかにすることにより、最終的な印刷物の画像をより自然に仕上げることができる。
【００１２】
図３および図４では、原画像の空の領域および蛙の領域にそれぞれクリアトナーパターンを重ねる。たとえば、図４の蛙の後部の境界部分は被写体ボケによりあいまいになっている。このため、クリアトナーパターンの対応部分（境界部分Ａの点線部分）にグラデーション処理が施される。これらのクリアトナーパターンではいずれも、黒が最大のトナー量、白が最小のトナー量となっている。
【００１３】
［画像処理の対象領域］
以下の実施形態では、上記クリアトナーパターンのグラデーション処理を中心に説明するが、ここでは、その前提となる画像処理の対象領域について簡単に説明する。
【００１４】
入力画像を解析し、適切なクリアトナー版を作成するためには、
（１）クリアトナーパターンを重ねる領域の抽出
（２）該抽出領域に対して与える、クリアトナーの空間的パターン（クリアトナーパターン）の決定
の２ステップが必要である。
（１）の手法としては、例えば顔領域抽出などの一般的な物体抽出方法によって原画像から抽出された領域を対象領域としてもよいし、ユーザに手動で領域を指定させ、その領域を対象領域として抽出してもよい。
（２）の手法としては、例えば前記（１）によって抽出された対象領域もしくはその他の画像領域から抽出された特徴量に基づいて、予め定められたパターンの中から任意の空間パターンを選択してもよく、対象領域を単に一律に塗りつぶしてもよい。
【００１５】
以下に説明する各実施形態では、図５の左側に示したように、原稿（原画像）中のクリアトナーパターンを乗せるべき対象領域は既に決まっているものとし、その対象領域に与えるクリアトナーの空間的なパターン（図５の右側の領域中のテクスチャ）を決定することを中心に説明する。空間的パターンには、少なくとも境界部分のグラデーションが含まれる。
【００１６】
更に以下に説明する各実施形態では、たとえば図６の右上の空間的パターンのうち、図６の左上の対象領域の対象物体が明確なオブジェクト部分に対応する空間的パターンＢは既に塗りつぶされていると仮定し、対象物体がボケている、対象領域の境界部分Ｃのクリアトナーパターン（空間的パターン）の生成を中心に説明する。つまり、以下では、クリアトナーパターンは境界領域を除いてほぼ一律な値を持っているとして説明するが、これに限られない。
【００１７】
境界領域は次のようにして定められる。たとえば図６の左下に示したように画像の領域分割処理後の領域Ｄを解析し、グラディエントを算出する。算出されたグラディエントの絶対値と所与の閾値との比較処理により、実際にクリアトナーを乗せる境界領域Ｅ（図６右下）を決める。そして、他の部分と違和感のないように境界領域Ｅのクリアトナーパターンにグラデーションを施す。以下の実施形態では、境界領域のクリアトナーパターンのグラデーション処理を中心に説明する。
【００１８】
＜第１実施形態＞
［画像形成システムの全体構成（画像処理装置のハードウエア構成）］
まず、本発明の第１実施形態に係る画像形成システムの全体構成について、図１を参照しながら説明する。図１は、本実施形態に係る画像形成システムの全体構成の一例を示した図であり、画像処理装置のハードウエア構成図を含む。
【００１９】
画像形成システム１は、画像処理装置１０、画像取得装置２０、画像出力装置３０および記憶装置４０を有する。ネットワーク５０は、画像処理装置１０、画像取得装置２０、画像出力装置３０および記憶装置４０を接続する。ネットワーク５０は、有線、無線のいずれであってもよい。
【００２０】
画像処理装置１０は、無色のトナーもしくはインクなどの記録材のパターンを生成し、電子写真記録方式やインクジェット記録方式等における画像形成を行う。画像処理装置１０は、たとえば、プリンタ、複写機、印刷機等に内蔵され、プリンタ等の本体と一体となっていてもよいし、本体と別体となって設けられてもよい。
【００２１】
画像処理装置１０は、一般的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）として構成され得る。画像処理装置１０は、ネットワーク５０を通じてスキャナなどの画像取得装置２０、プリンタなどの画像出力装置３０、ハードディスクドライブ（ＨＤＤ）などの記憶装置４０と接続される。
【００２２】
画像処理装置１０は、内部バス１１０と、内部バス１１０にそれぞれ接続されるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４０、記憶部１５０、操作部１６０、表示部１７０、および通信部１８０を有する。
【００２３】
ＲＯＭ１３０は、プログラムやデータを記憶するメモリである。ＲＡＭ１４０は、ＣＰＵ１２０が各種動作を行うときに必要なプログラムやデータを一時的に記憶するメモリである。ＣＰＵ１２０は、ＲＯＭ１３０や記憶部１５０に格納されているプログラムやデータをＲＡＭ１４０に読み込んで実行することにより、画像処理装置１０の全体を制御するプロセッサである。
【００２４】
記憶部１５０は例えばハードディスクドライブからなり、ＣＰＵ１２０が各種動作を行うときに使用するプログラムやデータを記憶する大容量の内部記憶装置である。操作部１６０は、ユーザが画像処理装置１０を操作するためのユーザインタフェースであり、例えばキーボードやマウスなどから構成される。表示部１７０は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）など、操作部１６０から入力された情報や画像処理装置１０の動作状態などを表示するユーザインタフェースである。通信部１８０は、ネットワーク５０を介して、画像取得装置２０、画像出力装置３０および記憶装置４０とデータ通信を行うための装置である。
【００２５】
画像取得装置２０は、写真、原稿、風景などの画像の画像情報を取得する装置である。画像取得装置２０の一例としては、イメージスキャナやデジタルカメラが挙げられるが、これに限られない。
【００２６】
画像出力装置３０は、画像を形成する装置である。画像出力装置３０の一例としては、例えば電子写真記録方式やインクジェット記録方式のプリンタやプロッタが挙げられるが、これに限られない。記憶装置４０は、ハードディスクドライブ（ＨＤＤ）などの大容量の外部記憶装置である。
【００２７】
かかる構成により、画像処理装置１０は、記憶部１５０および外部の記憶装置４０のいずれかに保持される入力画像、もしくは画像取得装置２０により取得される入力画像を取得する。取得された入力画像は、作業用のＲＡＭ１４０に一時的に記憶され、予め定められた処理方法により画像処理される。画像処理の結果は、ＲＡＭ１４０又は記憶部１５０に記憶されてもよく、ネットワーク５０を介して記憶装置４０に記憶されてもよい。画像形成システム１では、ユーザからの指示に従い、画像処理装置１０がＲＡＭ１４０に記憶された画像形成済みの画像情報をネットワーク５０を経由して画像出力装置３０へ送信すると、画像出力装置３０は画像処理された画像を印刷して出力する。
【００２８】
このように画像処理装置１０は、予め定められた処理方法により、入力画像を処理するが、これは、ＣＰＵ１２０がＲＯＭ１３０、ＲＡＭ１４０、記憶部１５０等から読み出されたプログラムを実行することにより実現され得る。プログラムは、複数の命令列から構成されていて、ＣＰＵ１２０はプログラムの各命令列を順に実行する。このようなＣＰＵ１２０の動作により、画像処理装置１０において次に説明する各部の機能が発揮される。
【００２９】
［画像処理装置の機能構成］
次に、本実施形態に係る画像処理装置の機能構成について、図２を参照しながら説明する。図２は、本実施形態に係る画像処理装置の機能構成図である。
【００３０】
本実施形態に係る画像処理装置１０は、入力部１１、前処理部１２、領域分割部１３、境界抽出部１４、演算部１５、判定部１６、パターン生成部１７、記憶部１８および色空間変換部１９を有する。
【００３１】
入力部１１は、記憶部１５０又は画像取得装置２０から入力画像（デジタル画像）を取得する。色空間変換部１９は、入力画像がＲＧＢカラーで表現されている場合、プリンタやプロッタの色材（例えばＣＭＹＫ）に従って色空間を変換する。
【００３２】
画像処理装置１０は、色空間変換部１９から出力された上記ＣＭＹＫの４色のトナーを用いた出力画像（ＣＭＹＫ）のほか、透明トナーを用いて、原画像から抽出される対象領域に対する画像形成を行うための記録材のパターンを生成し、出力画像(トナーパターン)として出力する。本実施形態では透明なトナーを用いて透明トナーパターン（すなわち無色版）を生成する。なお、以下では、本実施形態では透明トナーパターンをクリアトナーパターン又は単にトナーパターンとも称呼する。
【００３３】
本実施形態では透明なトナーを用いるが、これに限られず、無色の記録材であれば、透明なインク等であってもよいし、その他のカラートナーやカラーインク等を用いて記録材のパターンを生成することもできる。なお、画素値は、画像信号が白黒であれば輝度値が用いられ、カラーであれば輝度値や色（カラー）に関する１または２以上の色信号等が用いられる。
【００３４】
トナーパターンの生成に際しては、まず前処理部１２が入力画像の前処理を行う。前処理部１２により行われる前処理の内容は、対象とする画像やシステムに依存するが、多くの場合、ノイズ除去、解像度変換処理等が含まれる。ＤＴＰ（Ｄｅｓｋ Ｔｏｐ Ｐｕｂｌｉｓｈｉｎｇ）処理の場合は、多くのオブジェクトがベクターデータとして表されているため、それらに対してはノイズ除去や解像度変換を行う必要はないことが多い。しかしながら、本実施形態で対象としているのはＤＴＰで扱われるラスター画像オブジェクトである。このため、本実施形態では、前処理部１２が、ノイズ除去、解像度変換処理等の処理を行うことを想定する。
【００３５】
次に領域分割部１３は、領域分割処理を行い、画像をトナーパターン形成のための対象領域とその他の領域に分割する。領域分割部１３は、領域分割処理を自動で実行するか、ユーザの指示に応じて処理し得る。自動で行う場合、領域分割部１３は、例えば平均値シフト法などのように画像中の領域数を仮定しないノンパラメトリック法を用いることもできるし、予め抽出対象が判っている場合には、例えばｋ−ｍｅａｎｓ法のようなモデルや領域数を仮定するパラメトリック法を用いてもよい。
【００３６】
境界抽出部１４は、領域分割部１３により分割された特定の画像領域を対象領域として入力して、対象領域の境界部分を抽出する。境界は幅０の曲線として定義することもできる。しかし、本実施形態にかかる画像形成システム１では境界部分にグラデーションを与えることが重要であるため、対象領域の境界部分に、ある有限の値の幅を持たせることが必要である。よって、本実施形態においては、抽出された境界領域は、図６の右下に示した境界領域Ｅのようにある幅をもった領域となる。なお、境界領域の抽出には様々な方法があり得るが、例えば図９のフローチャートで示す方法を用いて抽出することができる。図９のフローチャートについては後述する。
【００３７】
演算部１５は、対象領域の境界領域に含まれる画像データの特徴量を算出する。演算部１５は、前記特徴量として境界領域の輝度情報を算出してもよい。演算部１５は、前記特徴量として輝度情報とともに境界領域の１又は２以上のカラー情報を算出してもよい。
【００３８】
判定部１６は、前記特徴量に基づき境界領域中の色の変化の度合いを判定する。たとえば、判定部１６は、輝度情報に基づき境界領域中の色の変化の度合いを判定することができる。判定部１６は、輝度情報および１又は２以上のカラー情報に基づき境界領域中の色の変化の度合いを判定してもよい。
【００３９】
パターン生成部１７は、境界領域中の色の変化の度合いに応じて、境界領域の記録材のパターンのグラデーションを計算により決定する。例えば、判定部１６が、境界領域中の色の変化の度合いとして前記境界領域の各画素の輝度勾配（以下、輝度勾配をグラディエントとも呼ぶ）および当該勾配の方向を判定した場合、パターン生成部１７は、判定部１６により判定された輝度勾配および当該勾配の方向に応じて、境界領域の記録材のパターンのグラデーションを決定することができる。
【００４０】
また、判定部１６が、境界領域中の色の変化の度合いとして境界領域中の１又は２以上のカラーおよび輝度勾配および当該勾配の方向を判定した場合、パターン生成部１７は、判定部１６により判定された境界領域中の１又は２以上のカラーの変化、輝度勾配、当該変化および勾配の方向に応じて、境界領域の記録材のパターンのグラデーションを決定してもよい。
【００４１】
記憶部１８には、判定部１６が所定の判定を実行するために必要な閾値等の各種データが記憶される。
【００４２】
パターン生成部１７にて生成されたトナーパターンの画像データ（出力画像：トナーパターン）は、例えば、画像出力装置３０に送られてもよい。その場合、画像出力装置３０では、色空間変換部１９から送られてきた、ＣＭＹＫの出力画像データを利用し、シアン、マゼンタ、イエロー、ブラックの４色のトナーにより４つの版の画像を形成することに加えて、トナーパターンの出力画像データによりトナーパターン（無色版画像）を形成する。画像出力装置３０は、それらを紙面に印刷して、グロッサーと呼ばれる高温高圧による印刷表面処理機を通すことにより、高い光沢性を有する印刷物を出力する。画像出力装置３０は、これにより画像処理を終了するが、印刷が終了した旨のメッセージをオペレータ６０に通知してもよい。
【００４３】
［境界領域の解析原理］
本実施形態に係る画像処理装置１０は、上記領域分割処理により分割された領域の解析に様々な手法を利用可能である。ただし、本実施形態で提案する画像処理では、クリアトナーによる光沢が、画像の内容に対して違和感なく再現されることが重要であるから、画像の内容を解析して分割された領域から境界部分を決定することが妥当であり、好ましい。具体的には、分割された領域の画像の輝度勾配（グラディエント）を基に、トナーパターンを生成すべき領域を決定する。
【００４４】
スカラー量をψ（本実施形態の場合は画像の輝度）とすると、一般的にグラディエント（輝度勾配）はベクトル場として以下のように表される。
【００４５】
【数１】
ここでｘ１，・・・，ｘｎはφの分布する次元の各軸である。今回の場合は画像のｘ，ｙ軸の位置がこれに相当する。ｅ１，・・・，ｅｎはこれらの軸における単位ベクトルである。
そのため今回の場合をまとめると、画像の輝度をＩとして、輝度グラディエント（∇Ｉ）は以下の式のようになる。
【００４６】
【数２】
図６の左下の領域Ｄの各画素について、このグラディエントを計算し、その絶対値|∇Ｉ|が予め定めた閾値以下である場合には、当該画素がグラデーション領域であると判断する。
【００４７】
【数３】
（ＳＵＲＦ）
これ以外にも、グラデーション領域の判定に第２実施形態にて使用する多重解像度解析を用いたＳＵＲＦ(Speeded-Up Robust Features)を用いることもできる。この場合、グラディエントは複数の解像度で計算されることになる。更に各解像度でヘシアンを計算し、その行列式が最も大きくなる解像度を主解像度として選択し、該解像度のグラディエントを、当該位置でのグラディエントとして用いる。グラディエントが決まった後の処理は前記の処理と同様である。
【００４８】
【数４】
この解像度選択では、上式に表されるヘシアン（Ｈ（ｘ，σ））の行列式を用いる。上式は二次元の場合のヘシアンであり、ｘは位置（ｘ，ｙ）、σは解像度をそれぞれ表す。Ｌｘｘ（ｘ，σ）は、位置（ｘ，ｙ）、解像度σにおける、二階偏微分（この場合はｘ方向を２階）を示した、２次のグラディエントである。Ｌｘｙなどについてもそれぞれの方位での二階偏微分を表す。今回の２次元の場合のヘシアンＨの行列式ｄｅｔ（Ｈ（ｘ，σ））は以下のように表すことができる。ここでＩ（ｘ，σ)は位置ｘ＝（ｘ，ｙ）における輝度を表す。この行列式はヘシアンが計算される画像領域における輝度変化の凸性を示している。
【００４９】
【数５】
各解像度σについて上記行列式を計算し、最大のものを与える解像度σを主解像度とし、該解像度におけるグラデーションを利用するものとする。
【００５０】
領域境界のグラデーション領域が決まった後、クリアトナー版におけるグラデーションを構成する。最も単純には原稿における輝度グラディエントと同じグラディエントを、クリアトナー版においても利用する方法がある。つまり、原稿における位置（ｘ，ｙ）における輝度をＩｘ，ｙとして、位置（ｘ，ｙ）でのクリアトナーパターンの値Ｔｘ，ｙは以下のように表すことができる。
【００５１】
【数６】
グラデーション方向に関してはグラディエントの計算を利用し以下のように表される。
【００５２】
【数７】
ただし、θはｘ軸正方向と該グラディエントとのなす角とする。
【００５３】
定義域、値域は実装に依存するが、原稿画像データの輝度成分及びクリアトナー版が、それぞれ８ｂｉｔで表されるとすると、以下のように定義できる。
【００５４】
【数８】
ここで、図７にも示したように、ｕは、上記グラデーション方向を表す。つまり原稿画像は位置（ｘ１，ｙ１）を原点として正規化されているものとする。
【００５５】
行列形式でこの正規化を書き下すと、角度θでの回転行列Ｒ（θ）と、位置（ｘ１，ｙ１）の移動行列Ｓ（ｘ１，ｙ１）はそれぞれ以下のようになる。
【００５６】
【数９】
【００５７】
【数１０】
これらを合わせると、正規化出力（ｘ'，ｙ'）は入力（ｘ，ｙ）を用いて以下のように表すことができる。
【００５８】
【数１１】
以上により、グラデーションの方向を考慮したステップ型のクリアトナーの境界領域を形成することができる。
【００５９】
［画像処理装置の全体動作］
次に、画像処理装置１０の全体動作について図８のフローチャートを参照しながら説明し、その後、図８で示した各処理の詳細について図９〜図１２のフローチャートを参照しながら説明する。画像処理装置１０は、図８の基本処理に従ってクリアトナーパターンを生成する。
【００６０】
（前処理）
まず、ステップＳ８０にて、前処理部１２は、ノイズ除去、解像度変換処理等を実行する。
【００６１】
（領域分割処理）
次に、ステップＳ８１にて、領域分割部１３は、領域分割処理を行い、入力画像（取得画像）をトナーパターン形成のための対象領域とその他の領域に分割する。領域分割部１３は、たとえばsplit and mergeアルゴリズムを用いて画像を各領域へ分割することができるが、領域分割処理方法は上記アルゴリズムに限られない。split and mergeアルゴリズムは、画像を均一な領域に分割することを試みるもので、最初に全体画像を１つの領域として初期推定し、その領域が実質的に均一であるかどうかを判断する。すなわち、予め定められた基準値を基に判断を行い、均一ではないと判断した場合、その領域を均等に４つの領域へ分割する。これを分割した各領域についても行い、分割が必要なくなるまでこの処理を繰り返す。その後、その基準値を満足し、互いに隣接し、類似する領域同士を結合していき、結合できるものがなくなった時点で、この処理を終了する。
【００６２】
（境界抽出処理）
次に、ステップＳ８２にて、境界抽出部１４は、領域分割部１３により分割された領域を対象領域として入力して、対象領域の境界部分を抽出する。境界抽出処理の詳細については、図９を参照しながら後程説明する。
【００６３】
（グラディエント計算処理）
次に、ステップＳ８３にて、演算部１５は、対象領域の境界領域に含まれる画像データの特徴量を算出する。グラディエント計算処理の詳細については、図１０を参照しながら後程説明する。
【００６４】
（グラディエント判定処理）
次に、ステップＳ８４にて、判定部１６は、前記特徴量に基づき、境界領域中の色の変化の度合いとしてグラディエントの変化値とグラディエントの方向を判定する。本実施形態では、グラディエントの変化値として隣接する画素の輝度勾配を算出し、グラディエントの方向として前記輝度勾配の角度を判定する。グラディエント判定処理の詳細については、図１１を参照しながら後程説明する。
【００６５】
（グラデーション計算処理）
次に、ステップＳ８５にて、パターン生成部１７は、境界領域中の輝度勾配および当該勾配の方向に応じて境界領域中のグラデーションを算出する。
【００６６】
（クリアトナーパターン生成処理）
次に、ステップＳ８６にて、パターン生成部１７は、算出されたグラデーションの値を用いて境界領域のトナーパターンにグラデーション処理を施す。グラデーション計算処理およびクリアトナーパターン生成処理の詳細については、図１２を参照しながら後程説明する。
【００６７】
［画像処理装置の境界抽出］
次に、境界抽出処理（図８のステップＳ８２）の詳細について、図９のフローチャートを参照しながら説明する。図９は、本実施形態に係る画像処理装置の境界抽出処理を示すフローチャートである。なお、境界抽出処理は、境界抽出部１４により実行される。
【００６８】
図９を参照すると、まず、ステップＳ９０にて、境界抽出部１４は、分割された領域のエッジを抽出する。次に、ステップＳ９１にて、境界抽出部１４は、抽出されたエッジの状態を評価する。次に、ステップＳ９２にて、境界抽出部１４は、エッジの評価に従い対象領域の境界領域を抽出する。これにより、たとえば、図６の左下に示した領域分割後の対象領域Ｄに対して、図６の右下に示した境界領域Ｅが形成される。なお、境界領域Ｅ以外の対象領域は、図６の右上に示したように均一なトナー量で一律にパターン化してもよいが、これに限られずトナー量を不均一にしてもよい。
【００６９】
［画像処理装置のグラディエント計算］
次に、グラディエント計算処理（図８のステップＳ８３）の詳細について、図１０のフローチャートを参照しながら説明する。グラディエント計算処理は、演算部１５により実行される。なお、下記width, heightはそれぞれ入力画像の幅と高さを表す。
【００７０】
演算部１５は、画像データの特徴量として各境界画素におけるグラディエントを計算する。本実施形態では、グラディエントは輝度勾配を意味し、簡単のためグラディエントを隣接画素との差分により近似する。
【００７１】
図１０において、Ｉ(x,y)は位置(x, y)における輝度値を返す関数、dx, dy, dl, thetaはそれぞれ位置(x, y)における、x方向の変分、y方向の変分、グラディエントの絶対値、グラディエントの角度を表す。
【００７２】
最初に、ステップＳ１０１にて、演算部１５は、変数ｉ，ｊを初期化する。変数ｉ，ｊは、境界領域の所定の位置の画素を示す。次に、ステップＳ１０２にて、演算部１５は、変数ｉを１加算して変数ｉｉに代入し(ii=i+1)、ステップＳ１０３にて、変数ｊを１加算し変数ｊｊに代入する(jj=j+1)。次に、ステップＳ１０４にて、演算部１５は、変数ｉｉが入力画像の幅widthより小さく,かつ変数ｊｊが入力画像の高さheightより小さいかを判定する（ii＜width && jj＜height?）。
【００７３】
ステップＳ１０４にてＮＯの場合、演算部１５は、ステップＳ１０５〜ステップＳ１０８の処理をスキップしステップＳ１０９の処理を行う。ステップＳ１０４にてＹＥＳの場合、演算部１５は、ステップＳ１０９の処理の前にステップＳ１０５〜ステップＳ１０８の処理を実行する。ステップＳ１０５では、演算部１５は、ｘ方向の隣接する画素の輝度値の差分（ｘ方向のグラディエント）を算出する(dx=I(ii,j)-I(i,j))。次に、ステップＳ１０６にて、演算部１５は、ｙ方向の隣接する画素の輝度値の差分（ｙ方向のグラディエント）を算出する(dy=I(i,jj)-I(i,j))。
【００７４】
次に、ステップＳ１０７にて、演算部１５は、ｘ方向のグラディエントｄｘおよびｙ方向のグラディエントｄｙの２乗和の平方根を算出することにより、グラディエントの絶対値ｄｌを算出する(dl=sqrt(dx2+dy2)。次に、ステップＳ１０８にて、演算部１５は、ｘ、ｙ方向のグラディエントｄｘ、ｄｙを逆正接関数に用いてグラディエントの角度thetaを算出する（theta＝arctan(dy/dx)）。
【００７５】
次に、ステップＳ１０９にて、演算部１５は、変数ｉを１加算し(i++)、ステップＳ１１０にて、変数ｉが入力画像の幅widthより大きいかを判定する（i＞width?）。ステップＳ１１０にてＮＯの場合、ステップＳ１０２に戻り、演算部１５は、次の画素に対してステップＳ１０２からの処理を繰り返す。一方、ステップＳ１１０にてＹＥＳの場合、ステップＳ１１１に進み、演算部１５は、変数ｊを１加算し(j++)、ステップＳ１１２にて、変数ｊが入力画像の高さheightより大きいかを判定する（j＞height?）。ステップＳ１１２にてＮＯの場合、ステップＳ１０２に戻り、演算部１５は、次の画素に対してステップＳ１０２からの処理を繰り返す。一方、ステップＳ１１２にてＹＥＳの場合、本処理を終了する。以上の計算により、境界領域の各画素についてのグラディエントの絶対値ｄｌおよびグラディエントの角度thetaが算出される。
【００７６】
［画像処理装置のグラディエント判定］
上記グラディエントの絶対値ｄｌやグラディエントの角度thetaは、境界部分のグラデーションの判定に用いられる。最も単純にはこの判定は、判定部１６が画素ごとにグラディエントの絶対値ｄｌと所与の閾値とを比較（閾値処理）することによって実現され得る。
【００７７】
しかし、より高精度な処理のためには、グラディエントの方位や方向がどのように分布しているのかを判定する必要がある。この例を図１１のフローチャートを参照しながら説明する（グラディエント判定処理：図８のステップＳ８４）。グラディエント判定処理は、判定部１６により実行される。
【００７８】
以下の例で、avg_dl(x, y)、avg_th(x, y)のそれぞれは、境界部分の位置(x, y)を中心とする縦横２sigma(シグマ)のサイズの矩形内部でのグラディエントの絶対値dl及びグラディエントの角度thetaの平均値を、std_dl(x, y)、std_th(x, y)は同矩形内部でのdl及びthetaの標準偏差を示す。関数gradient (x, y)は、位置(x, y)の画素が充分に平滑なグラデーション領域に属している場合には1を、それ以外の場合には0をとる判定関数である。この判定では前述したグラディエントの絶対値dl及びグラディエントの角度thetaの標準偏差が予め定められた閾値TH1及びTH2よりそれぞれ小さいことを条件としている。avg_th及びstd_thの計算には、サイクリックな引数の場合の補正処理が必要となるが、以下の例では簡単のため通常の引数と同様に扱っている。
【００７９】
最初に、ステップＳ１１１にて、判定部１６は、変数ｉ，ｊを初期化する。変数ｉ，ｊは、境界領域の所定の位置の画素を示す。次に、ステップＳ１１２にて、判定部１６は、変数ｉからsigmaのサイズを減算して変数ｉｉに代入し(ii=i-sigma)、ステップＳ１１３にて、変数ｊからsigmaのサイズを減算して変数ｊｊに代入する(jj=j-sigma)。
【００８０】
次に、ステップＳ１１４にて、判定部１６は、変数ｉｉおよび変数ｊｊが０より大きい値であって、変数ｉｉが入力画像の幅widthより小さく,かつ変数ｊｊが入力画像の高さheightより小さいかを判定する（ii＞０ && jj＞０ && ii＜width && jj＜height?）。
【００８１】
ステップＳ１１４の判定の結果、ＮＯの場合、判定部１６は、ステップＳ１１５、Ｓ１１６の処理をスキップしステップＳ１１７の処理を行う。一方、ステップＳ１１４にてＹＥＳの場合、判定部１６は、ステップＳ１１５にてグラディエントの絶対値dlの平均値avg_dl(i,j)と、位置(i,j)からsigmaだけずれた位置のグラディエントの絶対値dl(ii, jj)との差分の２乗をtmp_dl+として求める(tmp_dl+=(avg_dl(i,j)-dl(ii, jj))*(avg_dl(i,j)-dl(ii, jj))。
【００８２】
次に、ステップＳ１１６にて、判定部１６は、グラディエントの角度thetaの平均値avg_th(i,j)と、位置(i,j)からsigmaだけずれた位置のグラディエントの角度theta(ii, jj)との差分の２乗をtmp_ th +として求める(tmp_th+=(avg_th(i,j)- theta (ii, jj))*(avg_th(i,j)- theta (ii, jj))。
【００８３】
次に、ステップＳ１１７にて、判定部１６は、変数jjが変数ｊにsigmaを加算した値より大きいかを判定する（jj＞ｊ＋sigma？）。ステップＳ１１７にてＮＯの場合、ステップＳ１１８にて変数jjを１加算してステップＳ１１４に戻り、ステップＳ１１５からの処理を再度実行する。一方、ステップＳ１１７にてＹＥＳの場合、ステップＳ１１９に進み、変数iiが変数ｉにsigmaを加算した値より大きいかを判定する（ii＞ｉ＋sigma？）。ステップＳ１１９にてＮＯの場合、ステップＳ１２０にて変数iiを１加算してステップＳ１１４に戻り、ステップＳ１１５からの処理を再度実行する。
【００８４】
ステップＳ１１９にてＹＥＳの場合、ステップＳ１２１に進み、判定部１６は、グラディエントの絶対値dlの標準偏差std_dl(i,j)を算出する(std_dl(i,j)=sqrt(tmp_dl)/t)。次に、ステップＳ１２２にて、判定部１６は、グラディエントの角度thetaの標準偏差std_th(i,j)を算出する(std_th(i,j)=sqrt(tmp_th)/t)。
【００８５】
次に、ステップＳ１２３にて、判定部１６は、グラディエントの絶対値dlの標準偏差std_dl(i,j)が予め定められた閾値TH1より小さく、かつ及びグラディエントの角度thetaの標準偏差std_th(i,j)が予め定められた閾値TH2より小さいかを判定する(std_dl(i,j)<TH1 && std_th(i,j)<TH2)。ステップＳ１２３にてＹＥＳの場合、ステップＳ１２４にて、判定部１６は、判定関数gradient(i,j)に、位置(i,j)の画素が充分に平滑なグラデーション領域に属していることを示す「1」を代入し、それ以外の場合にはステップＳ１２５にて充分に平滑なグラデーション領域以外の領域であることを示す「０」を代入する。
【００８６】
なお、本実施形態では、ステップＳ１２３にて、グラディエントの絶対値dlの標準偏差std_dl(i,j)およびグラディエントの角度thetaの標準偏差std_th(i,j)がそれぞれ閾値TH1,TH2より小さい場合、判定関数gradient(i,j)に、位置(i,j)の画素が充分に平滑なグラデーション領域に属していることを示す「1」を代入した。しかしながら、グラディエントの絶対値dlの標準偏差std_dl(i,j)が閾値TH1より小さいか、またはグラディエントの角度thetaの標準偏差std_th(i,j)が閾値TH2より小さいか、のいずれかを満足した場合、判定関数gradient(i,j)に、位置(i,j)の画素が充分に平滑なグラデーション領域に属していることを示す「1」を代入してもよい。
【００８７】
［画像処理装置のグラデーション計算及びクリアトナーパターン生成］
次に充分に平滑なグラデーション領域に属している境界画素に対して、クリア版（トナーパターン）におけるグラデーションを計算により決定する。クリア版におけるグラデーション計算にはいくつかの方法があるが、最も単純には、これまでに計算されてきた原画像におけるグラディエントｄｌを利用する方法がある。
【００８８】
境界画素において輝度のグラディエントと同じグラディエントを持つクリア版を構成するためには、以下のような方法でクリア版のグラデーションを計算する必要がある。グラデーション計算処理（図８のステップＳ８５）およびクリアトナーパターン生成処理（図８のステップＳ８６）の詳細について、図１２のフローチャートを参照しながら説明する。グラデーション計算処理およびクリアトナーパターン生成処理は、パターン生成部１７により実行される。
【００８９】
ここでI(x,y)、T(x,y)はそれぞれ入力画像の輝度成分（グラディエント）、クリア版の位置(x,y)におけるクリアトナーパターンの値を表す。またgrad_field_x(x,y)及びgrad_field_y(x,y)はそれぞれ位置(x, y)におけるx方向変位の合計、y方向変位の合計である。
【００９０】
最初に、ステップＳ１２１にて、パターン生成部１７は、変数ｉ，ｊを初期化する。次に、ステップＳ１２２にて、パターン生成部１７は、位置(x, y)におけるx方向変位の合計grad_field_x(x,y)及び位置(x, y)におけるｙ方向変位の合計grad_field_y(x,y)を初期化する。次に、ステップＳ１２３にて、パターン生成部１７は、位置(i,j-1)におけるy方向変位の合計grad_field_y(i,j-1)にy方向の変分dy(i,j)を加算し、grad_field_y(i,j)に代入する（grad_field_y(i,j)＝grad_field_y(i,j-1)＋dy(i,j)）。
【００９１】
次に、ステップＳ１２４にて、パターン生成部１７は、変数ｊが高さheightより大きいかを判定する（j＞height?）。ステップＳ１２４にてＮＯの場合、ステップＳ１２５にて変数ｊを１加算してステップＳ１２３に戻り、ステップＳ１２３の処理を再度実行する。一方、ステップＳ１２４にてＹＥＳの場合、ステップＳ１２６にてパターン生成部１７は、変数ｉが幅widthより大きいかを判定する（i＞width?）。ステップＳ１２６にてＮＯの場合、ステップＳ１２７にて変数ｉを１加算してステップＳ１２３に戻り、ステップＳ１２３の処理を再度実行する。
【００９２】
一方、ステップＳ１２６にてＹＥＳの場合、ステップＳ１２８にてパターン生成部１７は、再度変数ｉ，ｊを初期化する。次に、ステップＳ１２９にて、パターン生成部１７は、位置(i-1,j)におけるｘ方向変位の合計grad_field_x(i-1,j)にｘ方向の変分dx(i,j)を加算して、grad_field_x(i,j)に代入する（grad_field_x(i,j)＝grad_field_x(i-1,j)＋dx(i,j)）。
【００９３】
次に、ステップＳ１３０にて、パターン生成部１７は、変数ｉが幅widthより大きいかを判定する（i＞width?）。ステップＳ１３０にてＮＯの場合、ステップＳ１３１にて変数ｉを１加算してステップＳ１２９に戻り、ステップＳ１２９の処理を再度実行する。一方、ステップＳ１３０にてＹＥＳの場合、ステップＳ１３２にてパターン生成部１７は、変数ｊが高さheightより大きいかを判定する（j＞height?）。ステップＳ１３２にてＮＯの場合、ステップＳ１３３にて変数ｊを１加算してステップＳ１２９に戻り、ステップＳ１２９の処理を再度実行する。
【００９４】
一方、ステップＳ１３２にてＹＥＳの場合、ステップＳ１３４にてパターン生成部１７は、２乗平均を用いて、位置Ｔ(i,j)におけるクリアトナーパターンを算出する(T(i,j)=sqrt(grad_field_x(i,j)2+grad_field_y(i,j)2))。つまり、位置Ｔ(i,j)におけるクリアトナーパターンは、x方向変位の合計grad_field_x(i,j)の２乗とｙ方向変位の合計grad_field_y(i,j)の２乗とを加算した値の平方根をとる。
以上の計算により、境界領域の各画素についてクリアトナーパターンのグラデーションを決定することができる。
【００９５】
なお、パターン生成部１７は、上記計算方法によりステップＳ１３４にて位置Ｔ(i,j)におけるクリアトナーパターンを算出する代わりに、予めルックアップテーブルを用意し、ルックアップテーブルを用いて、計算されたグラディエントの絶対値に対するクリアトナーパターンを決定してもよい。
【００９６】
また、パターン生成部１７は、上記計算方法によりステップＳ１３４にて位置Ｔ(i,j)におけるクリアトナーパターンを算出する代わりに、x方向変位の合計grad_field_x(i,j)とｙ方向変位の合計grad_field_y(i,j)とを加算する方法を採用することもできる。この加算値は、マンハッタン距離とも呼ばれ、クリアトナーパターンの真の値に対してその近似値を比較的高い精度で算出することができ、かつ上記画像処理の負荷を軽減することができる。
【００９７】
［効果］
以上説明したように、本実施形態にかかる画像処理装置１０によれば、画像形成のためのトナーパターンを生成する際、画像中の特定の対象物体の境界領域についてクリアトナーパターンにグラデーション処理を施す。
【００９８】
たとえば図４に示したように、入力画像の蛙の領域にクリアトナーパターンを重ねる場合について本実施形態の効果の一例を説明する。ここでは、蛙が画像中の特定の対象物体、蛙の領域がトナーパターンを重ね合わせる対象領域である。図４の写真では、対象物体の蛙の後部にあいまいさがあるため、境界領域Ａのトナーパターンにグラデーション処理が施される。その他の対象領域には、均一なトナー量のパターンを重ねる。これにより、光沢の差異によって原画像の一部分である写真中の蛙の部分を目立たせながら、被写体ボケなどにより対象物体の境界部分があいまいな場合にも、上記境界領域Ａのグラデーション処理によって、最終的な印刷物を自然に仕上げることができ、高品質の最終印刷物をユーザに提供できる。
【００９９】
＜第２実施形態＞
次に、本発明の第２実施形態に係る画像処理装置１０について説明する。なお、第２実施形態に係る画像処理装置１０の機能構成およびハードウエア構成は、第１実施形態の画像処理装置と同様であるため、ここでは説明を省略する。
【０１００】
第２実施形態に係る画像処理装置１０では、演算部１５は、多重解像度解析を用いて算出された複数の解像度からヘシアン行列式を用いて主解像度を選択し、選択された主解像度の画像に基づき前記境界領域の輝度を算出する。ここで、演算部１５は、前記複数の解像度に対するヘシアン行列式の度数分布を用いて主解像度を選択してもよい。演算部１５は、多重解像度解析を用いて算出された複数の解像度からヘシアン行列式を用いて主解像度を選択し、選択された主解像度の画像に基づき前記境界領域の１又は２以上のカラーおよび輝度を算出してもよい。
【０１０１】
［画像処理装置のグラディエント計算処理］
本実施形態では、グラデーション領域の抽出に上述したSURFを用いる。SURFの計算は多重解像度解析とグラディエントの計算を内包しているため、第１実施形態で説明した計算の一部を省くことができる。SURFの計算内容については、上記「境界領域の解析原理」で説明した通りである。
【０１０２】
演算部１５は、SURFの手法を用いて、予め定められたいくつかの解像度でヘシアン（式（4））及びその行列式（式（5））を計算し、該行列式を閾値処理することで変化量の大きい位置とその解像度を同定する。SURFは、画像中の特徴的な部分を検出し、符号化するために、該行列式の値が大きい場所を抽出する。この性質を利用し、第２実施形態では、演算部１５は、SURFを用いてグラデーション計算のための解像度の選択を行う。
【０１０３】
図１３は、本実施形態にかかる画像処理装置１０の動作を示す。図１３のステップＳ２３１の境界部判定処理は、第１実施形態の境界抽出処理と同様であるのでここでは説明を省略する。
【０１０４】
ステップＳ２３２では、解像度変換処理が実行される。解像度変換処理では、演算部１５は、解像度変換により原画像を予め定められた複数の解像度に変換する。変換後、ステップＳ２３３にて、演算部１５は、複数の解像度の各解像度の画像に対して、境界領域内の各位置において上記式（４）を用いてヘシアンを計算し、ステップＳ２３４にて、上記式（５）を用いてヘシアン行列式を計算する。
【０１０５】
次に、ステップＳ２３５にて、演算部１５は、境界部判定処理で境界と判定された各画素において、ヘシアン行列式が最大となる解像度を選択する。演算部１５は、この投票処理を境界部全画素に行い、選択画素が最も多い解像度を主解像度として決定する。次に、ステップＳ２３６にて、演算部１５は、主解像度の画像において境界部分の各画素のグラディエントを計算する。これ以降の処理は第1実施形態の処理と同様であるため、説明は省略する。
【０１０６】
［効果］
以上説明したように、第２実施形態にかかる画像処理装置１０によれば、画像形成のためのトナーパターンを生成する際、画像中の対象物体の境界領域についてクリアトナーパターンにグラデーション処理を施す。この境界領域のグラデーション処理によって、最終的な印刷物を自然に仕上げることができる。
【０１０７】
これに加えて、第２実施形態にかかる画像処理装置１０によれば、ＳＵＲＦを用いて多重解像度解析およびグラディエントの計算処理を行う。このため、各解像度について上式（５）を算出し、最大の解像度を主解像度として選択した後、主解像度の画像を対象として境界部分の各画素のグラディエントを計算する。これにより、第1実施形態で説明したグラディエントの計算の一部を省略することができる。よって、第２実施形態に係る画像処理装置１０にて実行される画像処理方法によれば、画像処理の負荷を軽減することができる。
【０１０８】
以上説明したように、第１および第２実施形態に係る画像処理装置により実行される画像処理方法によれば、画像形成のための記録材のパターンを生成する際、画像中の対象物体の境界領域のパターンにグラデーション処理を施すことにより、画像をより自然に仕上げることが可能な画像処理装置、画像処理方法およびそのプログラムを提供することができる。
【０１０９】
＜第３実施形態＞
（ルックアップテーブル）
次に、本発明の第３実施形態に係る画像処理装置１０について説明する。なお、第３実施形態に係る画像処理装置１０の機能構成及びハードウエア構成は、第１、２実施形態の画像処理装置と概ね同じである。ただし、第３実施形態に係る画像処理装置１０では、図１４に示したように、ルックアップテーブル１８ａが記憶部１８に予め登録されている。
【０１１０】
ルックアップテーブルの一例を図１５に示す。図１５に示した表の「Ｉ」は輝度を表し、「ｇｒａｄ」は輝度勾配を表す。ルックアップテーブルの分割数は、本例では輝度Ｉおよび輝度勾配ｇｒａｄをそれぞれ４分割としたが、これに限らず、クリアトナー濃度の求められる精度に依存した数となる。つまり、精度が高いほどルックアップテーブルの分割数は多くなる。また、輝度Ｉおよび輝度勾配ｇｒａｄの各要素における数値はクリアトナー濃度を％で示したものである。例えば、輝度が０以上５０未満であって、輝度勾配が０以上２５未満の場合、クリアトナー濃度は１０％となる。
【０１１１】
［画像処理装置の全体動作］
次に、第３実施形態に係る画像処理装置１０の全体動作について図１６のフローチャートを参照しながら説明する。第１実施形態と異なる点は、ステップＳ８７及びステップＳ８８である。
【０１１２】
まず、ステップＳ８０にて、前処理部１２は、ノイズ除去、解像度変換処理等を実行する（前処理）。次に、ステップＳ８１にて、領域分割部１３は、入力画像（取得画像）をトナーパターン形成のための対象領域とその他の領域に分割する（領域分割処理）。
【０１１３】
次に、ステップＳ８２にて、境界抽出部１４は、領域分割部１３により分割された領域を対象領域として入力して、対象領域の境界部分を抽出する（境界抽出処理）。境界抽出処理の詳細は、図９を参照しながら前述したので、ここでは説明を省略する。
【０１１４】
次に、ステップＳ８３にて、演算部１５は、対象領域の境界領域に含まれる画像データの特徴量を算出する（グラディエント計算処理）。演算部１５は、画像データの特徴量として各境界画素におけるグラディエントを計算する。本実施形態では、グラディエントは輝度Ｉ及び輝度勾配ｇｒａｄを意味する。輝度勾配ｇｒａｄは、簡単のためグラディエントを隣接画素との差分により近似する。
【０１１５】
次に、ステップＳ８７にて、判定部１６は、ルックアップテーブルを検索し、ステップＳ８８にて、ステップＳ８３にて算出された輝度及び輝度勾配に対応するクリアトナー濃度を特定する。次いで、ステップＳ８６にて、判定部１６は、特定したクリアトナー濃度に基づき、境界領域のクリアトナーのパターンのグラデーション処理を施す。
【０１１６】
以上のように、本実施形態に係る画像処理方法では、入力画像から抽出された輝度および輝度勾配情報と、その領域に与えるべきクリアトナーの濃度と、の関係をルックアップテーブルとして保持する。そして、これを利用することで入力画像の各画素についてのクリアトナー濃度を決定する。このように輝度及び輝度勾配とクリアトナー濃度とを関連付けてルックアップテーブルとして実装することで、トナーパターン生成時に極めて高速に各画素に対するクリアトナー濃度を決定することができる。
【０１１７】
なお、上記ルックアップテーブルでは、クリアトナー濃度を単純に数値で管理した。しかしながら、これに限らず、クリアトナー濃度の替わりにディザパターンとして印刷機（画像処理装置を含む画像形成装置）の性能を考慮した状態でルックアップテーブルに保持してもよい。ディザ（テクスチャ）パターンの一例を図１７に示す。図１７では、ディザパターン例として、クリアトナー濃度の替わりにパターンＡ、パターンＢ、パターンＣ、パターンＤが示されている。各パターンの黒画素の部分にクリアトナーを載せることになる。パターンＤは空白としてのパターンである。
【０１１８】
図１８は、にディザパターンを用いたルックアップテーブルの一例である。このルックアップテーブルではクリアトナー濃度ではなく、同濃度を与えるディザパターンを管理する。輝度Ｉおよび輝度勾配ｇｒａｄの各要素に対応して記憶された英字はディザパターンを示したものである。例えば、輝度が０以上５０未満であって、輝度勾配が０以上２５未満の場合、ディザパターンＢが選択される。図１８のルックアップテーブルの分割数は任意に決めることができる。
【０１１９】
なお、ディザパターンに関しては既知の一般的な手法で作成したものを利用することができる。また、ディザパターンは、記録材のパターンの一例であり、ディザパターン以外にも万線パターンや網点でもよく、万線パターンや網点によっても同様の効果を得ることができる。
【０１２０】
また、ルックアップテーブルは、輝度および輝度勾配のみならず、入力画像から抽出された特徴量と記録材のパターン（又は、クリアトナー濃度）とを関連付けて予め登録されることができる。特徴量と記録材のパターン（又は、クリアトナー濃度）との関連付けは、記録材のパターン（又は、クリアトナー濃度）が印刷物上のオブジェクト領域（対象領域）に対してどのような効果をもたらすか、オブジェクト領域の境界がどのような勾配やぼけ状態にあれば、どのようなパターン(濃度)がふさわしいかを示す。よって、これらの関連性を示すパターン例を特徴量との関係性とともにルックアップテーブルに予め蓄積する。
【０１２１】
これにより、ルックアップテーブルに基づき、印刷物に対して高い効果をもたらすようなクリアトナーパターン生成を極めて高速に行うことができる。
【０１２２】
＜おわりに＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明の技術的範囲はかかる例に限定されない。本発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属する。
【０１２３】
たとえば、上記実施形態では、境界領域における色の変化の度合いに応じて、境界領域の記録材のパターンのグラデーションが決定された。ここで、境界領域における色の変化の度合いは、輝度の勾配だけに基づき判定されてもよいし、輝度の勾配およびその勾配の角度に基づき判定することもできる。さらに、境界領域における色の変化の度合いは、輝度の勾配およびその勾配の角度に加えて、境界領域中の１色又は２色以上のカラーの変化の度合いにも基づき判定してもよい。
【０１２４】
また、上記実施形態では、トナーパターンは無色のトナーを用いることを前提として説明したが、有色のトナーであってもよい。
【０１２５】
本発明に係る画像処理装置は、印刷機、複合機の他、レーザプリンタなどの他の画像形成装置として構成することもできる。また、さらに他の実施形態では、上記の画像処理部を含むＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップなどの半導体デバイスとして画像処理装置を構成することもできる。
【符号の説明】
【０１２６】
１ 画像形成システム
１０ 画像処理装置
１１ 入力部
１２ 前処理部
１３ 領域分割部
１４ 境界抽出部
１５ 演算部
１６ 判定部
１７ パターン生成部
１８ 記憶部
１９ 色空間変換部
２０ 画像取得装置
３０ 画像出力装置
４０ 記憶装置
５０ ネットワーク
１２０ ＣＰＵ
１３０ ＲＯＭ
１４０ ＲＡＭ
１５０ 記憶部
１６０ 操作部
１７０ 表示部
１８０ 通信部
【先行技術文献】
【特許文献】
【０１２７】
【特許文献１】特許第４０８１３６５号公報
【特許文献２】特開２００７−１９９２９１号公報
【技術分野】
【０００１】
本発明は、画像形成のための記録材のパターンを生成する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、無色のトナーもしくはインクなどの記録材を利用して、電子写真記録方式やインクジェット記録方式等における画像形成を行う画像処理装置が開発されている。たとえば、特許文献１では、画像中のエッジ領域に対してクリアトナー量を減少させることにより紙面の凹凸を低減することが提案されている。特許文献２では、画像から特徴領域を抽出し、抽出された領域に選択的にクリアトナーを重ねることが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１、２では、写真中の対象物体に被写体ボケなどがあり対象物体の境界部分があいまいな場合に最終的な印刷物を自然に仕上げることは難しい。たとえば、特許文献１では、エッジなどの画像の特徴に従って、予め定められたクリアトナーのトナー量を変化させることは可能であるが、前記境界部分のあいまいさに応じてトナー量を簡易に変化させて調整することは難しい。また、特許文献２では、画像から抽出された特徴領域に対してクリアトナーの量を適宜調整することはできるが、特徴領域に対してグラデーションなどのパターンを形成することはできない。
【０００４】
上記課題に鑑み、本発明の目的とするところは、画像形成のための記録材のパターンを生成する際、画像をより自然に仕上げるために画像中の対象物体の境界領域のパターンを適正化することにある。
【課題を解決するための手段】
【０００５】
本発明の一の態様によれば、原画像から抽出される対象領域の画像形成のために原画像に重ねられる記録材のパターンを生成する画像処理装置であって、前記対象領域の境界領域に含まれる画像データの特徴量を算出する演算部と、前記特徴量に基づき、前記境界領域中の色の変化の度合いを判定する判定部と、前記境界領域中の色の変化の度合いに応じて、前記境界領域の記録材のパターンのグラデーションを決定するパターン生成部と、を備えることを特徴とする画像処理装置が提供される。
【発明の効果】
【０００６】
本発明によれば、画像形成のための記録材のパターンを生成する際、画像をより自然に仕上げることができる。
【図面の簡単な説明】
【０００７】
【図１】各実施形態に係る画像形成システムの全体構成図。
【図２】第１及び第２実施形態に係る画像処理装置の機能構成図。
【図３】原画像に対するトナーパターンを説明するための図。
【図４】原画像に対するトナーパターンのグラデーション処理を説明するための図。
【図５】各実施形態に係る画像処理装置にて画像処理する対象を説明する図。
【図６】各実施形態に係る画像処理装置にて画像処理する領域を説明する図。
【図７】グラデーションの方向の計算方法の一例を説明する図。
【図８】第１及び第２実施形態に係る画像処理装置の全体動作を示すフローチャート。
【図９】各実施形態に係る画像処理装置の境界抽出処理の概要を示すフローチャート。
【図１０】第１実施形態に係る画像処理装置のグラディエント計算処理を示すフローチャート。
【図１１】各実施形態に係る画像処理装置のグラディエント判定処理を示すフローチャート。
【図１２】各実施形態に係る画像処理装置のクリアトナーパターン生成処理を示すフローチャート。
【図１３】第２実施形態に係る画像処理装置の動作（グラディエント計算処理を含む）を示すフローチャート。
【図１４】第３実施形態に係る画像処理装置の機能構成図。
【図１５】ルックアップテーブルの一例を示した図。
【図１６】第３実施形態に係る画像処理装置の全体動作を示すフローチャート。
【図１７】ディザパターンの一例を示した図。
【図１８】ルックアップテーブルの一例を示した図。
【発明を実施するための形態】
【０００８】
以下、本発明の好適な実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【０００９】
＜はじめに＞
前述の通り、近年、無色のトナーもしくはインクなどの記録材を利用し、電子写真やインクジェットの画像形成などを行う画像処理装置が提案されている。この画像処理装置では、透明なトナー（以下、クリアトナーとも呼称する。）を原画像の一部分に重ねる。これは、スポットクリアと呼ばれている。このような画像形成により、光沢の差異によって原画像の一部分を目立たせることができる。
【００１０】
［クリアトナーパターン］
たとえば図３の左側に示した原画像の写真の空の領域を目立たせたい場合、その部分に図３の右側のクリアトナーパターンを重ねる。これにより仕上がった画像の空の領域を目立たせることができる。
【００１１】
原画像から抽出される空の領域が明確な場合には、後述する画像の領域分割処理が上手く機能するため、クリアトナーを重ねる領域も抽出されることが多い。しかし、画像処理する対象物体に被写体ボケなどがありその境界があいまいな場合には、クリアトナーを重ねる領域をきれいに抽出することは難しい。この場合、画像のあいまいさに合わせて画像中の対象物体の境界領域のパターンをなだらかに変化させるように、対象物体の境界領域でクリアトナー量を調整する。このようにして境界部分でのトナーパターンの遷移を滑らかにすることにより、最終的な印刷物の画像をより自然に仕上げることができる。
【００１２】
図３および図４では、原画像の空の領域および蛙の領域にそれぞれクリアトナーパターンを重ねる。たとえば、図４の蛙の後部の境界部分は被写体ボケによりあいまいになっている。このため、クリアトナーパターンの対応部分（境界部分Ａの点線部分）にグラデーション処理が施される。これらのクリアトナーパターンではいずれも、黒が最大のトナー量、白が最小のトナー量となっている。
【００１３】
［画像処理の対象領域］
以下の実施形態では、上記クリアトナーパターンのグラデーション処理を中心に説明するが、ここでは、その前提となる画像処理の対象領域について簡単に説明する。
【００１４】
入力画像を解析し、適切なクリアトナー版を作成するためには、
（１）クリアトナーパターンを重ねる領域の抽出
（２）該抽出領域に対して与える、クリアトナーの空間的パターン（クリアトナーパターン）の決定
の２ステップが必要である。
（１）の手法としては、例えば顔領域抽出などの一般的な物体抽出方法によって原画像から抽出された領域を対象領域としてもよいし、ユーザに手動で領域を指定させ、その領域を対象領域として抽出してもよい。
（２）の手法としては、例えば前記（１）によって抽出された対象領域もしくはその他の画像領域から抽出された特徴量に基づいて、予め定められたパターンの中から任意の空間パターンを選択してもよく、対象領域を単に一律に塗りつぶしてもよい。
【００１５】
以下に説明する各実施形態では、図５の左側に示したように、原稿（原画像）中のクリアトナーパターンを乗せるべき対象領域は既に決まっているものとし、その対象領域に与えるクリアトナーの空間的なパターン（図５の右側の領域中のテクスチャ）を決定することを中心に説明する。空間的パターンには、少なくとも境界部分のグラデーションが含まれる。
【００１６】
更に以下に説明する各実施形態では、たとえば図６の右上の空間的パターンのうち、図６の左上の対象領域の対象物体が明確なオブジェクト部分に対応する空間的パターンＢは既に塗りつぶされていると仮定し、対象物体がボケている、対象領域の境界部分Ｃのクリアトナーパターン（空間的パターン）の生成を中心に説明する。つまり、以下では、クリアトナーパターンは境界領域を除いてほぼ一律な値を持っているとして説明するが、これに限られない。
【００１７】
境界領域は次のようにして定められる。たとえば図６の左下に示したように画像の領域分割処理後の領域Ｄを解析し、グラディエントを算出する。算出されたグラディエントの絶対値と所与の閾値との比較処理により、実際にクリアトナーを乗せる境界領域Ｅ（図６右下）を決める。そして、他の部分と違和感のないように境界領域Ｅのクリアトナーパターンにグラデーションを施す。以下の実施形態では、境界領域のクリアトナーパターンのグラデーション処理を中心に説明する。
【００１８】
＜第１実施形態＞
［画像形成システムの全体構成（画像処理装置のハードウエア構成）］
まず、本発明の第１実施形態に係る画像形成システムの全体構成について、図１を参照しながら説明する。図１は、本実施形態に係る画像形成システムの全体構成の一例を示した図であり、画像処理装置のハードウエア構成図を含む。
【００１９】
画像形成システム１は、画像処理装置１０、画像取得装置２０、画像出力装置３０および記憶装置４０を有する。ネットワーク５０は、画像処理装置１０、画像取得装置２０、画像出力装置３０および記憶装置４０を接続する。ネットワーク５０は、有線、無線のいずれであってもよい。
【００２０】
画像処理装置１０は、無色のトナーもしくはインクなどの記録材のパターンを生成し、電子写真記録方式やインクジェット記録方式等における画像形成を行う。画像処理装置１０は、たとえば、プリンタ、複写機、印刷機等に内蔵され、プリンタ等の本体と一体となっていてもよいし、本体と別体となって設けられてもよい。
【００２１】
画像処理装置１０は、一般的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）として構成され得る。画像処理装置１０は、ネットワーク５０を通じてスキャナなどの画像取得装置２０、プリンタなどの画像出力装置３０、ハードディスクドライブ（ＨＤＤ）などの記憶装置４０と接続される。
【００２２】
画像処理装置１０は、内部バス１１０と、内部バス１１０にそれぞれ接続されるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４０、記憶部１５０、操作部１６０、表示部１７０、および通信部１８０を有する。
【００２３】
ＲＯＭ１３０は、プログラムやデータを記憶するメモリである。ＲＡＭ１４０は、ＣＰＵ１２０が各種動作を行うときに必要なプログラムやデータを一時的に記憶するメモリである。ＣＰＵ１２０は、ＲＯＭ１３０や記憶部１５０に格納されているプログラムやデータをＲＡＭ１４０に読み込んで実行することにより、画像処理装置１０の全体を制御するプロセッサである。
【００２４】
記憶部１５０は例えばハードディスクドライブからなり、ＣＰＵ１２０が各種動作を行うときに使用するプログラムやデータを記憶する大容量の内部記憶装置である。操作部１６０は、ユーザが画像処理装置１０を操作するためのユーザインタフェースであり、例えばキーボードやマウスなどから構成される。表示部１７０は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）など、操作部１６０から入力された情報や画像処理装置１０の動作状態などを表示するユーザインタフェースである。通信部１８０は、ネットワーク５０を介して、画像取得装置２０、画像出力装置３０および記憶装置４０とデータ通信を行うための装置である。
【００２５】
画像取得装置２０は、写真、原稿、風景などの画像の画像情報を取得する装置である。画像取得装置２０の一例としては、イメージスキャナやデジタルカメラが挙げられるが、これに限られない。
【００２６】
画像出力装置３０は、画像を形成する装置である。画像出力装置３０の一例としては、例えば電子写真記録方式やインクジェット記録方式のプリンタやプロッタが挙げられるが、これに限られない。記憶装置４０は、ハードディスクドライブ（ＨＤＤ）などの大容量の外部記憶装置である。
【００２７】
かかる構成により、画像処理装置１０は、記憶部１５０および外部の記憶装置４０のいずれかに保持される入力画像、もしくは画像取得装置２０により取得される入力画像を取得する。取得された入力画像は、作業用のＲＡＭ１４０に一時的に記憶され、予め定められた処理方法により画像処理される。画像処理の結果は、ＲＡＭ１４０又は記憶部１５０に記憶されてもよく、ネットワーク５０を介して記憶装置４０に記憶されてもよい。画像形成システム１では、ユーザからの指示に従い、画像処理装置１０がＲＡＭ１４０に記憶された画像形成済みの画像情報をネットワーク５０を経由して画像出力装置３０へ送信すると、画像出力装置３０は画像処理された画像を印刷して出力する。
【００２８】
このように画像処理装置１０は、予め定められた処理方法により、入力画像を処理するが、これは、ＣＰＵ１２０がＲＯＭ１３０、ＲＡＭ１４０、記憶部１５０等から読み出されたプログラムを実行することにより実現され得る。プログラムは、複数の命令列から構成されていて、ＣＰＵ１２０はプログラムの各命令列を順に実行する。このようなＣＰＵ１２０の動作により、画像処理装置１０において次に説明する各部の機能が発揮される。
【００２９】
［画像処理装置の機能構成］
次に、本実施形態に係る画像処理装置の機能構成について、図２を参照しながら説明する。図２は、本実施形態に係る画像処理装置の機能構成図である。
【００３０】
本実施形態に係る画像処理装置１０は、入力部１１、前処理部１２、領域分割部１３、境界抽出部１４、演算部１５、判定部１６、パターン生成部１７、記憶部１８および色空間変換部１９を有する。
【００３１】
入力部１１は、記憶部１５０又は画像取得装置２０から入力画像（デジタル画像）を取得する。色空間変換部１９は、入力画像がＲＧＢカラーで表現されている場合、プリンタやプロッタの色材（例えばＣＭＹＫ）に従って色空間を変換する。
【００３２】
画像処理装置１０は、色空間変換部１９から出力された上記ＣＭＹＫの４色のトナーを用いた出力画像（ＣＭＹＫ）のほか、透明トナーを用いて、原画像から抽出される対象領域に対する画像形成を行うための記録材のパターンを生成し、出力画像(トナーパターン)として出力する。本実施形態では透明なトナーを用いて透明トナーパターン（すなわち無色版）を生成する。なお、以下では、本実施形態では透明トナーパターンをクリアトナーパターン又は単にトナーパターンとも称呼する。
【００３３】
本実施形態では透明なトナーを用いるが、これに限られず、無色の記録材であれば、透明なインク等であってもよいし、その他のカラートナーやカラーインク等を用いて記録材のパターンを生成することもできる。なお、画素値は、画像信号が白黒であれば輝度値が用いられ、カラーであれば輝度値や色（カラー）に関する１または２以上の色信号等が用いられる。
【００３４】
トナーパターンの生成に際しては、まず前処理部１２が入力画像の前処理を行う。前処理部１２により行われる前処理の内容は、対象とする画像やシステムに依存するが、多くの場合、ノイズ除去、解像度変換処理等が含まれる。ＤＴＰ（Ｄｅｓｋ Ｔｏｐ Ｐｕｂｌｉｓｈｉｎｇ）処理の場合は、多くのオブジェクトがベクターデータとして表されているため、それらに対してはノイズ除去や解像度変換を行う必要はないことが多い。しかしながら、本実施形態で対象としているのはＤＴＰで扱われるラスター画像オブジェクトである。このため、本実施形態では、前処理部１２が、ノイズ除去、解像度変換処理等の処理を行うことを想定する。
【００３５】
次に領域分割部１３は、領域分割処理を行い、画像をトナーパターン形成のための対象領域とその他の領域に分割する。領域分割部１３は、領域分割処理を自動で実行するか、ユーザの指示に応じて処理し得る。自動で行う場合、領域分割部１３は、例えば平均値シフト法などのように画像中の領域数を仮定しないノンパラメトリック法を用いることもできるし、予め抽出対象が判っている場合には、例えばｋ−ｍｅａｎｓ法のようなモデルや領域数を仮定するパラメトリック法を用いてもよい。
【００３６】
境界抽出部１４は、領域分割部１３により分割された特定の画像領域を対象領域として入力して、対象領域の境界部分を抽出する。境界は幅０の曲線として定義することもできる。しかし、本実施形態にかかる画像形成システム１では境界部分にグラデーションを与えることが重要であるため、対象領域の境界部分に、ある有限の値の幅を持たせることが必要である。よって、本実施形態においては、抽出された境界領域は、図６の右下に示した境界領域Ｅのようにある幅をもった領域となる。なお、境界領域の抽出には様々な方法があり得るが、例えば図９のフローチャートで示す方法を用いて抽出することができる。図９のフローチャートについては後述する。
【００３７】
演算部１５は、対象領域の境界領域に含まれる画像データの特徴量を算出する。演算部１５は、前記特徴量として境界領域の輝度情報を算出してもよい。演算部１５は、前記特徴量として輝度情報とともに境界領域の１又は２以上のカラー情報を算出してもよい。
【００３８】
判定部１６は、前記特徴量に基づき境界領域中の色の変化の度合いを判定する。たとえば、判定部１６は、輝度情報に基づき境界領域中の色の変化の度合いを判定することができる。判定部１６は、輝度情報および１又は２以上のカラー情報に基づき境界領域中の色の変化の度合いを判定してもよい。
【００３９】
パターン生成部１７は、境界領域中の色の変化の度合いに応じて、境界領域の記録材のパターンのグラデーションを計算により決定する。例えば、判定部１６が、境界領域中の色の変化の度合いとして前記境界領域の各画素の輝度勾配（以下、輝度勾配をグラディエントとも呼ぶ）および当該勾配の方向を判定した場合、パターン生成部１７は、判定部１６により判定された輝度勾配および当該勾配の方向に応じて、境界領域の記録材のパターンのグラデーションを決定することができる。
【００４０】
また、判定部１６が、境界領域中の色の変化の度合いとして境界領域中の１又は２以上のカラーおよび輝度勾配および当該勾配の方向を判定した場合、パターン生成部１７は、判定部１６により判定された境界領域中の１又は２以上のカラーの変化、輝度勾配、当該変化および勾配の方向に応じて、境界領域の記録材のパターンのグラデーションを決定してもよい。
【００４１】
記憶部１８には、判定部１６が所定の判定を実行するために必要な閾値等の各種データが記憶される。
【００４２】
パターン生成部１７にて生成されたトナーパターンの画像データ（出力画像：トナーパターン）は、例えば、画像出力装置３０に送られてもよい。その場合、画像出力装置３０では、色空間変換部１９から送られてきた、ＣＭＹＫの出力画像データを利用し、シアン、マゼンタ、イエロー、ブラックの４色のトナーにより４つの版の画像を形成することに加えて、トナーパターンの出力画像データによりトナーパターン（無色版画像）を形成する。画像出力装置３０は、それらを紙面に印刷して、グロッサーと呼ばれる高温高圧による印刷表面処理機を通すことにより、高い光沢性を有する印刷物を出力する。画像出力装置３０は、これにより画像処理を終了するが、印刷が終了した旨のメッセージをオペレータ６０に通知してもよい。
【００４３】
［境界領域の解析原理］
本実施形態に係る画像処理装置１０は、上記領域分割処理により分割された領域の解析に様々な手法を利用可能である。ただし、本実施形態で提案する画像処理では、クリアトナーによる光沢が、画像の内容に対して違和感なく再現されることが重要であるから、画像の内容を解析して分割された領域から境界部分を決定することが妥当であり、好ましい。具体的には、分割された領域の画像の輝度勾配（グラディエント）を基に、トナーパターンを生成すべき領域を決定する。
【００４４】
スカラー量をψ（本実施形態の場合は画像の輝度）とすると、一般的にグラディエント（輝度勾配）はベクトル場として以下のように表される。
【００４５】
【数１】
ここでｘ１，・・・，ｘｎはφの分布する次元の各軸である。今回の場合は画像のｘ，ｙ軸の位置がこれに相当する。ｅ１，・・・，ｅｎはこれらの軸における単位ベクトルである。
そのため今回の場合をまとめると、画像の輝度をＩとして、輝度グラディエント（∇Ｉ）は以下の式のようになる。
【００４６】
【数２】
図６の左下の領域Ｄの各画素について、このグラディエントを計算し、その絶対値|∇Ｉ|が予め定めた閾値以下である場合には、当該画素がグラデーション領域であると判断する。
【００４７】
【数３】
（ＳＵＲＦ）
これ以外にも、グラデーション領域の判定に第２実施形態にて使用する多重解像度解析を用いたＳＵＲＦ(Speeded-Up Robust Features)を用いることもできる。この場合、グラディエントは複数の解像度で計算されることになる。更に各解像度でヘシアンを計算し、その行列式が最も大きくなる解像度を主解像度として選択し、該解像度のグラディエントを、当該位置でのグラディエントとして用いる。グラディエントが決まった後の処理は前記の処理と同様である。
【００４８】
【数４】
この解像度選択では、上式に表されるヘシアン（Ｈ（ｘ，σ））の行列式を用いる。上式は二次元の場合のヘシアンであり、ｘは位置（ｘ，ｙ）、σは解像度をそれぞれ表す。Ｌｘｘ（ｘ，σ）は、位置（ｘ，ｙ）、解像度σにおける、二階偏微分（この場合はｘ方向を２階）を示した、２次のグラディエントである。Ｌｘｙなどについてもそれぞれの方位での二階偏微分を表す。今回の２次元の場合のヘシアンＨの行列式ｄｅｔ（Ｈ（ｘ，σ））は以下のように表すことができる。ここでＩ（ｘ，σ)は位置ｘ＝（ｘ，ｙ）における輝度を表す。この行列式はヘシアンが計算される画像領域における輝度変化の凸性を示している。
【００４９】
【数５】
各解像度σについて上記行列式を計算し、最大のものを与える解像度σを主解像度とし、該解像度におけるグラデーションを利用するものとする。
【００５０】
領域境界のグラデーション領域が決まった後、クリアトナー版におけるグラデーションを構成する。最も単純には原稿における輝度グラディエントと同じグラディエントを、クリアトナー版においても利用する方法がある。つまり、原稿における位置（ｘ，ｙ）における輝度をＩｘ，ｙとして、位置（ｘ，ｙ）でのクリアトナーパターンの値Ｔｘ，ｙは以下のように表すことができる。
【００５１】
【数６】
グラデーション方向に関してはグラディエントの計算を利用し以下のように表される。
【００５２】
【数７】
ただし、θはｘ軸正方向と該グラディエントとのなす角とする。
【００５３】
定義域、値域は実装に依存するが、原稿画像データの輝度成分及びクリアトナー版が、それぞれ８ｂｉｔで表されるとすると、以下のように定義できる。
【００５４】
【数８】
ここで、図７にも示したように、ｕは、上記グラデーション方向を表す。つまり原稿画像は位置（ｘ１，ｙ１）を原点として正規化されているものとする。
【００５５】
行列形式でこの正規化を書き下すと、角度θでの回転行列Ｒ（θ）と、位置（ｘ１，ｙ１）の移動行列Ｓ（ｘ１，ｙ１）はそれぞれ以下のようになる。
【００５６】
【数９】
【００５７】
【数１０】
これらを合わせると、正規化出力（ｘ'，ｙ'）は入力（ｘ，ｙ）を用いて以下のように表すことができる。
【００５８】
【数１１】
以上により、グラデーションの方向を考慮したステップ型のクリアトナーの境界領域を形成することができる。
【００５９】
［画像処理装置の全体動作］
次に、画像処理装置１０の全体動作について図８のフローチャートを参照しながら説明し、その後、図８で示した各処理の詳細について図９〜図１２のフローチャートを参照しながら説明する。画像処理装置１０は、図８の基本処理に従ってクリアトナーパターンを生成する。
【００６０】
（前処理）
まず、ステップＳ８０にて、前処理部１２は、ノイズ除去、解像度変換処理等を実行する。
【００６１】
（領域分割処理）
次に、ステップＳ８１にて、領域分割部１３は、領域分割処理を行い、入力画像（取得画像）をトナーパターン形成のための対象領域とその他の領域に分割する。領域分割部１３は、たとえばsplit and mergeアルゴリズムを用いて画像を各領域へ分割することができるが、領域分割処理方法は上記アルゴリズムに限られない。split and mergeアルゴリズムは、画像を均一な領域に分割することを試みるもので、最初に全体画像を１つの領域として初期推定し、その領域が実質的に均一であるかどうかを判断する。すなわち、予め定められた基準値を基に判断を行い、均一ではないと判断した場合、その領域を均等に４つの領域へ分割する。これを分割した各領域についても行い、分割が必要なくなるまでこの処理を繰り返す。その後、その基準値を満足し、互いに隣接し、類似する領域同士を結合していき、結合できるものがなくなった時点で、この処理を終了する。
【００６２】
（境界抽出処理）
次に、ステップＳ８２にて、境界抽出部１４は、領域分割部１３により分割された領域を対象領域として入力して、対象領域の境界部分を抽出する。境界抽出処理の詳細については、図９を参照しながら後程説明する。
【００６３】
（グラディエント計算処理）
次に、ステップＳ８３にて、演算部１５は、対象領域の境界領域に含まれる画像データの特徴量を算出する。グラディエント計算処理の詳細については、図１０を参照しながら後程説明する。
【００６４】
（グラディエント判定処理）
次に、ステップＳ８４にて、判定部１６は、前記特徴量に基づき、境界領域中の色の変化の度合いとしてグラディエントの変化値とグラディエントの方向を判定する。本実施形態では、グラディエントの変化値として隣接する画素の輝度勾配を算出し、グラディエントの方向として前記輝度勾配の角度を判定する。グラディエント判定処理の詳細については、図１１を参照しながら後程説明する。
【００６５】
（グラデーション計算処理）
次に、ステップＳ８５にて、パターン生成部１７は、境界領域中の輝度勾配および当該勾配の方向に応じて境界領域中のグラデーションを算出する。
【００６６】
（クリアトナーパターン生成処理）
次に、ステップＳ８６にて、パターン生成部１７は、算出されたグラデーションの値を用いて境界領域のトナーパターンにグラデーション処理を施す。グラデーション計算処理およびクリアトナーパターン生成処理の詳細については、図１２を参照しながら後程説明する。
【００６７】
［画像処理装置の境界抽出］
次に、境界抽出処理（図８のステップＳ８２）の詳細について、図９のフローチャートを参照しながら説明する。図９は、本実施形態に係る画像処理装置の境界抽出処理を示すフローチャートである。なお、境界抽出処理は、境界抽出部１４により実行される。
【００６８】
図９を参照すると、まず、ステップＳ９０にて、境界抽出部１４は、分割された領域のエッジを抽出する。次に、ステップＳ９１にて、境界抽出部１４は、抽出されたエッジの状態を評価する。次に、ステップＳ９２にて、境界抽出部１４は、エッジの評価に従い対象領域の境界領域を抽出する。これにより、たとえば、図６の左下に示した領域分割後の対象領域Ｄに対して、図６の右下に示した境界領域Ｅが形成される。なお、境界領域Ｅ以外の対象領域は、図６の右上に示したように均一なトナー量で一律にパターン化してもよいが、これに限られずトナー量を不均一にしてもよい。
【００６９】
［画像処理装置のグラディエント計算］
次に、グラディエント計算処理（図８のステップＳ８３）の詳細について、図１０のフローチャートを参照しながら説明する。グラディエント計算処理は、演算部１５により実行される。なお、下記width, heightはそれぞれ入力画像の幅と高さを表す。
【００７０】
演算部１５は、画像データの特徴量として各境界画素におけるグラディエントを計算する。本実施形態では、グラディエントは輝度勾配を意味し、簡単のためグラディエントを隣接画素との差分により近似する。
【００７１】
図１０において、Ｉ(x,y)は位置(x, y)における輝度値を返す関数、dx, dy, dl, thetaはそれぞれ位置(x, y)における、x方向の変分、y方向の変分、グラディエントの絶対値、グラディエントの角度を表す。
【００７２】
最初に、ステップＳ１０１にて、演算部１５は、変数ｉ，ｊを初期化する。変数ｉ，ｊは、境界領域の所定の位置の画素を示す。次に、ステップＳ１０２にて、演算部１５は、変数ｉを１加算して変数ｉｉに代入し(ii=i+1)、ステップＳ１０３にて、変数ｊを１加算し変数ｊｊに代入する(jj=j+1)。次に、ステップＳ１０４にて、演算部１５は、変数ｉｉが入力画像の幅widthより小さく,かつ変数ｊｊが入力画像の高さheightより小さいかを判定する（ii＜width && jj＜height?）。
【００７３】
ステップＳ１０４にてＮＯの場合、演算部１５は、ステップＳ１０５〜ステップＳ１０８の処理をスキップしステップＳ１０９の処理を行う。ステップＳ１０４にてＹＥＳの場合、演算部１５は、ステップＳ１０９の処理の前にステップＳ１０５〜ステップＳ１０８の処理を実行する。ステップＳ１０５では、演算部１５は、ｘ方向の隣接する画素の輝度値の差分（ｘ方向のグラディエント）を算出する(dx=I(ii,j)-I(i,j))。次に、ステップＳ１０６にて、演算部１５は、ｙ方向の隣接する画素の輝度値の差分（ｙ方向のグラディエント）を算出する(dy=I(i,jj)-I(i,j))。
【００７４】
次に、ステップＳ１０７にて、演算部１５は、ｘ方向のグラディエントｄｘおよびｙ方向のグラディエントｄｙの２乗和の平方根を算出することにより、グラディエントの絶対値ｄｌを算出する(dl=sqrt(dx2+dy2)。次に、ステップＳ１０８にて、演算部１５は、ｘ、ｙ方向のグラディエントｄｘ、ｄｙを逆正接関数に用いてグラディエントの角度thetaを算出する（theta＝arctan(dy/dx)）。
【００７５】
次に、ステップＳ１０９にて、演算部１５は、変数ｉを１加算し(i++)、ステップＳ１１０にて、変数ｉが入力画像の幅widthより大きいかを判定する（i＞width?）。ステップＳ１１０にてＮＯの場合、ステップＳ１０２に戻り、演算部１５は、次の画素に対してステップＳ１０２からの処理を繰り返す。一方、ステップＳ１１０にてＹＥＳの場合、ステップＳ１１１に進み、演算部１５は、変数ｊを１加算し(j++)、ステップＳ１１２にて、変数ｊが入力画像の高さheightより大きいかを判定する（j＞height?）。ステップＳ１１２にてＮＯの場合、ステップＳ１０２に戻り、演算部１５は、次の画素に対してステップＳ１０２からの処理を繰り返す。一方、ステップＳ１１２にてＹＥＳの場合、本処理を終了する。以上の計算により、境界領域の各画素についてのグラディエントの絶対値ｄｌおよびグラディエントの角度thetaが算出される。
【００７６】
［画像処理装置のグラディエント判定］
上記グラディエントの絶対値ｄｌやグラディエントの角度thetaは、境界部分のグラデーションの判定に用いられる。最も単純にはこの判定は、判定部１６が画素ごとにグラディエントの絶対値ｄｌと所与の閾値とを比較（閾値処理）することによって実現され得る。
【００７７】
しかし、より高精度な処理のためには、グラディエントの方位や方向がどのように分布しているのかを判定する必要がある。この例を図１１のフローチャートを参照しながら説明する（グラディエント判定処理：図８のステップＳ８４）。グラディエント判定処理は、判定部１６により実行される。
【００７８】
以下の例で、avg_dl(x, y)、avg_th(x, y)のそれぞれは、境界部分の位置(x, y)を中心とする縦横２sigma(シグマ)のサイズの矩形内部でのグラディエントの絶対値dl及びグラディエントの角度thetaの平均値を、std_dl(x, y)、std_th(x, y)は同矩形内部でのdl及びthetaの標準偏差を示す。関数gradient (x, y)は、位置(x, y)の画素が充分に平滑なグラデーション領域に属している場合には1を、それ以外の場合には0をとる判定関数である。この判定では前述したグラディエントの絶対値dl及びグラディエントの角度thetaの標準偏差が予め定められた閾値TH1及びTH2よりそれぞれ小さいことを条件としている。avg_th及びstd_thの計算には、サイクリックな引数の場合の補正処理が必要となるが、以下の例では簡単のため通常の引数と同様に扱っている。
【００７９】
最初に、ステップＳ１１１にて、判定部１６は、変数ｉ，ｊを初期化する。変数ｉ，ｊは、境界領域の所定の位置の画素を示す。次に、ステップＳ１１２にて、判定部１６は、変数ｉからsigmaのサイズを減算して変数ｉｉに代入し(ii=i-sigma)、ステップＳ１１３にて、変数ｊからsigmaのサイズを減算して変数ｊｊに代入する(jj=j-sigma)。
【００８０】
次に、ステップＳ１１４にて、判定部１６は、変数ｉｉおよび変数ｊｊが０より大きい値であって、変数ｉｉが入力画像の幅widthより小さく,かつ変数ｊｊが入力画像の高さheightより小さいかを判定する（ii＞０ && jj＞０ && ii＜width && jj＜height?）。
【００８１】
ステップＳ１１４の判定の結果、ＮＯの場合、判定部１６は、ステップＳ１１５、Ｓ１１６の処理をスキップしステップＳ１１７の処理を行う。一方、ステップＳ１１４にてＹＥＳの場合、判定部１６は、ステップＳ１１５にてグラディエントの絶対値dlの平均値avg_dl(i,j)と、位置(i,j)からsigmaだけずれた位置のグラディエントの絶対値dl(ii, jj)との差分の２乗をtmp_dl+として求める(tmp_dl+=(avg_dl(i,j)-dl(ii, jj))*(avg_dl(i,j)-dl(ii, jj))。
【００８２】
次に、ステップＳ１１６にて、判定部１６は、グラディエントの角度thetaの平均値avg_th(i,j)と、位置(i,j)からsigmaだけずれた位置のグラディエントの角度theta(ii, jj)との差分の２乗をtmp_ th +として求める(tmp_th+=(avg_th(i,j)- theta (ii, jj))*(avg_th(i,j)- theta (ii, jj))。
【００８３】
次に、ステップＳ１１７にて、判定部１６は、変数jjが変数ｊにsigmaを加算した値より大きいかを判定する（jj＞ｊ＋sigma？）。ステップＳ１１７にてＮＯの場合、ステップＳ１１８にて変数jjを１加算してステップＳ１１４に戻り、ステップＳ１１５からの処理を再度実行する。一方、ステップＳ１１７にてＹＥＳの場合、ステップＳ１１９に進み、変数iiが変数ｉにsigmaを加算した値より大きいかを判定する（ii＞ｉ＋sigma？）。ステップＳ１１９にてＮＯの場合、ステップＳ１２０にて変数iiを１加算してステップＳ１１４に戻り、ステップＳ１１５からの処理を再度実行する。
【００８４】
ステップＳ１１９にてＹＥＳの場合、ステップＳ１２１に進み、判定部１６は、グラディエントの絶対値dlの標準偏差std_dl(i,j)を算出する(std_dl(i,j)=sqrt(tmp_dl)/t)。次に、ステップＳ１２２にて、判定部１６は、グラディエントの角度thetaの標準偏差std_th(i,j)を算出する(std_th(i,j)=sqrt(tmp_th)/t)。
【００８５】
次に、ステップＳ１２３にて、判定部１６は、グラディエントの絶対値dlの標準偏差std_dl(i,j)が予め定められた閾値TH1より小さく、かつ及びグラディエントの角度thetaの標準偏差std_th(i,j)が予め定められた閾値TH2より小さいかを判定する(std_dl(i,j)<TH1 && std_th(i,j)<TH2)。ステップＳ１２３にてＹＥＳの場合、ステップＳ１２４にて、判定部１６は、判定関数gradient(i,j)に、位置(i,j)の画素が充分に平滑なグラデーション領域に属していることを示す「1」を代入し、それ以外の場合にはステップＳ１２５にて充分に平滑なグラデーション領域以外の領域であることを示す「０」を代入する。
【００８６】
なお、本実施形態では、ステップＳ１２３にて、グラディエントの絶対値dlの標準偏差std_dl(i,j)およびグラディエントの角度thetaの標準偏差std_th(i,j)がそれぞれ閾値TH1,TH2より小さい場合、判定関数gradient(i,j)に、位置(i,j)の画素が充分に平滑なグラデーション領域に属していることを示す「1」を代入した。しかしながら、グラディエントの絶対値dlの標準偏差std_dl(i,j)が閾値TH1より小さいか、またはグラディエントの角度thetaの標準偏差std_th(i,j)が閾値TH2より小さいか、のいずれかを満足した場合、判定関数gradient(i,j)に、位置(i,j)の画素が充分に平滑なグラデーション領域に属していることを示す「1」を代入してもよい。
【００８７】
［画像処理装置のグラデーション計算及びクリアトナーパターン生成］
次に充分に平滑なグラデーション領域に属している境界画素に対して、クリア版（トナーパターン）におけるグラデーションを計算により決定する。クリア版におけるグラデーション計算にはいくつかの方法があるが、最も単純には、これまでに計算されてきた原画像におけるグラディエントｄｌを利用する方法がある。
【００８８】
境界画素において輝度のグラディエントと同じグラディエントを持つクリア版を構成するためには、以下のような方法でクリア版のグラデーションを計算する必要がある。グラデーション計算処理（図８のステップＳ８５）およびクリアトナーパターン生成処理（図８のステップＳ８６）の詳細について、図１２のフローチャートを参照しながら説明する。グラデーション計算処理およびクリアトナーパターン生成処理は、パターン生成部１７により実行される。
【００８９】
ここでI(x,y)、T(x,y)はそれぞれ入力画像の輝度成分（グラディエント）、クリア版の位置(x,y)におけるクリアトナーパターンの値を表す。またgrad_field_x(x,y)及びgrad_field_y(x,y)はそれぞれ位置(x, y)におけるx方向変位の合計、y方向変位の合計である。
【００９０】
最初に、ステップＳ１２１にて、パターン生成部１７は、変数ｉ，ｊを初期化する。次に、ステップＳ１２２にて、パターン生成部１７は、位置(x, y)におけるx方向変位の合計grad_field_x(x,y)及び位置(x, y)におけるｙ方向変位の合計grad_field_y(x,y)を初期化する。次に、ステップＳ１２３にて、パターン生成部１７は、位置(i,j-1)におけるy方向変位の合計grad_field_y(i,j-1)にy方向の変分dy(i,j)を加算し、grad_field_y(i,j)に代入する（grad_field_y(i,j)＝grad_field_y(i,j-1)＋dy(i,j)）。
【００９１】
次に、ステップＳ１２４にて、パターン生成部１７は、変数ｊが高さheightより大きいかを判定する（j＞height?）。ステップＳ１２４にてＮＯの場合、ステップＳ１２５にて変数ｊを１加算してステップＳ１２３に戻り、ステップＳ１２３の処理を再度実行する。一方、ステップＳ１２４にてＹＥＳの場合、ステップＳ１２６にてパターン生成部１７は、変数ｉが幅widthより大きいかを判定する（i＞width?）。ステップＳ１２６にてＮＯの場合、ステップＳ１２７にて変数ｉを１加算してステップＳ１２３に戻り、ステップＳ１２３の処理を再度実行する。
【００９２】
一方、ステップＳ１２６にてＹＥＳの場合、ステップＳ１２８にてパターン生成部１７は、再度変数ｉ，ｊを初期化する。次に、ステップＳ１２９にて、パターン生成部１７は、位置(i-1,j)におけるｘ方向変位の合計grad_field_x(i-1,j)にｘ方向の変分dx(i,j)を加算して、grad_field_x(i,j)に代入する（grad_field_x(i,j)＝grad_field_x(i-1,j)＋dx(i,j)）。
【００９３】
次に、ステップＳ１３０にて、パターン生成部１７は、変数ｉが幅widthより大きいかを判定する（i＞width?）。ステップＳ１３０にてＮＯの場合、ステップＳ１３１にて変数ｉを１加算してステップＳ１２９に戻り、ステップＳ１２９の処理を再度実行する。一方、ステップＳ１３０にてＹＥＳの場合、ステップＳ１３２にてパターン生成部１７は、変数ｊが高さheightより大きいかを判定する（j＞height?）。ステップＳ１３２にてＮＯの場合、ステップＳ１３３にて変数ｊを１加算してステップＳ１２９に戻り、ステップＳ１２９の処理を再度実行する。
【００９４】
一方、ステップＳ１３２にてＹＥＳの場合、ステップＳ１３４にてパターン生成部１７は、２乗平均を用いて、位置Ｔ(i,j)におけるクリアトナーパターンを算出する(T(i,j)=sqrt(grad_field_x(i,j)2+grad_field_y(i,j)2))。つまり、位置Ｔ(i,j)におけるクリアトナーパターンは、x方向変位の合計grad_field_x(i,j)の２乗とｙ方向変位の合計grad_field_y(i,j)の２乗とを加算した値の平方根をとる。
以上の計算により、境界領域の各画素についてクリアトナーパターンのグラデーションを決定することができる。
【００９５】
なお、パターン生成部１７は、上記計算方法によりステップＳ１３４にて位置Ｔ(i,j)におけるクリアトナーパターンを算出する代わりに、予めルックアップテーブルを用意し、ルックアップテーブルを用いて、計算されたグラディエントの絶対値に対するクリアトナーパターンを決定してもよい。
【００９６】
また、パターン生成部１７は、上記計算方法によりステップＳ１３４にて位置Ｔ(i,j)におけるクリアトナーパターンを算出する代わりに、x方向変位の合計grad_field_x(i,j)とｙ方向変位の合計grad_field_y(i,j)とを加算する方法を採用することもできる。この加算値は、マンハッタン距離とも呼ばれ、クリアトナーパターンの真の値に対してその近似値を比較的高い精度で算出することができ、かつ上記画像処理の負荷を軽減することができる。
【００９７】
［効果］
以上説明したように、本実施形態にかかる画像処理装置１０によれば、画像形成のためのトナーパターンを生成する際、画像中の特定の対象物体の境界領域についてクリアトナーパターンにグラデーション処理を施す。
【００９８】
たとえば図４に示したように、入力画像の蛙の領域にクリアトナーパターンを重ねる場合について本実施形態の効果の一例を説明する。ここでは、蛙が画像中の特定の対象物体、蛙の領域がトナーパターンを重ね合わせる対象領域である。図４の写真では、対象物体の蛙の後部にあいまいさがあるため、境界領域Ａのトナーパターンにグラデーション処理が施される。その他の対象領域には、均一なトナー量のパターンを重ねる。これにより、光沢の差異によって原画像の一部分である写真中の蛙の部分を目立たせながら、被写体ボケなどにより対象物体の境界部分があいまいな場合にも、上記境界領域Ａのグラデーション処理によって、最終的な印刷物を自然に仕上げることができ、高品質の最終印刷物をユーザに提供できる。
【００９９】
＜第２実施形態＞
次に、本発明の第２実施形態に係る画像処理装置１０について説明する。なお、第２実施形態に係る画像処理装置１０の機能構成およびハードウエア構成は、第１実施形態の画像処理装置と同様であるため、ここでは説明を省略する。
【０１００】
第２実施形態に係る画像処理装置１０では、演算部１５は、多重解像度解析を用いて算出された複数の解像度からヘシアン行列式を用いて主解像度を選択し、選択された主解像度の画像に基づき前記境界領域の輝度を算出する。ここで、演算部１５は、前記複数の解像度に対するヘシアン行列式の度数分布を用いて主解像度を選択してもよい。演算部１５は、多重解像度解析を用いて算出された複数の解像度からヘシアン行列式を用いて主解像度を選択し、選択された主解像度の画像に基づき前記境界領域の１又は２以上のカラーおよび輝度を算出してもよい。
【０１０１】
［画像処理装置のグラディエント計算処理］
本実施形態では、グラデーション領域の抽出に上述したSURFを用いる。SURFの計算は多重解像度解析とグラディエントの計算を内包しているため、第１実施形態で説明した計算の一部を省くことができる。SURFの計算内容については、上記「境界領域の解析原理」で説明した通りである。
【０１０２】
演算部１５は、SURFの手法を用いて、予め定められたいくつかの解像度でヘシアン（式（4））及びその行列式（式（5））を計算し、該行列式を閾値処理することで変化量の大きい位置とその解像度を同定する。SURFは、画像中の特徴的な部分を検出し、符号化するために、該行列式の値が大きい場所を抽出する。この性質を利用し、第２実施形態では、演算部１５は、SURFを用いてグラデーション計算のための解像度の選択を行う。
【０１０３】
図１３は、本実施形態にかかる画像処理装置１０の動作を示す。図１３のステップＳ２３１の境界部判定処理は、第１実施形態の境界抽出処理と同様であるのでここでは説明を省略する。
【０１０４】
ステップＳ２３２では、解像度変換処理が実行される。解像度変換処理では、演算部１５は、解像度変換により原画像を予め定められた複数の解像度に変換する。変換後、ステップＳ２３３にて、演算部１５は、複数の解像度の各解像度の画像に対して、境界領域内の各位置において上記式（４）を用いてヘシアンを計算し、ステップＳ２３４にて、上記式（５）を用いてヘシアン行列式を計算する。
【０１０５】
次に、ステップＳ２３５にて、演算部１５は、境界部判定処理で境界と判定された各画素において、ヘシアン行列式が最大となる解像度を選択する。演算部１５は、この投票処理を境界部全画素に行い、選択画素が最も多い解像度を主解像度として決定する。次に、ステップＳ２３６にて、演算部１５は、主解像度の画像において境界部分の各画素のグラディエントを計算する。これ以降の処理は第1実施形態の処理と同様であるため、説明は省略する。
【０１０６】
［効果］
以上説明したように、第２実施形態にかかる画像処理装置１０によれば、画像形成のためのトナーパターンを生成する際、画像中の対象物体の境界領域についてクリアトナーパターンにグラデーション処理を施す。この境界領域のグラデーション処理によって、最終的な印刷物を自然に仕上げることができる。
【０１０７】
これに加えて、第２実施形態にかかる画像処理装置１０によれば、ＳＵＲＦを用いて多重解像度解析およびグラディエントの計算処理を行う。このため、各解像度について上式（５）を算出し、最大の解像度を主解像度として選択した後、主解像度の画像を対象として境界部分の各画素のグラディエントを計算する。これにより、第1実施形態で説明したグラディエントの計算の一部を省略することができる。よって、第２実施形態に係る画像処理装置１０にて実行される画像処理方法によれば、画像処理の負荷を軽減することができる。
【０１０８】
以上説明したように、第１および第２実施形態に係る画像処理装置により実行される画像処理方法によれば、画像形成のための記録材のパターンを生成する際、画像中の対象物体の境界領域のパターンにグラデーション処理を施すことにより、画像をより自然に仕上げることが可能な画像処理装置、画像処理方法およびそのプログラムを提供することができる。
【０１０９】
＜第３実施形態＞
（ルックアップテーブル）
次に、本発明の第３実施形態に係る画像処理装置１０について説明する。なお、第３実施形態に係る画像処理装置１０の機能構成及びハードウエア構成は、第１、２実施形態の画像処理装置と概ね同じである。ただし、第３実施形態に係る画像処理装置１０では、図１４に示したように、ルックアップテーブル１８ａが記憶部１８に予め登録されている。
【０１１０】
ルックアップテーブルの一例を図１５に示す。図１５に示した表の「Ｉ」は輝度を表し、「ｇｒａｄ」は輝度勾配を表す。ルックアップテーブルの分割数は、本例では輝度Ｉおよび輝度勾配ｇｒａｄをそれぞれ４分割としたが、これに限らず、クリアトナー濃度の求められる精度に依存した数となる。つまり、精度が高いほどルックアップテーブルの分割数は多くなる。また、輝度Ｉおよび輝度勾配ｇｒａｄの各要素における数値はクリアトナー濃度を％で示したものである。例えば、輝度が０以上５０未満であって、輝度勾配が０以上２５未満の場合、クリアトナー濃度は１０％となる。
【０１１１】
［画像処理装置の全体動作］
次に、第３実施形態に係る画像処理装置１０の全体動作について図１６のフローチャートを参照しながら説明する。第１実施形態と異なる点は、ステップＳ８７及びステップＳ８８である。
【０１１２】
まず、ステップＳ８０にて、前処理部１２は、ノイズ除去、解像度変換処理等を実行する（前処理）。次に、ステップＳ８１にて、領域分割部１３は、入力画像（取得画像）をトナーパターン形成のための対象領域とその他の領域に分割する（領域分割処理）。
【０１１３】
次に、ステップＳ８２にて、境界抽出部１４は、領域分割部１３により分割された領域を対象領域として入力して、対象領域の境界部分を抽出する（境界抽出処理）。境界抽出処理の詳細は、図９を参照しながら前述したので、ここでは説明を省略する。
【０１１４】
次に、ステップＳ８３にて、演算部１５は、対象領域の境界領域に含まれる画像データの特徴量を算出する（グラディエント計算処理）。演算部１５は、画像データの特徴量として各境界画素におけるグラディエントを計算する。本実施形態では、グラディエントは輝度Ｉ及び輝度勾配ｇｒａｄを意味する。輝度勾配ｇｒａｄは、簡単のためグラディエントを隣接画素との差分により近似する。
【０１１５】
次に、ステップＳ８７にて、判定部１６は、ルックアップテーブルを検索し、ステップＳ８８にて、ステップＳ８３にて算出された輝度及び輝度勾配に対応するクリアトナー濃度を特定する。次いで、ステップＳ８６にて、判定部１６は、特定したクリアトナー濃度に基づき、境界領域のクリアトナーのパターンのグラデーション処理を施す。
【０１１６】
以上のように、本実施形態に係る画像処理方法では、入力画像から抽出された輝度および輝度勾配情報と、その領域に与えるべきクリアトナーの濃度と、の関係をルックアップテーブルとして保持する。そして、これを利用することで入力画像の各画素についてのクリアトナー濃度を決定する。このように輝度及び輝度勾配とクリアトナー濃度とを関連付けてルックアップテーブルとして実装することで、トナーパターン生成時に極めて高速に各画素に対するクリアトナー濃度を決定することができる。
【０１１７】
なお、上記ルックアップテーブルでは、クリアトナー濃度を単純に数値で管理した。しかしながら、これに限らず、クリアトナー濃度の替わりにディザパターンとして印刷機（画像処理装置を含む画像形成装置）の性能を考慮した状態でルックアップテーブルに保持してもよい。ディザ（テクスチャ）パターンの一例を図１７に示す。図１７では、ディザパターン例として、クリアトナー濃度の替わりにパターンＡ、パターンＢ、パターンＣ、パターンＤが示されている。各パターンの黒画素の部分にクリアトナーを載せることになる。パターンＤは空白としてのパターンである。
【０１１８】
図１８は、にディザパターンを用いたルックアップテーブルの一例である。このルックアップテーブルではクリアトナー濃度ではなく、同濃度を与えるディザパターンを管理する。輝度Ｉおよび輝度勾配ｇｒａｄの各要素に対応して記憶された英字はディザパターンを示したものである。例えば、輝度が０以上５０未満であって、輝度勾配が０以上２５未満の場合、ディザパターンＢが選択される。図１８のルックアップテーブルの分割数は任意に決めることができる。
【０１１９】
なお、ディザパターンに関しては既知の一般的な手法で作成したものを利用することができる。また、ディザパターンは、記録材のパターンの一例であり、ディザパターン以外にも万線パターンや網点でもよく、万線パターンや網点によっても同様の効果を得ることができる。
【０１２０】
また、ルックアップテーブルは、輝度および輝度勾配のみならず、入力画像から抽出された特徴量と記録材のパターン（又は、クリアトナー濃度）とを関連付けて予め登録されることができる。特徴量と記録材のパターン（又は、クリアトナー濃度）との関連付けは、記録材のパターン（又は、クリアトナー濃度）が印刷物上のオブジェクト領域（対象領域）に対してどのような効果をもたらすか、オブジェクト領域の境界がどのような勾配やぼけ状態にあれば、どのようなパターン(濃度)がふさわしいかを示す。よって、これらの関連性を示すパターン例を特徴量との関係性とともにルックアップテーブルに予め蓄積する。
【０１２１】
これにより、ルックアップテーブルに基づき、印刷物に対して高い効果をもたらすようなクリアトナーパターン生成を極めて高速に行うことができる。
【０１２２】
＜おわりに＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明の技術的範囲はかかる例に限定されない。本発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属する。
【０１２３】
たとえば、上記実施形態では、境界領域における色の変化の度合いに応じて、境界領域の記録材のパターンのグラデーションが決定された。ここで、境界領域における色の変化の度合いは、輝度の勾配だけに基づき判定されてもよいし、輝度の勾配およびその勾配の角度に基づき判定することもできる。さらに、境界領域における色の変化の度合いは、輝度の勾配およびその勾配の角度に加えて、境界領域中の１色又は２色以上のカラーの変化の度合いにも基づき判定してもよい。
【０１２４】
また、上記実施形態では、トナーパターンは無色のトナーを用いることを前提として説明したが、有色のトナーであってもよい。
【０１２５】
本発明に係る画像処理装置は、印刷機、複合機の他、レーザプリンタなどの他の画像形成装置として構成することもできる。また、さらに他の実施形態では、上記の画像処理部を含むＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップなどの半導体デバイスとして画像処理装置を構成することもできる。
【符号の説明】
【０１２６】
１ 画像形成システム
１０ 画像処理装置
１１ 入力部
１２ 前処理部
１３ 領域分割部
１４ 境界抽出部
１５ 演算部
１６ 判定部
１７ パターン生成部
１８ 記憶部
１９ 色空間変換部
２０ 画像取得装置
３０ 画像出力装置
４０ 記憶装置
５０ ネットワーク
１２０ ＣＰＵ
１３０ ＲＯＭ
１４０ ＲＡＭ
１５０ 記憶部
１６０ 操作部
１７０ 表示部
１８０ 通信部
【先行技術文献】
【特許文献】
【０１２７】
【特許文献１】特許第４０８１３６５号公報
【特許文献２】特開２００７−１９９２９１号公報
【特許請求の範囲】
【請求項１】
原画像から抽出される対象領域の画像形成のために原画像に重ねられる記録材のパターンを生成する画像処理装置であって、
前記対象領域の境界領域に含まれる画像データの特徴量を算出する演算部と、
前記特徴量に基づき、前記境界領域中の色の変化の度合いを判定する判定部と、
前記境界領域中の色の変化の度合いに応じて、前記境界領域の記録材のパターンのグラデーションを決定するパターン生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記演算部は、前記特徴量として前記境界領域の輝度を算出し、
前記判定部は、前記輝度に基づき、前記境界領域中の色の変化の度合いを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定部は、前記境界領域中の色の変化の度合いとして前記境界領域中の輝度勾配および当該勾配の方向を判定し、
前記パターン生成部は、前記境界領域中の輝度勾配および当該勾配の方向に応じて、前記境界領域の記録材のパターンのグラデーションを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記演算部は、前記特徴量として前記境界領域の１又は２以上のカラーおよび輝度を算出し、
前記判定部は、前記１又は２以上のカラーおよび輝度に基づき、前記境界領域中の色の変化の度合いを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記判定部は、前記境界領域中の色の変化の度合いとして前記境界領域中の１又は２以上のカラーおよび輝度勾配および当該勾配の方向を判定し、
前記パターン生成部は、前記境界領域中の１又は２以上のカラーおよび輝度勾配および当該勾配の方向に応じて、前記境界領域の記録材のパターンのグラデーションを決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記演算部は、多重解像度解析を用いて算出された複数の解像度からヘシアン行列式を用いて主解像度を選択し、選択された主解像度の画像に基づき前記境界領域の輝度または前記境界領域の１又は２以上のカラーおよび輝度を算出することを特徴とする請求項２〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記演算部は、前記複数の解像度に対する前記ヘシアン行列式の度数分布を用いて主解像度を選択することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記演算部は、前記特徴量として前記境界領域の輝度及び輝度勾配を算出し、
前記判定部は、前記輝度及び前記輝度勾配と、記録材の濃度と、を関連させて記憶したルックアップテーブルに基づき、前記算出された輝度及び輝度勾配に応じて特定された記録材の濃度から前記境界領域の記録材のパターンのグラデーションを決定することを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
【請求項９】
前記演算部は、前記特徴量として前記境界領域の輝度及び輝度勾配を算出し、
前記判定部は、前記輝度及び前記輝度勾配と、記録材のパターンと、を関連させて記憶したルックアップテーブルに基づき、前記算出された輝度及び輝度勾配に応じて特定された記録材のパターンから前記境界領域の記録材のパターンのグラデーションを決定することを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
【請求項１０】
原画像から抽出される対象領域の画像形成のための記録材のパターンを生成する画像処理方法であって、
前記対象領域の境界領域に含まれる画像データの特徴量を算出するステップと、
前記特徴量に基づき、前記境界領域中の色の変化の度合いを判定するステップと、
前記境界領域中の色の変化の度合いに応じて、前記境界領域の記録材のパターンのグラデーションを決定するステップと、
を含むことを特徴とする画像処理方法。
【請求項１１】
原画像から抽出される対象領域の画像形成のための記録材のパターンを生成する画像処理を実行するためのプログラムであって、
前記対象領域の境界領域に含まれる画像データの特徴量を算出する処理と、
前記特徴量に基づき、前記境界領域中の色の変化の度合いを判定する処理と、
前記境界領域中の色の変化の度合いに応じて、前記境界領域の記録材のパターンのグラデーションを決定する処理と、
をコンピュータに実行させるプログラム。
【請求項１】
原画像から抽出される対象領域の画像形成のために原画像に重ねられる記録材のパターンを生成する画像処理装置であって、
前記対象領域の境界領域に含まれる画像データの特徴量を算出する演算部と、
前記特徴量に基づき、前記境界領域中の色の変化の度合いを判定する判定部と、
前記境界領域中の色の変化の度合いに応じて、前記境界領域の記録材のパターンのグラデーションを決定するパターン生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記演算部は、前記特徴量として前記境界領域の輝度を算出し、
前記判定部は、前記輝度に基づき、前記境界領域中の色の変化の度合いを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定部は、前記境界領域中の色の変化の度合いとして前記境界領域中の輝度勾配および当該勾配の方向を判定し、
前記パターン生成部は、前記境界領域中の輝度勾配および当該勾配の方向に応じて、前記境界領域の記録材のパターンのグラデーションを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記演算部は、前記特徴量として前記境界領域の１又は２以上のカラーおよび輝度を算出し、
前記判定部は、前記１又は２以上のカラーおよび輝度に基づき、前記境界領域中の色の変化の度合いを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記判定部は、前記境界領域中の色の変化の度合いとして前記境界領域中の１又は２以上のカラーおよび輝度勾配および当該勾配の方向を判定し、
前記パターン生成部は、前記境界領域中の１又は２以上のカラーおよび輝度勾配および当該勾配の方向に応じて、前記境界領域の記録材のパターンのグラデーションを決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記演算部は、多重解像度解析を用いて算出された複数の解像度からヘシアン行列式を用いて主解像度を選択し、選択された主解像度の画像に基づき前記境界領域の輝度または前記境界領域の１又は２以上のカラーおよび輝度を算出することを特徴とする請求項２〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記演算部は、前記複数の解像度に対する前記ヘシアン行列式の度数分布を用いて主解像度を選択することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記演算部は、前記特徴量として前記境界領域の輝度及び輝度勾配を算出し、
前記判定部は、前記輝度及び前記輝度勾配と、記録材の濃度と、を関連させて記憶したルックアップテーブルに基づき、前記算出された輝度及び輝度勾配に応じて特定された記録材の濃度から前記境界領域の記録材のパターンのグラデーションを決定することを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
【請求項９】
前記演算部は、前記特徴量として前記境界領域の輝度及び輝度勾配を算出し、
前記判定部は、前記輝度及び前記輝度勾配と、記録材のパターンと、を関連させて記憶したルックアップテーブルに基づき、前記算出された輝度及び輝度勾配に応じて特定された記録材のパターンから前記境界領域の記録材のパターンのグラデーションを決定することを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
【請求項１０】
原画像から抽出される対象領域の画像形成のための記録材のパターンを生成する画像処理方法であって、
前記対象領域の境界領域に含まれる画像データの特徴量を算出するステップと、
前記特徴量に基づき、前記境界領域中の色の変化の度合いを判定するステップと、
前記境界領域中の色の変化の度合いに応じて、前記境界領域の記録材のパターンのグラデーションを決定するステップと、
を含むことを特徴とする画像処理方法。
【請求項１１】
原画像から抽出される対象領域の画像形成のための記録材のパターンを生成する画像処理を実行するためのプログラムであって、
前記対象領域の境界領域に含まれる画像データの特徴量を算出する処理と、
前記特徴量に基づき、前記境界領域中の色の変化の度合いを判定する処理と、
前記境界領域中の色の変化の度合いに応じて、前記境界領域の記録材のパターンのグラデーションを決定する処理と、
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図３】
【図４】
【図５】
【図６】
【図２】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−７６９８６（Ｐ２０１３−７６９８６Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１２−１８０２５４（Ｐ２０１２−１８０２５４）
【出願日】平成２４年８月１５日（２０１２．８．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２４年８月１５日（２０１２．８．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]