複雑度測定方法、処理選択方法、画像処理方法、そのプログラムおよび記録媒体、画像処理装置、並びに、画像処理システム
【課題】 より品質の高い画像処理を実現する。
【解決手段】 デジタル画像の複雑度測定方法であって、画像処理システムの画像処理部は、Ｓ２０において、ラスタ画像として表現された画像を受け取り、Ｓ２２において、上記ラスタ画像における各画素のコンテンツ種別を決定し、Ｓ２４において、上記コンテンツ種別の領域の特徴を設定し、Ｓ２６において、画像複雑度測度を計算する。
【解決手段】 デジタル画像の複雑度測定方法であって、画像処理システムの画像処理部は、Ｓ２０において、ラスタ画像として表現された画像を受け取り、Ｓ２２において、上記ラスタ画像における各画素のコンテンツ種別を決定し、Ｓ２４において、上記コンテンツ種別の領域の特徴を設定し、Ｓ２６において、画像複雑度測度を計算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像の複雑度測定方法、処理選択方法、画像処理方法、そのプログラムおよび記録媒体、画像処理装置、並びに、画像処理システムに関するものである。
【背景技術】
【０００２】
デジタル画像およびドキュメント（文書；document）は、複数の要素（element）またはコンテンツ種別（contents type；内容種別）を含んでおり、この要素またはコンテンツ種別は、テキスト、ハーフトーン、グラフィックス、ビットマップ画像、これらの変形物（Variation）および他の要素を含んでいる。これら要素の各々は、ディスプレイまたはプリンタへレンダリングされるとき、表示される出力の品質が最適となるように互いに異なる方法で処理される。この異なる処理は、画像が要素またはコンテンツ種別にセグメンテーションされていることを必要とする。このセグメンテーション処理は、典型的には、ドキュメントのページのデジタル画像から、いわゆるセグメンテーションマップ（segmentation map）を演算することによって実行される。多くの場合、このことは、画素または領域（region）分類の問題に帰着する。なぜなら、要素種別またはコンテンツ種別の設定は、先見的に（a priori）知られているからである。入力ページのセグメンテーションマップがあれば、各コンテンツ種別の領域を、それに対応する要素またはコンテンツ種別が必要とする条件に応じて最適に処理できる。
【０００３】
いくつかの既知の方法では、図１に示すように、レンダリングジョブのためのオブジェクトデータを受信する（Ｓ１０）。Ｓ１０にて受信されたデータは、一般的に、プリンタジョブ言語コマンドまたはグラフィックエンジンレンダリングコマンド（例えば、ＨＰＧＬコマンド、ＰＣＬコマンド、ＧＤＩコマンドまたはその他など）の形を取っている。これらのコマンドは、これらコマンドが定義するグラフィック要素についてのコンテンツ種別を識別する。また、この情報は、ドキュメント中のコンテンツ種別を識別する（１２）ために、上記Ｓ１０にて受信されたコマンドデータから簡単に抽出できる。Ｓ１２において、いったんコンテンツ種別が識別されると、Ｓ１４において、オブジェクトの構成を分析して、ドキュメントの複雑度の決定を補助できる。このデータから複雑度要因（complexity factors）を計算する（Ｓ１６）。
【０００４】
また、後述の特許文献１に記載の方法は、画像データが異なる画像属性を有する非矩形の画像領域を複数レイアウトした形態であっても、非矩形の画像領域を画像属性毎に高速かつ正確に判別するために、以下の構成を備えている。すなわち、入力された画像データを複数のブロックに分割し、ブロックの画像属性（網点、写真、文字、背景）を決定し、画像属性毎にブロックをまとめて、矩形領域を抽出する。さらに、２つの異なる矩形領域同士で重なる領域を抽出し、重なり領域の画像属性を決定すると共に、重なり領域の画像属性に基づくブロックマップを作成している。
【０００５】
一方、後述の特許文献２には、オブジェクトに基づく画像検索のための新たな画像セグメント化アルゴリズムとして、以下の方法が記載されている。すなわち、オブジェクトに基づく画像検索において、画像を分割する際、カラーリージョン対の境界の複雑さを計算し、カラーリージョン値の複雑さの値が所定の境界複雑さ閾値よりも大きく、かつ、リージョン対の色距離が所定の距離閾値よりも小さい場合にリージョン対を併合する。また、階層的クラスタ分析を用いて、カラーリージョンを併合した後、境界分析を用いて、カラーリージョンを併合する。さらに、カラーリージョンが小さく、かつ、別のカラーリージョンによって方位されている場合は、小さいカラーリージョンを、包囲しているカラーリージョンに併合し、最後に、リージョンデータを各カラーリージョンに割り当てている。
【０００６】
また、後述の特許文献３には、文字の修飾である網掛けを精度よく除去し、文字認識の精度向上等を図るために、以下の方法が記載されている。すなわち、網掛けの有無を判別する際、領域内における同色画素の連結された外接矩形を検出した後、矩形の大きさ、縦横比、縦と横の大きさの差分、上記同色または同色とみなされる画素数の矩形サイズに対する面積比の各情報を用いて、網点矩形を判別し、網点矩形の数を計数する。そして、外接矩形の総数と、計数された網点矩形の数の比率を、閾値と比較して、網掛けの有無を判別する。さらに、網の大きさを識別して、識別結果に基づいて、網を除去する。
【特許文献１】特開２０００−２２９４３号公報（公開日：2000年１月２１日）
【特許文献２】特開２００３−１７３４４２号公報（公開日：2003年６月２０日）
【特許文献３】特開２００３−２２３６１２号公報（公開日：2003年８月８日）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記図１に示す技術は、オブジェクトベースのコマンドなどのコマンド構造に区分化されているドキュメントデータに対しては有効であるが、ビットマップデータ、ラスタデータおよび他の形を取っている、非オブジェクトベースのデータに対しては無効である。さらに、利用可能な方法は、アルゴリズムに関連する複雑度要因を作成するためのアルゴリズムデータの処理とは組み合わされていなかった。
【０００８】
また、上記各技術では、デジタル画像の複雑度に応じて、当該画像に対する画像処理の改善度合いや方法を変更する点については充分な記載がなく、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理の品質を、さらに向上することが求められている。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像処理の品質をさらに向上するための複雑度測定方法、処理選択方法、画像処理方法、そのプログラムおよび記録媒体、画像処理装置、並びに、画像処理システムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明に係る複雑度測定方法は、上記課題を解決するために、デジタル画像の複雑度測定方法であって、画像をラスタ画像として表現する工程ａと、上記ラスタ画像における各画素の属性を決定する工程ｂと、上記属性に基づいて画像複雑度測度を計算する工程ｃとを含んでいることを特徴としている。
【００１１】
また、上記構成において、上記属性は、セグメンテーションに関する特徴であってもよい。さらに、上記構成において、上記特徴は、セグメンテーションエリア境界を含んでいてもよい。また、上記構成において、上記特徴は、セグメンテーションエリア形状を含んでいてもよい。さらに、上記構成において、上記特徴は、セグメンテーションエリアサイズを含んでいてもよい。また、上記構成において、上記特徴は、セグメンテーションエリアのトポロジカルプロパティを含んでいてもよい。さらに、上記構成において、上記特徴は、非矩形な接続された構成要素の数を含んでいてもよい。また、上記構成において、上記特徴は、全画素数に対するハーフトーン画素の数の比率を含んでいてもよい。さらに、上記構成において、上記特徴は、全画素数に対するハーフトーンにおけるテキスト画素の数の比率を含んでいてもよい。また、上記構成において、上記特徴は、背景領域の輝度統計を含んでいてもよい。さらに、上記構成において、上記特徴は、前景領域の輝度統計を含んでいてもよい。また、上記構成において、上記特徴は、背景領域のクロミナンス統計を含んでいてもよい。さらに、上記構成において、上記属性は、変換データ関連特徴であってもよい。
【００１２】
これらの構成によれば、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理の品質を、さらに向上するための画像の複雑度（複雑度測度）を計算できるので、当該複雑度に基づいた画像処理を行うことによって、画像処理の品質を向上できる。
【００１３】
一方、本発明に係る複雑度測定方法は、デジタル画像の複雑度測定方法であって、上記課題を解決するために、画像をラスタ画像として表現する工程ａと、上記ラスタ画像の属性を決定する工程ｂと、画像処理方法の複雑度関連特徴を決定する工程ｃと、上記属性および上記特徴に基づいて画像複雑度測度を計算する工程ｄとを含んでいることを特徴としている。また、上記構成において、画像複雑度測度の上記計算のために、属性に基づいて、および、コンテンツ種別に関連する情報を使用して、上記ラスタ画像における上記コンテンツ種別を識別する工程をさらに含んでいてもよい。さらに、上記構成において、上記属性は、ヒストグラム特徴であってもよい。また、上記構成において、上記属性は、変換データ関連特徴であってもよい。
【００１４】
これらの構成によれば、上記各方法と同様、種々の画像処理の品質を、さらに向上するための画像の複雑度（複雑度測度）を計算できるので、当該複雑度に基づいた画像処理を行うことによって、画像処理の品質を向上できる。
【００１５】
さらに、上記各構成では、画像の複雑度測度を計算する際、ラスタ画像の属性だけではなく、画像処理方法の複雑度関連特徴も参照しているので、当該複雑度関連特徴を参照せずに計算する構成とは異なって、例えば、セグメンテーションマップがどの程度信頼できるものであるか、および、セグメントベースの領域特有の改善方法が入力ドキュメントにとって、どの程度適切なものであるのかなど、画像処理方法の特徴も複雑度測度に反映させることができ、より画像処理の品質向上に適した複雑度測度を計算できる。
【００１６】
また、本発明に係る処理選択方法は、上記課題を解決するために、デジタル画像を処理するための処理選択方法であって、画像をラスタ画像として表現する工程ａと、上記ラスタ画像の属性を決定する工程ｂと、第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｃと、上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｄと、上記複雑度が閾値を上回っていれば第１処理を実施する工程ｅと、上記複雑度が、上記閾値を上回っていなければ第２処理を実施する工程ｆとを含んでいることを特徴としている。
【００１７】
当該構成によれば、上記属性および上記処理性能データに基づいて推定された上記画像の複雑度に応じて、第１処理を実施するか第２処理を実施するかが選択されるため、上記各方法と同様、種々の画像処理の品質をさらに向上できる。
【００１８】
また、上記構成において、上記第１処理が、全体的画質改善（image enhancement）であり、上記第２処理が、セグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記閾値が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。
【００１９】
ここで、セグメンテーションに基づく画質改善は、領域の分析が正確であれば、セグメンテーションされた各領域をより適切な方法で画像処理できる一方で、領域の分析に失敗すれば、その部分の画像処理の品質が大幅に低下して、総合的な画像処理の品質を低下させる虞れがある。これに対して、全体的な画質改善は、領域の分析が正確な場合には、セグメンテーションに基づく画質改善よりも画像処理の品質向上が難しい一方で、領域の分析が正確でない場合でも、領域の分析に起因する画像処理の品質低下が発生しない。
【００２０】
上記各構成によれば、上記属性および上記処理性能データに基づいて推定された上記画像の複雑度に応じて、セグメンテーションに基づく改善を行うか、全体的な改善を行うかが決定されるので、この結果、セグメンテーションに基づく改善のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
【００２１】
さらに、本発明に係る処理選択方法は、上記構成において、デジタル画像を処理するための処理選択方法であって、画像の複雑度関連属性を決定する工程ａと、セグメンテーションに基づく画質改善処理のための処理性能データを取得する工程ｂと、全体的な画質改善処理のための処理性能データを取得する工程ｃと、上記属性および上記性能データに基づいて画像複雑度測度を計算する工程ｄと、上記複雑度が閾値を上回っていれば全体的画質改善を実施する工程ｅと、上記複雑度が上記閾値を上回っていなければセグメンテーションに基づく画質改善を実施する工程ｆとを含んでいることを特徴としている。
【００２２】
上記構成によれば、属性および上記性能データに基づいて計算された画像複雑度測度に応じて、全体的画質改善か、あるいは、セグメンテーションに基づく画質改善が実施されるので、セグメンテーションに基づく改善のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
【００２３】
一方、本発明に係る画像処理方法は、画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定工程とを含んでいることを特徴としている。なお、上記構成において、上記デジタル画像のレイアウトを示す情報は、当該デジタル画像を領域分割する際に生成されるセグメンテーションマップであってもよい。
【００２４】
ここで、デジタル画像の領域毎に特有の方法で画像処理する場合、領域の分析が正確であれば、各領域をより適切な方法で画像処理できる。したがって、例えば、画質向上を目的とした画像処理であれば、より画質を向上でき、例えば、圧縮率向上を目的とした画像処理であれば、より圧縮率を向上できる。
【００２５】
ただし、この場合は、領域に特有の方法で画像処理するため、領域の分析に失敗すると、その部分には、不適切な画像処理が行われる。これにより、逆に、その部分の画像処理の品質が大幅に低下して、総合的な画像処理の品質を低下させる虞れがある。なお、当該品質低下は、画質向上を目的とした画像処理であれば、画質の低下として、また、圧縮率向上を目的とした画像処理であれば、圧縮率の低下として顕れてしまう。
【００２６】
一方、デジタル画像全体を同一の方法で画像処理する場合は、各領域毎で見れば、上記領域毎に特有の画像処理よりも、画像処理の品質向上を見込むことができない。ただし、領域分割（セグメンテーション）を行わないので、領域分割の失敗に起因する画質低下が発生しない。
【００２７】
上記構成によれば、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度が計算され、上記いずれの画像処理を行うかが、上記計算された複雑度に応じて決定される。したがって、例えば、複雑度が高く、領域分割に失敗しそうと推測される場合には、全体的な画像処理を行い、複雑度が低く、領域分割の失敗が発生しにくいと推測される場合には、領域毎に特有の画像処理を行うなど、複雑度に応じた画像処理を行うことができる。この結果、領域毎に特有の画像処理のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
【００２８】
また、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、上記複雑度計算工程は、上記各セグメンテーションマップ毎に基づいた複雑度をそれぞれ計算し、それらの各複雑度に基づいて、上記処理方法決定工程にて使用される総合的な複雑度を計算してもよい。
【００２９】
上記構成では、互いに異なる複数の方法で領域分割が行われ、それらの結果に基づいて、総合的な複雑度が計算されるので、単一の方法で領域分割する構成よりも的確に、上記いずれの処理が適切かを判定できる。
【００３０】
さらに、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を領域分割して、その結果を示すセグメンテーションマップを生成するセグメンテーション工程と、上記処理方法決定工程にて、デジタル画像の領域毎に特有の方法で画像処理すると決定された場合に実施され、上記画像処理システムが上記セグメンテーションマップの改善処理を行うマップ改善工程とを含んでいてもよい。
【００３１】
上記構成では、セグメンテーションマップの生成処理が、複雑度計算工程の前に行われるセグメンテーション工程と、上記処理方法決定工程にて、デジタル画像の領域毎に特有の方法で画像処理すると決定された場合に実施されるマップ改善工程とに分けられている。したがって、セグメンテーション工程におけるセグメンテーションマップの生成方法を、領域毎に特有の方法で画像処理する際に必要な程度よりも簡単で、複雑度の計算に必要な程度の方法にすることができ、当該方法を実施する際の演算量を削減できる。
【００３２】
また、本発明に係る画像処理方法は、画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、上記画像処理システムが、デジタル画像全体を同一の方法で画像処理した結果と、デジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせる合成工程とを含んでいることを特徴としている。
【００３３】
当該構成では、デジタル画像全体を同一の方法で画像処理した結果とデジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせるので、例えば、複雑度が高く、領域分割に失敗しそうと推測される場合には、全体的な画像処理を合成結果に反映させる程度を大きく設定し、複雑度が低く、領域分割の失敗が発生しにくいと推測される場合には、全体的な画像処理を合成結果に反映させる程度を小さく設定するなど、上記両画像処理の結果を、複雑度に応じて合成できる。この結果、上記両画像処理の一方を選択する構成と同様に、領域毎に特有の画像処理のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
【００３４】
また、上記構成に加え、上記複雑度計算工程は、上記画像処理システムが、上記各領域毎に特有の方法に関連して設定された当該方法の信頼度に応じ、信頼度が低い程、デジタル画像の複雑度が低くなるように、上記複雑度を調整する調整工程を含んでいてもよい。
【００３５】
当該構成では、各領域毎に特有の方法の信頼度が低くなる程、すなわち、領域分割の失敗が、総合的な画像処理の品質を低下させやすいもの程、デジタル画像の複雑度が高くなるように、上記複雑度を調整する。したがって、各領域毎に特有の方法の信頼度に拘わらず、デジタル画像の複雑度を設定する構成と比較して、上記両画像処理を選択したり、上記両画像処理を合成したりする際に、より的確に選択あるいは合成可能な複雑度を算出できる。
【００３６】
さらに、上記構成において、上記複雑度計算工程は、上記画像処理システムが、上記各領域のコンテンツ種別に応じて上記複雑度を調整する調整工程を含んでいてもよい。
【００３７】
当該構成では、例えば、各領域毎に特有の方法の信頼度が低くなることが推測されるコンテンツ種別であれば、複雑度を上昇させるなど、各領域のコンテンツ種別に応じて複雑度が調整される。この結果、各領域毎のコンテンツ種別に拘わらず、デジタル画像の複雑度を設定する構成と比較して、上記両画像処理を選択したり、上記両画像処理を合成したりする際に、より的確に選択あるいは合成可能な複雑度を算出できる。
【００３８】
また、上記構成において、上記複雑度計算工程は、上記各領域毎に特有の方法に関連して設定され、上記画像処理システムが当該方法を実施する際の処理能力を示す処理能力データに応じて、上記画像処理システムが、上記複雑度を調整する調整工程を含んでいてもよい。
【００３９】
当該構成では、例えば、あるデバイスが特定の領域（例えば、ハーフトーンエリアなど）を効果的に処理し、改善できることを、上記処理能力データが示している場合は、その領域に関連する複雑度を低く調整するなど、上記画像処理システムが当該方法を実施する際の処理能力を示す処理能力データに応じて、上記複雑度が調整されるので、各領域に対する画像処理システムの処理能力に拘わらず、デジタル画像の複雑度を設定する構成と比較して、上記両画像処理を選択したり、上記両画像処理を合成したりする際に、より的確に選択あるいは合成可能な複雑度を算出できる。
【００４０】
また、本発明に係る画像処理方法は、上記課題を解決するために、画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像を改善する際の改善度合いを調整する改善度合い調整工程とを含んでいることを特徴としている。
【００４１】
当該構成では、例えば、より複雑なデジタル画像、すなわち、より高い改善度合い（例えば、セグメンテーションに基づいた画像処理など）で改善しようとすると誤った改善が発生して総合的な画像処理の品質を低下させる虞れがあるデジタル画像であれば、より低い改善度合い（例えば、全体的な改善処理や中間的な画像処理など）で改善するなど、複雑度に応じてデジタル画像を改善する際の改善度合いを調整できる。この結果、常に一定の改善度合いでデジタル画像を処理する構成と比較して、画像処理の品質を向上できる。
【００４２】
また、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、上記複雑度計算工程では、上記画像処理システムは、上記各セグメンテーションマップを含む画像情報毎に、当該デジタル画像の複雑度をそれぞれ計算し、それらの中から上記改善度合い調整工程で調整に使用する複雑度を選択してもよい。
【００４３】
当該構成では、互いに異なる複数の方法で領域分割し、その結果に基づいて算出された複雑度のいずれかによって、改善度合いを調整するので、単一の方法で領域分割する構成よりも的確に、上記いずれの処理が適切かを判定できる。
【００４４】
さらに、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、上記複雑度計算工程および上記調整工程は、各セグメンテーションマップ毎に実施されると共に、上記画像処理システムが、上記各セグメンテーションマップ毎に調整された改善度合いで実施された上記デジタル画像の改善処理の結果同士を、上記各セグメンテーションマップと、上記各複雑度との少なくとも一方に応じて組み合わせる合成工程とを含んでいてもよい。
【００４５】
当該構成では、互いに異なる複数の方法で領域分割して、その結果に応じて改善度合い調整された改善処理結果同士が、上記各セグメンテーションマップと上記各複雑度との少なくとも一方に応じて合成される。したがって、単一の方法で領域分割する構成よりも画像処理の品質を向上できる。
【００４６】
また、本発明に係る画像処理方法は、上記課題を解決するために、画像処理システムが、デジタル画像を統計処理した画像特徴に基づいて、当該デジタル画像の複雑度を概算する複雑度概算工程と、上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定工程とを含んでいてもよい。
【００４７】
上記構成では、デジタル画像を統計処理した画像特徴に基づいて、デジタル画像の複雑度が概算され、それに応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかが決定される。したがって、上記複雑度が、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて計算される場合と同様、領域毎に特有の画像処理のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
【００４８】
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像の画像処理システムであって、ラスタ画像における各画素の属性を決定する属性決定手段と、上記属性に基づいて画像複雑度測度を計算する複雑度測定手段とを備えていることを特徴としている。さらに、上記構成において、上記複雑度測定手段は、画像処理方法に関連して予め設定された、複雑度に関連する画像処理方法の特徴に応じて、上記複雑度を調整してもよい。また、上記構成において、上記複雑度測定手段は、第１および第２プロセスに関連して、予め設定された複雑度に関連する各プロセスの処理性能データに応じて、上記複雑度を調整すると共に、上記画像処理システムには、上記複雑度が閾値を上回っていれば上記第１プロセスを実施し、上回っていなければ上記第２プロセスを実施する処理手段が設けられていてもよい。
【００４９】
さらに、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像の画像処理システムであって、上記デジタル画像の複雑度関連属性を決定する属性決定手段と、セグメンテーションに基づく画質改善処理のための処理性能データ、および、全体的な画質改善処理のための処理性能データを取得する処理性能データ取得手段と、上記複雑度関連属性および処理性能データに基づいて、上記デジタル画像の複雑度測度を計算する複雑度計算手段と、上記複雑度度が閾値を上回っていれば、上記全体的な画質改善処理を実施し、上回っていなければ、上記セグメンテーションに基づく画質改善処理を実施する処理手段とを備えていることを特徴としている。
【００５０】
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定手段とを備えていることを特徴としている。
【００５１】
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、デジタル画像全体を同一の方法で画像処理した結果と、デジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせる合成手段とを備えていることを特徴としている。
【００５２】
さらに、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、上記計算された複雑度に応じて、デジタル画像を改善する際の改善度合いを調整する改善度合い調整手段とを備えていることを特徴としている。
【００５３】
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像を統計処理した画像特徴に基づいて、当該デジタル画像の複雑度を概算する複雑度概算手段と、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定手段とを備えていることを特徴としている。
【００５４】
上記各画像処理システムは、上記各方法のいずれかを実施できるので、各方法と同様に、画像処理の品質を向上するための複雑度を計算したり、画像処理の品質を向上できる。
【００５５】
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、画像の属性を決定する工程ａと、分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、上記複雑度が基準を満たしている場合だけ、上記分析処理に基づいて画質改善処理を実施する工程ｄとを含んでいる。また、上記構成において、上記改善処理が、セグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記改善処理が、全体的画質改善であってもよい。また、上記構成において、上記分析処理性能データが、エラーの尤度に関連していてもよい。さらに、上記構成において、上記分析処理性能データが、目に見えるエラーの尤度に関連していてもよい。
【００５６】
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、上記属性に基づいて上記画像の複雑度を推定する工程ｂと、上記複雑度が基準を満たしている場合は、上記画像を処理する工程ｃとを含んでいる。また、上記構成において、上記属性が、セグメンテーションに関する特徴であってもよい。
【００５７】
また、本発明に係る画像処理方法は、デジタル画像を可変処理する画像処理方法であって、画像の属性を決定する工程ａと、処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記処理性能データに基づいて、上記画像についての複雑度測度を推定する工程ｃと、上記複雑度測度に比例して可変する効果を有する処理を、上記画像に実施する工程ｄとを含んでいる。また、上記構成において、上記処理が、セグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記処理が、全体的画質改善であってもよい。
【００５８】
さらに、本発明に係る画像処理方法は、デジタル画像を可変処理する画像処理方法であって、非オブジェクトベースの画像データセットの属性を決定する工程ａと、上記属性に基づいて上記画像データセットについての複雑度測度を推定する工程ｂと、上記複雑度測度に比例して可変する効果を有する処理を、上記画像データセットに実施する工程ｃとを含んでいる。また、上記構成において、上記属性が、セグメンテーションに関する特徴であり、上記処理がセグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記特徴が、セグメンテーションエリア境界を含んでいてもよい。また、上記構成において、上記特徴が、セグメンテーションエリア形状を含んでいてもよい。さらに、上記構成において、上記特徴が、セグメンテーションエリアサイズを含んでいてもよい。また、上記構成において、上記特徴が、セグメンテーションエリアのトポロジカルプロパティを含んでいてもよい。さらに、上記構成において、上記特徴が、非矩形な接続された構成要素の数を含んでいてもよい。また、上記構成において、上記特徴が、全画素数に対するハーフトーン画素の数の比率を含んでいてもよい。さらに、上記構成において、上記特徴が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率を含んでいてもよい。また、上記構成において、上記特徴が、背景領域の輝度統計を含んでいてもよい。さらに、上記構成において、上記特徴が、前景領域の輝度統計を含んでいてもよい。また、上記構成において、上記特徴が、背景領域のクロミナンス統計を含んでいてもよい。
【００５９】
また、本発明に係る画像処理方法は、デジタル画像を可変処理する画像処理方法であって、非オブジェクトベースの画像データセットの属性を決定する工程ａと、処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記処理性能データに基づいて上記画像データセットについての複雑度測度を推定する工程ｃと、上記複雑度測度に比例して可変する効果を有する処理を、上記画像データセットに実施する工程ｄとを含んでいる。
【００６０】
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、セグメンテーション処理を含み、各々が独立した結果を生じる、複数の画像分析処理を画像に実施する工程ａと、上記分析処理によって生成された上記独立した結果に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施する工程ｄとを含んでいる。
【００６１】
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、各々が独立したセグメンテーションマップを作成する、複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施する工程ａと、上記セグメンテーション処理によって生成された、上記独立したセグメンテーションマップの各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施する工程ｄとを含んでいる。さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、複数のセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ａと、画像データセットの属性、上記セグメンテーション処理および上記処理性能データに基づいて、非オブジェクトベースの画像データセットについての複数の複雑度測度を測定する工程ｂと、上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画像データセットの改善を実施する工程ｄとを含んでいる。また、上記構成において、上記選択された改善処理の可変パラメータを、それに関連付けられた複雑度測度に比例して変更してもよい。さらに、上記構成において、上記属性が、変換データ関連特徴であってもよい。また、上記構成において、上記属性が、ヒストグラム特徴であってもよい。
【００６２】
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施する工程ａと、上記セグメンテーション処理によって生じる、上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、上記各画像分析処理に関連している複数の画質改善処理を上記画像に実施して、複数の画質改善された画像を生じさせる工程ｃと、上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｄとを含んでいる。
【００６３】
さらに、上記構成において、上記組み合わせ工程が、改善された画像をそれらの複雑度測度に比例して組み合わせる工程を含んでいてもよい。また、上記構成において、上記画像分析処理の少なくとも１つが、全体的分析処理であってもよい。さらに、上記構成において、上記画像が、非オブジェクトベースのデータを示していてもよい。また、上記構成において、上記の複雑度測度は、それに関連付けられた画像分析処理のための処理性能データに関連していてもよい。さらに、上記構成において、上記複雑度測度が、セグメンテーションエリア境界に関連していてもよい。また、上記構成において、上記複雑度測度が、セグメンテーションエリア形状に関連していてもよい。さらに、上記構成において、上記複雑度測度が、セグメンテーションエリアサイズに関連していてもよい。また、上記構成において、上記複雑度測度が、セグメンテーションエリアのトポロジカルプロパティに関連していてもよい。さらに、上記構成において、上記複雑度測度が、非矩形な接続された構成要素の数に関連していてもよい。また、上記構成において、上記複雑度測度が、全画素数に対するハーフトーン画素の数の比率に関連していてもよい。さらに、上記構成において、上記複雑度測度が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率に関連していてもよい。また、上記構成において、上記複雑度測度が、背景領域の輝度統計に関連していてもよい。さらに、上記構成において、上記複雑度測度が、前景領域の輝度統計に関連していてもよい。また、上記構成において、上記複雑度測度が、背景領域のクロミナンス統計に関連していてもよい。
【００６４】
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、各々が独立したセグメンテーションマップを作成する、複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施する工程ａと、上記セグメンテーション処理によって生成された、上記独立したセグメンテーションマップの各々に基づいて、上記画像データセットについての複数の複雑度測度を測定する工程ｂと、上記セグメンテーション処理に関する複数の画質改善処理を上記画像データセットに実施して、複数の改善された画像を生じさせる工程ｃと、上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｄとを含んでいる。また、上記構成において、上記改善された画像の各々に、それに関連付けられた複雑度測度に比例する重み係数を与え、上記改善された画像を組み合わせて、上記各改善された画像を重み付けされた割合で含んでいる、最終的な改善された画像を得てもよい。
【００６５】
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施する工程ａと、上記画像分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記画像分析処理によって生成される独立した結果と上記処理性能データとの各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｃと、上記画像分析処理に関連している複数の画質改善処理を上記画像に実施して、複数の改善された画像を生じさせる工程ｄと、上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｅとを含んでいる。
【００６６】
さらに、上記構成において、上記画質改善処理の各々の可変パラメータを、それに関連付けられた複雑度測度に比例して変更してもよい。また、上記構成において、上記組み合わせ処理の可変パラメータを、上記複雑度測度の少なくとも１つに比例して変更してもよい。
【００６７】
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、画像の属性を決定する工程ａと、第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、上記画像に上記第１処理を実施する工程ｄと、上記画像に上記第２処理を実施する工程ｅと、上記複雑度が基準を満たしていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｆと、上記複雑度が上記基準を満たしていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｇとを含んでいる。
【００６８】
さらに、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、画像の属性を決定する工程ａと、複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、上記画像に上記複数の処理を実施する工程ｄと、上記複数の処理の少なくとも１つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｅとを含んでいる。
【００６９】
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像データセットの属性を決定する工程ａと、上記画像データセットに上記第１処理を実施する工程ｂと、上記画像データセットに上記第２処理を実施する工程ｃと、上記複雑度が基準を満たしていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像データセットを形成する工程ｄと、上記複雑度が上記基準を満たしていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｅとを含んでいる。
【００７０】
さらに、上記構成において、上記第１処理が、全体的画質改善であり、上記第２処理が、セグメンテーションに基づく画質改善であってもよい。また、上記構成において、上記基準は、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。
【００７１】
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、上記属性に基づいて上記画像の複雑度を推定する工程ｂと、上記画像に複数の処理を実施する工程ｃと、上記複数の処理の少なくとも１つが上記結果に対して上記複雑度に比例して可変する効果を有しているように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｄとを含んでいる。
【００７２】
さらに、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｃと、上記画像に上記第１処理を実施する工程ｄと、上記画像に上記第２処理を実施する工程ｅと、上記複雑度が閾値を上回っていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｆと、上記複雑度が上記閾値を上回っていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する処理ｇとを含んでいる。
【００７３】
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｃと、上記画像に上記複数の処理を実施する工程ｄと、上記複数の処理の少なくとも１つが上記結果に対して上記複雑度に比例して可変する効果を有しているように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｅとを含んでいる。
【００７４】
さらに、上記構成において、上記複数の処理の少なくとも１つが、全体的画質改善を含んでいてもよい。また、上記構成において、上記複数の処理の少なくとも１つが、セグメンテーションに基づく画質改善を含んでいてもよい。
【００７５】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、上記初期段階のセグメンテーション処理の結果に基づいて、上記画像データセットについての複雑度測度を推定する工程ｂと、上記複雑度測度が基準を満たしていれば、上記画像データセットに高精度なセグメンテーション処理を実施する工程ｃとを含んでいる。
【００７６】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、画像に初期段階のセグメンテーション処理を実施する工程ａと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて、上記画像についての複雑度測度を推定する工程ｃと、上記複雑度測度が基準を満たしていれば、上記高精度なセグメンテーション処理を実施する工程ｄとを含んでいる。
【００７７】
また、上記構成において、上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理の結果を使用して、セグメンテーションに基づく画質改善を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記複雑度測度が代替基準を満たしていれば、全体的な画質改善を実施する工程をさらに含んでいてもよい。
【００７８】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーションを実施する工程ａと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記初期段階のセグメンテーションの結果および上記性能データに基づいて、上記画像データセットについての複雑度測度を推定する工程ｃと、上記複雑度測度が基準を満たしていれば、上記高精度なセグメンテーション処理を実施し、上記高精度なセグメンテーション処理の結果を使用してセグメンテーションに基づく画質改善を実施する工程ｄとを含んでいる。
【００７９】
また、上記構成において、上記複雑度測度が上記基準を満たしていなければ、全体的な画質改善を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記基準が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。また、上記構成において、上記基準には、上記複雑度が閾値未満に留まっていることが含まれていてもよい。
【００８０】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、上記初期段階のセグメンテーション処理の結果に基づいて、上記画像データセットについての初期段階の複雑度測度を推定する工程ｂと、上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｃと、上記高精度なセグメンテーション処理の結果に基づいて、上記画像データセットについての高精度な複雑度測度を推定する工程ｄと、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づいて画質改善処理を実施する工程ｅとを含んでいる。また、上記構成において、上記高精度な複雑度測度が、高精度な代替測度基準を満たしていれば、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記初期段階の複雑度測度が、初期段階の代替測度基準を満たしていれば、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。
【００８１】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、
画像に初期段階のセグメンテーション処理を実施する工程ａと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて上記画像についての初期段階の複雑度測度を推定する工程ｃと、上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｄと、上記高精度なセグメンテーション処理の結果に基づいて、上記画像についての高精度な複雑度測度を推定する工程ｅと、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づく画質改善処理を実施する工程ｆとを含んでいる。
【００８２】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて、上記画像データセットについての初期段階の複雑度測度を推定する工程ｃと、上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｄと、上記高精度なセグメンテーション処理の結果に基づいて、上記画像データセットについての高精度な複雑度測度を推定する工程ｅと、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づく画質改善処理を実施する工程ｆとを含んでいる。
【００８３】
また、上記構成において、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていなければ、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記初期段階の複雑度測度が上記初期段階の測度基準を満たしていなければ、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。
【００８４】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、上記セクションのある１つのセクションにセグメンテーションを実施する工程ｂと、上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定する工程ｃと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｄと、全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｂ〜工程ｄを繰り返す工程ｅと、上記累積複雑度測度が上記基準を満たしていれば、上記工程ｅを終了し、第１画質改善処理を実施する工程ｆと、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施する工程ｇとを含んでいる。
【００８５】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、デジタル画像を複数のセクションに分割する工程ａと、第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記セクションのある１つのセクションにセグメンテーションを実施する工程ｃと、上記セグメンテーションの結果および上記処理性能データに基づいて上記セクションについての複雑度測度を推定する工程ｄと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｅと、全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃ〜工程ｅを繰り返す工程ｆと、上記累積複雑度測度が上記基準を満たしていれば、上記工程ｆを終了し、上記第１画質改善処理を実施する工程ｇと、上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｈとを含んでいる。
【００８６】
また、上記構成において、上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、セグメンテーションを実施する上記工程、複雑度測度を推定する上記工程および累積複雑度測度を決定する上記工程を、上記各セクションに対して連続的に実施してもよい。
【００８７】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、上記セクションのある１つのセクションにセグメンテーションを実施する工程ｂと、第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｃと、上記セグメンテーションの結果および上記処理性能データに基づいて、上記セクションについての複雑度測度を推定する工程ｄと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｅと、全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｂ〜工程ｅを繰り返す工程ｆと、上記累積複雑度測度が上記基準を満たしていれば、上記工程ｆを終了し、上記第１画質改善処理を実施する工程ｇと、上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｈとを含んでいる。
【００８８】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、
画像を複数のセクションに分割する工程ａと、上記セクションの少なくとも１つについての複雑度測度を推定する工程ｂと、推定が既に実施されたセクション群の累積複雑度を示す累積複雑度測度を決定する工程ｃと、上記累積複雑度測度が基準を満たすまで、または、上記累積複雑度測度が上記セクションの全ての累積複雑度を示すまで工程ｂおよび工程ｃを繰り返す工程ｄと、上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施する工程ｅとを含んでいる。さらに、上記構成において、上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、複雑度測度を推定する上記工程ｂおよび累積複雑度測度を決定する上記工程ｃを、上記各セクションに対して連続的に実施してもよい。
【００８９】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、上記セクションの少なくとも１つについての複雑度測度を推定する工程ｂと、上記推定が既に実施された各セクションの累積複雑度を示す累積複雑度測度を決定する工程ｃと、上記累積複雑度測度が基準を満たすまで、または、上記累積複雑度測度が上記セクションの全ての累積複雑度を示すまで工程ｂおよび工程ｃを繰り返す工程ｄと、上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｅとを含んでいる。
【００９０】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、デジタル画像を複数のセクションに分割する工程ａと、少なくとも１つの第１画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記セクションの少なくとも１つについての複雑度測度であって、上記処理性能データに関連している複雑度測度を推定する工程ｃと、上記推定が既に実施された各セクションの複雑度を示す累積複雑度測度を決定する工程ｄと、全てのセクションの推定が行われるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃおよび工程ｄを繰り返す工程ｅと、上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｆとを含んでいる。
【００９１】
さらに、上記構成において、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施する工程をさらに含んでいてもよい。また、上記構成において、上記累積複雑度測度が閾値を上回れば上記基準が満たされてもよい。さらに、上記構成において、上記第１画質改善処理が、全体的画質改善であってもよい。また、上記構成において、上記第２画質改善処理が、セグメンテーションに基づく画質改善であってもよい。また、上記構成において、上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、複雑度測度を推定する上記工程および累積複雑度測度を決定する上記工程を、上記各セクションに対して連続的に実施してもよい。さらに、上記構成において、上記セクションを、セグメンテーション以前に決定されている初期段階の複雑度推定に基づいた複雑度の順序で処理してもよい。
【００９２】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記処理性能データに基づいて、上記セクションの１つについての複雑度測度を推定する工程ｃと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｄと、全てのセクションの推定が行われるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃおよび工程ｄを繰り返す工程ｅと、上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｆと、上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｇとを含んでいる。
【００９３】
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割する工程ａと、上記領域の各々について、上記領域属性に基づく複雑度測度を推定する工程ｂと、上記複雑度測度が基準を満たしている場合だけ、領域に画質改善処理を実施する工程ｃとを含んでいる。
【００９４】
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、非オブジェクトベースの画像データセットにセグメンテーションを実施して、この画像データセットをコンテンツ領域に分割する工程ａと、処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記領域の各々についての複雑度であって、上記処理性能データに関連している複雑度を推定する工程ｃと、上記領域についての上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施する工程ｄとを含んでいる。また、上記構成において、上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記領域に、代替画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記画像に全体的画質改善処理を実施する工程をさらに含んでいてもよい。また、上記構成において、複数の上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記領域に、代替画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記領域についての上記複雑度測度が第２基準を満たしていれば、上記領域に代替画質改善処理を実施する工程をさらに含んでいてもよい。
【００９５】
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割する工程ａと、上記領域の各々について、上記領域属性に基づく複雑度測度を推定する工程ｂと、上記画質改善処理の様相が領域についての上記複雑度測度に比例して可変するように、可変の画質改善処理を当該領域に実施する工程ｃとを含んでいる。
【００９６】
上記各画像処理方法では、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理を行う際に、複雑度を計算し、それに応じた処理を行うので、画像処理の品質を向上できる。
【００９７】
また、本発明に係る処理選択方法は、デジタル画像を処理するための処理選択方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、上記複雑度が基準を満たしていれば、上記分析処理に基づいて上記画像に画質改善処理を実施する工程ｄとを含んでいる。
【００９８】
さらに、本発明に係る処理選択方法は、デジタル画像を処理するための処理選択方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、第１処理と第２処理とを含む複数の分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、上記複雑度が閾値を上回っていれば、上記第１処理に基づいた画質改善を実施する工程ｄと、上記複雑度が、上記閾値を上回っていなければ、上記第２処理に基づいた画質改善処理を実施する工程ｅとを含んでいる。また、上記構成において、上記第１処理が、全体的画質改善であり、上記第２処理が、セグメンテーションに基づく画質改善であってもよい。上記閾値が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。
【００９９】
上記各処理選択方法では、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の処理を行う際に、複雑度を計算し、それに応じた処理を選択できるので、処理の品質を向上できる。
【０１００】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）非オブジェクトベースの画像の属性を決定するための画像分析器と、ｂ）上記属性に基づいて上記画像の複雑度を推定するための推定器と、ｃ）上記複雑度が基準を満たしている場合に、上記画像に画質改善処理を実施するための処理器とを備えている。
【０１０１】
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）画像の属性を決定するための画像分析器と、ｂ）分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、ｃ）上記属性および上記分析処理性能データに基づいて上記画像の複雑度を推定するための推定器と、ｄ）上記複雑度が基準を満たしている場合は上記分析処理に基づいて画質改善処理を実施するための処理器とを備えている。
【０１０２】
また、本発明に係る画像処理装置は、デジタル画像を混合処理するための画像処理装置であって、ａ）画像についての非オブジェクトベースの画像データの属性を決定するための画像分析器と、ｂ）上記属性に基づいて上記画像の複雑度を推定するための推定器と、ｃ）上記画像に複数の処理を実施するための処理器と、ｄ）上記複数の処理の少なくとも１つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成するための混合器とを備えている。
【０１０３】
さらに、本発明に係る画像処理装置は、デジタル画像を混合処理するための画像処理装置であって、ａ）画像の属性を決定するための画像分析器と、ｂ）処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、ｃ）上記属性および上記処理性能データに基づいて、上記画像の複雑度を推定するための推定器と、ｄ）上記画像に複数の処理を実施するための処理器と、ｅ）上記複数の処理の少なくとも１つが上記複数の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成するための混合器とを備えている。
【０１０４】
また、本発明に係る画像処理装置は、デジタル画像を処理するための画像処理装置であって、ａ）画像を示す非オブジェクトベースのデータに、初期段階のセグメンテーション処理を実施するための初期段階セグメンテーション処理器と、ｂ）上記初期段階のセグメンテーション処理の結果に基づいて、上記画像についての複雑度測度を推定するための推定器と、ｃ）上記複雑度測度が基準を満たしている場合に、高精度なセグメンテーション処理を実施するための高性能セグメンテーション処理器とを備えている。さらに、上記構成において、上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理の結果に基づいて、セグメンテーションに基づく画質改善を実施するためのセグメンテーションベース改善処理器をさらに備えてもよい。
【０１０５】
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）初期段階のセグメンテーション処理を画像に実施するための初期段階セグメンテーション処理器と、ｂ）高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、ｃ）上記初期段階のセグメンテーションの結果および上記性能データに基づいて、上記画像についての複雑度測度を推定するための推定器と、ｄ）上記複雑度測度が基準を満たしている場合に、高精度なセグメンテーション処理を実施するための高性能セグメンテーション処理器と、ｅ）上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するためのセグメンテーションベース改善処理器とを備えている。
【０１０６】
また、上記構成において、上記基準には、上記複雑度測度が閾値未満に留まっていることが含まれていてもよい。
【０１０７】
さらに、本発明に係る画像処理装置は、デジタル画像を処理するための画像処理装置であって、非オブジェクトベースの画像データセットを複数のセクションに分割するための分割器と、上記セクションのある１つのセクションにセグメンテーションを実施するセグメンテーション処理器と、上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定するための推定器と、セグメンテーションが実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記セグメンテーション処理器、上記推定器および上記累計器は、全てのセクションがセグメンテーションされるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、上記累算複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累算複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備えている。
【０１０８】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、画像を複数のセクションに分割するための分割器と、上記セクションのある１つのセクションにセグメンテーションを実施するセグメンテーション器と、上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定するための推定器と、セグメンテーションが実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記セグメンテーション器、上記推定器および上記累計器は、全てのセクションがセグメンテーションされるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対してそれぞれの処理を実施すると共に、上記累積複雑度測度が上記基準を満たしていれば、上記セグメンテーション器、上記推定器および上記累計器による処理を終了して、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備えている。
【０１０９】
さらに、本発明に係る画像処理装置は、デジタル画像を処理するための画像処理装置であって、非オブジェクトベースの画像データセットを複数のセクションに分割するための分割器と、上記複数のセクションのある１つのセクションについての複雑度測度を推定するための推定器と、上記推定が既に実施されたセクション群の累積複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記推定器および上記累計器は、全てのセクションが推定されるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備えている。
【０１１０】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、画像を複数のセクションに分割するための分割器と、上記複数のセクションの１つについての複雑度測度を推定するための推定器と、上記推定が実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記推定器および上記累計器は、セクションが推定されるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器とを備えている。
【０１１１】
さらに、本発明に係る画像処理装置は、デジタル画像を可変処理するための画像処理装置であって、ａ）画像の属性を決定するための属性抽出器と、ｂ）処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、ｃ）上記属性および上記処理性能データに基づいて、上記画像についての複雑度測度を推定するための推定器と、ｄ）上記複雑度測度に比例して可変する効果を有する上記処理を、上記画像に実施するための処理器とを備えている。
【０１１２】
また、本発明に係る画像処理装置は、デジタル画像を可変処理するための画像処理装置であって、ａ）非オブジェクトベースの画像データセットの属性を決定するための属性抽出器と、ｂ）上記属性に基づいて上記画像データセットについての複雑度測度を推定するための推定器と、ｃ）上記複雑度測度に比例して可変する効果を有する処理を上記画像データセットに実施するための処理器とを備えている。
【０１１３】
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施するための処理器と、ｂ）上記分析処理によって生成された上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定するための測定器と、ｃ）上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択するための選択器と、ｄ）上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するための改善器とを備えている。
【０１１４】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、各々が独立したセグメンテーションマップを作成する複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施するためのセグメンテーション処理器と、上記セグメンテーション処理によって作成される上記独立したセグメンテーションマップの各々に基づいて、上記画像データセットについての複数の複雑度測度を推定するための推定器と、上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択するための選択器と、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するための処理器とを備えている。
【０１１５】
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施するための処理器と、ｂ）上記セグメンテーション処理によって生成された上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定するための測定器と、ｃ）上記画像分析処理に関連している複数の画質改善処理を上記画像に実施するための改善器と、ｄ）上記改善された画像を、最終的な改善された画像になるように組み合わせるための結合器とを備えている。
【０１１６】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、各々が独立したセグメンテーションマップを作成する複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施するための処理器と、上記セグメンテーション処理によって生成された上記独立したセグメンテーションの各々に基づいて、上記画像データセットについての複数の複雑度測度を測定するための測定器と、上記画像データセットに複数の画質改善処理を実施して、複数の改善された画像を生成するための改善器と、上記改善された画像を組み合わせて、最終的な改善された画像を得るための結合器とを備えている。
【０１１７】
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割するためのセグメンテーション器と、ｂ）上記領域の各々について、上記領域属性に基づく複雑度測度を推定するための推定器と、ｃ）上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施するための処理器とを備えている。
【０１１８】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、非オブジェクトベースの画像データセットにセグメンテーションを実施して、この画像をコンテンツ領域に分割するためのセグメンテーション器と、処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、上記領域の各々についての複雑度測度であって、上記処理性能データに関連している複雑度測度を推定するための推定器と、上記領域についての上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施するための処理器とを備えている。
【０１１９】
上記各画像処理装置は、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理を行う際に、複雑度を計算し、それに応じた処理を行うので、画像処理の品質を向上できる。
【０１２０】
ところで、上記画像処理システムは、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、上記複雑度測定方法、処理選択方法、あるいは、画像処理システムによって実施される上記画像処理方法のいずれかの各工程をコンピュータに実行させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。
【０１２１】
これらのプログラムがコンピュータによって実行されると当該コンピュータによって上記各方法が実施される。したがって、上記各方法と同様に、画像処理の品質を向上するための複雑度を計算したり、画像処理の品質を向上できる。
【発明の効果】
【０１２２】
本発明によれば、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理を行う際、画像処理の品質を向上させるための複雑度を計算したり、画像処理の品質を向上できる。
【発明を実施するための最良の形態】
【０１２３】
本発明の実施形態は、画像複雑度推定（complexity estimation）および複雑度に基づく画像処理のための方法およびシステム、並びに、ドキュメント画像の複雑度を推定し、複雑度の推定を画像処理決定（例えば、処理の選択）の基本として使用するためのシステムおよび方法を含んでいる。これらのシステムおよび方法には、複雑度推定および複雑度に基づく選択方法、および、それを行うシステムが含まれている。本発明の目的、特徴（features）および利点は、添付の図に関連した以下の本発明の詳しい説明を考慮すれば、より簡単に理解されるであろう。
【０１２４】
まず、最初に、本明細書で参照する図面について簡単に説明する。すなわち、図１は、従来技術の複雑度演算方法を示す図面である。
図２は、画像複雑度が増すに従ってセグメントベースの改善（セグメンテーションに基づく改善；segmentation-based enhancement）が画像品質に及ぼす効果を示すグラフである。
図３は、本発明の実施形態を示すものであり、ラスタベースの（ラスタに基づいた；raster-based）の複雑度決定方法を示す図面である。
図４は、本発明の実施形態を示すものであり、アルゴリズムの特徴（algorithm characteristics）を用いたラスタベースの複雑度決定方法を示す図面である。
図５は、本発明の実施形態を示すものであり、変換領域データを採用したラスタベースの複雑度決定方法を示すチャートである。
図６は、本発明の実施形態を示すものであり、アルゴリズムの特徴を用いたオブジェクトベースの（オブジェクトに基づいた；object-based）複雑度決定方法を示す図面である。
図７は、本発明の実施形態を示すものであり、セグメントベースの複雑度測度を決定し、これらの測度を、画質改善を制御するために使用するシステムを示す線図である。
図８は、本発明の実施形態を示すものであり、セグメントベースの複雑度測度を決定し、これらの測度を、画質改善を制御し、全体的な改善とセグメントベースの改善との組み合わせを制御するために使用するシステムを示す線図である。
図９は、本発明の実施形態を示すものであり、大まかなセグメンテーションを、複雑度測度を決定するために使用し、後に、必要であれば、より高精度な（refined ）セグメンテーションを実施するシステムを示す線図である。
図１０は、本発明の実施形態を示すものであり、連続した画像セクションのための、セグメントベースの複雑度測度を決定し、画質改善を制御するために累積複雑度測度を採用するシステムを示す線図である。
図１１は、本発明の実施形態を示すものであり、複雑度決定時にセグメンテーションしなくてもページに関連する特性から複雑度測度を決定するシステムを示す線図である。
図１２は、複雑度決定時にセグメンテーションしなくてもページに関連する特性から複雑度測度を決定し、連続した画像セクションを使用して複雑度を計算するシステムを示す線図である。
図１３は、本発明の実施形態を示すものであり、複雑度測度を決定し、これらの測度を、改善処理における利得制御として使用するシステムを示す線図である。
図１４は、複数（multiple ）のフィルター構成方法を示す表の図面である。
図１５は、本発明の実施形態を示すものであり、領域特有の（region-specific ）複雑度測度を決定するシステムを示す線図である。
図１６は、本発明の実施形態を示すものであり、複数のセグメンテーション方法を使用して複数の複雑度測度を決定するシステムを示す線図である。
図１７は、本発明の実施形態を示すものであり、複数のセグメンテーション方法を使用して複数の複雑度測度を決定し、最終的な改善された画像に組み合わせてもよい複数の調整された改善を実施するシステムを示す線図である。
図１８は、本発明の実施形態を示すものであり、複数の、初期の、大まかなセグメンテーション方法を使用して、複数の複雑度測度を決定するシステムを示す線図である。
図１９は、計算された複雑度測度を、人間の観察者による主観的複雑度決定と共にプロットした図面である。
図２０は、本発明の実施形態を示すものであり、大まかなセグメンテーションを、複雑度測度を決定するために使用し、後に、必要であれば、より高精度な（refined ）セグメンテーションおよび高精度な複雑度決定を実施するシステムを示す線図である。
【０１２５】
上記の図を参照すれば、本発明の各実施形態の説明を最もよく理解できるであろう。なお、上記の図では、全体にわたり、類似部分には類似番号が付けられている。上記の図は、この発明を実施するための最良の形態の一部に確実に含まれている。
【０１２６】
全体として説明されると共に本願の図に示された本発明の構成要素が幅広く様々な異なった形態にアレンジし設計できるということは、簡単に理解されるであろう。したがって、本発明の方法およびシステムの実施形態についての以下のより詳しい説明は、本発明の範囲を制限するものではなく、単に、本発明の実施例を表すものである。
【０１２７】
この明細書で説明する実施形態の多くは、複写（コピー；copying）および画像複製（reprographics）の分野からの例であって、これらの実施形態において、セグメンテーションは、最適化された、ページ要素の選択的な改善によって、画像品質を向上するために使用されている。しかしながら、これらは、単なる実施例であり、決して、セグメンテーション主導型の（segmentation-guided）処理（例えば、圧縮、アーカイブ（保管；archiving）、検索（retrieval）、および、その他）を利用する他の分野（domain）へ、本発明の範囲を広げることを制限するものではない。
【０１２８】
本発明の各実施形態の要素は、ハードウェア、ファームウェアおよび／またはソフトウェアに実施されていてもよい。より詳細には、各実施形態のシステムの構成要素は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit ）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである各実施形態のシステムの構成要素となる装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、各実施形態のシステムの構成要素となる装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１２９】
上記記録媒体としては、例えば、テープ系、ディスク系、カード系、あるいは、半導体メモリ系などを用いることができる。上記テープ系の記録媒体には、磁気テープやカセットテープ等が含まれる。また、ディスク系の記録媒体としては、磁気ディスク、または、光ディスクが挙げられる。より詳細には、上記磁気ディスクとしては、フロッピー（登録商標）ディスク、または、ハードディスク等が挙げられ、上記光ディスクとしては、ＣＤ−ＲＯＭ、ＭＯ、ＭＤ、ＤＶＤ、ＣＤ−Ｒ等が挙げられる。さらに、上記カード系の記録媒体としては、ＩＣカード（メモリカードを含む）または光カード等が挙げられる。また、上記半導体メモリ系の記録媒体としては、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュＲＯＭ等が挙げられる。
【０１３０】
また、各実施形態のシステムの構成要素となる装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network ）、ＩＳＤＮ（Integrated Service Digital Network）、ＶＡＮ（Value Added Network ）、ＣＡＴＶ（Cable Television）通信網、仮想専用網（virtual private network ）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１３１】
ここで開示する実施例は、これらの形態の１つだけについて説明するものであるが、当業者は、これらの要素を、本発明の範囲内に留まりつつ、これらの形態のいずれかとして実施できる。
【０１３２】
セグメンテーション処理が適切な場合か否かを決定するという問題には（言い換えると、セグメンテーションの信頼性（reliability）および／またはコスト効率性には）、あまり関心が持たれていなかった。
【０１３３】
本発明の各実施形態は、セグメンテーションアルゴリズムの信頼性および／または有益性（benefit ）を算出するという問題、および、続いて処理を適切に適合させるという問題に言及している。これらの実施形態の中には、セグメンテーション処置が、非常にエラーを引き起こしやすい、または、完成させるのにコストがかかりすぎるといったケースを明確に識別する実施形態もある。
【０１３４】
印刷や画像複製や、その他の多くのアプリケーションでは、ドキュメントの複雑度が中程度の場合に、画像品質に対するセグメンテーションの有益性が最大（maximum ）となる。図２に示すように、略点Ｐ２までは、ページレイアウトの複雑度が増すにつれて、有益性も増大する。その後は、セグメンテーションエラーの可能性が高くなり、セグメンテーションタスク自体がより困難となるので、有益性は低減する。より具体的には、このようなエラーにより、多くの場合、アーティファクト（artifacts;人工生成物）が出力ページに現れ、このことは、セグメンテーションによって得られる任意の有益性を否定する可能性がある。なお、アーティファクトとは、ディジタル画像処理時に生ずる歪みの総称である。
【０１３５】
図２に、セグメンテーションされた改善の有益性が「セグメンテーションされていない」または全体的な改善の有益性を下回る概算点を、画像品質曲線と垂直な線Ｌ４との交差点で示す。この概算点は、ページレイアウトの複雑度と、セグメンテーションアルゴリズムの正確な特質（nature）との双方に依存するものである。一般的に、この点は、実験的に決定されている。
【０１３６】
セグメンテーションを有益性のある場合だけに限定するため、または、セグメンテーションをより最適な処理に調整するため、本発明の各実施形態は、ページレイアウトの複雑度の測度を演算してもよい。このような測度は、ページレイアウトを含めた、ドキュメントのページの全体的な複雑度を決定できる。
【０１３７】
「ページ複雑度」、「ページレイアウト複雑度」および「画像複雑度」という用語は、本願の明細書および請求項の全体に渡って同意語として使用されている。これら全ての用語は、ドキュメントの要素またはコンテンツ種別（例えば、テキスト、グラフィックス、ハーフトーン（halftone）要素、ビットマップ要素および他の要素のエリア）の量、サイズ、幾何学的関係、および、他の属性（attributes）に関連（refer ）しており、画像の複雑度測度は、これらの特徴や属性に基づいて算出される。
【０１３８】
すなわち、複雑度を計算する際に参照する画素の属性（画像の複雑度関連属性）として好適に使用される属性には、例えば、セグメンテーションに関する特徴が含まれている。また、当該セグメンテーションに関する特徴としては、例えば、セグメンテーションエリア境界、セグメンテーションエリア形状、セグメンテーションエリアサイズ、セグメンテーションエリアのトポロジカルプロパティ（segmentation area topological properties ）、非矩形な接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対するハーフトーンにおけるテキスト画素の数の比率、全画素数に対する非矩形領域におけるハーフトーン画素数の割合、背景領域の輝度統計、前景領域の輝度統計、背景領域のクロミナンス（chrominance；色度）統計、あるいは、それらの組み合わせなどが好適に使用される。ここで、いずれの特徴または属性を用いて複雑度を算出するかは、画像処理部を搭載するシステムなどの必要に応じて適切に選択され、当該システムにおいて、複雑と判断するために必要なものを使用すればよい。
【０１３９】
なお、セグメンテーションエリアのサイズを示す情報としては、例えば、構成要素のサイズ、全画素数に対する領域画素数の割合などが挙げられる。また、上記セグメンテーションエリアのトポロジカルプロパティを示す情報としては、幾何学的な関係、領域の形状（regional geometry ）、領域の連続性などが挙げられ、さらに詳細には、ハミング距離、与えられたコンテンツタイプの結合された２つの領域の重心間の距離などが挙げられる。また、上記あるいは後述する、非矩形な接続された構成要素の数、前景での接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対する非矩形領域におけるハーフトーン画素数の割合、および、全画素数に対するハーフトーンにおけるテキスト画素の数の比率などは、上記ドキュメントの要素またはコンテンツ種別の量に関する特徴または属性でもある。また、上記量に関する特徴または属性としては、例えば、(1) ハーフトーンで構成された矩形領域の数・連続階調領域より構成される矩形領域の数、(2) ハーフトーンで構成された非矩形領域の数・連続階調領域より構成される非矩形領域の数、(3) ハーフトーン画素のドキュメントサイズに対する比率、(4) 非矩形領域におけるハーフトーン画素のドキュメントサイズに対する比率、(5) 下地ハーフトーン・ベタ上の文字画素の数なども好適に使用できる。さらに、上記背景領域の輝度統計、前景領域の輝度統計、および、背景領域のクロミナンス統計は、濃度に関する特徴または属性でもあり、それらを示す情報としては、例えば、テキストエリアのある場合、および／または、無い場合の背景領域の輝度統計の情報、テキストエリアのある場合、および／または、無い場合の前景領域の輝度統計の情報、並びに、テキストエリアのある場合、および／または、無い場合の背景領域のクロミナンス統計の情報などが挙げられる。
【０１４０】
より詳細に説明すると、上記セグメンテーションエリアの境界またはセグメンテーションエリアの形状を、予め定められた境界または形状で近似したときの誤差が高い程、または、近似したときの近似度合いが低い程、あるいは、上記境界または形状の滑らかさが低い程、上記複雑度をより高く算出する方法が、好ましく使用される。なお、近似方法の一例としては、例えば、多項式やスプラインによって、領域の境界を近似する方法、あるいは、矩形化処理によって領域を近似する方法などが挙げられる。また、上記滑らかさの測度としては、例えば、上記誤差などを好適に使用できる。さらに、矩形化処理によって領域を近似したときの近似度合いに応じた複雑度算出方法としては、例えば、各構成要素に対する矩形または非矩形の特徴から、非矩形の構成要素数をカウントし、カウントが多ければ複雑度を大きく設定する方法などが挙げられる。なお、複雑度が大きいとは、より複雑であることを意味しており、以下では、一例として、複雑度が大きい程、複雑度を示す値を大きくする場合を例にして説明する。
【０１４１】
例えば、上記誤差が高くなれば、あるいは、上記領域の境界または形状が滑らかさでなくなれば、ジャギー境界を滑らかなものだとみなし、正確に境界ピクセルを拡張することが難しくなる。したがって、この場合、例えば、多項式やスプラインによって実際の境界に近似し、実際の境界と近似されたものとの間の誤差が高い程、複雑度を高く設定することが好ましい。
【０１４２】
また、ある改善プロセスでは、その領域が凸状ではないならば、改善プロセスはさらに難しく、計算的にもさらに複雑になることがある。したがって、その場合、上記セグメンテーションエリアの境界、あるいは、セグメンテーションエリアの境界が凸状でなければ、上記複雑度をより高く設定する方法も、好適に使用できる。
【０１４３】
一方、上記セグメンテーションエリアのサイズに応じた複雑度の算出方法としては、例えば、全画素数に対して非矩形領域におけるハーフトーン画素数をカウントし、全画素数に対する非矩形領域におけるハーフトーン画素数の割合を計算することで、割合が大きくなる程、複雑度を大きく設定する方法などが挙げられる。
【０１４４】
また、上記セグメンテーションエリアのトポロジカルプロパティに応じた複雑度の算出方法としては、例えば、画素を横方向に見ていったときに、頻繁にセグメンテーション結果が変化しているものは、多くの構成要素が存在しているということを表しているので、この変化の回数をカウントし、カウントが多ければ複雑度を大きく設定する方法などが挙げられる。また、例えば、矩形のハーフトーン領域の配置が、ほぼ等間隔に横に１列に並んでいるとすると、ドキュメントのレイアウトとしては、単純な部類に入る。逆に、不規則に散らばっていたりすると、テキストの配置も考慮した場合、複雑なドキュメントレイアウトと考えられる。したがって、各コンテンツにおける構成要素の配置の直線性および／または間隔を計算し、直線や等間隔の値からの標準偏差の和を求め、当該和が大きくなるほど複雑度が大きくする方法も好適に使用できる。
【０１４５】
また、上記量に応じた複雑度の算出方法としては、非矩形に接続された構成要素の数、および／または、前景での接続された構成要素の数が大きくなるに従って、複雑度を大きくする方法が挙げられる。また、全画素数に対するハーフトーン画素の数の比率、および／または、全画素数に対する非矩形領域におけるハーフトーン画素数の割合が大きくなるほど、複雑度を大きくする方法も好適に使用できる。
【０１４６】
同様に、上記全画素数に対するハーフトーンにおけるテキスト画素の数の比率に応じた複雑度の算出方法としては、例えば、全画素数に対して、ハーフトーン上のテキスト画素数をカウントし、全画素数に対するハーフトーン上のテキスト画素数の割合を計算すると共に、当該割合が大きくなる程複雑度を大きくする方法が挙げられる。
【０１４７】
さらに、上記濃度に応じた複雑度の算出方法としては、例えば、輝度情報の標準偏差が高ければ、複雑度の値を高くする方法が挙げられる。例えば、背景領域が輝度の勾配を持つならば、標準偏差は非常に高くなり、そのような背景領域を改善することは難しい。このように、テキストあり、および／または、なしでの背景領域における輝度値の標準偏差は、この領域に大きな変化があるか否かを示しているので、背景領域の輝度値の標準偏差が高い場合、複雑度の値を高くする方法が好適に使用される。
【０１４８】
一方、上記濃度に応じた複雑度の算出方法としては、輝度ヒストグラムに応じて複雑度の値を変更する方法も挙げられる。例えば、テキストを持つ背景領域の場合、輝度ヒストグラムが双峰的なら、それはシングルカラーテキストキャラクタの存在を意味していると考えられる。一方、そのヒストグラムが一様に分散されるなら、それは、多くの異なるカラーテキストがドキュメントに存在すると結論を下すことができる。したがって、輝度ヒストグラムに応じて複雑度の値を算出することによって、ドキュメントの複雑度を好適に算出できる。
【０１４９】
なお、このプロパティを測定するために使われ得る１つの特徴はエントロピーである。ここで、エントロピーとは、ヒストグラムから計測される特徴量の１つであり、多くの輝度（色度）レベルの画素が多く存在するほど、大きな値となる。また、当該輝度のエントロピーＥは、輝度をＬ、各輝度レベルの度数をＰ（Ｌ）とするとき、Ｅ＝ΣＰ（Ｌ）ｌｏｇＰ（Ｌ）により算出できる。
【０１５０】
また、複雑度測度（complexity measure）は、セグメンテーションアルゴリズム、または、可能なアルゴリズムの設定などの代替処理技術（alternative processing techniques ）のエラー尤度（error likelihood）を考慮してもよい。いったん決定したら、この測度を、「セグメンテーションなどの処理工程を後続の改善処理に適用したほうがよいかどうか」を決定するために使用してもよい。その結果、エンハンスメント・アーティファクト（enhancement artifacts ）が回避される。複雑度測度を使用して、特定のアプリケーションに対して使用する処理の種別または範囲を決定してもよい。なお、当該処理には、セグメンテーションが含まれていてもよく、他の分析処理であってもよいが、これに制限されるものではない。なお、複雑度測度を測定または推定する際に考慮される処理性能データは、上記エラー尤度に関連するものであってもよいし、目に見えるエラーの尤度に関連しているもの、あるいは、他の処理性能データであってもよい。
【０１５１】
「コンテンツ領域（region）」または「領域」という用語は、エリア（area；区域）、または、単一のコンテンツ種別を含むエリアのグループを指している。例えば、ハーフトーン領域は、画像の全てのハーフトーン要素を含んでいてもよい。この全てのハーフトーン要素は、複数の連続する、または、断続するエリアに渡って分布していてもよい。
【０１５２】
本願の明細書および特許請求の範囲で使用されている、「ラスタデータ」、「ビットマップデータ」および「画素データ」という用語は、基本的な絵素（picture elements）または画素（pixels）に関連して、文書または画像を定義する、文書または画像データを指している。これらの用語、および、より一般的な用語である「非オブジェクトベースの（non-boject-based）データ」は、所定のコンフィギュレーションに複数の画素を含むオブジェクトよりもむしろ基本的な画像画素に直接関連する画像または文書データを指すために使用してもよい。非オブジェクトベースのデータは、画素ベースの画像または文書に関連する、ストリーミングデータ、および、変換係数などの変換ドメインデータを含んでいる。プリンタジョブ言語コマンドおよびグラフィックエンジンレンダリング言語コマンドは、典型的には、オブジェクトベースのデータである。
【０１５３】
ページセグメンテーションなどの画像処理技術の効果は、ページおよびページのレイアウトの複雑度と、処理（例えば、セグメンテーション）のアルゴリズムの正確な特質との双方に依存している。要因（factors）は、時間およびメモリーに関する資源コスト（resource costs）、および、分類タスク自体の成功または失敗率を含んでいる。
【０１５４】
しかしながら、セグメンテーションの場合には、特定のアルゴリズムに関係なく、レイアウト複雑度があるレベルに達したら、セグメンテーションの有益性が減少する。有益性の減少は、単に、分類タスク自体が徐々に困難になるために生じることもある。また、有益性の減少は、境界アーティファクト（boundary artifacts）が画像品質を著しく劣化させる程、セグメンテーションエリア境界が数多くなる場合に生じることもある。収益（returns ）を減少する理由とは関係無く、ページまたはページレイアウトの複雑性が、あるレベルを超えて増加するにつれて、セグメンテーションの有益性は、減少し始める。
【０１５５】
したがって、セグメンテーションアルゴリズムまたはアルゴリズムのグループなどの、与えられた処理では、ページレイアウトの複雑性の点から、特定のアルゴリズムまたはグループのアプリケーションが有益となる場合であるか、および、画像品質を向上しない場合であるかを決定できる。
【０１５６】
本発明の実施形態を、図３を参考にしながら説明する。当該実施形態に係るシステムは、上述した各分野において画像処理のために使用される画像処理システムであって、当該システムに含まれる画像処理部は、ページまたはセクション（section;部分）に対する、非オブジェクトベースの（ＮＯＢ）データ（例えば、ラスタデータ）を受信し、読み込む（Ｓ２０）。次に、上記画像処理部は、このＮＯＢデータ（ラスタデータなど）を分析して、コンテンツ種別、または、ページまたはセクション中にコンテンツ種別が存在する尤度を識別する（Ｓ２２）。様々なコンテンツ種別が、最終的な複雑度要因に対して、様々に影響を及ぼしてもよい。この工程Ｓ２２では、各種別またはその存在の尤度が識別される。さらに、上記画像処理部は、各コンテンツ種別領域を決定し、各コンテンツ種別領域の特徴を決定する（Ｓ２４）。コンテンツ種別が識別されているので、上記Ｓ２４において、上記画像処理部は、各種別の要素を画像のエリアに関連付けると共に、指定のコンテンツ種別のために累積されたエリアを、コンテンツ種別領域へ編成してもよい。また、上記画像処理部は、各種別の要素を画像のエリアに関連付け、それらのエリアを各コンテンツ種別領域としてもよい。さらに、上記Ｓ２４において、後述するＳ２６における画像複雑度測度の上記計算のために、上記ラスタデータの属性に基づいて、および、上記コンテンツ種別に関連する情報を使用して、上記ラスタデータにおけるコンテンツ種別を識別してもよい。また、上記画像処理部は、各コンテンツ種別領域の特徴を、これらの領域の分析によって決定してもよい。次に、Ｓ２６において、上記画像処理部は、複雑度要因を、領域特徴および他のデータに基づいて計算する。
【０１５７】
複雑度要因は、典型的には、コンテンツ種別領域特徴に関連している。当該コンテンツ種別領域特徴としては、例えば、領域サイズ、形状、量、濃度、領域幾何学、領域連続性、および、他の領域特徴などが挙げられる。また、複雑度要因は、他のページ、セクションまたは画像の特徴、および、複雑度要因を参照して選択または制御される処理の特徴にも関連していてもよい。ラスタデータから計算される複雑度要因を、ラスタ関連複雑度要因と呼ぶこともある。
【０１５８】
ここで、複雑度要因は、複雑度要因が影響を及ぼすであろう処理またはアルゴリズムに関連していてもよい。関連している場合の実施形態を図４に示す。当該実施形態に係るシステムに含まれる画像処理部は、ラスタのページまたはセクションのデータを読み込み（Ｓ３０）、コンテンツ種別を識別する（Ｓ３２）。また、上記画像処理部は、コンテンツ領域を識別し、領域特徴を決定する（Ｓ３４）。さらに、上記画像処理部によって、複雑度要因の影響を受けるであろうアルゴリズムまたは処理の特徴が決定され（Ｓ３６）、当該特徴は、複雑度要因計算法（complexity factor calculus）で使用される。これらのアルゴリズムの特徴は、コンテンツ種別または種別に関する特定アルゴリズムの信頼性、または、他のデータを含んでいてもよい。アルゴリズムおよび領域特徴をいったん決定したら、上記画像処理部は、アルゴリズム関連複雑度要因を計算できる（Ｓ３８）。
【０１５９】
一例として、網点上文字（例えば、印刷部の写真上の文字や地図の文字部など）検出アルゴリズムの信頼性が、ドキュメント内における網点領域の大きさや数に依存しているとする。この場合、例えば、一般的な雑誌などのように、大きな網点領域（印刷物の写真領域や、上記着色された領域（網点下地））が少量存在する場合には、比較的良好な検出結果を出力できる一方、例えば、地図などのように、小さな網点領域が多数存在する場合には、誤検出が多くなる虞れがある。ここで、良好な検出結果に対して画質向上処理を行えば、高画質な出力画像が得られるが、誤検出された結果に対して画質向上処理を行うと、逆に画質劣化に繋がる虞れがある。
【０１６０】
このような場合、このアルゴリズムの信頼性の視点で見ると、網点領域が多数存在しているほど、このアルゴリズムにとっては、処理が複雑なドキュメントになる。したがって、上記画像処理部において、ドキュメント内における網点領域の数を１つの特徴として用い、網点領域が多数存在しているほど、複雑度が高く設定すると共に、当該複雑度に基づいて、例えば、セグメンテーション結果を利用した画質向上処理を行うかどうかを判断するなど、画像処理方法を選択または調節することによって、誤検出による画質劣化を回避でき、より画質の向上した画像処理を実施できる。
【０１６１】
本発明の他の実施形態では、図５に示すように、複雑度を、変換領域データ（transform domain data ）に関連して計算している。変換データ関連特徴としての変換領域データは、変換係数または関連データを含んでいてもよい。画像処理において一般的に行われる変換は、離散コサイン変換（Discrete Cosine Transform；DCT）であるが、多くの他の変換を使用してもよい。例えば、離散コサイン変換に関連する特徴（上記変換領域データ）としては、ＤＣＴ変換係数の高周波部分などが挙げられる。
【０１６２】
ここで、例えば、ＡＣ成分の高周波データが多く存在する場合には、その領域に細かい輝度や色の変化があることを表し、高周波データがあまり存在しない場合には、輝度や色の変化の少ない領域であることを示している。
【０１６３】
したがって、変換領域データに関連して上記複雑度を算出する方法として、例えば、この高周波データをカウントしたり、値の総和を取るなどすることで、その領域が複雑なデータであるかどうかを判定し、この判定結果をカウントすると共に、当該カウントが多ければ、複雑度を大きくする方法などを好適に使用できる。
【０１６４】
当該実施形態に係るシステムの画像処理部は、変換領域データを読み込み（Ｓ４０）、それを使用して、コンテンツ種別を識別する（Ｓ４２）。次に、画像処理部は、コンテンツ種別領域を構成し、領域特徴を決定する（Ｓ４４）。さらに、画像処理部は、画像処理方法の複雑度関連特徴として、アルゴリズムまたは処理の特徴を決定する（Ｓ４６）。領域特徴、並びに、アルゴリズムまたは処理の特徴をいったん決定したら、画像処理部は、これらの特徴を用いて、複雑度要因を計算する（Ｓ４８）。この複雑度要因は、図４と同様に、アルゴリズム関連複雑要因である。なお、図５では、一例として、図４に示す実施形態と同様に、アルゴリズムまたは処理特徴を決定する工程（Ｓ４６）を実施している場合を例示しているが、この工程を設けず、上記Ｓ４８において、図２と同様に領域特徴および他のデータに基づいて複雑度要因を計算してもよい。また、Ｓ４６を実施するか否かに拘わらず、変換領域データを用いて計算された複雑度要因を、変換データ関連複雑度要因と呼ぶこともある。
【０１６５】
また、本発明の他の実施形態に係るシステムの画像処理部は、図６に示すように、レンダリングストリームオブジェクトデータを読み出し（Ｓ５０）、それを用い、既知の方法のいずれか、または、それらの組み合わせにおいて行われているようにコンテンツ種別を識別する（Ｓ５２）。さらに、画像処理部は、このオブジェクトデータを使用して、コンテンツ領域特徴を決定する（Ｓ５４）。また、画像処理部は、複雑度要因によって影響を受けるアルゴリズムまたは処理の特徴も決定する（Ｓ５６）。次に、画像処理部は、画像複雑度と、アルゴリズムまたは処理との双方に依存している複雑度要因を計算する（Ｓ５８）。画像複雑度と、アルゴリズムまたは処理の結果に対する画像複雑度の影響との双方に関連する複雑度要因を、処理効果複雑度要因と呼ぶこともある。
【０１６６】
本発明の他の実施形態を、図７に関連して説明する。本実施形態に係るシステムの画像処理部は、図７に示すように、セグメンテーション処理部１１０と、複雑度測定部１１２と、判定部１１４と、全体改善処理部１１６と、適合改善処理部１１８とを備えている。
【０１６７】
例えば、上記セグメンテーション処理部１１０が入力ドキュメント画像Ｉを受信したり、読み込むなどして、上記セグメンテーション処理部１１０が入力ドキュメント画像Ｉの入力を受け付けると、当該セグメンテーション処理部１１０は、入力ドキュメント画像を、その構成要素の領域にセグメンテーションする。なお、図７では、一例として、セグメンテーション処理部１１０が、セグメンテーション処理の結果として、コンテンツ種別または各画素に対する種別を識別するセグメンテーションマップを生成する構成を例示している。続いて、複雑度測定部１１２は、このマップを使用して、セグメンテーションマップが示すレイアウトを考慮しつつ、ドキュメントの複雑度を測定する。なお、上記複雑度測定部１１２は、使用可能な特定のセグメンテーション方法のプロパティ（property）を、複雑度推定に対して影響させてもよい。結果として生じる複雑度値（complexity value）Ｃｘは、セグメンテーションマップがどの程度信頼できるものであるか、および、セグメントベースのセグメントベースで領域特有の改善方法が入力ドキュメントにとって、どの程度適切なものであるのかの推定（概算;estimate）になっている。
【０１６８】
また、判定部１１４は、上記複雑度測定部１１２の測定した複雑度Ｃｘが所定の閾値σを上回っているか否かを判定し、複雑度Ｃｘが所定の閾値σを上回ると、セグメンテーションマップが破棄され、全体改善処理部１１６は、出力画像における潜在的なアーティファクトを回避するために、標準の全体的改善をドキュメントに実施する。そうでない場合は、適合改善処理部１１８は、セグメンテーションマップに基づいてドキュメントを改善する。これにより、各コンテンツ種別に対して最適化された処理が行えるようになる。
【０１６９】
本発明の他の実施形態を、図８を参照しながら説明する。この図８は、セグメントベースのドキュメントの改善に利用できる複雑度測定を含む実施例を示すものである。当該実施形態に係るシステムの画像処理部は、セグメントベースの改善および全体的改善を独立して行い、それらの結果を、演算されたドキュメントの複雑度に基づいて組み合わせることができる。
【０１７０】
具体的には、上記画像処理部は、図８に示すように、セグメンテーション処理部１２２と、複雑度測定部１３０と、全体改善処理部１２４と、適合改善処理部１２６と、組み合わせ処理部１２８とを備えている。
【０１７１】
セグメンテーション処理部１２２は、入力画像Ｉを、セグメンテーションアルゴリズムを使用して処理し、セグメンテーションマップ１２５を作成する。適合改善処理部１２６は、このマップ１２５を使用して、セグメントベースの改善を実施する。一方、全体改善処理部１２４は、入力画像Ｉを、全体的改善を実施することによって直接処理する。なお、両処理部１２４・１２６は、これらの改善処理を、並行して行っても、連続して行っても、または、その他のやり方で行ってもよい。
【０１７２】
セグメンテーション処理部１２２がマップ１２５を作成した後、複雑度測定部１３０は、画像Ｉの複雑度を測定し、複雑度値Ｃｘを計算する。組み合わせ処理部１２８は、ドキュメントの複雑度Ｃｘが低い場合、適合改善処理部１２６によって行われたセグメントベースの改善結果Ｉ''をより重く重み付けする。一方、複雑なドキュメントに対しては、組み合わせ処理部１２８は、全体改善処理部１２４による全体的改善結果Ｉ' をより強調する。組み合わせ処理部１２８は、２つの改善を様々な方法で組み合わせてもよい。
【０１７３】
例えば、複雑度測定Ｃｘがスカラーである場合、
（１−Ｃｘ）・ＳｅｇＥｎｈ ＋ Ｃｘ・ＧｌｏｂａｌＥｎｈ
などの簡単な線形組み合わせ方法（linear combination method）を採用できる。上記ＳｅｇＥｎｈおよびＧｌｏｂａｌＥｎｈは、適合改善処理部１２６によって行われたセグメントベースの改善結果Ｉ''と、全体改善処理部１２４による全体的改善結果Ｉ' とを、それぞれ表している。
【０１７４】
このように、組み合わせ処理部１２８は、上記組み合わせ方法として、改善された画像をそれらの複雑度測度に比例して組み合わせる方法、上記改善された画像の各々に、それに関連付けられた複雑度測度に比例する重み係数を与え、上記改善された画像を組み合わせて、上記各改善された画像を重み付けされた割合で含んでいる、最終的な改善された画像を得る方法、上記組み合わせ処理の可変パラメータを、上記複雑度測度の少なくとも１つに比例して変更する方法、あるいは、上記複数の処理の少なくとも１つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成する方法を好適に使用できる。なお、この場合、本実施形態に係る組み合わせ処理部１２８、全体改善処理部１２４および適合改善処理部１２６は、上記複雑度測度に比例して可変する効果を有する処理を、上記画像に実施している。
【０１７５】
あるいは、組み合わせ処理部１２８は、領域主導型（region-driven）の組み合わせ規則、すなわち、セグメンテーションおよび改善アルゴリズムの性能に基づいてコンテンツの様々な種別を検出および向上するための組み合わせ規則を採用してもよい。ドキュメントの複雑度を、ページ全体というよりもむしろ領域毎に規定すれば、全体的改善、領域改善またはデフォルト改善を行う方法は、セグメンテーションの確実性（segmentation confidence）が低いエリアにおいて好ましいであろう。
【０１７６】
図９に示す、他の実施形態では、セグメンテーション補正がさらに行われている。当該実施形態では、ドキュメントの複雑度が所定の閾値σを下回っていることが分かった場合、または、ドキュメントの複雑度が何らかの他の基準を満たしていることが分かった場合に、セグメンテーションの改善（refinement）工程をさらに行う。この方法では、最初に生成され、複雑度分析のために使用される初期段階の（initial）セグメンテーションマップを大まかな（coarse）ものにすることができるので、実施のために必要になる演算要求（computation requirements；必要とされる演算能力）を少なくすることができる。
【０１７７】
具体的には、本実施形態に係るシステムの画像処理部は、図９に示すように、セグメンテーション処理部１３２と、複雑度測定部１３６と、判定部１４０と、全体改善処理部１４２と、高性能セグメンテーション処理部１４４、適合改善処理部１４８とを備えている。
【０１７８】
当該実施形態では、入力画像Ｉが処理される。入力画像Ｉが入力されると、上記セグメンテーション処理部１３２は、初期段階のセグメンテーションを実施し、初期段階のセグメンテーションマップ１３４を作成する。複雑度測定部１３６は、他の実施形態でのように、画像Ｉの複雑度を測定し、複雑度値Ｃｘを計算する。さらに、判定部１４０は、複雑度値Ｃｘと閾値σとを比較し、複雑度値Ｃｘが閾値σを上回っていれば、全体改善処理部１４２は、画像Ｉに対して全体的改善を実施し、全体的に改善された画像Ｉ' が生成される。複雑度値Ｃｘが閾値σを下回っている場合、高性能セグメンテーション処理部１４４は、より洗練された（高精度な）セグメンテーション処理（finer segmentation process）を行う。これにより、高精度なセグメンテーションマップ（洗練されたセグメンテーションマップ）１４６が作成される。
【０１７９】
一例として、上記高性能セグメンテーション処理部１４４は、初期段階のセグメンテーションマップ１３４を改善して、当該セグメンテーションマップを更新し、上記高精度なセグメンテーションマップ１４６を生成してもよい。この場合、上記初期段階のセグメンテーションマップ１３４は、画質改善処理に使用するために、高性能セグメンテーション処理部１４４へ送られる。また、代替の実施形態として、上記高性能セグメンテーション処理部１４４は、初期段階のセグメンテーションマップを使用せず、高精度なセグメンテーション処理を独立して行ってもよい。
【０１８０】
次に、適合改善処理部１４８は、上記高精度なマップ１４６に基づいて、セグメントベースの改善を行い、画像Ｉを改善する。処理の、この部分により、高精度なセグメントベースの改善によって改善された画像Ｉ''が生成される。
【０１８１】
なお、上記では、判定部１４０が複雑度値Ｃｘと閾値σとの比較結果に基づいて、全体改善処理部１４２および適合改善処理部１４８のいずれが改善処理するかを決定する場合を例示したが、判定部１４０は、複雑度値Ｃｘが何らかの他の基準を満たしているか否かに基づいて決定してもよい。
【０１８２】
本発明の実施形態では、図２０に示すように、代替の、高精度なセグメンテーションアプローチを使用してもよい。具体的には、本実施形態に係るシステムの画像処理部は、図２０に示すように、セグメンテーション処理部４４２と、複雑度測定部４４６と、判定部４５０と、全体改善処理部４５２と、高性能セグメンテーション処理部４５４と、複雑度再測定部４５８と、再判定部４６２と、適合改善処理部４６４とを備えている。
【０１８３】
当該実施形態では、入力画像Ｉが処理される。入力画像Ｉが入力されると、上記セグメンテーション処理部４４２は、初期段階のセグメンテーション処理を実施して、初期段階のセグメンテーションマップ４４４を生成する。複雑度測定部４４６は、この初期段階のマップ４４４を用いて、画像Ｉの複雑度値Ｃｘを測定し、この処理によって、複雑度値Ｃｘが決定される。
【０１８４】
さらに、判定部４５０は、複雑度値Ｃｘが与えられた基準を満たしているか否かを判定し、複雑度値Ｃｘが与えられた基準を満たしていたら、全体改善処理部４５２は、全体的な改善を行う。これにより、結果として、全体的に改善された画像Ｉ' が生成される。
【０１８５】
一方、上記基準が満たされていない場合、または、それに代わる基準が満たされている場合、高性能セグメンテーション処理部４５４は、より洗練されたセグメンテーション処理を行う。高性能セグメンテーション処理部４５４は、その高精度な処理のための基礎として、上記初期段階のセグメンテーションマップ４４５を使用してもよいし、または、上記セグメンテーション処理部４４２による、初期段階のセグメンテーション処理からは独立して、より洗練されたセグメンテーション処理を行ってもよい。この高性能セグメンテーション処理部４５４による、より洗練されたセグメンテーション処理によって、より高精度なセグメンテーションマップ４５６が生成される。
【０１８６】
高精度なマップ４５６がいったん生成されたら、複雑度再測定部４５８は、高精度なマップ４５６に基づいて画像複雑度を再び測定する。これにより、高精度な複雑度値Ｃ’ｘが決定される。
【０１８７】
さらに、再判定部４６２は、例えば、この高精度な複雑度値Ｃ’ｘが閾値σ’を上回るかなど、複雑度値Ｃ’ｘが与えられた基準を満たしているか否かを判定し、この高精度な複雑度値Ｃ’ｘが基準を満たしている場合、全体改善処理部４５２は、全体的な改善を行う。
【０１８８】
一方、この基準が満たされていない場合、または、それに代わる基準が満たされている場合、適合改善処理部４６４は、代替の改善処理を行い、それにより、改善された画像Ｉ''が生成される。
【０１８９】
既に説明した本発明の実施形態では、複雑度測定を、ドキュメント画像全体のセグメンテーションマップを使用して演算してもよい。以下では、その一例として、図１０を参照しながら、画像セクションまたはストリップを使用して複雑度測度を計算し、アップデートまたは漸次累算する実施形態について説明する。
【０１９０】
この明細書および請求項では、セクションという用語は、以下の任意の部分分割（sub-division）または一部、すなわち、ドキュメント、ドキュメント画像、または、画像のいずれかの任意の部分分割（sub-division）または一部を指すものとする。画像を幾何学的に分割すること、画像を色特徴によって分割すること、画像を変換値（transform values）によって分割すること、または、画像を任意の他の方法によって分割することによって、セクションを形成してもよい。「ストリップ」という用語は、画像の細長い（elongated ）幾何学的な部分を指しており、典型的には、当該部分は、ページの一方の端または側から反対の端または側へと延びている。「ストリップ」という用語は、「セクション」という、より広い範囲の用語の意味に含まれている。
【０１９１】
具体的には、本実施形態に係るシステムの画像処理部は、図１０に示すように、画像取得部１６０と、セクションセグメンテーション処理部１６２と、セクション複雑度測定部１６４と、複雑度更新部１６６と、判定部１７０と、全体改善処理部１７２と、適合改善処理部１７４と、ページ終了判定部１７６と、セグメンテーションマップ更新部１８０とを備えている。なお、１セクションが複数のストリップから構成されていてもよいが、以下では、一例として、１セクションが１ストリップである場合について説明する。
【０１９２】
上記実施形態に係る画像処理部は、入力画像Ｉを、セクションまたはストリップ毎に漸増的に（incrementally ）処理する。本実施形態では、この漸増的な処理は、画像取得部１６０によって、次の画像セクションが取得され、当該画像セクション（最初は、第１セクション）が分析される処理と、そのうえに（thereon ）、セクションセグメンテーション処理部１６２によってセグメンテーションが行われる処理との繰り返しによって実現されている。
【０１９３】
上記セクションセグメンテーション処理部１６２が１つのセクションに対していったんセグメンテーションを実施したら、上記セクションセグメンテーション処理部１６２は、セグメンテーション処理の結果として、セクションセグメンテーションマップ１８２を作成する。セクション複雑度測定部１６４は、セグメンテーション処理の結果に基づいて、画像セクションの複雑度も計算し、複雑度更新部１６６は、例えば、当該複雑度を累積するなどして、累積された複雑度値または複雑度測度Ｃｘをアップデートして、複雑度値または複雑度測度Ｃｘを定める（establish）。ここで、１回目の処理の場合は、複雑度値または複雑度測度Ｃｘが累積されていないので、複雑度更新部１６６は、例えば、セクション複雑度測定部１６４の算出した第１セクションの複雑度に基づくなどして、複雑度値または複雑度測度Ｃｘを定める。なお、以下では、複雑度値または複雑度測度Ｃｘを、複雑度測度Ｃｘと略称する。
【０１９４】
判定部１７０は、複雑度測度Ｃｘと閾値σとを比較し、複雑度測度Ｃｘが閾値σを超えると、上記セクションセグメンテーション処理部１６２によるセグメンテーション処理（より詳細には、上記繰り返し処理）が終了され、全体改善処理部１７２が全体的改善を実施する。
【０１９５】
上記判定部１７０の判定により、複雑度測度Ｃｘが閾値σ未満であれば、上記画像取得部１６０は、次の画像セクションを取得し、当該他の画像セクションが処理される。後続のセクションを分析するとき、上記セクションセグメンテーション処理部１６２は、セクションセグメンテーションマップ１８２を作成し、セグメンテーションマップ更新部１８０は、当該セクションセグメンテーションマップ１８２に基づいて、セグメンテーションマップ１７８をアップデートする。また、セクション複雑度測定部１６４は、そのセクションについての複雑度測度を計算し、複雑度更新部１６６は、累算された複雑度測度Ｃｘを、新しいセクションにおいて集められた情報を反映するようにアップデートする。上記判定部１７０の判定により、累算された複雑度測度Ｃｘが閾値σを上回る場合、全体改善処理部１７２は、全体的改善を実施する。一方、上記判定部１７０の判定により、累算された複雑度測度Ｃｘが閾値σ未満のままであれば、別のセクションが処理される。この処理は、複雑度測度Ｃｘが閾値σを上回るまで、または、ページ全体が処理されるまで（例えば、上記ページ終了判定部１７６がページ終了を検出するまで）続けられる。閾値σを超えずに、ページ全体が処理されたら、適合改善処理部１７４は、適合された（tuned）セグメントベースの改善によって、画像Ｉ全体を処理する。
【０１９６】
なお、本実施形態では、ｎ個の列（ただし、ｎ≧１）を含む非重複画像ストリップを使用してもよい。また、上記画像取得部１６０がセクションまたはストリップを取得する順番は、ページの先頭から末尾への順番であってもよいし、セグメンテーション以前に決定されている初期段階の複雑度推定に基づいた複雑度の順序であってもよい。
【０１９７】
図１１に示す、本発明の他の実施形態では、ページ複雑度を、明確なセグメンテーションマップなしで決定している。当該実施形態では、ヒストグラム分析および変換ドメイン処理など（ただし、これに制限はされていない）の、入力ドキュメントから直接抽出された他の画像またはページ特性を、ドキュメントの複雑度を推定（estimate）するために利用している。続いて、セグメンテーションマップの生成と、このドキュメントに対する、適合された改善の実施とを行う価値があるかどうかが、この初期段階の分析および複雑度推定を用いて決定される。
【０１９８】
具体的には、図１１に示すように、本実施形態に係るシステムの画像処理部は、画像特性演算部１８４と、複雑度測定部１８６と、判定部１９０と、全体改善処理部１９２と、セグメンテーション処理部１９４と、適合改善処理部１９８とを備えている。
【０１９９】
当該実施形態に係る画像特性演算部１８４は、入力画像Ｉを処理し、分析して、画像またはページ特性を演算する。複雑度測定部１８６は、ページ複雑度を、これらの特性に基づいて推定し、複雑度測度Ｃｘを計算する。さらに、判定部１９０は、複雑度測度Ｃｘと閾値σとを比較し、複雑度測度Ｃｘが閾値σを上回る場合、全体改善処理部１９２は、全体的な改善を実施する。複雑度測度Ｃｘが閾値σを下回る場合、セグメンテーション処理部１９４は、セグメンテーションを実施し、セグメンテーションマップ１９６を作成する。次に、適合改善処理部１９８は、当該セグメンテーションマップに基づいて、上記画像Ｉを改善する。
【０２００】
本発明の他の実施形態を、図１２を参照しながら説明する。当該実施形態では、入力画像Ｉがストリップまたはセクションで処理される。なお、上記実施形態と同様に、以下では、一例として、１セクションが１ストリップである場合について説明し、セクションおよびストリップ、並びに、セクションのストリップを、セクションと称する。
【０２０１】
具体的には、本実施形態に係るシステムの画像処理部は、図１２に示すように、画像取得部１９０と、セクション複雑度測定部１９２と、複雑度更新部１９４と、判定部１９８と、全体改善処理部２００と、ページ終了判定部２０２と、セグメンテーション処理部２０４と、適合改善処理部２０８とを備えている。
【０２０２】
画像取得部１９０は、入力画像Ｉの次の画像セクション（最初は、第１セクション）を取得して分析し、セクション複雑度測定部１９２は、そのセクションの複雑度を、入力画像Ｉから抽出されたページに関する特性を使用して決定する。本実施形態に係る当該ページに関する特性は、例えば、ヒストグラム分析および変換ドメイン処理を含んでいるが、これに制限されるものではない。複雑度更新部１９４は、例えば、初回は、セクション複雑度測定部１９２からの複雑度を格納するなどして、累積ページ複雑度測度Ｃｘを格納する。さらに、判定部１９８は、累積ページ複雑度測度Ｃｘと閾値σとを比較し、累積ページ複雑度測度Ｃｘが閾値σを上回っていれば、全体改善処理部２００は、全体的画質改善を実施する。累積ページ複雑度測度Ｃｘが閾値σを下回り、ページ終了判定部２０２の判定などによって、未だドキュメント全体が処理されていなければ、セクションの取得処理以降の処理が繰り返され、上記画像取得部１９０は、次の画像セクションを分析する。さらに、複雑度更新部１９４は、セクション複雑度測定部１９２によって推定された、セクションの次の画像ストリップの複雑度を使用して、累積ページ複雑度測度Ｃｘをアップデートする。判定部１９８は、この測度Ｃｘを、再度閾値σと比較する。測度Ｃｘが閾値σを上回っていれば、全体改善処理部２００は、全体的画質改善を実施する。なお、当該画像Ｉ全体に対する全体的な処理は、直ぐに実施してもよい。閾値σを上回っておらず、しかも、未だドキュメント全体が処理されていなければ、他のセクションを上記のように処理する。
【０２０３】
この反復処理は、測度Ｃｘが閾値σを上回るまで、または、ページ終了判定部２０２の判定などによって、画像（ドキュメント）全体が処理されるまで続けられる。閾値σを上回ることなく画像全体が処理されたら、セグメンテーション処理部２０４は、画像全体にセグメンテーションを実施し、適合改善処理部２０８は、セグメントベースの改善によって画像Ｉを改善する。なお、本実施形態では、セグメンテーション処理部２０４によって生成されたセグメンテーションマップ２０６を、この最終的なセグメントベースの処理で使用する。しかしながら、複雑度測度Ｃｘがドキュメント全体について閾値σを下回っていなければ、セグメンテーション処理部２０４は、セグメンテーションマップ２０６を作成する必要はない。
【０２０４】
本発明の他の実施形態では、推定された複雑度測度を使用して、入力画像に適用される改善の度合いを調整してもよい。この場合、複雑度測度が利得制御の一種として機能し、複雑度測度は、セグメントベースの改善を、どの程度積極的に実行するかを決定できる。この場合、２種別の別個の改善（すなわち、全体的改善とセグメントベースの改善との）間の二分決定が強要されるというよりは、むしろ改善の強さが調節（regulate）される。この改善強度の調節は、連続的に（on a continuous scale）、または、段階的に（step-wise basis）実施してもよいし、あるいは、他の調整方法（adjustment scheme）によって実施してもよい。
【０２０５】
典型的な実施形態を、図１３を参照しながら説明する。当該実施形態に係るシステムの画像処理部は、図１３に示すように、セグメンテーション処理部２２０と、複雑度測定部２２４と、改善処理部２２８とを備えている。
【０２０６】
上記実施形態では、入力画像Ｉが入力されると、セグメンテーション処理部２２０は、入力画像Ｉを分析し、そのうえにセグメンテーションを実施する。その結果、セグメンテーションマップ２２２が作成される。次に、複雑度測定部２２４は、画像Ｉの複雑度を測定し、複雑度測度Ｃｘを決定する。この複雑度測度Ｃｘに基づいて、改善処理部２２８は、適合された改善を、複雑度測度Ｃｘに応じて変化する改善度合いで実施する。
【０２０７】
セグメントベースの改善（上記適合された改善）は、様々な方法で調整できる。図１４に、係数の異なる複数のフィルター種別を含む実施例を示す。この例では、これらのフィルターおよび係数を、図示したように、複雑度評価の値に基づいて利用している。ここでは、小数点第３位を四捨五入した数値例を示している。
【０２０８】
具体的には、図１４の例では、改善処理部２２８は、改善時に使用するフィルターＦ１〜Ｆ５を切り換え可能である。当該フィルターＦ１〜Ｆ５は、フィルターの処理方法または係数が異なっている。図１４の例では、複雑度測度Ｃｘの低いもの（余り複雑でないもの）から順番に、フィルターＦ１〜Ｆ５を使用するように設定されているので、フィルターＦ１〜Ｆ５のフィルターの処理方法または係数は、例えば、より複雑な画像に使用するもの程、余り大幅には画像品質を向上できなくても、セグメンテーション処理時の誤りに起因する画質低下が起こりにくいように（例えば、より全体改善処理に近い処理など）、しかも、より簡単な画像に使用するもの程、セグメンテーション処理結果が正しければ、より高い改善度合いで画像品質を向上可能なように（例えば、より適合改善処理に近い処理など）設定されている。さらに、改善処理部２２８では、複雑度測度Ｃｘの取り得る範囲が各フィルターＦ１〜Ｆ５に対応して予め分割されており、改善処理部２２８は、複雑度測定部２２４からの複雑度測度Ｃｘがいずれのフィルターに対応する範囲に属しているかを判定し、その範囲に対応するフィルターを使用する。
【０２０９】
あるいは、処理方法または係数の互いに異なるフィルターを用意しておくのではなく、改善フィルター係数のセットを１つ用意しておき、改善処理部２２８は、複雑度測度Ｃｘ、または、その評価値間で同一の改善フィルター係数のセットを、複雑度測度Ｃｘ、または、その評価値の値に基づいて補正してもよい。なお、本明細書および特許請求の範囲では、複雑度測度Ｃｘ、または、その評価（estimate）の値も、複雑度測度Ｃｘと略称する。例えば、改善処理部２２８は、フィルター応答を、複雑度測度Ｃｘに基づき、ドキュメントの複雑度が増すにつれてフィルターの改善がより控えめな傾向となるように調整してもよい。また、他の実装において、改善処理部２２８は、改善フィルター係数または改善結果を、様々な領域種別（例えば、テキスト、ハーフトーンなど）に対して組み合わせるために、複雑度測度Ｃｘを使用して、入力画像に対して積極的過ぎる処理を適用しないことを確実にしてもよい。一例として、改善処理部２２８は、上記複雑度測度Ｃｘに比例して可変する効果を有する処理を、上記画像に実施してもよい。
【０２１０】
本発明の上記各実施形態のいくつかでは、ドキュメントの複雑度を、画像全体のために定義してきたが、それに代えて、複雑度測度を複数の値からなるもの（多価；multi-valued）としてもよい。例えば、複雑度測度Ｃｘを、ベクトルによって表してもよい。なお、このベクトルの構成要素は、セグメンテーションマップ内の特定のコンテンツ領域の複雑度を反映している。マップがあれば、個々の領域、領域のセットまたは検出された領域の各々に対して、別々の複雑度測度を演算できる。次に、結果として生じる多価複雑度測度Ｃｘ（１，２，…，Ｍ）を分析して、各領域に対して実施される改善の種別および量を決定してもよい。
【０２１１】
領域特有の複雑度測度を決定するとき、異なる組（set ）の特性を使用して、別々の領域に対して異なるように、複雑度を演算してもよい。例えば、ドキュメント画像において、ハーフトーンタイプの領域に対する複雑度測度は、領域におけるテキスト画素の数に基づいていてもよい。一方、連続階調（contone ）領域では、エントロピー状の特性（entropy-like feature）を使用して決定してもよい。これにより、利用可能な領域種別に対して、最も適切な複雑度測度を定義でき、より目的を絞ってセグメントベースの改善を適用できる。
【０２１２】
領域特有の処理を行う実施形態を、図１５を参考しながら説明する。当該実施形態に係るシステムの画像処理部は、セグメンテーション処理部２４０と、複雑度測定部２４４と、改善処理部２４８とを備えている。当該実施形態では、セグメンテーション処理部２４０は、入力画像Ｉを読み込み、そのうえにセグメンテーションを実施する。その結果、セグメンテーションマップ２４２が作成される。複雑度測定部２４４は、このセグメンテーションマップ２４２を使用して、各領域特有の複雑度測度Ｃｘを測定する。これらの測定の結果、多価複雑度測度Ｃｘ（１，２，…，Ｍ）が生じる。次に、改善処理部２４８は、この多価複雑度測度Ｃｘ（１，２，…，Ｍ）を使用して、画像の領域特有の改善を制御したり、調整したりする。
【０２１３】
ところで、ドキュメントの複雑度を推定するときに、１つ以上のセグメンテーション方法を使用することが望ましい場合もある。複数のセグメンテーションアルゴリズムを採用する１つの理由は、単一のセグメンテーション方法が全ての種別の入力データに対してうまく作用するわけではないかもしれないからである。例えば、有色情報（chromatic information）に依存したセグメンテーション技術は、無色の（achromatic ）入力画像に対しては無効である。ページ上のハーフトーンとテキスト領域とを正確に分類できるが連続階調エリアではエラーとなるアルゴリズムは、スキャンした写真をセグメンテーションするためには最適ではない。同様に、不適切なセグメンテーション方法を使用して演算された複雑度測度は、どの種別の改善を適用すべきかについての誤った結論を導き出すこととなる。
【０２１４】
このような問題を避けるために、入力画像を、まず、複数の異なるセグメンテーション方法を使用してセグメンテーションしてもよい。これらの方法は、それらが利用するデータの種別または特性、それらが実施する（follow）セグメンテーションアプローチ、あるいは、これら双方が異なっていてもよい。例えば、同じセグメンテーションアルゴリズムを、入力画像の構成要素の各々に別々に適用してもよい。他の実施形態では、クラスタ化技術、領域拡大（region growing）技術、ファジーセグメンテーション方法、または、他の技術または方法を使用して、入力画像をその成分領域にセグメンテーションしてもよい。Ｎ個の別個のセグメンテーションマップをセグメンテーションモジュールによって生成した後、各マップに対して複雑度測度を演算する。その結果、入力画像に対するＮ個の複雑度推定が生じる。次に、与えられた入力画像のために最良のセグメンテーションマップ（および、セグメンテーション方法）が、これらの複雑度測度に基づいて選択される。
【０２１５】
複雑度演算は、セグメンテーション方法のエラー尤度およびドキュメントレイアウトを考慮してもよいので、結果として生じる複雑度測度のセットは、この画像に対して、どのセグメンテーション技術が最適であるかを示すことができる。この選択は、様々な方法で実施できる。例えば、最小複雑度推定を生じるセグメンテーションマップを、さらなる改善のために選択できる。
【０２１６】
複数のセグメンテーション方法を含む処理を行う実施形態について、図１６を参照しながら説明する。当該実施形態に係るシステムの画像処理部は、複数のセグメンテーション処理部２５２・２５４・２５６を含むセグメンテーション処理モジュール２５０と、各セグメンテーション処理部２５２・２５４・２５６に対応する複雑度測定部２６２・２６４・２６６を含む複雑度測定モジュール（複雑度分析モジュール）２６０と、判定部２６８と、セグメンテーションマップ処理部２５８と、改善処理部２７０とを備えている。
【０２１７】
当該実施形態では、入力画像Ｉが受信されると、各セグメンテーション処理部２５２・２５４・２５６（セグメンテーション処理モジュール２５０）によって、複数のセグメンテーション方法が画像Ｉに実施される。これらの結果、複数のセグメンテーションマップ２７２〜２７６が生成される。複雑度測定モジュール２６０（複雑度測定部２６２・２６４・２６６）は、これらのマップ２７２〜２７６を使用して、各セグメンテーション処理部２５２・２５４・２５６による、セグメンテーション方法の各々に関して、画像Ｉの複雑度を決定する。これにより、多価の複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）が各セグメンテーション方法に関連して決定される。判定部２６８は、これらの複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）を分析して、上記特定の画像Ｉに対して、各セグメンテーション処理部２５２・２５４・２５６による各セグメンテーション方法のいずれが、より良好に作用するかを決定する。セグメンテーション方法がいったん選択されると、セグメンテーションマップ処理部２５８は、適切なセグメンテーションマップを選択し、改善処理部２７０は、それを用いて、入力画像Ｉに対し、適合された改善を実施する。
【０２１８】
なお、上記では、一例として、セグメンテーションマップ処理部２５８がセグメントマップを選択する場合を例にして説明したが、それに代えて、改善処理部２７０が上記複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）、あるいは、判定部２６８により選択された複雑度測度Ｃｘに基づいて、上記各セグメンテーション処理部２５２・２５４・２５６からのセグメントマップの中から、適切なセグメンテーションマップを選択してもよい。一例として、改善処理部２７０は、選択されたセグメンテーションマップに基づく改善処理の可変パラメータを、それに関連付けられた複雑度測度（選択された複雑度測度Ｃｘ）に比例して変更してもよい。
【０２１９】
複数のセグメンテーション方法を用いたアプローチに関する、他の実施形態を、図１７を参照しながら説明する。当該実施形態では、複数の代替可能な方法の各々を使用して、入力画像Ｉを改善し、結果として生じる画像を組み合わせて、単一の改善画像を生成する。
【０２２０】
具体的には、実施形態に係るシステムの画像処理部は、複数のセグメンテーション処理部２５２・２５４・２５６を含むセグメンテーション処理モジュール２５０と、各セグメンテーション処理部２５２・２５４・２５６に対応する複雑度測定部２６２・２６４・２６６を含む複雑度測定モジュール（複雑度分析モジュール）２６０と、各複雑度測定部２６２・２６４・２６６に対応する改善処理部２８２・２８４・２８６と、組み合わせ処理部２８８とを備えている。なお、上記セグメンテーション処理部２５２、複雑度測定部２６２および改善処理部２８２と、上記セグメンテーション処理部２５４、複雑度測定部２６４および改善処理部２８４と、上記セグメンテーション処理部２５６、複雑度測定部２６６および改善処理部２８６とのうちのいずれかは、セグメンテーション処理を含む画像分析処理として、全体的分析処理を行ってもよい。
【０２２１】
当該画像処理部では、入力画像Ｉが受信されると、各セグメンテーション処理部２５２・２５４・２５６による複数のセグメンテーション方法を使用して、当該入力画像Ｉが処理される。その結果、複数のセグメンテーションマップ２７２〜２７６が作成される。次に、複雑度測定モジュール２６０は、これらの多重セグメンテーションマップ２７２〜２７６を使用して、各セグメンテーション方法に関連する画像Ｉの複雑度を測定する。その結果、多価の複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）が生成されることとなる。次に、各改善処理部２８２・２８４・２８６は、各複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）に応じて、画像Ｉに対する適合された改善を、それぞれ実施する。次に、組み合わせ処理部２８８は、各改善処理部２８２・２８４・２８６によって実施された、各適合された改善方法の結果を組み合わせて、単一の改善画像を生成する。
【０２２２】
上記実施形態に係る組み合わせ処理部２８８は、セグメンテーションモジュール２５０（２５２・２５４・２５６）において得られた全てのマップ（２７２〜２７６）を、最終的な改善結果Ｉ' を生成するために使用できる。また、上記各改善処理部２８２・２８４・２８６による適合された改善は、セグメンテーションマップ２７２〜２７６の各々のために実施される。各改善処理部２８２・２８４・２８６は、それぞれの場合の改善の量または種別を、それぞれに対応する複雑度推定の値（複雑度測度Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）によって決定してもよい。次に、組み合わせ処理部２８８によって、出力画像Ｉを形成するために、改善結果が組み合わされる。組み合わせ処理部２８８による、最終的な併合工程（merging step）は、各セグメンテーションアルゴリズム（セグメンテーション方法）の複雑度推定（複雑度測度Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）を考慮して、各改善結果が最終結果Ｉにどのように寄与するかを決定してもよい。さらに、組み合わせ処理部２８８は、各セグメンテーション方法の強みを利用するため、併合時にセグメンテーション技術の特別なプロパティ（particular properties）を考慮してもよい。
【０２２３】
図１８に示すように、他の実施形態に係るシステムの画像処理部は、セグメンテーション処理モジュールに設けられる複数のセグメンテーション処理部３００・３０２・３０４と、複雑度測定モジュール（複雑度分析モジュール）に設けられ、上記各セグメンテーション処理部３００・３０２・３０４に対応する複雑度測定部３０６・３０８・３１０と、算出部３２４と、判定部３２６と、全体改善処理部３２８と、高性能セグメンテーション処理部３３０と、適合改善処理部３３４とを備えている。
【０２２４】
当該実施形態では、上記各セグメンテーション処理部３００〜３０４において得られたマップの複数は、高性能セグメンテーション処理部３３０によって、最終的なセグメンテーションマップを生成するために使用されている。また、複数のセグメンテーション方法結果に基づいて算出された多価の複雑度測度に基づいて、ドキュメントＩの複雑度が評価され、その評価結果が閾値を超えているか否かによって、全体的な改善処理を行うか、適合された改善処理を行うかが決定されている。
【０２２５】
当該実施形態では、図１７に示す画像処理部と同様に、複数のセグメンテーションマップ３１２〜３１６、並びに、多価の複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）が生成される。さらに、算出部３２４は、各セグメンテーションマップ３１２〜３１６用の複雑度推定（複雑度測度Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）を、関数Ｆ（Ｃｘ）を使用して組み合わせる。典型的には、関数Ｆ（Ｃｘ）としては、最小（min(.)）および平均（mean(.) ）が選択されるが、他の関数を使用できることは明らかである。
【０２２６】
判定部３２６は、上記関数Ｆ（Ｃｘ）の値と与えられた閾値σとを比較し、上記関数Ｆ（Ｃｘ）の値が当該与えられた閾値σを上回る場合、全体改善処理部３２８は、全体的改善を入力画像Ｉに適用する。そうでない場合、高性能セグメンテーション処理部３３０は、上記各セグメンテーションマップ３１２〜３１６を組み合わせて、高精度なセグメンテーションマップ３３２を生成する。また、適合改善処理部３３４は、この最終的なマップ３３２に基づいて、セグメントベースの改善を入力画像Ｉに適用する。
【０２２７】
なお、算出部３２４は、比較的低い複雑度を有する、最も信頼性のあるセグメンテーションマップだけを併合して、最終的なセグメンテーションを得てもよい。また、セグメントベースの改善が適切であるか否かを決定するために、最終的なセグメンテーション結果を使用して、入力ドキュメントの複雑度を再評価する工程（あるいは部材）を、さらに追加してもよい。
【０２２８】
上記で開示した実施例の中には、一般的に、ドキュメント画像の複雑度を推定するためのセグメンテーションマップに明らかに依存しているものもある。また、複雑度測度を演算するためにはセグメンテーションマップが不要な実施形態もある。これらの実施形態に係る画像処理部は、入力画像から直接抽出された他の特性を利用できる。これらの特性は、ヒストグラムなどの全体的な画像特徴あるいは画像の統計処理をした画像特徴から引き出されたものであってもよい。例えば、エッジ量、画像ヒストグラムの滑らかさ（smoothness）または均一性（uniformity）は、ドキュメントの複雑度の単純な指標（simple indicator）として使用できる。あるいは、画素近傍（pixel neighborhoods）に渡って演算された局部的特性（local features ）は、必要な複雑度情報を提供できる。このような局部的特性は、ブロックベースの（ブロックに基づく；block-based）方法で決定された属性（例えば、高周波数変換ＤＣＴ係数の振幅（magnitude ）など）、均一測定（例えば、局部分散）、および、他の方法などを含んでいてもよい。画像処理部は、その後、画像に対する複雑度推定（複雑度測度）を決定するために、これらの属性を組み合わせることができる。画像処理部は、ドキュメント、または、ドキュメントの領域またはドキュメントのセクションに対して適用される改善の種別を決定し適合するために、当該複雑度測度を使用してもよい。これらの実施形態では、改善がセグメンテーション主導型（segmentation-driven ）でなくてもよい。すなわち、画像処理部は、複雑度測度の値に応じて調整された同じ種別の改善を、ドキュメント画像全体に適用してもよい。画像処理部は、複雑度測度Ｃｘに基づく改善パラメータの調整を、上記各実施形態で説明したように様々な方法で実施できる。
【０２２９】
画像処理部は、様々なドキュメントプロパティおよびセグメンテーションに関する特性を、当該ドキュメントのセグメンテーションマップから当該ドキュメントの複雑度を推定するために使用できる。画像処理部は、セグメンテーション時に使用される特定のセグメンテーションアルゴリズムの属性およびアプリケーションの必要条件に応じて、複雑度推定時に考慮する、特定の特性の集合（set ）を変更してもよい。
【０２３０】
あるコンテンツ種別は、演算的にコストがかかり、与えられたデバイスまたはアプリケーションが改善するのに難しいこともある。さらに、ユーザにとっては、いくつかの領域に生じる改善エラーが目立つものであり、その結果、明らかに、より好ましくないものである可能性がある。
【０２３１】
例えば、あるデバイスは、ハーフトーンエリアを効果的に処理し、改善できるかもしれないが、連続階調領域を同じように向上させる能力には欠けていることもある。このようなデバイスのためには、明らかに、セグメンテーションマップにおける連続階調領域の分布率（prevalence）を考慮する複雑度測度が適切だろう。また、画像処理部は、複雑度を算出する際に、上記属性だけではなく、デバイスの処理性能データに基づいて、上記画像の複雑度を推定してもよい。
【０２３２】
より詳細には、例えば、上記のように、あるデバイスが、網点領域に特化した画質向上処理は優れているが、連続階調領域（例えば、銀塩写真などの印画紙写真）に特化した画質向上処理は優れていないとする。この場合、連続階調領域が多く存在するほど、セグメンテーション結果を利用した画質向上処理において、連続階調の画質劣化が目立つ虞れがある。
【０２３３】
このような場合、このデバイスにとっては、連続階調領域が多く存在するドキュメントほど、セグメンテーション結果を利用した処理が難しく、複雑なドキュメントということになる。したがって、このように連続階調領域が多く存在する場合には、例えば、全体的に画質向上させるような、あまり構成要素に特化しない処理をする方が、ドキュメント全体の画質を向上させる上では好ましい。
【０２３４】
したがって、このような場合、上記画像処理部は、連続階調領域の数を１つの特徴として用い、連続階調領域が多く存在するほど、複雑度を大きく設定すると共に、当該複雑度に基づいて、例えば、セグメンテーション結果を利用した画質向上処理を行うかどうかを判断するなど、画像処理方法を選択または調節することによって、誤検出による画質劣化を回避でき、より画質の向上した画像処理を実施できる。
【０２３５】
さらに、画像処理部は、セグメンテーション時に、いくつかの画素を複数のラベル（例えば、ハーフトーン背景にあるテキスト文字の場合、テキストおよびハーフトーン）に割り当ててもよい。このような画素の改善は、改善アルゴリズムにとって、特に処理するのが困難なこともある。したがって、複雑度分析は、可能性のある特性として、セグメンテーション方法によって生成された領域の多数の特徴（例えば、形状、エリア、トポロジカルなプロパティなど）を考慮する方が望ましい。このような特性は、前景での接続された構成要素の数（number of foreground connected components）、非矩形に（non-rectangular）接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対する非矩形な領域におけるハーフトーン画素の数の比率、全画素数に対するハーフトーン上のテキスト画素の数の比率、テキストエリアのある場合または無い場合の背景領域および／または前景領域の輝度および／またはクロミナンスの統計などを含んでいてもよいが、これらに制限されるものではない。
【０２３６】
上記演算された特性ｆｉは、続いて、様々な方法で組み合わせられ、ドキュメント全体のための単一の複雑度測度Ｃｘが生成されていてもよい。一例として、以下の式（１）のように、
Ｃｘ＝Σ（ωｉ・ｆｉ） …（１）
重み付け合計（weighted sum）をスカラーの複雑度測度Ｃｘを生成するために使用できる。なお、Σ（）は、ｉを１〜Ｎまで変化させながら、（）内の値を合計した値を示している。また、ωｉは、特性に対する重み付けを表しており、様々な方法で（例えば、回帰分析などによって実験的に）決定できる。
【０２３７】
一例として、本実施形態に係る画像処理部が、(1) ドキュメント内におけるハーフトーン領域の総数、(2) ドキュメント内における非矩形のハーフトーン領域の総数、(3) ドキュメントサイズに対するハーフトーン領域の比率、(4) ドキュメントサイズに対する非矩形ハーフトーン領域の比率、および、(5) ドキュメント内におけるハーフトーン下地上文字（例えば、パンフレットやポスターなどで、着色された領域（ハーフトーン下地）に印刷されている文字など）の画素数という５つの特徴を用いて、複雑度測度Ｃｘを計算する場合で、当該画像処理部が、その処理上で、非矩形のハーフトーン領域の処理を不得意とする場合、上記(2) および(4) の重みを他の重みよりも大きく設定し、複雑度測度が非矩形の影響を受け易くする。これにより、上記画像処理部が不得意な領域、すなわち、非矩形のハーフトーン領域を含むドキュメントが、より複雑なドキュメントであると認識され、上記画像処理部は、より適切に、その後の処理を選択または調節できる。なお、演算された特性から複雑度測度Ｃｘを得るために、上記とは異なる組み合わせ方法を使用してもよい。
【０２３８】
図１９に、サンプルセットのためのドキュメントの複雑度分析の実施例の結果を示す。なお、図１９中、実線は、演算されたドキュメントの複雑度測度を示しており、破線は、人間によって主観的に分類された複雑度等級（Class Complexity ）を示している。この実施例においてドキュメントの複雑度を演算するために使用される特性は、前景での接続された構成要素の数、非矩形な接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対する非矩形な領域におけるハーフトーン画素数の比率、および、全画素数に対するハーフトーン上のテキスト画素の数の比率である。特性値は、その後、重み付け合計を使用して組み合わされて、この入力ドキュメントに対する単一スカラー複雑度測度Ｃｘが生成される。テストセットにおけるドキュメントは、人間である観察者によって、６セットの等しい複雑度に分割されており、自動的に演算された複雑度測度は、主観的順位と比較されている。図１９から分かるように、演算された複雑度測度は、主観的順位に厳密に従ったものであり、相違は、等級境界（クラス境界；class boundaries）でのみ観察される。
【０２３９】
ここまでの明細書で使用してきた用語および表現は、ここでは限定のためではなく説明の用語として使用されるものであり、このような用語および表現を使用することは、図示し説明した特徴の均等物、および、その一部を排除することを意図するものではなく、特許請求の範囲に記載によって、本発明の範囲が定義され、制限される。
【産業上の利用可能性】
【０２４０】
複写システム、画像形成システム、画像複製システム、あるいは、画像を圧縮、アーカイブあるいは検索するシステムをはじめとして、種々の画像処理を行うシステム（装置）に広く適用できる。
【図面の簡単な説明】
【０２４１】
【図１】従来技術の複雑度演算方法を示す図面である。
【図２】画像複雑度が増すに従ってセグメンテーションに基づいた改善が画像品質に及ぼす効果を示すグラフである。
【図３】本発明の実施形態を示すものであり、ラスタベースの複雑度決定方法を示す図面である。
【図４】本発明の実施形態を示すものであり、アルゴリズムの特徴を用いたラスタベースの複雑度決定方法を示す図面である。
【図５】本発明の実施形態を示すものであり、変換領域データを採用したラスタベースの複雑度決定方法を示すチャートである。
【図６】本発明の実施形態を示すものであり、アルゴリズムの特徴を用いたオブジェクトベースの複雑度決定方法を示す図面である。
【図７】本発明の実施形態を示すものであり、セグメントベースの複雑度測度を決定し、これらの測度を、画質改善を制御するために使用するシステムを示す線図である。
【図８】本発明の実施形態を示すものであり、セグメントベースの複雑度測度を決定し、これらの測度を、画質改善を制御し、全体的な改善とセグメントベースの改善との組み合わせを制御するために使用するシステムを示す線図である。
【図９】本発明の実施形態を示すものであり、大まかなセグメンテーションを、複雑度測度を決定するために使用し、後に、必要であれば、より高精度なセグメンテーションを実施するシステムを示す線図である。
【図１０】本発明の実施形態を示すものであり、連続した画像セクションのための、セグメントベースの複雑度測度を決定し、画質改善を制御するために累積複雑度測度を採用するシステムを示す線図である。
【図１１】本発明の実施形態を示すものであり、複雑度決定時にセグメンテーションしなくてもページに関連する特性から複雑度測度を決定するシステムを示す線図である。
【図１２】複雑度決定時にセグメンテーションしなくてもページに関連する特性から複雑度測度を決定し、連続した画像セクションを使用して複雑度を計算するシステムを示す線図である。
【図１３】本発明の実施形態を示すものであり、複雑度測度を決定し、これらの測度を、改善処理における利得制御として使用するシステムを示す線図である。
【図１４】複数のフィルター構成方法を示す表の図面である。
【図１５】本発明の実施形態を示すものであり、領域特有の複雑度測度を決定するシステムを示す線図である。
【図１６】本発明の実施形態を示すものであり、複数のセグメンテーション方法を使用して複数の複雑度測度を決定するシステムを示す線図である。
【図１７】本発明の実施形態を示すものであり、複数のセグメンテーション方法を使用して複数の複雑度測度を決定し、最終的な改善された画像に組み合わせてもよい複数の調整された改善を実施するシステムを示す線図である。
【図１８】本発明の実施形態を示すものであり、複数の、初期、大まかなセグメンテーション方法を使用して、複数の複雑度測度を決定するシステムを示す線図である。
【図１９】計算された複雑度測度を、人間の観察者による主観的複雑度決定と共にプロットした図面である。
【図２０】本発明の実施形態を示すものであり、大まかなセグメンテーションを、複雑度測度を決定するために使用し、後に、必要であれば、より高精度な（refined ）セグメンテーションおよび高精度な複雑度決定を実施するシステムを示す線図である。
【符号の説明】
【０２４２】
１１０・１２２・１３２・２４０ セグメンテーション処理部（属性決定手段）
１１２・１３０・１３６ 複雑度測定部
（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
１１４・１４０・１７０ 判定部（処理手段；処理方法決定手段）
１１６・１４２・１７２・１９２・２００・３２８ 全体改善処理部（処理手段）
１１８・１４８・１７４・１９８・２０８・３３４ 適合改善処理部（処理手段）
１２８・２８８ 組み合わせ処理部（合成手段）
１６２ セクションセグメンテーション処理部（属性決定手段）
１６４ セクション複雑度測定部
（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
１６６ 複雑度更新部（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
１８４ 画像特性演算部（複雑度概算手段）
１８６・２４４・２４４ 複雑度測定部
（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
１９０・１９８・３２６ 判定部（処理手段；処理方法決定手段）
１９２ セクション複雑度測定部（複雑度概算手段）
１９４ 複雑度更新部（複雑度概算手段）
２４８・２７０ 改善処理部（改善度合い調整手段）
２５２〜２５６・３００〜３０４ セグメンテーション処理部（属性決定手段）
２６２〜２６６ 複雑度測定部
（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
３０６〜３１０ 複雑度測定部
（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
【技術分野】
【０００１】
本発明は、デジタル画像の複雑度測定方法、処理選択方法、画像処理方法、そのプログラムおよび記録媒体、画像処理装置、並びに、画像処理システムに関するものである。
【背景技術】
【０００２】
デジタル画像およびドキュメント（文書；document）は、複数の要素（element）またはコンテンツ種別（contents type；内容種別）を含んでおり、この要素またはコンテンツ種別は、テキスト、ハーフトーン、グラフィックス、ビットマップ画像、これらの変形物（Variation）および他の要素を含んでいる。これら要素の各々は、ディスプレイまたはプリンタへレンダリングされるとき、表示される出力の品質が最適となるように互いに異なる方法で処理される。この異なる処理は、画像が要素またはコンテンツ種別にセグメンテーションされていることを必要とする。このセグメンテーション処理は、典型的には、ドキュメントのページのデジタル画像から、いわゆるセグメンテーションマップ（segmentation map）を演算することによって実行される。多くの場合、このことは、画素または領域（region）分類の問題に帰着する。なぜなら、要素種別またはコンテンツ種別の設定は、先見的に（a priori）知られているからである。入力ページのセグメンテーションマップがあれば、各コンテンツ種別の領域を、それに対応する要素またはコンテンツ種別が必要とする条件に応じて最適に処理できる。
【０００３】
いくつかの既知の方法では、図１に示すように、レンダリングジョブのためのオブジェクトデータを受信する（Ｓ１０）。Ｓ１０にて受信されたデータは、一般的に、プリンタジョブ言語コマンドまたはグラフィックエンジンレンダリングコマンド（例えば、ＨＰＧＬコマンド、ＰＣＬコマンド、ＧＤＩコマンドまたはその他など）の形を取っている。これらのコマンドは、これらコマンドが定義するグラフィック要素についてのコンテンツ種別を識別する。また、この情報は、ドキュメント中のコンテンツ種別を識別する（１２）ために、上記Ｓ１０にて受信されたコマンドデータから簡単に抽出できる。Ｓ１２において、いったんコンテンツ種別が識別されると、Ｓ１４において、オブジェクトの構成を分析して、ドキュメントの複雑度の決定を補助できる。このデータから複雑度要因（complexity factors）を計算する（Ｓ１６）。
【０００４】
また、後述の特許文献１に記載の方法は、画像データが異なる画像属性を有する非矩形の画像領域を複数レイアウトした形態であっても、非矩形の画像領域を画像属性毎に高速かつ正確に判別するために、以下の構成を備えている。すなわち、入力された画像データを複数のブロックに分割し、ブロックの画像属性（網点、写真、文字、背景）を決定し、画像属性毎にブロックをまとめて、矩形領域を抽出する。さらに、２つの異なる矩形領域同士で重なる領域を抽出し、重なり領域の画像属性を決定すると共に、重なり領域の画像属性に基づくブロックマップを作成している。
【０００５】
一方、後述の特許文献２には、オブジェクトに基づく画像検索のための新たな画像セグメント化アルゴリズムとして、以下の方法が記載されている。すなわち、オブジェクトに基づく画像検索において、画像を分割する際、カラーリージョン対の境界の複雑さを計算し、カラーリージョン値の複雑さの値が所定の境界複雑さ閾値よりも大きく、かつ、リージョン対の色距離が所定の距離閾値よりも小さい場合にリージョン対を併合する。また、階層的クラスタ分析を用いて、カラーリージョンを併合した後、境界分析を用いて、カラーリージョンを併合する。さらに、カラーリージョンが小さく、かつ、別のカラーリージョンによって方位されている場合は、小さいカラーリージョンを、包囲しているカラーリージョンに併合し、最後に、リージョンデータを各カラーリージョンに割り当てている。
【０００６】
また、後述の特許文献３には、文字の修飾である網掛けを精度よく除去し、文字認識の精度向上等を図るために、以下の方法が記載されている。すなわち、網掛けの有無を判別する際、領域内における同色画素の連結された外接矩形を検出した後、矩形の大きさ、縦横比、縦と横の大きさの差分、上記同色または同色とみなされる画素数の矩形サイズに対する面積比の各情報を用いて、網点矩形を判別し、網点矩形の数を計数する。そして、外接矩形の総数と、計数された網点矩形の数の比率を、閾値と比較して、網掛けの有無を判別する。さらに、網の大きさを識別して、識別結果に基づいて、網を除去する。
【特許文献１】特開２０００−２２９４３号公報（公開日：2000年１月２１日）
【特許文献２】特開２００３−１７３４４２号公報（公開日：2003年６月２０日）
【特許文献３】特開２００３−２２３６１２号公報（公開日：2003年８月８日）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記図１に示す技術は、オブジェクトベースのコマンドなどのコマンド構造に区分化されているドキュメントデータに対しては有効であるが、ビットマップデータ、ラスタデータおよび他の形を取っている、非オブジェクトベースのデータに対しては無効である。さらに、利用可能な方法は、アルゴリズムに関連する複雑度要因を作成するためのアルゴリズムデータの処理とは組み合わされていなかった。
【０００８】
また、上記各技術では、デジタル画像の複雑度に応じて、当該画像に対する画像処理の改善度合いや方法を変更する点については充分な記載がなく、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理の品質を、さらに向上することが求められている。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像処理の品質をさらに向上するための複雑度測定方法、処理選択方法、画像処理方法、そのプログラムおよび記録媒体、画像処理装置、並びに、画像処理システムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明に係る複雑度測定方法は、上記課題を解決するために、デジタル画像の複雑度測定方法であって、画像をラスタ画像として表現する工程ａと、上記ラスタ画像における各画素の属性を決定する工程ｂと、上記属性に基づいて画像複雑度測度を計算する工程ｃとを含んでいることを特徴としている。
【００１１】
また、上記構成において、上記属性は、セグメンテーションに関する特徴であってもよい。さらに、上記構成において、上記特徴は、セグメンテーションエリア境界を含んでいてもよい。また、上記構成において、上記特徴は、セグメンテーションエリア形状を含んでいてもよい。さらに、上記構成において、上記特徴は、セグメンテーションエリアサイズを含んでいてもよい。また、上記構成において、上記特徴は、セグメンテーションエリアのトポロジカルプロパティを含んでいてもよい。さらに、上記構成において、上記特徴は、非矩形な接続された構成要素の数を含んでいてもよい。また、上記構成において、上記特徴は、全画素数に対するハーフトーン画素の数の比率を含んでいてもよい。さらに、上記構成において、上記特徴は、全画素数に対するハーフトーンにおけるテキスト画素の数の比率を含んでいてもよい。また、上記構成において、上記特徴は、背景領域の輝度統計を含んでいてもよい。さらに、上記構成において、上記特徴は、前景領域の輝度統計を含んでいてもよい。また、上記構成において、上記特徴は、背景領域のクロミナンス統計を含んでいてもよい。さらに、上記構成において、上記属性は、変換データ関連特徴であってもよい。
【００１２】
これらの構成によれば、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理の品質を、さらに向上するための画像の複雑度（複雑度測度）を計算できるので、当該複雑度に基づいた画像処理を行うことによって、画像処理の品質を向上できる。
【００１３】
一方、本発明に係る複雑度測定方法は、デジタル画像の複雑度測定方法であって、上記課題を解決するために、画像をラスタ画像として表現する工程ａと、上記ラスタ画像の属性を決定する工程ｂと、画像処理方法の複雑度関連特徴を決定する工程ｃと、上記属性および上記特徴に基づいて画像複雑度測度を計算する工程ｄとを含んでいることを特徴としている。また、上記構成において、画像複雑度測度の上記計算のために、属性に基づいて、および、コンテンツ種別に関連する情報を使用して、上記ラスタ画像における上記コンテンツ種別を識別する工程をさらに含んでいてもよい。さらに、上記構成において、上記属性は、ヒストグラム特徴であってもよい。また、上記構成において、上記属性は、変換データ関連特徴であってもよい。
【００１４】
これらの構成によれば、上記各方法と同様、種々の画像処理の品質を、さらに向上するための画像の複雑度（複雑度測度）を計算できるので、当該複雑度に基づいた画像処理を行うことによって、画像処理の品質を向上できる。
【００１５】
さらに、上記各構成では、画像の複雑度測度を計算する際、ラスタ画像の属性だけではなく、画像処理方法の複雑度関連特徴も参照しているので、当該複雑度関連特徴を参照せずに計算する構成とは異なって、例えば、セグメンテーションマップがどの程度信頼できるものであるか、および、セグメントベースの領域特有の改善方法が入力ドキュメントにとって、どの程度適切なものであるのかなど、画像処理方法の特徴も複雑度測度に反映させることができ、より画像処理の品質向上に適した複雑度測度を計算できる。
【００１６】
また、本発明に係る処理選択方法は、上記課題を解決するために、デジタル画像を処理するための処理選択方法であって、画像をラスタ画像として表現する工程ａと、上記ラスタ画像の属性を決定する工程ｂと、第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｃと、上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｄと、上記複雑度が閾値を上回っていれば第１処理を実施する工程ｅと、上記複雑度が、上記閾値を上回っていなければ第２処理を実施する工程ｆとを含んでいることを特徴としている。
【００１７】
当該構成によれば、上記属性および上記処理性能データに基づいて推定された上記画像の複雑度に応じて、第１処理を実施するか第２処理を実施するかが選択されるため、上記各方法と同様、種々の画像処理の品質をさらに向上できる。
【００１８】
また、上記構成において、上記第１処理が、全体的画質改善（image enhancement）であり、上記第２処理が、セグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記閾値が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。
【００１９】
ここで、セグメンテーションに基づく画質改善は、領域の分析が正確であれば、セグメンテーションされた各領域をより適切な方法で画像処理できる一方で、領域の分析に失敗すれば、その部分の画像処理の品質が大幅に低下して、総合的な画像処理の品質を低下させる虞れがある。これに対して、全体的な画質改善は、領域の分析が正確な場合には、セグメンテーションに基づく画質改善よりも画像処理の品質向上が難しい一方で、領域の分析が正確でない場合でも、領域の分析に起因する画像処理の品質低下が発生しない。
【００２０】
上記各構成によれば、上記属性および上記処理性能データに基づいて推定された上記画像の複雑度に応じて、セグメンテーションに基づく改善を行うか、全体的な改善を行うかが決定されるので、この結果、セグメンテーションに基づく改善のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
【００２１】
さらに、本発明に係る処理選択方法は、上記構成において、デジタル画像を処理するための処理選択方法であって、画像の複雑度関連属性を決定する工程ａと、セグメンテーションに基づく画質改善処理のための処理性能データを取得する工程ｂと、全体的な画質改善処理のための処理性能データを取得する工程ｃと、上記属性および上記性能データに基づいて画像複雑度測度を計算する工程ｄと、上記複雑度が閾値を上回っていれば全体的画質改善を実施する工程ｅと、上記複雑度が上記閾値を上回っていなければセグメンテーションに基づく画質改善を実施する工程ｆとを含んでいることを特徴としている。
【００２２】
上記構成によれば、属性および上記性能データに基づいて計算された画像複雑度測度に応じて、全体的画質改善か、あるいは、セグメンテーションに基づく画質改善が実施されるので、セグメンテーションに基づく改善のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
【００２３】
一方、本発明に係る画像処理方法は、画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定工程とを含んでいることを特徴としている。なお、上記構成において、上記デジタル画像のレイアウトを示す情報は、当該デジタル画像を領域分割する際に生成されるセグメンテーションマップであってもよい。
【００２４】
ここで、デジタル画像の領域毎に特有の方法で画像処理する場合、領域の分析が正確であれば、各領域をより適切な方法で画像処理できる。したがって、例えば、画質向上を目的とした画像処理であれば、より画質を向上でき、例えば、圧縮率向上を目的とした画像処理であれば、より圧縮率を向上できる。
【００２５】
ただし、この場合は、領域に特有の方法で画像処理するため、領域の分析に失敗すると、その部分には、不適切な画像処理が行われる。これにより、逆に、その部分の画像処理の品質が大幅に低下して、総合的な画像処理の品質を低下させる虞れがある。なお、当該品質低下は、画質向上を目的とした画像処理であれば、画質の低下として、また、圧縮率向上を目的とした画像処理であれば、圧縮率の低下として顕れてしまう。
【００２６】
一方、デジタル画像全体を同一の方法で画像処理する場合は、各領域毎で見れば、上記領域毎に特有の画像処理よりも、画像処理の品質向上を見込むことができない。ただし、領域分割（セグメンテーション）を行わないので、領域分割の失敗に起因する画質低下が発生しない。
【００２７】
上記構成によれば、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度が計算され、上記いずれの画像処理を行うかが、上記計算された複雑度に応じて決定される。したがって、例えば、複雑度が高く、領域分割に失敗しそうと推測される場合には、全体的な画像処理を行い、複雑度が低く、領域分割の失敗が発生しにくいと推測される場合には、領域毎に特有の画像処理を行うなど、複雑度に応じた画像処理を行うことができる。この結果、領域毎に特有の画像処理のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
【００２８】
また、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、上記複雑度計算工程は、上記各セグメンテーションマップ毎に基づいた複雑度をそれぞれ計算し、それらの各複雑度に基づいて、上記処理方法決定工程にて使用される総合的な複雑度を計算してもよい。
【００２９】
上記構成では、互いに異なる複数の方法で領域分割が行われ、それらの結果に基づいて、総合的な複雑度が計算されるので、単一の方法で領域分割する構成よりも的確に、上記いずれの処理が適切かを判定できる。
【００３０】
さらに、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を領域分割して、その結果を示すセグメンテーションマップを生成するセグメンテーション工程と、上記処理方法決定工程にて、デジタル画像の領域毎に特有の方法で画像処理すると決定された場合に実施され、上記画像処理システムが上記セグメンテーションマップの改善処理を行うマップ改善工程とを含んでいてもよい。
【００３１】
上記構成では、セグメンテーションマップの生成処理が、複雑度計算工程の前に行われるセグメンテーション工程と、上記処理方法決定工程にて、デジタル画像の領域毎に特有の方法で画像処理すると決定された場合に実施されるマップ改善工程とに分けられている。したがって、セグメンテーション工程におけるセグメンテーションマップの生成方法を、領域毎に特有の方法で画像処理する際に必要な程度よりも簡単で、複雑度の計算に必要な程度の方法にすることができ、当該方法を実施する際の演算量を削減できる。
【００３２】
また、本発明に係る画像処理方法は、画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、上記画像処理システムが、デジタル画像全体を同一の方法で画像処理した結果と、デジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせる合成工程とを含んでいることを特徴としている。
【００３３】
当該構成では、デジタル画像全体を同一の方法で画像処理した結果とデジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせるので、例えば、複雑度が高く、領域分割に失敗しそうと推測される場合には、全体的な画像処理を合成結果に反映させる程度を大きく設定し、複雑度が低く、領域分割の失敗が発生しにくいと推測される場合には、全体的な画像処理を合成結果に反映させる程度を小さく設定するなど、上記両画像処理の結果を、複雑度に応じて合成できる。この結果、上記両画像処理の一方を選択する構成と同様に、領域毎に特有の画像処理のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
【００３４】
また、上記構成に加え、上記複雑度計算工程は、上記画像処理システムが、上記各領域毎に特有の方法に関連して設定された当該方法の信頼度に応じ、信頼度が低い程、デジタル画像の複雑度が低くなるように、上記複雑度を調整する調整工程を含んでいてもよい。
【００３５】
当該構成では、各領域毎に特有の方法の信頼度が低くなる程、すなわち、領域分割の失敗が、総合的な画像処理の品質を低下させやすいもの程、デジタル画像の複雑度が高くなるように、上記複雑度を調整する。したがって、各領域毎に特有の方法の信頼度に拘わらず、デジタル画像の複雑度を設定する構成と比較して、上記両画像処理を選択したり、上記両画像処理を合成したりする際に、より的確に選択あるいは合成可能な複雑度を算出できる。
【００３６】
さらに、上記構成において、上記複雑度計算工程は、上記画像処理システムが、上記各領域のコンテンツ種別に応じて上記複雑度を調整する調整工程を含んでいてもよい。
【００３７】
当該構成では、例えば、各領域毎に特有の方法の信頼度が低くなることが推測されるコンテンツ種別であれば、複雑度を上昇させるなど、各領域のコンテンツ種別に応じて複雑度が調整される。この結果、各領域毎のコンテンツ種別に拘わらず、デジタル画像の複雑度を設定する構成と比較して、上記両画像処理を選択したり、上記両画像処理を合成したりする際に、より的確に選択あるいは合成可能な複雑度を算出できる。
【００３８】
また、上記構成において、上記複雑度計算工程は、上記各領域毎に特有の方法に関連して設定され、上記画像処理システムが当該方法を実施する際の処理能力を示す処理能力データに応じて、上記画像処理システムが、上記複雑度を調整する調整工程を含んでいてもよい。
【００３９】
当該構成では、例えば、あるデバイスが特定の領域（例えば、ハーフトーンエリアなど）を効果的に処理し、改善できることを、上記処理能力データが示している場合は、その領域に関連する複雑度を低く調整するなど、上記画像処理システムが当該方法を実施する際の処理能力を示す処理能力データに応じて、上記複雑度が調整されるので、各領域に対する画像処理システムの処理能力に拘わらず、デジタル画像の複雑度を設定する構成と比較して、上記両画像処理を選択したり、上記両画像処理を合成したりする際に、より的確に選択あるいは合成可能な複雑度を算出できる。
【００４０】
また、本発明に係る画像処理方法は、上記課題を解決するために、画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像を改善する際の改善度合いを調整する改善度合い調整工程とを含んでいることを特徴としている。
【００４１】
当該構成では、例えば、より複雑なデジタル画像、すなわち、より高い改善度合い（例えば、セグメンテーションに基づいた画像処理など）で改善しようとすると誤った改善が発生して総合的な画像処理の品質を低下させる虞れがあるデジタル画像であれば、より低い改善度合い（例えば、全体的な改善処理や中間的な画像処理など）で改善するなど、複雑度に応じてデジタル画像を改善する際の改善度合いを調整できる。この結果、常に一定の改善度合いでデジタル画像を処理する構成と比較して、画像処理の品質を向上できる。
【００４２】
また、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、上記複雑度計算工程では、上記画像処理システムは、上記各セグメンテーションマップを含む画像情報毎に、当該デジタル画像の複雑度をそれぞれ計算し、それらの中から上記改善度合い調整工程で調整に使用する複雑度を選択してもよい。
【００４３】
当該構成では、互いに異なる複数の方法で領域分割し、その結果に基づいて算出された複雑度のいずれかによって、改善度合いを調整するので、単一の方法で領域分割する構成よりも的確に、上記いずれの処理が適切かを判定できる。
【００４４】
さらに、上記構成において、上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、上記複雑度計算工程および上記調整工程は、各セグメンテーションマップ毎に実施されると共に、上記画像処理システムが、上記各セグメンテーションマップ毎に調整された改善度合いで実施された上記デジタル画像の改善処理の結果同士を、上記各セグメンテーションマップと、上記各複雑度との少なくとも一方に応じて組み合わせる合成工程とを含んでいてもよい。
【００４５】
当該構成では、互いに異なる複数の方法で領域分割して、その結果に応じて改善度合い調整された改善処理結果同士が、上記各セグメンテーションマップと上記各複雑度との少なくとも一方に応じて合成される。したがって、単一の方法で領域分割する構成よりも画像処理の品質を向上できる。
【００４６】
また、本発明に係る画像処理方法は、上記課題を解決するために、画像処理システムが、デジタル画像を統計処理した画像特徴に基づいて、当該デジタル画像の複雑度を概算する複雑度概算工程と、上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定工程とを含んでいてもよい。
【００４７】
上記構成では、デジタル画像を統計処理した画像特徴に基づいて、デジタル画像の複雑度が概算され、それに応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかが決定される。したがって、上記複雑度が、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて計算される場合と同様、領域毎に特有の画像処理のみを行う構成とは異なって、領域分割の失敗に起因する画像処理の品質低下を防止できると共に、全体的な画像処理のみを行う構成よりも、画像処理の品質を向上できる。
【００４８】
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像の画像処理システムであって、ラスタ画像における各画素の属性を決定する属性決定手段と、上記属性に基づいて画像複雑度測度を計算する複雑度測定手段とを備えていることを特徴としている。さらに、上記構成において、上記複雑度測定手段は、画像処理方法に関連して予め設定された、複雑度に関連する画像処理方法の特徴に応じて、上記複雑度を調整してもよい。また、上記構成において、上記複雑度測定手段は、第１および第２プロセスに関連して、予め設定された複雑度に関連する各プロセスの処理性能データに応じて、上記複雑度を調整すると共に、上記画像処理システムには、上記複雑度が閾値を上回っていれば上記第１プロセスを実施し、上回っていなければ上記第２プロセスを実施する処理手段が設けられていてもよい。
【００４９】
さらに、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像の画像処理システムであって、上記デジタル画像の複雑度関連属性を決定する属性決定手段と、セグメンテーションに基づく画質改善処理のための処理性能データ、および、全体的な画質改善処理のための処理性能データを取得する処理性能データ取得手段と、上記複雑度関連属性および処理性能データに基づいて、上記デジタル画像の複雑度測度を計算する複雑度計算手段と、上記複雑度度が閾値を上回っていれば、上記全体的な画質改善処理を実施し、上回っていなければ、上記セグメンテーションに基づく画質改善処理を実施する処理手段とを備えていることを特徴としている。
【００５０】
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定手段とを備えていることを特徴としている。
【００５１】
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、デジタル画像全体を同一の方法で画像処理した結果と、デジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせる合成手段とを備えていることを特徴としている。
【００５２】
さらに、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、上記計算された複雑度に応じて、デジタル画像を改善する際の改善度合いを調整する改善度合い調整手段とを備えていることを特徴としている。
【００５３】
また、本発明に係る画像処理システムは、上記課題を解決するために、デジタル画像を統計処理した画像特徴に基づいて、当該デジタル画像の複雑度を概算する複雑度概算手段と、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定手段とを備えていることを特徴としている。
【００５４】
上記各画像処理システムは、上記各方法のいずれかを実施できるので、各方法と同様に、画像処理の品質を向上するための複雑度を計算したり、画像処理の品質を向上できる。
【００５５】
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、画像の属性を決定する工程ａと、分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、上記複雑度が基準を満たしている場合だけ、上記分析処理に基づいて画質改善処理を実施する工程ｄとを含んでいる。また、上記構成において、上記改善処理が、セグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記改善処理が、全体的画質改善であってもよい。また、上記構成において、上記分析処理性能データが、エラーの尤度に関連していてもよい。さらに、上記構成において、上記分析処理性能データが、目に見えるエラーの尤度に関連していてもよい。
【００５６】
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、上記属性に基づいて上記画像の複雑度を推定する工程ｂと、上記複雑度が基準を満たしている場合は、上記画像を処理する工程ｃとを含んでいる。また、上記構成において、上記属性が、セグメンテーションに関する特徴であってもよい。
【００５７】
また、本発明に係る画像処理方法は、デジタル画像を可変処理する画像処理方法であって、画像の属性を決定する工程ａと、処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記処理性能データに基づいて、上記画像についての複雑度測度を推定する工程ｃと、上記複雑度測度に比例して可変する効果を有する処理を、上記画像に実施する工程ｄとを含んでいる。また、上記構成において、上記処理が、セグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記処理が、全体的画質改善であってもよい。
【００５８】
さらに、本発明に係る画像処理方法は、デジタル画像を可変処理する画像処理方法であって、非オブジェクトベースの画像データセットの属性を決定する工程ａと、上記属性に基づいて上記画像データセットについての複雑度測度を推定する工程ｂと、上記複雑度測度に比例して可変する効果を有する処理を、上記画像データセットに実施する工程ｃとを含んでいる。また、上記構成において、上記属性が、セグメンテーションに関する特徴であり、上記処理がセグメンテーションに基づく画質改善であってもよい。さらに、上記構成において、上記特徴が、セグメンテーションエリア境界を含んでいてもよい。また、上記構成において、上記特徴が、セグメンテーションエリア形状を含んでいてもよい。さらに、上記構成において、上記特徴が、セグメンテーションエリアサイズを含んでいてもよい。また、上記構成において、上記特徴が、セグメンテーションエリアのトポロジカルプロパティを含んでいてもよい。さらに、上記構成において、上記特徴が、非矩形な接続された構成要素の数を含んでいてもよい。また、上記構成において、上記特徴が、全画素数に対するハーフトーン画素の数の比率を含んでいてもよい。さらに、上記構成において、上記特徴が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率を含んでいてもよい。また、上記構成において、上記特徴が、背景領域の輝度統計を含んでいてもよい。さらに、上記構成において、上記特徴が、前景領域の輝度統計を含んでいてもよい。また、上記構成において、上記特徴が、背景領域のクロミナンス統計を含んでいてもよい。
【００５９】
また、本発明に係る画像処理方法は、デジタル画像を可変処理する画像処理方法であって、非オブジェクトベースの画像データセットの属性を決定する工程ａと、処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記処理性能データに基づいて上記画像データセットについての複雑度測度を推定する工程ｃと、上記複雑度測度に比例して可変する効果を有する処理を、上記画像データセットに実施する工程ｄとを含んでいる。
【００６０】
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、セグメンテーション処理を含み、各々が独立した結果を生じる、複数の画像分析処理を画像に実施する工程ａと、上記分析処理によって生成された上記独立した結果に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施する工程ｄとを含んでいる。
【００６１】
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、各々が独立したセグメンテーションマップを作成する、複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施する工程ａと、上記セグメンテーション処理によって生成された、上記独立したセグメンテーションマップの各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施する工程ｄとを含んでいる。さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、複数のセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ａと、画像データセットの属性、上記セグメンテーション処理および上記処理性能データに基づいて、非オブジェクトベースの画像データセットについての複数の複雑度測度を測定する工程ｂと、上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画像データセットの改善を実施する工程ｄとを含んでいる。また、上記構成において、上記選択された改善処理の可変パラメータを、それに関連付けられた複雑度測度に比例して変更してもよい。さらに、上記構成において、上記属性が、変換データ関連特徴であってもよい。また、上記構成において、上記属性が、ヒストグラム特徴であってもよい。
【００６２】
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施する工程ａと、上記セグメンテーション処理によって生じる、上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、上記各画像分析処理に関連している複数の画質改善処理を上記画像に実施して、複数の画質改善された画像を生じさせる工程ｃと、上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｄとを含んでいる。
【００６３】
さらに、上記構成において、上記組み合わせ工程が、改善された画像をそれらの複雑度測度に比例して組み合わせる工程を含んでいてもよい。また、上記構成において、上記画像分析処理の少なくとも１つが、全体的分析処理であってもよい。さらに、上記構成において、上記画像が、非オブジェクトベースのデータを示していてもよい。また、上記構成において、上記の複雑度測度は、それに関連付けられた画像分析処理のための処理性能データに関連していてもよい。さらに、上記構成において、上記複雑度測度が、セグメンテーションエリア境界に関連していてもよい。また、上記構成において、上記複雑度測度が、セグメンテーションエリア形状に関連していてもよい。さらに、上記構成において、上記複雑度測度が、セグメンテーションエリアサイズに関連していてもよい。また、上記構成において、上記複雑度測度が、セグメンテーションエリアのトポロジカルプロパティに関連していてもよい。さらに、上記構成において、上記複雑度測度が、非矩形な接続された構成要素の数に関連していてもよい。また、上記構成において、上記複雑度測度が、全画素数に対するハーフトーン画素の数の比率に関連していてもよい。さらに、上記構成において、上記複雑度測度が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率に関連していてもよい。また、上記構成において、上記複雑度測度が、背景領域の輝度統計に関連していてもよい。さらに、上記構成において、上記複雑度測度が、前景領域の輝度統計に関連していてもよい。また、上記構成において、上記複雑度測度が、背景領域のクロミナンス統計に関連していてもよい。
【００６４】
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、各々が独立したセグメンテーションマップを作成する、複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施する工程ａと、上記セグメンテーション処理によって生成された、上記独立したセグメンテーションマップの各々に基づいて、上記画像データセットについての複数の複雑度測度を測定する工程ｂと、上記セグメンテーション処理に関する複数の画質改善処理を上記画像データセットに実施して、複数の改善された画像を生じさせる工程ｃと、上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｄとを含んでいる。また、上記構成において、上記改善された画像の各々に、それに関連付けられた複雑度測度に比例する重み係数を与え、上記改善された画像を組み合わせて、上記各改善された画像を重み付けされた割合で含んでいる、最終的な改善された画像を得てもよい。
【００６５】
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施する工程ａと、上記画像分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記画像分析処理によって生成される独立した結果と上記処理性能データとの各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｃと、上記画像分析処理に関連している複数の画質改善処理を上記画像に実施して、複数の改善された画像を生じさせる工程ｄと、上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｅとを含んでいる。
【００６６】
さらに、上記構成において、上記画質改善処理の各々の可変パラメータを、それに関連付けられた複雑度測度に比例して変更してもよい。また、上記構成において、上記組み合わせ処理の可変パラメータを、上記複雑度測度の少なくとも１つに比例して変更してもよい。
【００６７】
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、画像の属性を決定する工程ａと、第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、上記画像に上記第１処理を実施する工程ｄと、上記画像に上記第２処理を実施する工程ｅと、上記複雑度が基準を満たしていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｆと、上記複雑度が上記基準を満たしていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｇとを含んでいる。
【００６８】
さらに、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、画像の属性を決定する工程ａと、複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、上記画像に上記複数の処理を実施する工程ｄと、上記複数の処理の少なくとも１つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｅとを含んでいる。
【００６９】
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像データセットの属性を決定する工程ａと、上記画像データセットに上記第１処理を実施する工程ｂと、上記画像データセットに上記第２処理を実施する工程ｃと、上記複雑度が基準を満たしていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像データセットを形成する工程ｄと、上記複雑度が上記基準を満たしていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｅとを含んでいる。
【００７０】
さらに、上記構成において、上記第１処理が、全体的画質改善であり、上記第２処理が、セグメンテーションに基づく画質改善であってもよい。また、上記構成において、上記基準は、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。
【００７１】
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、上記属性に基づいて上記画像の複雑度を推定する工程ｂと、上記画像に複数の処理を実施する工程ｃと、上記複数の処理の少なくとも１つが上記結果に対して上記複雑度に比例して可変する効果を有しているように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｄとを含んでいる。
【００７２】
さらに、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｃと、上記画像に上記第１処理を実施する工程ｄと、上記画像に上記第２処理を実施する工程ｅと、上記複雑度が閾値を上回っていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｆと、上記複雑度が上記閾値を上回っていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する処理ｇとを含んでいる。
【００７３】
また、本発明に係る画像処理方法は、デジタル画像を混合処理する画像処理方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｃと、上記画像に上記複数の処理を実施する工程ｄと、上記複数の処理の少なくとも１つが上記結果に対して上記複雑度に比例して可変する効果を有しているように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｅとを含んでいる。
【００７４】
さらに、上記構成において、上記複数の処理の少なくとも１つが、全体的画質改善を含んでいてもよい。また、上記構成において、上記複数の処理の少なくとも１つが、セグメンテーションに基づく画質改善を含んでいてもよい。
【００７５】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、上記初期段階のセグメンテーション処理の結果に基づいて、上記画像データセットについての複雑度測度を推定する工程ｂと、上記複雑度測度が基準を満たしていれば、上記画像データセットに高精度なセグメンテーション処理を実施する工程ｃとを含んでいる。
【００７６】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、画像に初期段階のセグメンテーション処理を実施する工程ａと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて、上記画像についての複雑度測度を推定する工程ｃと、上記複雑度測度が基準を満たしていれば、上記高精度なセグメンテーション処理を実施する工程ｄとを含んでいる。
【００７７】
また、上記構成において、上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理の結果を使用して、セグメンテーションに基づく画質改善を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記複雑度測度が代替基準を満たしていれば、全体的な画質改善を実施する工程をさらに含んでいてもよい。
【００７８】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーションを実施する工程ａと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記初期段階のセグメンテーションの結果および上記性能データに基づいて、上記画像データセットについての複雑度測度を推定する工程ｃと、上記複雑度測度が基準を満たしていれば、上記高精度なセグメンテーション処理を実施し、上記高精度なセグメンテーション処理の結果を使用してセグメンテーションに基づく画質改善を実施する工程ｄとを含んでいる。
【００７９】
また、上記構成において、上記複雑度測度が上記基準を満たしていなければ、全体的な画質改善を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記基準が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。また、上記構成において、上記基準には、上記複雑度が閾値未満に留まっていることが含まれていてもよい。
【００８０】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、上記初期段階のセグメンテーション処理の結果に基づいて、上記画像データセットについての初期段階の複雑度測度を推定する工程ｂと、上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｃと、上記高精度なセグメンテーション処理の結果に基づいて、上記画像データセットについての高精度な複雑度測度を推定する工程ｄと、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づいて画質改善処理を実施する工程ｅとを含んでいる。また、上記構成において、上記高精度な複雑度測度が、高精度な代替測度基準を満たしていれば、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記初期段階の複雑度測度が、初期段階の代替測度基準を満たしていれば、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。
【００８１】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、
画像に初期段階のセグメンテーション処理を実施する工程ａと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて上記画像についての初期段階の複雑度測度を推定する工程ｃと、上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｄと、上記高精度なセグメンテーション処理の結果に基づいて、上記画像についての高精度な複雑度測度を推定する工程ｅと、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づく画質改善処理を実施する工程ｆとを含んでいる。
【００８２】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて、上記画像データセットについての初期段階の複雑度測度を推定する工程ｃと、上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｄと、上記高精度なセグメンテーション処理の結果に基づいて、上記画像データセットについての高精度な複雑度測度を推定する工程ｅと、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づく画質改善処理を実施する工程ｆとを含んでいる。
【００８３】
また、上記構成において、上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていなければ、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記初期段階の複雑度測度が上記初期段階の測度基準を満たしていなければ、全体的な画質改善処理を実施する工程をさらに含んでいてもよい。
【００８４】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、上記セクションのある１つのセクションにセグメンテーションを実施する工程ｂと、上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定する工程ｃと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｄと、全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｂ〜工程ｄを繰り返す工程ｅと、上記累積複雑度測度が上記基準を満たしていれば、上記工程ｅを終了し、第１画質改善処理を実施する工程ｆと、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施する工程ｇとを含んでいる。
【００８５】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、デジタル画像を複数のセクションに分割する工程ａと、第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記セクションのある１つのセクションにセグメンテーションを実施する工程ｃと、上記セグメンテーションの結果および上記処理性能データに基づいて上記セクションについての複雑度測度を推定する工程ｄと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｅと、全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃ〜工程ｅを繰り返す工程ｆと、上記累積複雑度測度が上記基準を満たしていれば、上記工程ｆを終了し、上記第１画質改善処理を実施する工程ｇと、上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｈとを含んでいる。
【００８６】
また、上記構成において、上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、セグメンテーションを実施する上記工程、複雑度測度を推定する上記工程および累積複雑度測度を決定する上記工程を、上記各セクションに対して連続的に実施してもよい。
【００８７】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、上記セクションのある１つのセクションにセグメンテーションを実施する工程ｂと、第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｃと、上記セグメンテーションの結果および上記処理性能データに基づいて、上記セクションについての複雑度測度を推定する工程ｄと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｅと、全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｂ〜工程ｅを繰り返す工程ｆと、上記累積複雑度測度が上記基準を満たしていれば、上記工程ｆを終了し、上記第１画質改善処理を実施する工程ｇと、上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｈとを含んでいる。
【００８８】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、
画像を複数のセクションに分割する工程ａと、上記セクションの少なくとも１つについての複雑度測度を推定する工程ｂと、推定が既に実施されたセクション群の累積複雑度を示す累積複雑度測度を決定する工程ｃと、上記累積複雑度測度が基準を満たすまで、または、上記累積複雑度測度が上記セクションの全ての累積複雑度を示すまで工程ｂおよび工程ｃを繰り返す工程ｄと、上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施する工程ｅとを含んでいる。さらに、上記構成において、上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、複雑度測度を推定する上記工程ｂおよび累積複雑度測度を決定する上記工程ｃを、上記各セクションに対して連続的に実施してもよい。
【００８９】
さらに、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、上記セクションの少なくとも１つについての複雑度測度を推定する工程ｂと、上記推定が既に実施された各セクションの累積複雑度を示す累積複雑度測度を決定する工程ｃと、上記累積複雑度測度が基準を満たすまで、または、上記累積複雑度測度が上記セクションの全ての累積複雑度を示すまで工程ｂおよび工程ｃを繰り返す工程ｄと、上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｅとを含んでいる。
【００９０】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、デジタル画像を複数のセクションに分割する工程ａと、少なくとも１つの第１画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記セクションの少なくとも１つについての複雑度測度であって、上記処理性能データに関連している複雑度測度を推定する工程ｃと、上記推定が既に実施された各セクションの複雑度を示す累積複雑度測度を決定する工程ｄと、全てのセクションの推定が行われるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃおよび工程ｄを繰り返す工程ｅと、上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｆとを含んでいる。
【００９１】
さらに、上記構成において、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施する工程をさらに含んでいてもよい。また、上記構成において、上記累積複雑度測度が閾値を上回れば上記基準が満たされてもよい。さらに、上記構成において、上記第１画質改善処理が、全体的画質改善であってもよい。また、上記構成において、上記第２画質改善処理が、セグメンテーションに基づく画質改善であってもよい。また、上記構成において、上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、複雑度測度を推定する上記工程および累積複雑度測度を決定する上記工程を、上記各セクションに対して連続的に実施してもよい。さらに、上記構成において、上記セクションを、セグメンテーション以前に決定されている初期段階の複雑度推定に基づいた複雑度の順序で処理してもよい。
【００９２】
また、本発明に係る画像処理方法は、デジタル画像を処理する画像処理方法であって、非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記処理性能データに基づいて、上記セクションの１つについての複雑度測度を推定する工程ｃと、セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｄと、全てのセクションの推定が行われるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃおよび工程ｄを繰り返す工程ｅと、上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｆと、上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｇとを含んでいる。
【００９３】
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割する工程ａと、上記領域の各々について、上記領域属性に基づく複雑度測度を推定する工程ｂと、上記複雑度測度が基準を満たしている場合だけ、領域に画質改善処理を実施する工程ｃとを含んでいる。
【００９４】
また、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、非オブジェクトベースの画像データセットにセグメンテーションを実施して、この画像データセットをコンテンツ領域に分割する工程ａと、処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記領域の各々についての複雑度であって、上記処理性能データに関連している複雑度を推定する工程ｃと、上記領域についての上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施する工程ｄとを含んでいる。また、上記構成において、上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記領域に、代替画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記画像に全体的画質改善処理を実施する工程をさらに含んでいてもよい。また、上記構成において、複数の上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記領域に、代替画質改善処理を実施する工程をさらに含んでいてもよい。さらに、上記構成において、上記領域についての上記複雑度測度が第２基準を満たしていれば、上記領域に代替画質改善処理を実施する工程をさらに含んでいてもよい。
【００９５】
さらに、本発明に係る画像処理方法は、デジタル画像を選択的に処理する画像処理方法であって、画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割する工程ａと、上記領域の各々について、上記領域属性に基づく複雑度測度を推定する工程ｂと、上記画質改善処理の様相が領域についての上記複雑度測度に比例して可変するように、可変の画質改善処理を当該領域に実施する工程ｃとを含んでいる。
【００９６】
上記各画像処理方法では、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理を行う際に、複雑度を計算し、それに応じた処理を行うので、画像処理の品質を向上できる。
【００９７】
また、本発明に係る処理選択方法は、デジタル画像を処理するための処理選択方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、上記複雑度が基準を満たしていれば、上記分析処理に基づいて上記画像に画質改善処理を実施する工程ｄとを含んでいる。
【００９８】
さらに、本発明に係る処理選択方法は、デジタル画像を処理するための処理選択方法であって、非オブジェクトベースの画像の属性を決定する工程ａと、第１処理と第２処理とを含む複数の分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、上記複雑度が閾値を上回っていれば、上記第１処理に基づいた画質改善を実施する工程ｄと、上記複雑度が、上記閾値を上回っていなければ、上記第２処理に基づいた画質改善処理を実施する工程ｅとを含んでいる。また、上記構成において、上記第１処理が、全体的画質改善であり、上記第２処理が、セグメンテーションに基づく画質改善であってもよい。上記閾値が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示していてもよい。
【００９９】
上記各処理選択方法では、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の処理を行う際に、複雑度を計算し、それに応じた処理を選択できるので、処理の品質を向上できる。
【０１００】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）非オブジェクトベースの画像の属性を決定するための画像分析器と、ｂ）上記属性に基づいて上記画像の複雑度を推定するための推定器と、ｃ）上記複雑度が基準を満たしている場合に、上記画像に画質改善処理を実施するための処理器とを備えている。
【０１０１】
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）画像の属性を決定するための画像分析器と、ｂ）分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、ｃ）上記属性および上記分析処理性能データに基づいて上記画像の複雑度を推定するための推定器と、ｄ）上記複雑度が基準を満たしている場合は上記分析処理に基づいて画質改善処理を実施するための処理器とを備えている。
【０１０２】
また、本発明に係る画像処理装置は、デジタル画像を混合処理するための画像処理装置であって、ａ）画像についての非オブジェクトベースの画像データの属性を決定するための画像分析器と、ｂ）上記属性に基づいて上記画像の複雑度を推定するための推定器と、ｃ）上記画像に複数の処理を実施するための処理器と、ｄ）上記複数の処理の少なくとも１つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成するための混合器とを備えている。
【０１０３】
さらに、本発明に係る画像処理装置は、デジタル画像を混合処理するための画像処理装置であって、ａ）画像の属性を決定するための画像分析器と、ｂ）処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、ｃ）上記属性および上記処理性能データに基づいて、上記画像の複雑度を推定するための推定器と、ｄ）上記画像に複数の処理を実施するための処理器と、ｅ）上記複数の処理の少なくとも１つが上記複数の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成するための混合器とを備えている。
【０１０４】
また、本発明に係る画像処理装置は、デジタル画像を処理するための画像処理装置であって、ａ）画像を示す非オブジェクトベースのデータに、初期段階のセグメンテーション処理を実施するための初期段階セグメンテーション処理器と、ｂ）上記初期段階のセグメンテーション処理の結果に基づいて、上記画像についての複雑度測度を推定するための推定器と、ｃ）上記複雑度測度が基準を満たしている場合に、高精度なセグメンテーション処理を実施するための高性能セグメンテーション処理器とを備えている。さらに、上記構成において、上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理の結果に基づいて、セグメンテーションに基づく画質改善を実施するためのセグメンテーションベース改善処理器をさらに備えてもよい。
【０１０５】
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）初期段階のセグメンテーション処理を画像に実施するための初期段階セグメンテーション処理器と、ｂ）高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、ｃ）上記初期段階のセグメンテーションの結果および上記性能データに基づいて、上記画像についての複雑度測度を推定するための推定器と、ｄ）上記複雑度測度が基準を満たしている場合に、高精度なセグメンテーション処理を実施するための高性能セグメンテーション処理器と、ｅ）上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するためのセグメンテーションベース改善処理器とを備えている。
【０１０６】
また、上記構成において、上記基準には、上記複雑度測度が閾値未満に留まっていることが含まれていてもよい。
【０１０７】
さらに、本発明に係る画像処理装置は、デジタル画像を処理するための画像処理装置であって、非オブジェクトベースの画像データセットを複数のセクションに分割するための分割器と、上記セクションのある１つのセクションにセグメンテーションを実施するセグメンテーション処理器と、上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定するための推定器と、セグメンテーションが実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記セグメンテーション処理器、上記推定器および上記累計器は、全てのセクションがセグメンテーションされるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、上記累算複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累算複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備えている。
【０１０８】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、画像を複数のセクションに分割するための分割器と、上記セクションのある１つのセクションにセグメンテーションを実施するセグメンテーション器と、上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定するための推定器と、セグメンテーションが実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記セグメンテーション器、上記推定器および上記累計器は、全てのセクションがセグメンテーションされるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対してそれぞれの処理を実施すると共に、上記累積複雑度測度が上記基準を満たしていれば、上記セグメンテーション器、上記推定器および上記累計器による処理を終了して、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備えている。
【０１０９】
さらに、本発明に係る画像処理装置は、デジタル画像を処理するための画像処理装置であって、非オブジェクトベースの画像データセットを複数のセクションに分割するための分割器と、上記複数のセクションのある１つのセクションについての複雑度測度を推定するための推定器と、上記推定が既に実施されたセクション群の累積複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記推定器および上記累計器は、全てのセクションが推定されるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備えている。
【０１１０】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、画像を複数のセクションに分割するための分割器と、上記複数のセクションの１つについての複雑度測度を推定するための推定器と、上記推定が実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、上記推定器および上記累計器は、セクションが推定されるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器とを備えている。
【０１１１】
さらに、本発明に係る画像処理装置は、デジタル画像を可変処理するための画像処理装置であって、ａ）画像の属性を決定するための属性抽出器と、ｂ）処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、ｃ）上記属性および上記処理性能データに基づいて、上記画像についての複雑度測度を推定するための推定器と、ｄ）上記複雑度測度に比例して可変する効果を有する上記処理を、上記画像に実施するための処理器とを備えている。
【０１１２】
また、本発明に係る画像処理装置は、デジタル画像を可変処理するための画像処理装置であって、ａ）非オブジェクトベースの画像データセットの属性を決定するための属性抽出器と、ｂ）上記属性に基づいて上記画像データセットについての複雑度測度を推定するための推定器と、ｃ）上記複雑度測度に比例して可変する効果を有する処理を上記画像データセットに実施するための処理器とを備えている。
【０１１３】
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施するための処理器と、ｂ）上記分析処理によって生成された上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定するための測定器と、ｃ）上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択するための選択器と、ｄ）上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するための改善器とを備えている。
【０１１４】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、各々が独立したセグメンテーションマップを作成する複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施するためのセグメンテーション処理器と、上記セグメンテーション処理によって作成される上記独立したセグメンテーションマップの各々に基づいて、上記画像データセットについての複数の複雑度測度を推定するための推定器と、上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択するための選択器と、上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するための処理器とを備えている。
【０１１５】
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施するための処理器と、ｂ）上記セグメンテーション処理によって生成された上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定するための測定器と、ｃ）上記画像分析処理に関連している複数の画質改善処理を上記画像に実施するための改善器と、ｄ）上記改善された画像を、最終的な改善された画像になるように組み合わせるための結合器とを備えている。
【０１１６】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、各々が独立したセグメンテーションマップを作成する複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施するための処理器と、上記セグメンテーション処理によって生成された上記独立したセグメンテーションの各々に基づいて、上記画像データセットについての複数の複雑度測度を測定するための測定器と、上記画像データセットに複数の画質改善処理を実施して、複数の改善された画像を生成するための改善器と、上記改善された画像を組み合わせて、最終的な改善された画像を得るための結合器とを備えている。
【０１１７】
さらに、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、ａ）画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割するためのセグメンテーション器と、ｂ）上記領域の各々について、上記領域属性に基づく複雑度測度を推定するための推定器と、ｃ）上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施するための処理器とを備えている。
【０１１８】
また、本発明に係る画像処理装置は、デジタル画像を選択的に処理するための画像処理装置であって、非オブジェクトベースの画像データセットにセグメンテーションを実施して、この画像をコンテンツ領域に分割するためのセグメンテーション器と、処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、上記領域の各々についての複雑度測度であって、上記処理性能データに関連している複雑度測度を推定するための推定器と、上記領域についての上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施するための処理器とを備えている。
【０１１９】
上記各画像処理装置は、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理を行う際に、複雑度を計算し、それに応じた処理を行うので、画像処理の品質を向上できる。
【０１２０】
ところで、上記画像処理システムは、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、上記複雑度測定方法、処理選択方法、あるいは、画像処理システムによって実施される上記画像処理方法のいずれかの各工程をコンピュータに実行させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。
【０１２１】
これらのプログラムがコンピュータによって実行されると当該コンピュータによって上記各方法が実施される。したがって、上記各方法と同様に、画像処理の品質を向上するための複雑度を計算したり、画像処理の品質を向上できる。
【発明の効果】
【０１２２】
本発明によれば、例えば、画質を改善するための画像処理や圧縮処理をはじめとする種々の画像処理を行う際、画像処理の品質を向上させるための複雑度を計算したり、画像処理の品質を向上できる。
【発明を実施するための最良の形態】
【０１２３】
本発明の実施形態は、画像複雑度推定（complexity estimation）および複雑度に基づく画像処理のための方法およびシステム、並びに、ドキュメント画像の複雑度を推定し、複雑度の推定を画像処理決定（例えば、処理の選択）の基本として使用するためのシステムおよび方法を含んでいる。これらのシステムおよび方法には、複雑度推定および複雑度に基づく選択方法、および、それを行うシステムが含まれている。本発明の目的、特徴（features）および利点は、添付の図に関連した以下の本発明の詳しい説明を考慮すれば、より簡単に理解されるであろう。
【０１２４】
まず、最初に、本明細書で参照する図面について簡単に説明する。すなわち、図１は、従来技術の複雑度演算方法を示す図面である。
図２は、画像複雑度が増すに従ってセグメントベースの改善（セグメンテーションに基づく改善；segmentation-based enhancement）が画像品質に及ぼす効果を示すグラフである。
図３は、本発明の実施形態を示すものであり、ラスタベースの（ラスタに基づいた；raster-based）の複雑度決定方法を示す図面である。
図４は、本発明の実施形態を示すものであり、アルゴリズムの特徴（algorithm characteristics）を用いたラスタベースの複雑度決定方法を示す図面である。
図５は、本発明の実施形態を示すものであり、変換領域データを採用したラスタベースの複雑度決定方法を示すチャートである。
図６は、本発明の実施形態を示すものであり、アルゴリズムの特徴を用いたオブジェクトベースの（オブジェクトに基づいた；object-based）複雑度決定方法を示す図面である。
図７は、本発明の実施形態を示すものであり、セグメントベースの複雑度測度を決定し、これらの測度を、画質改善を制御するために使用するシステムを示す線図である。
図８は、本発明の実施形態を示すものであり、セグメントベースの複雑度測度を決定し、これらの測度を、画質改善を制御し、全体的な改善とセグメントベースの改善との組み合わせを制御するために使用するシステムを示す線図である。
図９は、本発明の実施形態を示すものであり、大まかなセグメンテーションを、複雑度測度を決定するために使用し、後に、必要であれば、より高精度な（refined ）セグメンテーションを実施するシステムを示す線図である。
図１０は、本発明の実施形態を示すものであり、連続した画像セクションのための、セグメントベースの複雑度測度を決定し、画質改善を制御するために累積複雑度測度を採用するシステムを示す線図である。
図１１は、本発明の実施形態を示すものであり、複雑度決定時にセグメンテーションしなくてもページに関連する特性から複雑度測度を決定するシステムを示す線図である。
図１２は、複雑度決定時にセグメンテーションしなくてもページに関連する特性から複雑度測度を決定し、連続した画像セクションを使用して複雑度を計算するシステムを示す線図である。
図１３は、本発明の実施形態を示すものであり、複雑度測度を決定し、これらの測度を、改善処理における利得制御として使用するシステムを示す線図である。
図１４は、複数（multiple ）のフィルター構成方法を示す表の図面である。
図１５は、本発明の実施形態を示すものであり、領域特有の（region-specific ）複雑度測度を決定するシステムを示す線図である。
図１６は、本発明の実施形態を示すものであり、複数のセグメンテーション方法を使用して複数の複雑度測度を決定するシステムを示す線図である。
図１７は、本発明の実施形態を示すものであり、複数のセグメンテーション方法を使用して複数の複雑度測度を決定し、最終的な改善された画像に組み合わせてもよい複数の調整された改善を実施するシステムを示す線図である。
図１８は、本発明の実施形態を示すものであり、複数の、初期の、大まかなセグメンテーション方法を使用して、複数の複雑度測度を決定するシステムを示す線図である。
図１９は、計算された複雑度測度を、人間の観察者による主観的複雑度決定と共にプロットした図面である。
図２０は、本発明の実施形態を示すものであり、大まかなセグメンテーションを、複雑度測度を決定するために使用し、後に、必要であれば、より高精度な（refined ）セグメンテーションおよび高精度な複雑度決定を実施するシステムを示す線図である。
【０１２５】
上記の図を参照すれば、本発明の各実施形態の説明を最もよく理解できるであろう。なお、上記の図では、全体にわたり、類似部分には類似番号が付けられている。上記の図は、この発明を実施するための最良の形態の一部に確実に含まれている。
【０１２６】
全体として説明されると共に本願の図に示された本発明の構成要素が幅広く様々な異なった形態にアレンジし設計できるということは、簡単に理解されるであろう。したがって、本発明の方法およびシステムの実施形態についての以下のより詳しい説明は、本発明の範囲を制限するものではなく、単に、本発明の実施例を表すものである。
【０１２７】
この明細書で説明する実施形態の多くは、複写（コピー；copying）および画像複製（reprographics）の分野からの例であって、これらの実施形態において、セグメンテーションは、最適化された、ページ要素の選択的な改善によって、画像品質を向上するために使用されている。しかしながら、これらは、単なる実施例であり、決して、セグメンテーション主導型の（segmentation-guided）処理（例えば、圧縮、アーカイブ（保管；archiving）、検索（retrieval）、および、その他）を利用する他の分野（domain）へ、本発明の範囲を広げることを制限するものではない。
【０１２８】
本発明の各実施形態の要素は、ハードウェア、ファームウェアおよび／またはソフトウェアに実施されていてもよい。より詳細には、各実施形態のシステムの構成要素は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit ）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである各実施形態のシステムの構成要素となる装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、各実施形態のシステムの構成要素となる装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１２９】
上記記録媒体としては、例えば、テープ系、ディスク系、カード系、あるいは、半導体メモリ系などを用いることができる。上記テープ系の記録媒体には、磁気テープやカセットテープ等が含まれる。また、ディスク系の記録媒体としては、磁気ディスク、または、光ディスクが挙げられる。より詳細には、上記磁気ディスクとしては、フロッピー（登録商標）ディスク、または、ハードディスク等が挙げられ、上記光ディスクとしては、ＣＤ−ＲＯＭ、ＭＯ、ＭＤ、ＤＶＤ、ＣＤ−Ｒ等が挙げられる。さらに、上記カード系の記録媒体としては、ＩＣカード（メモリカードを含む）または光カード等が挙げられる。また、上記半導体メモリ系の記録媒体としては、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュＲＯＭ等が挙げられる。
【０１３０】
また、各実施形態のシステムの構成要素となる装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network ）、ＩＳＤＮ（Integrated Service Digital Network）、ＶＡＮ（Value Added Network ）、ＣＡＴＶ（Cable Television）通信網、仮想専用網（virtual private network ）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１３１】
ここで開示する実施例は、これらの形態の１つだけについて説明するものであるが、当業者は、これらの要素を、本発明の範囲内に留まりつつ、これらの形態のいずれかとして実施できる。
【０１３２】
セグメンテーション処理が適切な場合か否かを決定するという問題には（言い換えると、セグメンテーションの信頼性（reliability）および／またはコスト効率性には）、あまり関心が持たれていなかった。
【０１３３】
本発明の各実施形態は、セグメンテーションアルゴリズムの信頼性および／または有益性（benefit ）を算出するという問題、および、続いて処理を適切に適合させるという問題に言及している。これらの実施形態の中には、セグメンテーション処置が、非常にエラーを引き起こしやすい、または、完成させるのにコストがかかりすぎるといったケースを明確に識別する実施形態もある。
【０１３４】
印刷や画像複製や、その他の多くのアプリケーションでは、ドキュメントの複雑度が中程度の場合に、画像品質に対するセグメンテーションの有益性が最大（maximum ）となる。図２に示すように、略点Ｐ２までは、ページレイアウトの複雑度が増すにつれて、有益性も増大する。その後は、セグメンテーションエラーの可能性が高くなり、セグメンテーションタスク自体がより困難となるので、有益性は低減する。より具体的には、このようなエラーにより、多くの場合、アーティファクト（artifacts;人工生成物）が出力ページに現れ、このことは、セグメンテーションによって得られる任意の有益性を否定する可能性がある。なお、アーティファクトとは、ディジタル画像処理時に生ずる歪みの総称である。
【０１３５】
図２に、セグメンテーションされた改善の有益性が「セグメンテーションされていない」または全体的な改善の有益性を下回る概算点を、画像品質曲線と垂直な線Ｌ４との交差点で示す。この概算点は、ページレイアウトの複雑度と、セグメンテーションアルゴリズムの正確な特質（nature）との双方に依存するものである。一般的に、この点は、実験的に決定されている。
【０１３６】
セグメンテーションを有益性のある場合だけに限定するため、または、セグメンテーションをより最適な処理に調整するため、本発明の各実施形態は、ページレイアウトの複雑度の測度を演算してもよい。このような測度は、ページレイアウトを含めた、ドキュメントのページの全体的な複雑度を決定できる。
【０１３７】
「ページ複雑度」、「ページレイアウト複雑度」および「画像複雑度」という用語は、本願の明細書および請求項の全体に渡って同意語として使用されている。これら全ての用語は、ドキュメントの要素またはコンテンツ種別（例えば、テキスト、グラフィックス、ハーフトーン（halftone）要素、ビットマップ要素および他の要素のエリア）の量、サイズ、幾何学的関係、および、他の属性（attributes）に関連（refer ）しており、画像の複雑度測度は、これらの特徴や属性に基づいて算出される。
【０１３８】
すなわち、複雑度を計算する際に参照する画素の属性（画像の複雑度関連属性）として好適に使用される属性には、例えば、セグメンテーションに関する特徴が含まれている。また、当該セグメンテーションに関する特徴としては、例えば、セグメンテーションエリア境界、セグメンテーションエリア形状、セグメンテーションエリアサイズ、セグメンテーションエリアのトポロジカルプロパティ（segmentation area topological properties ）、非矩形な接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対するハーフトーンにおけるテキスト画素の数の比率、全画素数に対する非矩形領域におけるハーフトーン画素数の割合、背景領域の輝度統計、前景領域の輝度統計、背景領域のクロミナンス（chrominance；色度）統計、あるいは、それらの組み合わせなどが好適に使用される。ここで、いずれの特徴または属性を用いて複雑度を算出するかは、画像処理部を搭載するシステムなどの必要に応じて適切に選択され、当該システムにおいて、複雑と判断するために必要なものを使用すればよい。
【０１３９】
なお、セグメンテーションエリアのサイズを示す情報としては、例えば、構成要素のサイズ、全画素数に対する領域画素数の割合などが挙げられる。また、上記セグメンテーションエリアのトポロジカルプロパティを示す情報としては、幾何学的な関係、領域の形状（regional geometry ）、領域の連続性などが挙げられ、さらに詳細には、ハミング距離、与えられたコンテンツタイプの結合された２つの領域の重心間の距離などが挙げられる。また、上記あるいは後述する、非矩形な接続された構成要素の数、前景での接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対する非矩形領域におけるハーフトーン画素数の割合、および、全画素数に対するハーフトーンにおけるテキスト画素の数の比率などは、上記ドキュメントの要素またはコンテンツ種別の量に関する特徴または属性でもある。また、上記量に関する特徴または属性としては、例えば、(1) ハーフトーンで構成された矩形領域の数・連続階調領域より構成される矩形領域の数、(2) ハーフトーンで構成された非矩形領域の数・連続階調領域より構成される非矩形領域の数、(3) ハーフトーン画素のドキュメントサイズに対する比率、(4) 非矩形領域におけるハーフトーン画素のドキュメントサイズに対する比率、(5) 下地ハーフトーン・ベタ上の文字画素の数なども好適に使用できる。さらに、上記背景領域の輝度統計、前景領域の輝度統計、および、背景領域のクロミナンス統計は、濃度に関する特徴または属性でもあり、それらを示す情報としては、例えば、テキストエリアのある場合、および／または、無い場合の背景領域の輝度統計の情報、テキストエリアのある場合、および／または、無い場合の前景領域の輝度統計の情報、並びに、テキストエリアのある場合、および／または、無い場合の背景領域のクロミナンス統計の情報などが挙げられる。
【０１４０】
より詳細に説明すると、上記セグメンテーションエリアの境界またはセグメンテーションエリアの形状を、予め定められた境界または形状で近似したときの誤差が高い程、または、近似したときの近似度合いが低い程、あるいは、上記境界または形状の滑らかさが低い程、上記複雑度をより高く算出する方法が、好ましく使用される。なお、近似方法の一例としては、例えば、多項式やスプラインによって、領域の境界を近似する方法、あるいは、矩形化処理によって領域を近似する方法などが挙げられる。また、上記滑らかさの測度としては、例えば、上記誤差などを好適に使用できる。さらに、矩形化処理によって領域を近似したときの近似度合いに応じた複雑度算出方法としては、例えば、各構成要素に対する矩形または非矩形の特徴から、非矩形の構成要素数をカウントし、カウントが多ければ複雑度を大きく設定する方法などが挙げられる。なお、複雑度が大きいとは、より複雑であることを意味しており、以下では、一例として、複雑度が大きい程、複雑度を示す値を大きくする場合を例にして説明する。
【０１４１】
例えば、上記誤差が高くなれば、あるいは、上記領域の境界または形状が滑らかさでなくなれば、ジャギー境界を滑らかなものだとみなし、正確に境界ピクセルを拡張することが難しくなる。したがって、この場合、例えば、多項式やスプラインによって実際の境界に近似し、実際の境界と近似されたものとの間の誤差が高い程、複雑度を高く設定することが好ましい。
【０１４２】
また、ある改善プロセスでは、その領域が凸状ではないならば、改善プロセスはさらに難しく、計算的にもさらに複雑になることがある。したがって、その場合、上記セグメンテーションエリアの境界、あるいは、セグメンテーションエリアの境界が凸状でなければ、上記複雑度をより高く設定する方法も、好適に使用できる。
【０１４３】
一方、上記セグメンテーションエリアのサイズに応じた複雑度の算出方法としては、例えば、全画素数に対して非矩形領域におけるハーフトーン画素数をカウントし、全画素数に対する非矩形領域におけるハーフトーン画素数の割合を計算することで、割合が大きくなる程、複雑度を大きく設定する方法などが挙げられる。
【０１４４】
また、上記セグメンテーションエリアのトポロジカルプロパティに応じた複雑度の算出方法としては、例えば、画素を横方向に見ていったときに、頻繁にセグメンテーション結果が変化しているものは、多くの構成要素が存在しているということを表しているので、この変化の回数をカウントし、カウントが多ければ複雑度を大きく設定する方法などが挙げられる。また、例えば、矩形のハーフトーン領域の配置が、ほぼ等間隔に横に１列に並んでいるとすると、ドキュメントのレイアウトとしては、単純な部類に入る。逆に、不規則に散らばっていたりすると、テキストの配置も考慮した場合、複雑なドキュメントレイアウトと考えられる。したがって、各コンテンツにおける構成要素の配置の直線性および／または間隔を計算し、直線や等間隔の値からの標準偏差の和を求め、当該和が大きくなるほど複雑度が大きくする方法も好適に使用できる。
【０１４５】
また、上記量に応じた複雑度の算出方法としては、非矩形に接続された構成要素の数、および／または、前景での接続された構成要素の数が大きくなるに従って、複雑度を大きくする方法が挙げられる。また、全画素数に対するハーフトーン画素の数の比率、および／または、全画素数に対する非矩形領域におけるハーフトーン画素数の割合が大きくなるほど、複雑度を大きくする方法も好適に使用できる。
【０１４６】
同様に、上記全画素数に対するハーフトーンにおけるテキスト画素の数の比率に応じた複雑度の算出方法としては、例えば、全画素数に対して、ハーフトーン上のテキスト画素数をカウントし、全画素数に対するハーフトーン上のテキスト画素数の割合を計算すると共に、当該割合が大きくなる程複雑度を大きくする方法が挙げられる。
【０１４７】
さらに、上記濃度に応じた複雑度の算出方法としては、例えば、輝度情報の標準偏差が高ければ、複雑度の値を高くする方法が挙げられる。例えば、背景領域が輝度の勾配を持つならば、標準偏差は非常に高くなり、そのような背景領域を改善することは難しい。このように、テキストあり、および／または、なしでの背景領域における輝度値の標準偏差は、この領域に大きな変化があるか否かを示しているので、背景領域の輝度値の標準偏差が高い場合、複雑度の値を高くする方法が好適に使用される。
【０１４８】
一方、上記濃度に応じた複雑度の算出方法としては、輝度ヒストグラムに応じて複雑度の値を変更する方法も挙げられる。例えば、テキストを持つ背景領域の場合、輝度ヒストグラムが双峰的なら、それはシングルカラーテキストキャラクタの存在を意味していると考えられる。一方、そのヒストグラムが一様に分散されるなら、それは、多くの異なるカラーテキストがドキュメントに存在すると結論を下すことができる。したがって、輝度ヒストグラムに応じて複雑度の値を算出することによって、ドキュメントの複雑度を好適に算出できる。
【０１４９】
なお、このプロパティを測定するために使われ得る１つの特徴はエントロピーである。ここで、エントロピーとは、ヒストグラムから計測される特徴量の１つであり、多くの輝度（色度）レベルの画素が多く存在するほど、大きな値となる。また、当該輝度のエントロピーＥは、輝度をＬ、各輝度レベルの度数をＰ（Ｌ）とするとき、Ｅ＝ΣＰ（Ｌ）ｌｏｇＰ（Ｌ）により算出できる。
【０１５０】
また、複雑度測度（complexity measure）は、セグメンテーションアルゴリズム、または、可能なアルゴリズムの設定などの代替処理技術（alternative processing techniques ）のエラー尤度（error likelihood）を考慮してもよい。いったん決定したら、この測度を、「セグメンテーションなどの処理工程を後続の改善処理に適用したほうがよいかどうか」を決定するために使用してもよい。その結果、エンハンスメント・アーティファクト（enhancement artifacts ）が回避される。複雑度測度を使用して、特定のアプリケーションに対して使用する処理の種別または範囲を決定してもよい。なお、当該処理には、セグメンテーションが含まれていてもよく、他の分析処理であってもよいが、これに制限されるものではない。なお、複雑度測度を測定または推定する際に考慮される処理性能データは、上記エラー尤度に関連するものであってもよいし、目に見えるエラーの尤度に関連しているもの、あるいは、他の処理性能データであってもよい。
【０１５１】
「コンテンツ領域（region）」または「領域」という用語は、エリア（area；区域）、または、単一のコンテンツ種別を含むエリアのグループを指している。例えば、ハーフトーン領域は、画像の全てのハーフトーン要素を含んでいてもよい。この全てのハーフトーン要素は、複数の連続する、または、断続するエリアに渡って分布していてもよい。
【０１５２】
本願の明細書および特許請求の範囲で使用されている、「ラスタデータ」、「ビットマップデータ」および「画素データ」という用語は、基本的な絵素（picture elements）または画素（pixels）に関連して、文書または画像を定義する、文書または画像データを指している。これらの用語、および、より一般的な用語である「非オブジェクトベースの（non-boject-based）データ」は、所定のコンフィギュレーションに複数の画素を含むオブジェクトよりもむしろ基本的な画像画素に直接関連する画像または文書データを指すために使用してもよい。非オブジェクトベースのデータは、画素ベースの画像または文書に関連する、ストリーミングデータ、および、変換係数などの変換ドメインデータを含んでいる。プリンタジョブ言語コマンドおよびグラフィックエンジンレンダリング言語コマンドは、典型的には、オブジェクトベースのデータである。
【０１５３】
ページセグメンテーションなどの画像処理技術の効果は、ページおよびページのレイアウトの複雑度と、処理（例えば、セグメンテーション）のアルゴリズムの正確な特質との双方に依存している。要因（factors）は、時間およびメモリーに関する資源コスト（resource costs）、および、分類タスク自体の成功または失敗率を含んでいる。
【０１５４】
しかしながら、セグメンテーションの場合には、特定のアルゴリズムに関係なく、レイアウト複雑度があるレベルに達したら、セグメンテーションの有益性が減少する。有益性の減少は、単に、分類タスク自体が徐々に困難になるために生じることもある。また、有益性の減少は、境界アーティファクト（boundary artifacts）が画像品質を著しく劣化させる程、セグメンテーションエリア境界が数多くなる場合に生じることもある。収益（returns ）を減少する理由とは関係無く、ページまたはページレイアウトの複雑性が、あるレベルを超えて増加するにつれて、セグメンテーションの有益性は、減少し始める。
【０１５５】
したがって、セグメンテーションアルゴリズムまたはアルゴリズムのグループなどの、与えられた処理では、ページレイアウトの複雑性の点から、特定のアルゴリズムまたはグループのアプリケーションが有益となる場合であるか、および、画像品質を向上しない場合であるかを決定できる。
【０１５６】
本発明の実施形態を、図３を参考にしながら説明する。当該実施形態に係るシステムは、上述した各分野において画像処理のために使用される画像処理システムであって、当該システムに含まれる画像処理部は、ページまたはセクション（section;部分）に対する、非オブジェクトベースの（ＮＯＢ）データ（例えば、ラスタデータ）を受信し、読み込む（Ｓ２０）。次に、上記画像処理部は、このＮＯＢデータ（ラスタデータなど）を分析して、コンテンツ種別、または、ページまたはセクション中にコンテンツ種別が存在する尤度を識別する（Ｓ２２）。様々なコンテンツ種別が、最終的な複雑度要因に対して、様々に影響を及ぼしてもよい。この工程Ｓ２２では、各種別またはその存在の尤度が識別される。さらに、上記画像処理部は、各コンテンツ種別領域を決定し、各コンテンツ種別領域の特徴を決定する（Ｓ２４）。コンテンツ種別が識別されているので、上記Ｓ２４において、上記画像処理部は、各種別の要素を画像のエリアに関連付けると共に、指定のコンテンツ種別のために累積されたエリアを、コンテンツ種別領域へ編成してもよい。また、上記画像処理部は、各種別の要素を画像のエリアに関連付け、それらのエリアを各コンテンツ種別領域としてもよい。さらに、上記Ｓ２４において、後述するＳ２６における画像複雑度測度の上記計算のために、上記ラスタデータの属性に基づいて、および、上記コンテンツ種別に関連する情報を使用して、上記ラスタデータにおけるコンテンツ種別を識別してもよい。また、上記画像処理部は、各コンテンツ種別領域の特徴を、これらの領域の分析によって決定してもよい。次に、Ｓ２６において、上記画像処理部は、複雑度要因を、領域特徴および他のデータに基づいて計算する。
【０１５７】
複雑度要因は、典型的には、コンテンツ種別領域特徴に関連している。当該コンテンツ種別領域特徴としては、例えば、領域サイズ、形状、量、濃度、領域幾何学、領域連続性、および、他の領域特徴などが挙げられる。また、複雑度要因は、他のページ、セクションまたは画像の特徴、および、複雑度要因を参照して選択または制御される処理の特徴にも関連していてもよい。ラスタデータから計算される複雑度要因を、ラスタ関連複雑度要因と呼ぶこともある。
【０１５８】
ここで、複雑度要因は、複雑度要因が影響を及ぼすであろう処理またはアルゴリズムに関連していてもよい。関連している場合の実施形態を図４に示す。当該実施形態に係るシステムに含まれる画像処理部は、ラスタのページまたはセクションのデータを読み込み（Ｓ３０）、コンテンツ種別を識別する（Ｓ３２）。また、上記画像処理部は、コンテンツ領域を識別し、領域特徴を決定する（Ｓ３４）。さらに、上記画像処理部によって、複雑度要因の影響を受けるであろうアルゴリズムまたは処理の特徴が決定され（Ｓ３６）、当該特徴は、複雑度要因計算法（complexity factor calculus）で使用される。これらのアルゴリズムの特徴は、コンテンツ種別または種別に関する特定アルゴリズムの信頼性、または、他のデータを含んでいてもよい。アルゴリズムおよび領域特徴をいったん決定したら、上記画像処理部は、アルゴリズム関連複雑度要因を計算できる（Ｓ３８）。
【０１５９】
一例として、網点上文字（例えば、印刷部の写真上の文字や地図の文字部など）検出アルゴリズムの信頼性が、ドキュメント内における網点領域の大きさや数に依存しているとする。この場合、例えば、一般的な雑誌などのように、大きな網点領域（印刷物の写真領域や、上記着色された領域（網点下地））が少量存在する場合には、比較的良好な検出結果を出力できる一方、例えば、地図などのように、小さな網点領域が多数存在する場合には、誤検出が多くなる虞れがある。ここで、良好な検出結果に対して画質向上処理を行えば、高画質な出力画像が得られるが、誤検出された結果に対して画質向上処理を行うと、逆に画質劣化に繋がる虞れがある。
【０１６０】
このような場合、このアルゴリズムの信頼性の視点で見ると、網点領域が多数存在しているほど、このアルゴリズムにとっては、処理が複雑なドキュメントになる。したがって、上記画像処理部において、ドキュメント内における網点領域の数を１つの特徴として用い、網点領域が多数存在しているほど、複雑度が高く設定すると共に、当該複雑度に基づいて、例えば、セグメンテーション結果を利用した画質向上処理を行うかどうかを判断するなど、画像処理方法を選択または調節することによって、誤検出による画質劣化を回避でき、より画質の向上した画像処理を実施できる。
【０１６１】
本発明の他の実施形態では、図５に示すように、複雑度を、変換領域データ（transform domain data ）に関連して計算している。変換データ関連特徴としての変換領域データは、変換係数または関連データを含んでいてもよい。画像処理において一般的に行われる変換は、離散コサイン変換（Discrete Cosine Transform；DCT）であるが、多くの他の変換を使用してもよい。例えば、離散コサイン変換に関連する特徴（上記変換領域データ）としては、ＤＣＴ変換係数の高周波部分などが挙げられる。
【０１６２】
ここで、例えば、ＡＣ成分の高周波データが多く存在する場合には、その領域に細かい輝度や色の変化があることを表し、高周波データがあまり存在しない場合には、輝度や色の変化の少ない領域であることを示している。
【０１６３】
したがって、変換領域データに関連して上記複雑度を算出する方法として、例えば、この高周波データをカウントしたり、値の総和を取るなどすることで、その領域が複雑なデータであるかどうかを判定し、この判定結果をカウントすると共に、当該カウントが多ければ、複雑度を大きくする方法などを好適に使用できる。
【０１６４】
当該実施形態に係るシステムの画像処理部は、変換領域データを読み込み（Ｓ４０）、それを使用して、コンテンツ種別を識別する（Ｓ４２）。次に、画像処理部は、コンテンツ種別領域を構成し、領域特徴を決定する（Ｓ４４）。さらに、画像処理部は、画像処理方法の複雑度関連特徴として、アルゴリズムまたは処理の特徴を決定する（Ｓ４６）。領域特徴、並びに、アルゴリズムまたは処理の特徴をいったん決定したら、画像処理部は、これらの特徴を用いて、複雑度要因を計算する（Ｓ４８）。この複雑度要因は、図４と同様に、アルゴリズム関連複雑要因である。なお、図５では、一例として、図４に示す実施形態と同様に、アルゴリズムまたは処理特徴を決定する工程（Ｓ４６）を実施している場合を例示しているが、この工程を設けず、上記Ｓ４８において、図２と同様に領域特徴および他のデータに基づいて複雑度要因を計算してもよい。また、Ｓ４６を実施するか否かに拘わらず、変換領域データを用いて計算された複雑度要因を、変換データ関連複雑度要因と呼ぶこともある。
【０１６５】
また、本発明の他の実施形態に係るシステムの画像処理部は、図６に示すように、レンダリングストリームオブジェクトデータを読み出し（Ｓ５０）、それを用い、既知の方法のいずれか、または、それらの組み合わせにおいて行われているようにコンテンツ種別を識別する（Ｓ５２）。さらに、画像処理部は、このオブジェクトデータを使用して、コンテンツ領域特徴を決定する（Ｓ５４）。また、画像処理部は、複雑度要因によって影響を受けるアルゴリズムまたは処理の特徴も決定する（Ｓ５６）。次に、画像処理部は、画像複雑度と、アルゴリズムまたは処理との双方に依存している複雑度要因を計算する（Ｓ５８）。画像複雑度と、アルゴリズムまたは処理の結果に対する画像複雑度の影響との双方に関連する複雑度要因を、処理効果複雑度要因と呼ぶこともある。
【０１６６】
本発明の他の実施形態を、図７に関連して説明する。本実施形態に係るシステムの画像処理部は、図７に示すように、セグメンテーション処理部１１０と、複雑度測定部１１２と、判定部１１４と、全体改善処理部１１６と、適合改善処理部１１８とを備えている。
【０１６７】
例えば、上記セグメンテーション処理部１１０が入力ドキュメント画像Ｉを受信したり、読み込むなどして、上記セグメンテーション処理部１１０が入力ドキュメント画像Ｉの入力を受け付けると、当該セグメンテーション処理部１１０は、入力ドキュメント画像を、その構成要素の領域にセグメンテーションする。なお、図７では、一例として、セグメンテーション処理部１１０が、セグメンテーション処理の結果として、コンテンツ種別または各画素に対する種別を識別するセグメンテーションマップを生成する構成を例示している。続いて、複雑度測定部１１２は、このマップを使用して、セグメンテーションマップが示すレイアウトを考慮しつつ、ドキュメントの複雑度を測定する。なお、上記複雑度測定部１１２は、使用可能な特定のセグメンテーション方法のプロパティ（property）を、複雑度推定に対して影響させてもよい。結果として生じる複雑度値（complexity value）Ｃｘは、セグメンテーションマップがどの程度信頼できるものであるか、および、セグメントベースのセグメントベースで領域特有の改善方法が入力ドキュメントにとって、どの程度適切なものであるのかの推定（概算;estimate）になっている。
【０１６８】
また、判定部１１４は、上記複雑度測定部１１２の測定した複雑度Ｃｘが所定の閾値σを上回っているか否かを判定し、複雑度Ｃｘが所定の閾値σを上回ると、セグメンテーションマップが破棄され、全体改善処理部１１６は、出力画像における潜在的なアーティファクトを回避するために、標準の全体的改善をドキュメントに実施する。そうでない場合は、適合改善処理部１１８は、セグメンテーションマップに基づいてドキュメントを改善する。これにより、各コンテンツ種別に対して最適化された処理が行えるようになる。
【０１６９】
本発明の他の実施形態を、図８を参照しながら説明する。この図８は、セグメントベースのドキュメントの改善に利用できる複雑度測定を含む実施例を示すものである。当該実施形態に係るシステムの画像処理部は、セグメントベースの改善および全体的改善を独立して行い、それらの結果を、演算されたドキュメントの複雑度に基づいて組み合わせることができる。
【０１７０】
具体的には、上記画像処理部は、図８に示すように、セグメンテーション処理部１２２と、複雑度測定部１３０と、全体改善処理部１２４と、適合改善処理部１２６と、組み合わせ処理部１２８とを備えている。
【０１７１】
セグメンテーション処理部１２２は、入力画像Ｉを、セグメンテーションアルゴリズムを使用して処理し、セグメンテーションマップ１２５を作成する。適合改善処理部１２６は、このマップ１２５を使用して、セグメントベースの改善を実施する。一方、全体改善処理部１２４は、入力画像Ｉを、全体的改善を実施することによって直接処理する。なお、両処理部１２４・１２６は、これらの改善処理を、並行して行っても、連続して行っても、または、その他のやり方で行ってもよい。
【０１７２】
セグメンテーション処理部１２２がマップ１２５を作成した後、複雑度測定部１３０は、画像Ｉの複雑度を測定し、複雑度値Ｃｘを計算する。組み合わせ処理部１２８は、ドキュメントの複雑度Ｃｘが低い場合、適合改善処理部１２６によって行われたセグメントベースの改善結果Ｉ''をより重く重み付けする。一方、複雑なドキュメントに対しては、組み合わせ処理部１２８は、全体改善処理部１２４による全体的改善結果Ｉ' をより強調する。組み合わせ処理部１２８は、２つの改善を様々な方法で組み合わせてもよい。
【０１７３】
例えば、複雑度測定Ｃｘがスカラーである場合、
（１−Ｃｘ）・ＳｅｇＥｎｈ ＋ Ｃｘ・ＧｌｏｂａｌＥｎｈ
などの簡単な線形組み合わせ方法（linear combination method）を採用できる。上記ＳｅｇＥｎｈおよびＧｌｏｂａｌＥｎｈは、適合改善処理部１２６によって行われたセグメントベースの改善結果Ｉ''と、全体改善処理部１２４による全体的改善結果Ｉ' とを、それぞれ表している。
【０１７４】
このように、組み合わせ処理部１２８は、上記組み合わせ方法として、改善された画像をそれらの複雑度測度に比例して組み合わせる方法、上記改善された画像の各々に、それに関連付けられた複雑度測度に比例する重み係数を与え、上記改善された画像を組み合わせて、上記各改善された画像を重み付けされた割合で含んでいる、最終的な改善された画像を得る方法、上記組み合わせ処理の可変パラメータを、上記複雑度測度の少なくとも１つに比例して変更する方法、あるいは、上記複数の処理の少なくとも１つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成する方法を好適に使用できる。なお、この場合、本実施形態に係る組み合わせ処理部１２８、全体改善処理部１２４および適合改善処理部１２６は、上記複雑度測度に比例して可変する効果を有する処理を、上記画像に実施している。
【０１７５】
あるいは、組み合わせ処理部１２８は、領域主導型（region-driven）の組み合わせ規則、すなわち、セグメンテーションおよび改善アルゴリズムの性能に基づいてコンテンツの様々な種別を検出および向上するための組み合わせ規則を採用してもよい。ドキュメントの複雑度を、ページ全体というよりもむしろ領域毎に規定すれば、全体的改善、領域改善またはデフォルト改善を行う方法は、セグメンテーションの確実性（segmentation confidence）が低いエリアにおいて好ましいであろう。
【０１７６】
図９に示す、他の実施形態では、セグメンテーション補正がさらに行われている。当該実施形態では、ドキュメントの複雑度が所定の閾値σを下回っていることが分かった場合、または、ドキュメントの複雑度が何らかの他の基準を満たしていることが分かった場合に、セグメンテーションの改善（refinement）工程をさらに行う。この方法では、最初に生成され、複雑度分析のために使用される初期段階の（initial）セグメンテーションマップを大まかな（coarse）ものにすることができるので、実施のために必要になる演算要求（computation requirements；必要とされる演算能力）を少なくすることができる。
【０１７７】
具体的には、本実施形態に係るシステムの画像処理部は、図９に示すように、セグメンテーション処理部１３２と、複雑度測定部１３６と、判定部１４０と、全体改善処理部１４２と、高性能セグメンテーション処理部１４４、適合改善処理部１４８とを備えている。
【０１７８】
当該実施形態では、入力画像Ｉが処理される。入力画像Ｉが入力されると、上記セグメンテーション処理部１３２は、初期段階のセグメンテーションを実施し、初期段階のセグメンテーションマップ１３４を作成する。複雑度測定部１３６は、他の実施形態でのように、画像Ｉの複雑度を測定し、複雑度値Ｃｘを計算する。さらに、判定部１４０は、複雑度値Ｃｘと閾値σとを比較し、複雑度値Ｃｘが閾値σを上回っていれば、全体改善処理部１４２は、画像Ｉに対して全体的改善を実施し、全体的に改善された画像Ｉ' が生成される。複雑度値Ｃｘが閾値σを下回っている場合、高性能セグメンテーション処理部１４４は、より洗練された（高精度な）セグメンテーション処理（finer segmentation process）を行う。これにより、高精度なセグメンテーションマップ（洗練されたセグメンテーションマップ）１４６が作成される。
【０１７９】
一例として、上記高性能セグメンテーション処理部１４４は、初期段階のセグメンテーションマップ１３４を改善して、当該セグメンテーションマップを更新し、上記高精度なセグメンテーションマップ１４６を生成してもよい。この場合、上記初期段階のセグメンテーションマップ１３４は、画質改善処理に使用するために、高性能セグメンテーション処理部１４４へ送られる。また、代替の実施形態として、上記高性能セグメンテーション処理部１４４は、初期段階のセグメンテーションマップを使用せず、高精度なセグメンテーション処理を独立して行ってもよい。
【０１８０】
次に、適合改善処理部１４８は、上記高精度なマップ１４６に基づいて、セグメントベースの改善を行い、画像Ｉを改善する。処理の、この部分により、高精度なセグメントベースの改善によって改善された画像Ｉ''が生成される。
【０１８１】
なお、上記では、判定部１４０が複雑度値Ｃｘと閾値σとの比較結果に基づいて、全体改善処理部１４２および適合改善処理部１４８のいずれが改善処理するかを決定する場合を例示したが、判定部１４０は、複雑度値Ｃｘが何らかの他の基準を満たしているか否かに基づいて決定してもよい。
【０１８２】
本発明の実施形態では、図２０に示すように、代替の、高精度なセグメンテーションアプローチを使用してもよい。具体的には、本実施形態に係るシステムの画像処理部は、図２０に示すように、セグメンテーション処理部４４２と、複雑度測定部４４６と、判定部４５０と、全体改善処理部４５２と、高性能セグメンテーション処理部４５４と、複雑度再測定部４５８と、再判定部４６２と、適合改善処理部４６４とを備えている。
【０１８３】
当該実施形態では、入力画像Ｉが処理される。入力画像Ｉが入力されると、上記セグメンテーション処理部４４２は、初期段階のセグメンテーション処理を実施して、初期段階のセグメンテーションマップ４４４を生成する。複雑度測定部４４６は、この初期段階のマップ４４４を用いて、画像Ｉの複雑度値Ｃｘを測定し、この処理によって、複雑度値Ｃｘが決定される。
【０１８４】
さらに、判定部４５０は、複雑度値Ｃｘが与えられた基準を満たしているか否かを判定し、複雑度値Ｃｘが与えられた基準を満たしていたら、全体改善処理部４５２は、全体的な改善を行う。これにより、結果として、全体的に改善された画像Ｉ' が生成される。
【０１８５】
一方、上記基準が満たされていない場合、または、それに代わる基準が満たされている場合、高性能セグメンテーション処理部４５４は、より洗練されたセグメンテーション処理を行う。高性能セグメンテーション処理部４５４は、その高精度な処理のための基礎として、上記初期段階のセグメンテーションマップ４４５を使用してもよいし、または、上記セグメンテーション処理部４４２による、初期段階のセグメンテーション処理からは独立して、より洗練されたセグメンテーション処理を行ってもよい。この高性能セグメンテーション処理部４５４による、より洗練されたセグメンテーション処理によって、より高精度なセグメンテーションマップ４５６が生成される。
【０１８６】
高精度なマップ４５６がいったん生成されたら、複雑度再測定部４５８は、高精度なマップ４５６に基づいて画像複雑度を再び測定する。これにより、高精度な複雑度値Ｃ’ｘが決定される。
【０１８７】
さらに、再判定部４６２は、例えば、この高精度な複雑度値Ｃ’ｘが閾値σ’を上回るかなど、複雑度値Ｃ’ｘが与えられた基準を満たしているか否かを判定し、この高精度な複雑度値Ｃ’ｘが基準を満たしている場合、全体改善処理部４５２は、全体的な改善を行う。
【０１８８】
一方、この基準が満たされていない場合、または、それに代わる基準が満たされている場合、適合改善処理部４６４は、代替の改善処理を行い、それにより、改善された画像Ｉ''が生成される。
【０１８９】
既に説明した本発明の実施形態では、複雑度測定を、ドキュメント画像全体のセグメンテーションマップを使用して演算してもよい。以下では、その一例として、図１０を参照しながら、画像セクションまたはストリップを使用して複雑度測度を計算し、アップデートまたは漸次累算する実施形態について説明する。
【０１９０】
この明細書および請求項では、セクションという用語は、以下の任意の部分分割（sub-division）または一部、すなわち、ドキュメント、ドキュメント画像、または、画像のいずれかの任意の部分分割（sub-division）または一部を指すものとする。画像を幾何学的に分割すること、画像を色特徴によって分割すること、画像を変換値（transform values）によって分割すること、または、画像を任意の他の方法によって分割することによって、セクションを形成してもよい。「ストリップ」という用語は、画像の細長い（elongated ）幾何学的な部分を指しており、典型的には、当該部分は、ページの一方の端または側から反対の端または側へと延びている。「ストリップ」という用語は、「セクション」という、より広い範囲の用語の意味に含まれている。
【０１９１】
具体的には、本実施形態に係るシステムの画像処理部は、図１０に示すように、画像取得部１６０と、セクションセグメンテーション処理部１６２と、セクション複雑度測定部１６４と、複雑度更新部１６６と、判定部１７０と、全体改善処理部１７２と、適合改善処理部１７４と、ページ終了判定部１７６と、セグメンテーションマップ更新部１８０とを備えている。なお、１セクションが複数のストリップから構成されていてもよいが、以下では、一例として、１セクションが１ストリップである場合について説明する。
【０１９２】
上記実施形態に係る画像処理部は、入力画像Ｉを、セクションまたはストリップ毎に漸増的に（incrementally ）処理する。本実施形態では、この漸増的な処理は、画像取得部１６０によって、次の画像セクションが取得され、当該画像セクション（最初は、第１セクション）が分析される処理と、そのうえに（thereon ）、セクションセグメンテーション処理部１６２によってセグメンテーションが行われる処理との繰り返しによって実現されている。
【０１９３】
上記セクションセグメンテーション処理部１６２が１つのセクションに対していったんセグメンテーションを実施したら、上記セクションセグメンテーション処理部１６２は、セグメンテーション処理の結果として、セクションセグメンテーションマップ１８２を作成する。セクション複雑度測定部１６４は、セグメンテーション処理の結果に基づいて、画像セクションの複雑度も計算し、複雑度更新部１６６は、例えば、当該複雑度を累積するなどして、累積された複雑度値または複雑度測度Ｃｘをアップデートして、複雑度値または複雑度測度Ｃｘを定める（establish）。ここで、１回目の処理の場合は、複雑度値または複雑度測度Ｃｘが累積されていないので、複雑度更新部１６６は、例えば、セクション複雑度測定部１６４の算出した第１セクションの複雑度に基づくなどして、複雑度値または複雑度測度Ｃｘを定める。なお、以下では、複雑度値または複雑度測度Ｃｘを、複雑度測度Ｃｘと略称する。
【０１９４】
判定部１７０は、複雑度測度Ｃｘと閾値σとを比較し、複雑度測度Ｃｘが閾値σを超えると、上記セクションセグメンテーション処理部１６２によるセグメンテーション処理（より詳細には、上記繰り返し処理）が終了され、全体改善処理部１７２が全体的改善を実施する。
【０１９５】
上記判定部１７０の判定により、複雑度測度Ｃｘが閾値σ未満であれば、上記画像取得部１６０は、次の画像セクションを取得し、当該他の画像セクションが処理される。後続のセクションを分析するとき、上記セクションセグメンテーション処理部１６２は、セクションセグメンテーションマップ１８２を作成し、セグメンテーションマップ更新部１８０は、当該セクションセグメンテーションマップ１８２に基づいて、セグメンテーションマップ１７８をアップデートする。また、セクション複雑度測定部１６４は、そのセクションについての複雑度測度を計算し、複雑度更新部１６６は、累算された複雑度測度Ｃｘを、新しいセクションにおいて集められた情報を反映するようにアップデートする。上記判定部１７０の判定により、累算された複雑度測度Ｃｘが閾値σを上回る場合、全体改善処理部１７２は、全体的改善を実施する。一方、上記判定部１７０の判定により、累算された複雑度測度Ｃｘが閾値σ未満のままであれば、別のセクションが処理される。この処理は、複雑度測度Ｃｘが閾値σを上回るまで、または、ページ全体が処理されるまで（例えば、上記ページ終了判定部１７６がページ終了を検出するまで）続けられる。閾値σを超えずに、ページ全体が処理されたら、適合改善処理部１７４は、適合された（tuned）セグメントベースの改善によって、画像Ｉ全体を処理する。
【０１９６】
なお、本実施形態では、ｎ個の列（ただし、ｎ≧１）を含む非重複画像ストリップを使用してもよい。また、上記画像取得部１６０がセクションまたはストリップを取得する順番は、ページの先頭から末尾への順番であってもよいし、セグメンテーション以前に決定されている初期段階の複雑度推定に基づいた複雑度の順序であってもよい。
【０１９７】
図１１に示す、本発明の他の実施形態では、ページ複雑度を、明確なセグメンテーションマップなしで決定している。当該実施形態では、ヒストグラム分析および変換ドメイン処理など（ただし、これに制限はされていない）の、入力ドキュメントから直接抽出された他の画像またはページ特性を、ドキュメントの複雑度を推定（estimate）するために利用している。続いて、セグメンテーションマップの生成と、このドキュメントに対する、適合された改善の実施とを行う価値があるかどうかが、この初期段階の分析および複雑度推定を用いて決定される。
【０１９８】
具体的には、図１１に示すように、本実施形態に係るシステムの画像処理部は、画像特性演算部１８４と、複雑度測定部１８６と、判定部１９０と、全体改善処理部１９２と、セグメンテーション処理部１９４と、適合改善処理部１９８とを備えている。
【０１９９】
当該実施形態に係る画像特性演算部１８４は、入力画像Ｉを処理し、分析して、画像またはページ特性を演算する。複雑度測定部１８６は、ページ複雑度を、これらの特性に基づいて推定し、複雑度測度Ｃｘを計算する。さらに、判定部１９０は、複雑度測度Ｃｘと閾値σとを比較し、複雑度測度Ｃｘが閾値σを上回る場合、全体改善処理部１９２は、全体的な改善を実施する。複雑度測度Ｃｘが閾値σを下回る場合、セグメンテーション処理部１９４は、セグメンテーションを実施し、セグメンテーションマップ１９６を作成する。次に、適合改善処理部１９８は、当該セグメンテーションマップに基づいて、上記画像Ｉを改善する。
【０２００】
本発明の他の実施形態を、図１２を参照しながら説明する。当該実施形態では、入力画像Ｉがストリップまたはセクションで処理される。なお、上記実施形態と同様に、以下では、一例として、１セクションが１ストリップである場合について説明し、セクションおよびストリップ、並びに、セクションのストリップを、セクションと称する。
【０２０１】
具体的には、本実施形態に係るシステムの画像処理部は、図１２に示すように、画像取得部１９０と、セクション複雑度測定部１９２と、複雑度更新部１９４と、判定部１９８と、全体改善処理部２００と、ページ終了判定部２０２と、セグメンテーション処理部２０４と、適合改善処理部２０８とを備えている。
【０２０２】
画像取得部１９０は、入力画像Ｉの次の画像セクション（最初は、第１セクション）を取得して分析し、セクション複雑度測定部１９２は、そのセクションの複雑度を、入力画像Ｉから抽出されたページに関する特性を使用して決定する。本実施形態に係る当該ページに関する特性は、例えば、ヒストグラム分析および変換ドメイン処理を含んでいるが、これに制限されるものではない。複雑度更新部１９４は、例えば、初回は、セクション複雑度測定部１９２からの複雑度を格納するなどして、累積ページ複雑度測度Ｃｘを格納する。さらに、判定部１９８は、累積ページ複雑度測度Ｃｘと閾値σとを比較し、累積ページ複雑度測度Ｃｘが閾値σを上回っていれば、全体改善処理部２００は、全体的画質改善を実施する。累積ページ複雑度測度Ｃｘが閾値σを下回り、ページ終了判定部２０２の判定などによって、未だドキュメント全体が処理されていなければ、セクションの取得処理以降の処理が繰り返され、上記画像取得部１９０は、次の画像セクションを分析する。さらに、複雑度更新部１９４は、セクション複雑度測定部１９２によって推定された、セクションの次の画像ストリップの複雑度を使用して、累積ページ複雑度測度Ｃｘをアップデートする。判定部１９８は、この測度Ｃｘを、再度閾値σと比較する。測度Ｃｘが閾値σを上回っていれば、全体改善処理部２００は、全体的画質改善を実施する。なお、当該画像Ｉ全体に対する全体的な処理は、直ぐに実施してもよい。閾値σを上回っておらず、しかも、未だドキュメント全体が処理されていなければ、他のセクションを上記のように処理する。
【０２０３】
この反復処理は、測度Ｃｘが閾値σを上回るまで、または、ページ終了判定部２０２の判定などによって、画像（ドキュメント）全体が処理されるまで続けられる。閾値σを上回ることなく画像全体が処理されたら、セグメンテーション処理部２０４は、画像全体にセグメンテーションを実施し、適合改善処理部２０８は、セグメントベースの改善によって画像Ｉを改善する。なお、本実施形態では、セグメンテーション処理部２０４によって生成されたセグメンテーションマップ２０６を、この最終的なセグメントベースの処理で使用する。しかしながら、複雑度測度Ｃｘがドキュメント全体について閾値σを下回っていなければ、セグメンテーション処理部２０４は、セグメンテーションマップ２０６を作成する必要はない。
【０２０４】
本発明の他の実施形態では、推定された複雑度測度を使用して、入力画像に適用される改善の度合いを調整してもよい。この場合、複雑度測度が利得制御の一種として機能し、複雑度測度は、セグメントベースの改善を、どの程度積極的に実行するかを決定できる。この場合、２種別の別個の改善（すなわち、全体的改善とセグメントベースの改善との）間の二分決定が強要されるというよりは、むしろ改善の強さが調節（regulate）される。この改善強度の調節は、連続的に（on a continuous scale）、または、段階的に（step-wise basis）実施してもよいし、あるいは、他の調整方法（adjustment scheme）によって実施してもよい。
【０２０５】
典型的な実施形態を、図１３を参照しながら説明する。当該実施形態に係るシステムの画像処理部は、図１３に示すように、セグメンテーション処理部２２０と、複雑度測定部２２４と、改善処理部２２８とを備えている。
【０２０６】
上記実施形態では、入力画像Ｉが入力されると、セグメンテーション処理部２２０は、入力画像Ｉを分析し、そのうえにセグメンテーションを実施する。その結果、セグメンテーションマップ２２２が作成される。次に、複雑度測定部２２４は、画像Ｉの複雑度を測定し、複雑度測度Ｃｘを決定する。この複雑度測度Ｃｘに基づいて、改善処理部２２８は、適合された改善を、複雑度測度Ｃｘに応じて変化する改善度合いで実施する。
【０２０７】
セグメントベースの改善（上記適合された改善）は、様々な方法で調整できる。図１４に、係数の異なる複数のフィルター種別を含む実施例を示す。この例では、これらのフィルターおよび係数を、図示したように、複雑度評価の値に基づいて利用している。ここでは、小数点第３位を四捨五入した数値例を示している。
【０２０８】
具体的には、図１４の例では、改善処理部２２８は、改善時に使用するフィルターＦ１〜Ｆ５を切り換え可能である。当該フィルターＦ１〜Ｆ５は、フィルターの処理方法または係数が異なっている。図１４の例では、複雑度測度Ｃｘの低いもの（余り複雑でないもの）から順番に、フィルターＦ１〜Ｆ５を使用するように設定されているので、フィルターＦ１〜Ｆ５のフィルターの処理方法または係数は、例えば、より複雑な画像に使用するもの程、余り大幅には画像品質を向上できなくても、セグメンテーション処理時の誤りに起因する画質低下が起こりにくいように（例えば、より全体改善処理に近い処理など）、しかも、より簡単な画像に使用するもの程、セグメンテーション処理結果が正しければ、より高い改善度合いで画像品質を向上可能なように（例えば、より適合改善処理に近い処理など）設定されている。さらに、改善処理部２２８では、複雑度測度Ｃｘの取り得る範囲が各フィルターＦ１〜Ｆ５に対応して予め分割されており、改善処理部２２８は、複雑度測定部２２４からの複雑度測度Ｃｘがいずれのフィルターに対応する範囲に属しているかを判定し、その範囲に対応するフィルターを使用する。
【０２０９】
あるいは、処理方法または係数の互いに異なるフィルターを用意しておくのではなく、改善フィルター係数のセットを１つ用意しておき、改善処理部２２８は、複雑度測度Ｃｘ、または、その評価値間で同一の改善フィルター係数のセットを、複雑度測度Ｃｘ、または、その評価値の値に基づいて補正してもよい。なお、本明細書および特許請求の範囲では、複雑度測度Ｃｘ、または、その評価（estimate）の値も、複雑度測度Ｃｘと略称する。例えば、改善処理部２２８は、フィルター応答を、複雑度測度Ｃｘに基づき、ドキュメントの複雑度が増すにつれてフィルターの改善がより控えめな傾向となるように調整してもよい。また、他の実装において、改善処理部２２８は、改善フィルター係数または改善結果を、様々な領域種別（例えば、テキスト、ハーフトーンなど）に対して組み合わせるために、複雑度測度Ｃｘを使用して、入力画像に対して積極的過ぎる処理を適用しないことを確実にしてもよい。一例として、改善処理部２２８は、上記複雑度測度Ｃｘに比例して可変する効果を有する処理を、上記画像に実施してもよい。
【０２１０】
本発明の上記各実施形態のいくつかでは、ドキュメントの複雑度を、画像全体のために定義してきたが、それに代えて、複雑度測度を複数の値からなるもの（多価；multi-valued）としてもよい。例えば、複雑度測度Ｃｘを、ベクトルによって表してもよい。なお、このベクトルの構成要素は、セグメンテーションマップ内の特定のコンテンツ領域の複雑度を反映している。マップがあれば、個々の領域、領域のセットまたは検出された領域の各々に対して、別々の複雑度測度を演算できる。次に、結果として生じる多価複雑度測度Ｃｘ（１，２，…，Ｍ）を分析して、各領域に対して実施される改善の種別および量を決定してもよい。
【０２１１】
領域特有の複雑度測度を決定するとき、異なる組（set ）の特性を使用して、別々の領域に対して異なるように、複雑度を演算してもよい。例えば、ドキュメント画像において、ハーフトーンタイプの領域に対する複雑度測度は、領域におけるテキスト画素の数に基づいていてもよい。一方、連続階調（contone ）領域では、エントロピー状の特性（entropy-like feature）を使用して決定してもよい。これにより、利用可能な領域種別に対して、最も適切な複雑度測度を定義でき、より目的を絞ってセグメントベースの改善を適用できる。
【０２１２】
領域特有の処理を行う実施形態を、図１５を参考しながら説明する。当該実施形態に係るシステムの画像処理部は、セグメンテーション処理部２４０と、複雑度測定部２４４と、改善処理部２４８とを備えている。当該実施形態では、セグメンテーション処理部２４０は、入力画像Ｉを読み込み、そのうえにセグメンテーションを実施する。その結果、セグメンテーションマップ２４２が作成される。複雑度測定部２４４は、このセグメンテーションマップ２４２を使用して、各領域特有の複雑度測度Ｃｘを測定する。これらの測定の結果、多価複雑度測度Ｃｘ（１，２，…，Ｍ）が生じる。次に、改善処理部２４８は、この多価複雑度測度Ｃｘ（１，２，…，Ｍ）を使用して、画像の領域特有の改善を制御したり、調整したりする。
【０２１３】
ところで、ドキュメントの複雑度を推定するときに、１つ以上のセグメンテーション方法を使用することが望ましい場合もある。複数のセグメンテーションアルゴリズムを採用する１つの理由は、単一のセグメンテーション方法が全ての種別の入力データに対してうまく作用するわけではないかもしれないからである。例えば、有色情報（chromatic information）に依存したセグメンテーション技術は、無色の（achromatic ）入力画像に対しては無効である。ページ上のハーフトーンとテキスト領域とを正確に分類できるが連続階調エリアではエラーとなるアルゴリズムは、スキャンした写真をセグメンテーションするためには最適ではない。同様に、不適切なセグメンテーション方法を使用して演算された複雑度測度は、どの種別の改善を適用すべきかについての誤った結論を導き出すこととなる。
【０２１４】
このような問題を避けるために、入力画像を、まず、複数の異なるセグメンテーション方法を使用してセグメンテーションしてもよい。これらの方法は、それらが利用するデータの種別または特性、それらが実施する（follow）セグメンテーションアプローチ、あるいは、これら双方が異なっていてもよい。例えば、同じセグメンテーションアルゴリズムを、入力画像の構成要素の各々に別々に適用してもよい。他の実施形態では、クラスタ化技術、領域拡大（region growing）技術、ファジーセグメンテーション方法、または、他の技術または方法を使用して、入力画像をその成分領域にセグメンテーションしてもよい。Ｎ個の別個のセグメンテーションマップをセグメンテーションモジュールによって生成した後、各マップに対して複雑度測度を演算する。その結果、入力画像に対するＮ個の複雑度推定が生じる。次に、与えられた入力画像のために最良のセグメンテーションマップ（および、セグメンテーション方法）が、これらの複雑度測度に基づいて選択される。
【０２１５】
複雑度演算は、セグメンテーション方法のエラー尤度およびドキュメントレイアウトを考慮してもよいので、結果として生じる複雑度測度のセットは、この画像に対して、どのセグメンテーション技術が最適であるかを示すことができる。この選択は、様々な方法で実施できる。例えば、最小複雑度推定を生じるセグメンテーションマップを、さらなる改善のために選択できる。
【０２１６】
複数のセグメンテーション方法を含む処理を行う実施形態について、図１６を参照しながら説明する。当該実施形態に係るシステムの画像処理部は、複数のセグメンテーション処理部２５２・２５４・２５６を含むセグメンテーション処理モジュール２５０と、各セグメンテーション処理部２５２・２５４・２５６に対応する複雑度測定部２６２・２６４・２６６を含む複雑度測定モジュール（複雑度分析モジュール）２６０と、判定部２６８と、セグメンテーションマップ処理部２５８と、改善処理部２７０とを備えている。
【０２１７】
当該実施形態では、入力画像Ｉが受信されると、各セグメンテーション処理部２５２・２５４・２５６（セグメンテーション処理モジュール２５０）によって、複数のセグメンテーション方法が画像Ｉに実施される。これらの結果、複数のセグメンテーションマップ２７２〜２７６が生成される。複雑度測定モジュール２６０（複雑度測定部２６２・２６４・２６６）は、これらのマップ２７２〜２７６を使用して、各セグメンテーション処理部２５２・２５４・２５６による、セグメンテーション方法の各々に関して、画像Ｉの複雑度を決定する。これにより、多価の複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）が各セグメンテーション方法に関連して決定される。判定部２６８は、これらの複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）を分析して、上記特定の画像Ｉに対して、各セグメンテーション処理部２５２・２５４・２５６による各セグメンテーション方法のいずれが、より良好に作用するかを決定する。セグメンテーション方法がいったん選択されると、セグメンテーションマップ処理部２５８は、適切なセグメンテーションマップを選択し、改善処理部２７０は、それを用いて、入力画像Ｉに対し、適合された改善を実施する。
【０２１８】
なお、上記では、一例として、セグメンテーションマップ処理部２５８がセグメントマップを選択する場合を例にして説明したが、それに代えて、改善処理部２７０が上記複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）、あるいは、判定部２６８により選択された複雑度測度Ｃｘに基づいて、上記各セグメンテーション処理部２５２・２５４・２５６からのセグメントマップの中から、適切なセグメンテーションマップを選択してもよい。一例として、改善処理部２７０は、選択されたセグメンテーションマップに基づく改善処理の可変パラメータを、それに関連付けられた複雑度測度（選択された複雑度測度Ｃｘ）に比例して変更してもよい。
【０２１９】
複数のセグメンテーション方法を用いたアプローチに関する、他の実施形態を、図１７を参照しながら説明する。当該実施形態では、複数の代替可能な方法の各々を使用して、入力画像Ｉを改善し、結果として生じる画像を組み合わせて、単一の改善画像を生成する。
【０２２０】
具体的には、実施形態に係るシステムの画像処理部は、複数のセグメンテーション処理部２５２・２５４・２５６を含むセグメンテーション処理モジュール２５０と、各セグメンテーション処理部２５２・２５４・２５６に対応する複雑度測定部２６２・２６４・２６６を含む複雑度測定モジュール（複雑度分析モジュール）２６０と、各複雑度測定部２６２・２６４・２６６に対応する改善処理部２８２・２８４・２８６と、組み合わせ処理部２８８とを備えている。なお、上記セグメンテーション処理部２５２、複雑度測定部２６２および改善処理部２８２と、上記セグメンテーション処理部２５４、複雑度測定部２６４および改善処理部２８４と、上記セグメンテーション処理部２５６、複雑度測定部２６６および改善処理部２８６とのうちのいずれかは、セグメンテーション処理を含む画像分析処理として、全体的分析処理を行ってもよい。
【０２２１】
当該画像処理部では、入力画像Ｉが受信されると、各セグメンテーション処理部２５２・２５４・２５６による複数のセグメンテーション方法を使用して、当該入力画像Ｉが処理される。その結果、複数のセグメンテーションマップ２７２〜２７６が作成される。次に、複雑度測定モジュール２６０は、これらの多重セグメンテーションマップ２７２〜２７６を使用して、各セグメンテーション方法に関連する画像Ｉの複雑度を測定する。その結果、多価の複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）が生成されることとなる。次に、各改善処理部２８２・２８４・２８６は、各複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）に応じて、画像Ｉに対する適合された改善を、それぞれ実施する。次に、組み合わせ処理部２８８は、各改善処理部２８２・２８４・２８６によって実施された、各適合された改善方法の結果を組み合わせて、単一の改善画像を生成する。
【０２２２】
上記実施形態に係る組み合わせ処理部２８８は、セグメンテーションモジュール２５０（２５２・２５４・２５６）において得られた全てのマップ（２７２〜２７６）を、最終的な改善結果Ｉ' を生成するために使用できる。また、上記各改善処理部２８２・２８４・２８６による適合された改善は、セグメンテーションマップ２７２〜２７６の各々のために実施される。各改善処理部２８２・２８４・２８６は、それぞれの場合の改善の量または種別を、それぞれに対応する複雑度推定の値（複雑度測度Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）によって決定してもよい。次に、組み合わせ処理部２８８によって、出力画像Ｉを形成するために、改善結果が組み合わされる。組み合わせ処理部２８８による、最終的な併合工程（merging step）は、各セグメンテーションアルゴリズム（セグメンテーション方法）の複雑度推定（複雑度測度Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）を考慮して、各改善結果が最終結果Ｉにどのように寄与するかを決定してもよい。さらに、組み合わせ処理部２８８は、各セグメンテーション方法の強みを利用するため、併合時にセグメンテーション技術の特別なプロパティ（particular properties）を考慮してもよい。
【０２２３】
図１８に示すように、他の実施形態に係るシステムの画像処理部は、セグメンテーション処理モジュールに設けられる複数のセグメンテーション処理部３００・３０２・３０４と、複雑度測定モジュール（複雑度分析モジュール）に設けられ、上記各セグメンテーション処理部３００・３０２・３０４に対応する複雑度測定部３０６・３０８・３１０と、算出部３２４と、判定部３２６と、全体改善処理部３２８と、高性能セグメンテーション処理部３３０と、適合改善処理部３３４とを備えている。
【０２２４】
当該実施形態では、上記各セグメンテーション処理部３００〜３０４において得られたマップの複数は、高性能セグメンテーション処理部３３０によって、最終的なセグメンテーションマップを生成するために使用されている。また、複数のセグメンテーション方法結果に基づいて算出された多価の複雑度測度に基づいて、ドキュメントＩの複雑度が評価され、その評価結果が閾値を超えているか否かによって、全体的な改善処理を行うか、適合された改善処理を行うかが決定されている。
【０２２５】
当該実施形態では、図１７に示す画像処理部と同様に、複数のセグメンテーションマップ３１２〜３１６、並びに、多価の複雑度測度（Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）が生成される。さらに、算出部３２４は、各セグメンテーションマップ３１２〜３１６用の複雑度推定（複雑度測度Ｃ1 ｘ，Ｃ2 ｘ，ＣN ｘ）を、関数Ｆ（Ｃｘ）を使用して組み合わせる。典型的には、関数Ｆ（Ｃｘ）としては、最小（min(.)）および平均（mean(.) ）が選択されるが、他の関数を使用できることは明らかである。
【０２２６】
判定部３２６は、上記関数Ｆ（Ｃｘ）の値と与えられた閾値σとを比較し、上記関数Ｆ（Ｃｘ）の値が当該与えられた閾値σを上回る場合、全体改善処理部３２８は、全体的改善を入力画像Ｉに適用する。そうでない場合、高性能セグメンテーション処理部３３０は、上記各セグメンテーションマップ３１２〜３１６を組み合わせて、高精度なセグメンテーションマップ３３２を生成する。また、適合改善処理部３３４は、この最終的なマップ３３２に基づいて、セグメントベースの改善を入力画像Ｉに適用する。
【０２２７】
なお、算出部３２４は、比較的低い複雑度を有する、最も信頼性のあるセグメンテーションマップだけを併合して、最終的なセグメンテーションを得てもよい。また、セグメントベースの改善が適切であるか否かを決定するために、最終的なセグメンテーション結果を使用して、入力ドキュメントの複雑度を再評価する工程（あるいは部材）を、さらに追加してもよい。
【０２２８】
上記で開示した実施例の中には、一般的に、ドキュメント画像の複雑度を推定するためのセグメンテーションマップに明らかに依存しているものもある。また、複雑度測度を演算するためにはセグメンテーションマップが不要な実施形態もある。これらの実施形態に係る画像処理部は、入力画像から直接抽出された他の特性を利用できる。これらの特性は、ヒストグラムなどの全体的な画像特徴あるいは画像の統計処理をした画像特徴から引き出されたものであってもよい。例えば、エッジ量、画像ヒストグラムの滑らかさ（smoothness）または均一性（uniformity）は、ドキュメントの複雑度の単純な指標（simple indicator）として使用できる。あるいは、画素近傍（pixel neighborhoods）に渡って演算された局部的特性（local features ）は、必要な複雑度情報を提供できる。このような局部的特性は、ブロックベースの（ブロックに基づく；block-based）方法で決定された属性（例えば、高周波数変換ＤＣＴ係数の振幅（magnitude ）など）、均一測定（例えば、局部分散）、および、他の方法などを含んでいてもよい。画像処理部は、その後、画像に対する複雑度推定（複雑度測度）を決定するために、これらの属性を組み合わせることができる。画像処理部は、ドキュメント、または、ドキュメントの領域またはドキュメントのセクションに対して適用される改善の種別を決定し適合するために、当該複雑度測度を使用してもよい。これらの実施形態では、改善がセグメンテーション主導型（segmentation-driven ）でなくてもよい。すなわち、画像処理部は、複雑度測度の値に応じて調整された同じ種別の改善を、ドキュメント画像全体に適用してもよい。画像処理部は、複雑度測度Ｃｘに基づく改善パラメータの調整を、上記各実施形態で説明したように様々な方法で実施できる。
【０２２９】
画像処理部は、様々なドキュメントプロパティおよびセグメンテーションに関する特性を、当該ドキュメントのセグメンテーションマップから当該ドキュメントの複雑度を推定するために使用できる。画像処理部は、セグメンテーション時に使用される特定のセグメンテーションアルゴリズムの属性およびアプリケーションの必要条件に応じて、複雑度推定時に考慮する、特定の特性の集合（set ）を変更してもよい。
【０２３０】
あるコンテンツ種別は、演算的にコストがかかり、与えられたデバイスまたはアプリケーションが改善するのに難しいこともある。さらに、ユーザにとっては、いくつかの領域に生じる改善エラーが目立つものであり、その結果、明らかに、より好ましくないものである可能性がある。
【０２３１】
例えば、あるデバイスは、ハーフトーンエリアを効果的に処理し、改善できるかもしれないが、連続階調領域を同じように向上させる能力には欠けていることもある。このようなデバイスのためには、明らかに、セグメンテーションマップにおける連続階調領域の分布率（prevalence）を考慮する複雑度測度が適切だろう。また、画像処理部は、複雑度を算出する際に、上記属性だけではなく、デバイスの処理性能データに基づいて、上記画像の複雑度を推定してもよい。
【０２３２】
より詳細には、例えば、上記のように、あるデバイスが、網点領域に特化した画質向上処理は優れているが、連続階調領域（例えば、銀塩写真などの印画紙写真）に特化した画質向上処理は優れていないとする。この場合、連続階調領域が多く存在するほど、セグメンテーション結果を利用した画質向上処理において、連続階調の画質劣化が目立つ虞れがある。
【０２３３】
このような場合、このデバイスにとっては、連続階調領域が多く存在するドキュメントほど、セグメンテーション結果を利用した処理が難しく、複雑なドキュメントということになる。したがって、このように連続階調領域が多く存在する場合には、例えば、全体的に画質向上させるような、あまり構成要素に特化しない処理をする方が、ドキュメント全体の画質を向上させる上では好ましい。
【０２３４】
したがって、このような場合、上記画像処理部は、連続階調領域の数を１つの特徴として用い、連続階調領域が多く存在するほど、複雑度を大きく設定すると共に、当該複雑度に基づいて、例えば、セグメンテーション結果を利用した画質向上処理を行うかどうかを判断するなど、画像処理方法を選択または調節することによって、誤検出による画質劣化を回避でき、より画質の向上した画像処理を実施できる。
【０２３５】
さらに、画像処理部は、セグメンテーション時に、いくつかの画素を複数のラベル（例えば、ハーフトーン背景にあるテキスト文字の場合、テキストおよびハーフトーン）に割り当ててもよい。このような画素の改善は、改善アルゴリズムにとって、特に処理するのが困難なこともある。したがって、複雑度分析は、可能性のある特性として、セグメンテーション方法によって生成された領域の多数の特徴（例えば、形状、エリア、トポロジカルなプロパティなど）を考慮する方が望ましい。このような特性は、前景での接続された構成要素の数（number of foreground connected components）、非矩形に（non-rectangular）接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対する非矩形な領域におけるハーフトーン画素の数の比率、全画素数に対するハーフトーン上のテキスト画素の数の比率、テキストエリアのある場合または無い場合の背景領域および／または前景領域の輝度および／またはクロミナンスの統計などを含んでいてもよいが、これらに制限されるものではない。
【０２３６】
上記演算された特性ｆｉは、続いて、様々な方法で組み合わせられ、ドキュメント全体のための単一の複雑度測度Ｃｘが生成されていてもよい。一例として、以下の式（１）のように、
Ｃｘ＝Σ（ωｉ・ｆｉ） …（１）
重み付け合計（weighted sum）をスカラーの複雑度測度Ｃｘを生成するために使用できる。なお、Σ（）は、ｉを１〜Ｎまで変化させながら、（）内の値を合計した値を示している。また、ωｉは、特性に対する重み付けを表しており、様々な方法で（例えば、回帰分析などによって実験的に）決定できる。
【０２３７】
一例として、本実施形態に係る画像処理部が、(1) ドキュメント内におけるハーフトーン領域の総数、(2) ドキュメント内における非矩形のハーフトーン領域の総数、(3) ドキュメントサイズに対するハーフトーン領域の比率、(4) ドキュメントサイズに対する非矩形ハーフトーン領域の比率、および、(5) ドキュメント内におけるハーフトーン下地上文字（例えば、パンフレットやポスターなどで、着色された領域（ハーフトーン下地）に印刷されている文字など）の画素数という５つの特徴を用いて、複雑度測度Ｃｘを計算する場合で、当該画像処理部が、その処理上で、非矩形のハーフトーン領域の処理を不得意とする場合、上記(2) および(4) の重みを他の重みよりも大きく設定し、複雑度測度が非矩形の影響を受け易くする。これにより、上記画像処理部が不得意な領域、すなわち、非矩形のハーフトーン領域を含むドキュメントが、より複雑なドキュメントであると認識され、上記画像処理部は、より適切に、その後の処理を選択または調節できる。なお、演算された特性から複雑度測度Ｃｘを得るために、上記とは異なる組み合わせ方法を使用してもよい。
【０２３８】
図１９に、サンプルセットのためのドキュメントの複雑度分析の実施例の結果を示す。なお、図１９中、実線は、演算されたドキュメントの複雑度測度を示しており、破線は、人間によって主観的に分類された複雑度等級（Class Complexity ）を示している。この実施例においてドキュメントの複雑度を演算するために使用される特性は、前景での接続された構成要素の数、非矩形な接続された構成要素の数、全画素数に対するハーフトーン画素の数の比率、全画素数に対する非矩形な領域におけるハーフトーン画素数の比率、および、全画素数に対するハーフトーン上のテキスト画素の数の比率である。特性値は、その後、重み付け合計を使用して組み合わされて、この入力ドキュメントに対する単一スカラー複雑度測度Ｃｘが生成される。テストセットにおけるドキュメントは、人間である観察者によって、６セットの等しい複雑度に分割されており、自動的に演算された複雑度測度は、主観的順位と比較されている。図１９から分かるように、演算された複雑度測度は、主観的順位に厳密に従ったものであり、相違は、等級境界（クラス境界；class boundaries）でのみ観察される。
【０２３９】
ここまでの明細書で使用してきた用語および表現は、ここでは限定のためではなく説明の用語として使用されるものであり、このような用語および表現を使用することは、図示し説明した特徴の均等物、および、その一部を排除することを意図するものではなく、特許請求の範囲に記載によって、本発明の範囲が定義され、制限される。
【産業上の利用可能性】
【０２４０】
複写システム、画像形成システム、画像複製システム、あるいは、画像を圧縮、アーカイブあるいは検索するシステムをはじめとして、種々の画像処理を行うシステム（装置）に広く適用できる。
【図面の簡単な説明】
【０２４１】
【図１】従来技術の複雑度演算方法を示す図面である。
【図２】画像複雑度が増すに従ってセグメンテーションに基づいた改善が画像品質に及ぼす効果を示すグラフである。
【図３】本発明の実施形態を示すものであり、ラスタベースの複雑度決定方法を示す図面である。
【図４】本発明の実施形態を示すものであり、アルゴリズムの特徴を用いたラスタベースの複雑度決定方法を示す図面である。
【図５】本発明の実施形態を示すものであり、変換領域データを採用したラスタベースの複雑度決定方法を示すチャートである。
【図６】本発明の実施形態を示すものであり、アルゴリズムの特徴を用いたオブジェクトベースの複雑度決定方法を示す図面である。
【図７】本発明の実施形態を示すものであり、セグメントベースの複雑度測度を決定し、これらの測度を、画質改善を制御するために使用するシステムを示す線図である。
【図８】本発明の実施形態を示すものであり、セグメントベースの複雑度測度を決定し、これらの測度を、画質改善を制御し、全体的な改善とセグメントベースの改善との組み合わせを制御するために使用するシステムを示す線図である。
【図９】本発明の実施形態を示すものであり、大まかなセグメンテーションを、複雑度測度を決定するために使用し、後に、必要であれば、より高精度なセグメンテーションを実施するシステムを示す線図である。
【図１０】本発明の実施形態を示すものであり、連続した画像セクションのための、セグメントベースの複雑度測度を決定し、画質改善を制御するために累積複雑度測度を採用するシステムを示す線図である。
【図１１】本発明の実施形態を示すものであり、複雑度決定時にセグメンテーションしなくてもページに関連する特性から複雑度測度を決定するシステムを示す線図である。
【図１２】複雑度決定時にセグメンテーションしなくてもページに関連する特性から複雑度測度を決定し、連続した画像セクションを使用して複雑度を計算するシステムを示す線図である。
【図１３】本発明の実施形態を示すものであり、複雑度測度を決定し、これらの測度を、改善処理における利得制御として使用するシステムを示す線図である。
【図１４】複数のフィルター構成方法を示す表の図面である。
【図１５】本発明の実施形態を示すものであり、領域特有の複雑度測度を決定するシステムを示す線図である。
【図１６】本発明の実施形態を示すものであり、複数のセグメンテーション方法を使用して複数の複雑度測度を決定するシステムを示す線図である。
【図１７】本発明の実施形態を示すものであり、複数のセグメンテーション方法を使用して複数の複雑度測度を決定し、最終的な改善された画像に組み合わせてもよい複数の調整された改善を実施するシステムを示す線図である。
【図１８】本発明の実施形態を示すものであり、複数の、初期、大まかなセグメンテーション方法を使用して、複数の複雑度測度を決定するシステムを示す線図である。
【図１９】計算された複雑度測度を、人間の観察者による主観的複雑度決定と共にプロットした図面である。
【図２０】本発明の実施形態を示すものであり、大まかなセグメンテーションを、複雑度測度を決定するために使用し、後に、必要であれば、より高精度な（refined ）セグメンテーションおよび高精度な複雑度決定を実施するシステムを示す線図である。
【符号の説明】
【０２４２】
１１０・１２２・１３２・２４０ セグメンテーション処理部（属性決定手段）
１１２・１３０・１３６ 複雑度測定部
（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
１１４・１４０・１７０ 判定部（処理手段；処理方法決定手段）
１１６・１４２・１７２・１９２・２００・３２８ 全体改善処理部（処理手段）
１１８・１４８・１７４・１９８・２０８・３３４ 適合改善処理部（処理手段）
１２８・２８８ 組み合わせ処理部（合成手段）
１６２ セクションセグメンテーション処理部（属性決定手段）
１６４ セクション複雑度測定部
（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
１６６ 複雑度更新部（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
１８４ 画像特性演算部（複雑度概算手段）
１８６・２４４・２４４ 複雑度測定部
（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
１９０・１９８・３２６ 判定部（処理手段；処理方法決定手段）
１９２ セクション複雑度測定部（複雑度概算手段）
１９４ 複雑度更新部（複雑度概算手段）
２４８・２７０ 改善処理部（改善度合い調整手段）
２５２〜２５６・３００〜３０４ セグメンテーション処理部（属性決定手段）
２６２〜２６６ 複雑度測定部
（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
３０６〜３１０ 複雑度測定部
（複雑度測定手段；処理性能データ取得手段；複雑度計算手段）
【特許請求の範囲】
【請求項１】
デジタル画像の複雑度測定方法であって、
画像をラスタ画像として表現する工程ａと、
上記ラスタ画像における各画素の属性を決定する工程ｂと、
上記属性に基づいて画像複雑度測度を計算する工程ｃとを含む複雑度測定方法。
【請求項２】
上記属性が、セグメンテーションに関する特徴である請求項１に記載の複雑度測定方法。
【請求項３】
上記特徴が、セグメンテーションエリア境界を含む請求項２に記載の複雑度測定方法。
【請求項４】
上記特徴が、セグメンテーションエリア形状を含む請求項２に記載の複雑度測定方法。
【請求項５】
上記特徴が、セグメンテーションエリアサイズを含む請求項２に記載の複雑度測定方法。
【請求項６】
上記特徴が、セグメンテーションエリアのトポロジカルプロパティを含む請求項２に記載の複雑度測定方法。
【請求項７】
上記特徴が、非矩形な接続された構成要素の数を含む請求項２に記載の複雑度測定方法。
【請求項８】
上記特徴が、全画素数に対するハーフトーン画素の数の比率を含む請求項２に記載の複雑度測定方法。
【請求項９】
上記特徴が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率を含む請求項２に記載の複雑度測定方法。
【請求項１０】
上記特徴が、背景領域の輝度統計を含む請求項２に記載の複雑度測定方法。
【請求項１１】
上記特徴が、前景領域の輝度統計を含む請求項２に記載の複雑度測定方法。
【請求項１２】
上記特徴が、背景領域のクロミナンス統計を含む請求項２に記載の複雑度測定方法。
【請求項１３】
上記属性が、変換データ関連特徴である請求項１に記載の複雑度測定方法。
【請求項１４】
デジタル画像の複雑度測定方法であって、
画像をラスタ画像として表現する工程ａと、
上記ラスタ画像の属性を決定する工程ｂと、
画像処理方法の複雑度関連特徴を決定する工程ｃと、
上記属性および上記特徴に基づいて画像複雑度測度を計算する工程ｄとを含む複雑度測定方法。
【請求項１５】
画像複雑度測度の上記計算のために、属性に基づいて、および、コンテンツ種別に関連する情報を使用して、上記ラスタ画像における上記コンテンツ種別を識別する工程をさらに含む請求項１４に記載の複雑度測定方法。
【請求項１６】
上記属性が、ヒストグラム特徴である請求項１４に記載の複雑度測定方法。
【請求項１７】
上記属性が、変換データ関連特徴である請求項１４に記載の複雑度測定方法。
【請求項１８】
デジタル画像を処理するための処理選択方法であって、
画像をラスタ画像として表現する工程ａと、
上記ラスタ画像の属性を決定する工程ｂと、
第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｃと、
上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｄと、
上記複雑度が閾値を上回っていれば第１処理を実施する工程ｅと、
上記複雑度が、上記閾値を上回っていなければ第２処理を実施する工程ｆとを含む処理選択方法。
【請求項１９】
デジタル画像を処理するための処理選択方法であって、
画像の複雑度関連属性を決定する工程ａと、
セグメンテーションに基づく画質改善処理のための処理性能データを取得する工程ｂと、
全体的な画質改善処理のための処理性能データを取得する工程ｃと、
上記属性および上記性能データに基づいて画像複雑度測度を計算する工程ｄと、
上記複雑度が閾値を上回っていれば全体的画質改善を実施する工程ｅと、
上記複雑度が上記閾値を上回っていなければセグメンテーションに基づく画質改善を実施する工程ｆとを含む処理選択方法。
【請求項２０】
画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、
上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定工程とを含んでいることを特徴とする画像処理方法。
【請求項２１】
上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、
上記複雑度計算工程は、上記各セグメンテーションマップ毎に基づいた複雑度をそれぞれ計算し、それらの各複雑度に基づいて、上記処理方法決定工程にて使用される総合的な複雑度を計算することを特徴とする請求項２０記載の画像処理方法。
【請求項２２】
上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を領域分割して、その結果を示すセグメンテーションマップを生成するセグメンテーション工程と、
上記処理方法決定工程にて、デジタル画像の領域毎に特有の方法で画像処理すると決定された場合に実施され、上記画像処理システムが上記セグメンテーションマップの改善処理を行うマップ改善工程とを含んでいることを特徴とする請求項２０または２１記載の画像処理方法。
【請求項２３】
画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、
上記画像処理システムが、デジタル画像全体を同一の方法で画像処理した結果と、デジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせる合成工程とを含んでいることを特徴とする画像処理方法。
【請求項２４】
上記複雑度計算工程は、上記画像処理システムが、上記各領域毎に特有の方法に関連して設定された当該方法の信頼度に応じ、信頼度が低い程、デジタル画像の複雑度が高くなるように、上記複雑度を調整する調整工程を含んでいることを特徴とする請求項２０または２３記載の画像処理方法。
【請求項２５】
上記複雑度計算工程は、上記画像処理システムが、上記各領域のコンテンツ種別に応じて上記複雑度を調整する調整工程を含んでいることを特徴とする請求項２０または２３記載の画像処理方法。
【請求項２６】
上記複雑度計算工程は、上記各領域毎に特有の方法に関連して設定され、上記画像処理システムが当該方法を実施する際の処理能力を示す処理能力データに応じて、上記画像処理システムが、上記複雑度を調整する調整工程を含んでいることを特徴とする請求項２０または２３記載の画像処理方法。
【請求項２７】
画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、
上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像を改善する際の改善度合いを調整する改善度合い調整工程とを含んでいることを特徴とする画像処理方法。
【請求項２８】
上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、
上記複雑度計算工程では、上記画像処理システムは、上記各セグメンテーションマップを含む画像情報毎に、当該デジタル画像の複雑度をそれぞれ計算し、それらの中から上記改善度合い調整工程で調整に使用する複雑度を選択することを特徴とする請求項２７記載の画像処理方法。
【請求項２９】
上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、
上記複雑度計算工程および上記調整工程は、各セグメンテーションマップ毎に実施されると共に、
上記画像処理システムが、上記各セグメンテーションマップ毎に調整された改善度合いで実施された上記デジタル画像の改善処理の結果同士を、上記各セグメンテーションマップと、上記各複雑度との少なくとも一方に応じて組み合わせる合成工程とを含んでいることを特徴とする請求項２７記載の画像処理方法。
【請求項３０】
上記デジタル画像のレイアウトを示す情報は、当該デジタル画像を領域分割する際に生成されるセグメンテーションマップであることを特徴とする請求項２０〜２９のいずれか１項に記載の画像処理方法。
【請求項３１】
画像処理システムが、デジタル画像を統計処理した画像特徴に基づいて、当該デジタル画像の複雑度を概算する複雑度概算工程と、
上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定工程とを含んでいることを特徴とする画像処理方法。
【請求項３２】
デジタル画像の画像処理システムであって、
ラスタ画像における各画素の属性を決定する属性決定手段と、
上記属性に基づいて画像複雑度測度を計算する複雑度測定手段とを備えていることを特徴とする画像処理システム。
【請求項３３】
上記複雑度測定手段は、画像処理方法に関連して予め設定された、複雑度に関連する画像処理方法の特徴に応じて、上記複雑度を調整することを特徴とする請求項３２記載の画像処理システム。
【請求項３４】
上記複雑度測定手段は、第１および第２プロセスに関連して、予め設定された複雑度に関連する各プロセスの処理性能データに応じて、上記複雑度を調整すると共に、
上記画像処理システムには、上記複雑度が閾値を上回っていれば上記第１プロセスを実施し、上回っていなければ上記第２プロセスを実施する処理手段が設けられていることを特徴とする請求項３２記載の画像処理システム。
【請求項３５】
デジタル画像の画像処理システムであって、
上記デジタル画像の複雑度関連属性を決定する属性決定手段と、
セグメンテーションに基づく画質改善処理のための処理性能データ、および、全体的な画質改善処理のための処理性能データを取得する処理性能データ取得手段と、
上記複雑度関連属性および処理性能データに基づいて、上記デジタル画像の複雑度測度を計算する複雑度計算手段と、
上記複雑度度が閾値を上回っていれば、上記全体的な画質改善処理を実施し、上回っていなければ、上記セグメンテーションに基づく画質改善処理を実施する処理手段とを備えていることを特徴とする画像処理システム。
【請求項３６】
デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、
上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定手段とを備えていることを特徴とする画像処理システム。
【請求項３７】
デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、
デジタル画像全体を同一の方法で画像処理した結果と、デジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせる合成手段とを備えていることを特徴とする画像処理システム。
【請求項３８】
デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、
上記計算された複雑度に応じて、デジタル画像を改善する際の改善度合いを調整する改善度合い調整手段とを備えていることを特徴とする画像処理システム。
【請求項３９】
デジタル画像を統計処理した画像特徴に基づいて、当該デジタル画像の複雑度を概算する複雑度概算手段と、
上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定手段とを備えていることを特徴とする画像処理システム。
【請求項４０】
デジタル画像を選択的に処理する画像処理方法であって、
画像の属性を決定する工程ａと、
分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、
上記複雑度が基準を満たしている場合だけ、上記分析処理に基づいて画質改善処理を実施する工程ｄとを含む画像処理方法。
【請求項４１】
上記改善処理が、セグメンテーションに基づく画質改善である請求項４０に記載の画像処理方法。
【請求項４２】
上記改善処理が、全体的画質改善である請求項４０に記載の画像処理方法。
【請求項４３】
上記分析処理性能データが、エラーの尤度に関連している請求項４０に記載の画像処理方法。
【請求項４４】
上記分析処理性能データが、目に見えるエラーの尤度に関連している請求項４０に記載の画像処理方法。
【請求項４５】
デジタル画像を選択的に処理する画像処理方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
上記属性に基づいて上記画像の複雑度を推定する工程ｂと、
上記複雑度が基準を満たしている場合は、上記画像を処理する工程ｃとを含む画像処理方法。
【請求項４６】
上記属性が、セグメンテーションに関する特徴である請求項４５に記載の画像処理方法。
【請求項４７】
デジタル画像を可変処理する画像処理方法であって、
画像の属性を決定する工程ａと、
処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記処理性能データに基づいて、上記画像についての複雑度測度を推定する工程ｃと、
上記複雑度測度に比例して可変する効果を有する処理を、上記画像に実施する工程ｄとを含む画像処理方法。
【請求項４８】
上記処理が、セグメンテーションに基づく画質改善である請求項４７に記載の画像処理方法。
【請求項４９】
上記処理が、全体的画質改善である請求項４７に記載の画像処理方法。
【請求項５０】
デジタル画像を可変処理する画像処理方法であって、
非オブジェクトベースの画像データセットの属性を決定する工程ａと、
上記属性に基づいて上記画像データセットについての複雑度測度を推定する工程ｂと、
上記複雑度測度に比例して可変する効果を有する処理を、上記画像データセットに実施する工程ｃとを含む画像処理方法。
【請求項５１】
上記属性が、セグメンテーションに関する特徴であり、上記処理がセグメンテーションに基づく画質改善である請求項５０に記載の画像処理方法。
【請求項５２】
上記特徴が、セグメンテーションエリア境界を含む請求項４６または５１に記載の画像処理方法。
【請求項５３】
上記特徴が、セグメンテーションエリア形状を含む請求項４６または５１に記載の画像処理方法。
【請求項５４】
上記特徴が、セグメンテーションエリアサイズを含む請求項４６または５１に記載の画像処理方法。
【請求項５５】
上記特徴が、セグメンテーションエリアのトポロジカルプロパティを含む請求項４６または５１に記載の画像処理方法。
【請求項５６】
上記特徴が、非矩形な接続された構成要素の数を含む請求項４６または５１に記載の画像処理方法。
【請求項５７】
上記特徴が、全画素数に対するハーフトーン画素の数の比率を含む請求項４６または５１に記載の画像処理方法。
【請求項５８】
上記特徴が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率を含む請求項４６または５１に記載の画像処理方法。
【請求項５９】
上記特徴が、背景領域の輝度統計を含む請求項４６または５１に記載の画像処理方法。
【請求項６０】
上記特徴が、前景領域の輝度統計を含む請求項４６または５１に記載の画像処理方法。
【請求項６１】
上記特徴が、背景領域のクロミナンス統計を含む請求項４６または５１に記載の画像処理方法。
【請求項６２】
デジタル画像を可変処理する画像処理方法であって、
非オブジェクトベースの画像データセットの属性を決定する工程ａと、
処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記処理性能データに基づいて上記画像データセットについての複雑度測度を推定する工程ｃと、
上記複雑度測度に比例して可変する効果を有する処理を、上記画像データセットに実施する工程ｄとを含む画像処理方法。
【請求項６３】
デジタル画像を選択的に処理する画像処理方法であって、
セグメンテーション処理を含み、各々が独立した結果を生じる、複数の画像分析処理を画像に実施する工程ａと、
上記分析処理によって生成された上記独立した結果に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、
上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、
上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施する工程ｄとを含む画像処理方法。
【請求項６４】
デジタル画像を選択的に処理する画像処理方法であって、
各々が独立したセグメンテーションマップを作成する、複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施する工程ａと、
上記セグメンテーション処理によって生成された、上記独立したセグメンテーションマップの各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、
上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、
上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施する工程ｄとを含む画像処理方法。
【請求項６５】
デジタル画像を選択的に処理する画像処理方法であって、
複数のセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ａと、
画像データセットの属性、上記セグメンテーション処理および上記処理性能データに基づいて、非オブジェクトベースの画像データセットについての複数の複雑度測度を測定する工程ｂと、
上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、
上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画像データセットの改善を実施する工程ｄとを含む画像処理方法。
【請求項６６】
上記選択された改善処理の可変パラメータを、それに関連付けられた複雑度測度に比例して変更する請求項６４または６５に記載の画像処理方法。
【請求項６７】
上記属性が、変換データ関連特徴である請求項４５、５０または６５に記載の画像処理方法。
【請求項６８】
上記属性が、ヒストグラム特徴である請求項４５、５０または６５に記載の画像処理方法。
【請求項６９】
デジタル画像を選択的に処理する画像処理方法であって、
セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施する工程ａと、
上記セグメンテーション処理によって生じる、上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、
上記各画像分析処理に関連している複数の画質改善処理を上記画像に実施して、複数の画質改善された画像を生じさせる工程ｃと、
上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｄとを含む画像処理方法。
【請求項７０】
上記組み合わせ工程が、改善された画像をそれらの複雑度測度に比例して組み合わせる工程を含む請求項６９に記載の画像処理方法。
【請求項７１】
上記画像分析処理の少なくとも１つが、全体的分析処理である請求項６３または６９に記載の画像処理方法。
【請求項７２】
上記画像が、非オブジェクトベースのデータを示す請求項６３または６９に記載の画像処理方法。
【請求項７３】
上記の複雑度測度は、それに関連付けられた画像分析処理のための処理性能データに関連している請求項６３または６９に記載の画像処理方法。
【請求項７４】
上記複雑度測度が、セグメンテーションエリア境界に関連している請求項６３または６９に記載の画像処理方法。
【請求項７５】
上記複雑度測度が、セグメンテーションエリア形状に関連している請求項６３または６９に記載の画像処理方法。
【請求項７６】
上記複雑度測度が、セグメンテーションエリアサイズに関連している請求項６３または６９に記載の画像処理方法。
【請求項７７】
上記複雑度測度が、セグメンテーションエリアのトポロジカルプロパティに関連している請求項６３または６９に記載の画像処理方法。
【請求項７８】
上記複雑度測度が、非矩形な接続された構成要素の数に関連している請求項６３または６９に記載の画像処理方法。
【請求項７９】
上記複雑度測度が、全画素数に対するハーフトーン画素の数の比率に関連している請求項６３または６９に記載の画像処理方法。
【請求項８０】
上記複雑度測度が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率に関連している請求項６３または６９に記載の画像処理方法。
【請求項８１】
上記複雑度測度が、背景領域の輝度統計に関連している請求項６３または６９に記載の画像処理方法。
【請求項８２】
上記複雑度測度が、前景領域の輝度統計に関連している請求項６３または６９に記載の画像処理方法。
【請求項８３】
上記複雑度測度が、背景領域のクロミナンス統計に関連している請求項６３または６９に記載の画像処理方法。
【請求項８４】
デジタル画像を選択的に処理する画像処理方法であって、
各々が独立したセグメンテーションマップを作成する、複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施する工程ａと、
上記セグメンテーション処理によって生成された、上記独立したセグメンテーションマップの各々に基づいて、上記画像データセットについての複数の複雑度測度を測定する工程ｂと、
上記セグメンテーション処理に関する複数の画質改善処理を上記画像データセットに実施して、複数の改善された画像を生じさせる工程ｃと、
上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｄとを含む画像処理方法。
【請求項８５】
上記改善された画像の各々に、それに関連付けられた複雑度測度に比例する重み係数を与え、上記改善された画像を組み合わせて、上記各改善された画像を重み付けされた割合で含んでいる、最終的な改善された画像を得る請求項８４に記載の画像処理方法。
【請求項８６】
デジタル画像を選択的に処理する画像処理方法であって、
セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施する工程ａと、
上記画像分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記画像分析処理によって生成される独立した結果と上記処理性能データとの各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｃと、
上記画像分析処理に関連している複数の画質改善処理を上記画像に実施して、複数の改善された画像を生じさせる工程ｄと、
上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｅとを含む画像処理方法。
【請求項８７】
上記画質改善処理の各々の可変パラメータを、それに関連付けられた複雑度測度に比例して変更する請求項８４または８６に記載の画像処理方法。
【請求項８８】
上記組み合わせ処理の可変パラメータを、上記複雑度測度の少なくとも１つに比例して変更する請求項８４または８６に記載の画像処理方法。
【請求項８９】
デジタル画像を混合処理する画像処理方法であって、
画像の属性を決定する工程ａと、
第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、
上記画像に上記第１処理を実施する工程ｄと、
上記画像に上記第２処理を実施する工程ｅと、
上記複雑度が基準を満たしていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｆと、
上記複雑度が上記基準を満たしていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｇとを含む画像処理方法。
【請求項９０】
デジタル画像を混合処理する画像処理方法であって、
画像の属性を決定する工程ａと、
複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、
上記画像に上記複数の処理を実施する工程ｄと、
上記複数の処理の少なくとも１つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｅとを含む画像処理方法。
【請求項９１】
デジタル画像を混合処理する画像処理方法であって、
非オブジェクトベースの画像データセットの属性を決定する工程ａと、
上記画像データセットに上記第１処理を実施する工程ｂと、
上記画像データセットに上記第２処理を実施する工程ｃと、
上記複雑度が基準を満たしていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像データセットを形成する工程ｄと、
上記複雑度が上記基準を満たしていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｅとを含む画像処理方法。
【請求項９２】
上記第１処理が、全体的画質改善であり、上記第２処理が、セグメンテーションに基づく画質改善である請求項８９または９１に記載の画像処理方法。
【請求項９３】
上記基準は、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示している請求項９２に記載の画像処理方法。
【請求項９４】
デジタル画像を混合処理する画像処理方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
上記属性に基づいて上記画像の複雑度を推定する工程ｂと、
上記画像に複数の処理を実施する工程ｃと、
上記複数の処理の少なくとも１つが上記結果に対して上記複雑度に比例して可変する効果を有しているように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｄとを含む画像処理方法。
【請求項９５】
デジタル画像を混合処理する画像処理方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｃと、
上記画像に上記第１処理を実施する工程ｄと、
上記画像に上記第２処理を実施する工程ｅと、
上記複雑度が閾値を上回っていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｆと、
上記複雑度が上記閾値を上回っていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する処理ｇとを含む画像処理方法。
【請求項９６】
デジタル画像を混合処理する画像処理方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｃと、
上記画像に上記複数の処理を実施する工程ｄと、
上記複数の処理の少なくとも１つが上記結果に対して上記複雑度に比例して可変する効果を有しているように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｅとを含む画像処理方法。
【請求項９７】
上記複数の処理の少なくとも１つが、全体的画質改善を含む請求項９０、９４、９５または９６に記載の画像処理方法。
【請求項９８】
上記複数の処理の少なくとも１つが、セグメンテーションに基づく画質改善を含む請求項９０、９４、９５または９６に記載の画像処理方法。
【請求項９９】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、
上記初期段階のセグメンテーション処理の結果に基づいて、上記画像データセットについての複雑度測度を推定する工程ｂと、
上記複雑度測度が基準を満たしていれば、上記画像データセットに高精度なセグメンテーション処理を実施する工程ｃとを含む画像処理方法。
【請求項１００】
デジタル画像を処理する画像処理方法であって、
画像に初期段階のセグメンテーション処理を実施する工程ａと、
高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて、上記画像についての複雑度測度を推定する工程ｃと、
上記複雑度測度が基準を満たしていれば、上記高精度なセグメンテーション処理を実施する工程ｄとを含む画像処理方法。
【請求項１０１】
上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理の結果を使用して、セグメンテーションに基づく画質改善を実施する工程をさらに含む請求項９９または１００に記載の画像処理方法。
【請求項１０２】
上記複雑度測度が代替基準を満たしていれば、全体的な画質改善を実施する工程をさらに含む請求項１００に記載の画像処理方法。
【請求項１０３】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットに初期段階のセグメンテーションを実施する工程ａと、
高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記初期段階のセグメンテーションの結果および上記性能データに基づいて、上記画像データセットについての複雑度測度を推定する工程ｃと、
上記複雑度測度が基準を満たしていれば、上記高精度なセグメンテーション処理を実施し、上記高精度なセグメンテーション処理の結果を使用してセグメンテーションに基づく画質改善を実施する工程ｄとを含む画像処理方法。
【請求項１０４】
上記複雑度測度が上記基準を満たしていなければ、全体的な画質改善を実施する工程をさらに含んでいる請求項９９、１００または１０３に記載の画像処理方法。
【請求項１０５】
上記基準が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示している請求項９９、１００または１０３に記載の画像処理方法。
【請求項１０６】
上記基準には、上記複雑度が閾値未満に留まっていることが含まれている請求項９９、１００または１０３に記載の画像処理方法。
【請求項１０７】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、
上記初期段階のセグメンテーション処理の結果に基づいて、上記画像データセットについての初期段階の複雑度測度を推定する工程ｂと、
上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｃと、
上記高精度なセグメンテーション処理の結果に基づいて、上記画像データセットについての高精度な複雑度測度を推定する工程ｄと、
上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づいて画質改善処理を実施する工程ｅとを含む画像処理方法。
【請求項１０８】
上記高精度な複雑度測度が、高精度な代替測度基準を満たしていれば、全体的な画質改善処理を実施する工程をさらに含む請求項１０７に記載の画像処理方法。
【請求項１０９】
上記初期段階の複雑度測度が、初期段階の代替測度基準を満たしていれば、全体的な画質改善処理を実施する工程をさらに含む請求項１０７に記載の画像処理方法。
【請求項１１０】
デジタル画像を処理する画像処理方法であって、
画像に初期段階のセグメンテーション処理を実施する工程ａと、
高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて上記画像についての初期段階の複雑度測度を推定する工程ｃと、
上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｄと、
上記高精度なセグメンテーション処理の結果に基づいて、上記画像についての高精度な複雑度測度を推定する工程ｅと、
上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づく画質改善処理を実施する工程ｆとを含む画像処理方法。
【請求項１１１】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、
高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて、上記画像データセットについての初期段階の複雑度測度を推定する工程ｃと、
上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｄと、
上記高精度なセグメンテーション処理の結果に基づいて、上記画像データセットについての高精度な複雑度測度を推定する工程ｅと、
上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づく画質改善処理を実施する工程ｆとを含む画像処理方法。
【請求項１１２】
上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていなければ、全体的な画質改善処理を実施する工程をさらに含む請求項１０７、１１０または１１１に記載の画像処理方法。
【請求項１１３】
上記初期段階の複雑度測度が上記初期段階の測度基準を満たしていなければ、全体的な画質改善処理を実施する工程をさらに含む請求項１０７、１１０または１１１に記載の画像処理方法。
【請求項１１４】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、
上記セクションのある１つのセクションにセグメンテーションを実施する工程ｂと、
上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定する工程ｃと、
セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｄと、
全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｂ〜工程ｄを繰り返す工程ｅと、
上記累積複雑度測度が上記基準を満たしていれば、上記工程ｅを終了し、第１画質改善処理を実施する工程ｆと、
上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施する工程ｇとを含む画像処理方法。
【請求項１１５】
デジタル画像を処理する画像処理方法であって、
デジタル画像を複数のセクションに分割する工程ａと、
第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記セクションのある１つのセクションにセグメンテーションを実施する工程ｃと、
上記セグメンテーションの結果および上記処理性能データに基づいて上記セクションについての複雑度測度を推定する工程ｄと、
セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｅと、
全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃ〜工程ｅを繰り返す工程ｆと、
上記累積複雑度測度が上記基準を満たしていれば、上記工程ｆを終了し、上記第１画質改善処理を実施する工程ｇと、
上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｈとを含む画像処理方法。
【請求項１１６】
上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、セグメンテーションを実施する上記工程、複雑度測度を推定する上記工程および累積複雑度測度を決定する上記工程を、上記各セクションに対して連続的に実施する請求項１１４または１１５に記載の画像処理方法。
【請求項１１７】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、
上記セクションのある１つのセクションにセグメンテーションを実施する工程ｂと、
第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｃと、
上記セグメンテーションの結果および上記処理性能データに基づいて、上記セクションについての複雑度測度を推定する工程ｄと、
セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｅと、
全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｂ〜工程ｅを繰り返す工程ｆと、
上記累積複雑度測度が上記基準を満たしていれば、上記工程ｆを終了し、上記第１画質改善処理を実施する工程ｇと、
上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｈとを含む画像処理方法。
【請求項１１８】
デジタル画像を処理する画像処理方法であって、
画像を複数のセクションに分割する工程ａと、
上記セクションの少なくとも１つについての複雑度測度を推定する工程ｂと、
推定が既に実施されたセクション群の累積複雑度を示す累積複雑度測度を決定する工程ｃと、
上記累積複雑度測度が基準を満たすまで、または、上記累積複雑度測度が上記セクションの全ての累積複雑度を示すまで工程ｂおよび工程ｃを繰り返す工程ｄと、
上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施する工程ｅとを含む画像処理方法。
【請求項１１９】
上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、複雑度測度を推定する上記工程ｂおよび累積複雑度測度を決定する上記工程ｃを、上記各セクションに対して連続的に実施する請求項１１８に記載の画像処理方法。
【請求項１２０】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、
上記セクションの少なくとも１つについての複雑度測度を推定する工程ｂと、
上記推定が既に実施された各セクションの累積複雑度を示す累積複雑度測度を決定する工程ｃと、
上記累積複雑度測度が基準を満たすまで、または、上記累積複雑度測度が上記セクションの全ての累積複雑度を示すまで工程ｂおよび工程ｃを繰り返す工程ｄと、
上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｅとを含む画像処理方法。
【請求項１２１】
デジタル画像を処理する画像処理方法であって、
デジタル画像を複数のセクションに分割する工程ａと、
少なくとも１つの第１画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記セクションの少なくとも１つについての複雑度測度であって、上記処理性能データに関連している複雑度測度を推定する工程ｃと、
上記推定が既に実施された各セクションの複雑度を示す累積複雑度測度を決定する工程ｄと、
全てのセクションの推定が行われるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃおよび工程ｄを繰り返す工程ｅと、
上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｆとを含む画像処理方法。
【請求項１２２】
上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施する工程をさらに含む請求項１１８、１２０または１２１に記載の画像処理方法。
【請求項１２３】
上記累積複雑度測度が閾値を上回れば上記基準が満たされる請求項１１４、１１５、１１８または１２１に記載の画像処理方法。
【請求項１２４】
上記第１画質改善処理が、全体的画質改善である請求項１１４、１１５、１１８または１２１に記載の画像処理方法。
【請求項１２５】
上記第２画質改善処理が、セグメンテーションに基づく画質改善である請求項１１４、１１５または１２２に記載の画像処理方法。
【請求項１２６】
上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、複雑度測度を推定する上記工程および累積複雑度測度を決定する上記工程を、上記各セクションに対して連続的に実施する請求項１２１に記載の画像処理方法。
【請求項１２７】
上記セクションを、セグメンテーション以前に決定されている初期段階の複雑度推定に基づいた複雑度の順序で処理する請求項１１４、１１５または１２１に記載の画像処理方法。
【請求項１２８】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、
第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記処理性能データに基づいて、上記セクションの１つについての複雑度測度を推定する工程ｃと、
セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｄと、
全てのセクションの推定が行われるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃおよび工程ｄを繰り返す工程ｅと、
上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｆと、
上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｇとを含む画像処理方法。
【請求項１２９】
デジタル画像を選択的に処理する画像処理方法であって、
画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割する工程ａと、
上記領域の各々について、上記領域属性に基づく複雑度測度を推定する工程ｂと、
上記複雑度測度が基準を満たしている場合だけ、領域に画質改善処理を実施する工程ｃとを含む画像処理方法。
【請求項１３０】
デジタル画像を選択的に処理する画像処理方法であって、
非オブジェクトベースの画像データセットにセグメンテーションを実施して、この画像データセットをコンテンツ領域に分割する工程ａと、
処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記領域の各々についての複雑度であって、上記処理性能データに関連している複雑度を推定する工程ｃと、
上記領域についての上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施する工程ｄとを含む画像処理方法。
【請求項１３１】
上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記領域に、代替画質改善処理を実施する工程をさらに含む請求項１３０に記載の画像処理方法。
【請求項１３２】
上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記画像に全体的画質改善処理を実施する工程をさらに含む請求項１３０に記載の画像処理方法。
【請求項１３３】
複数の上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記領域に、代替画質改善処理を実施する工程をさらに含む請求項１３０に記載の画像処理方法。
【請求項１３４】
上記領域についての上記複雑度測度が第２基準を満たしていれば、上記領域に代替画質改善処理を実施する工程をさらに含む請求項１３０に記載の画像処理方法。
【請求項１３５】
デジタル画像を選択的に処理する画像処理方法であって、
画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割する工程ａと、
上記領域の各々について、上記領域属性に基づく複雑度測度を推定する工程ｂと、
上記画質改善処理の様相が領域についての上記複雑度測度に比例して可変するように、可変の画質改善処理を当該領域に実施する工程ｃとを含む画像処理方法。
【請求項１３６】
デジタル画像を処理するための処理選択方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、
上記複雑度が基準を満たしていれば、上記分析処理に基づいて上記画像に画質改善処理を実施する工程ｄとを含む処理選択方法。
【請求項１３７】
デジタル画像を処理するための処理選択方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
第１処理と第２処理とを含む複数の分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、
上記複雑度が閾値を上回っていれば、上記第１処理に基づいた画質改善を実施する工程ｄと、
上記複雑度が、上記閾値を上回っていなければ、上記第２処理に基づいた画質改善処理を実施する工程ｅとを含む処理選択方法。
【請求項１３８】
上記第１処理が、全体的画質改善であり、上記第２処理が、セグメンテーションに基づく画質改善である請求項１６または１３７に記載の処理選択方法。
【請求項１３９】
上記閾値が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示している請求項１３８に記載の処理選択方法。
【請求項１４０】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）非オブジェクトベースの画像の属性を決定するための画像分析器と、
ｂ）上記属性に基づいて上記画像の複雑度を推定するための推定器と、
ｃ）上記複雑度が基準を満たしている場合に、上記画像に画質改善処理を実施するための処理器とを備える画像処理装置。
【請求項１４１】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）画像の属性を決定するための画像分析器と、
ｂ）分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、
ｃ）上記属性および上記分析処理性能データに基づいて上記画像の複雑度を推定するための推定器と、
ｄ）上記複雑度が基準を満たしている場合は上記分析処理に基づいて画質改善処理を実施するための処理器とを備える画像処理装置。
【請求項１４２】
デジタル画像を混合処理するための画像処理装置であって、
ａ）画像についての非オブジェクトベースの画像データの属性を決定するための画像分析器と、
ｂ）上記属性に基づいて上記画像の複雑度を推定するための推定器と、
ｃ）上記画像に複数の処理を実施するための処理器と、
ｄ）上記複数の処理の少なくとも１つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成するための混合器とを備える画像処理装置。
【請求項１４３】
デジタル画像を混合処理するための画像処理装置であって、
ａ）画像の属性を決定するための画像分析器と、
ｂ）処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、
ｃ）上記属性および上記処理性能データに基づいて、上記画像の複雑度を推定するための推定器と、
ｄ）上記画像に複数の処理を実施するための処理器と、
ｅ）上記複数の処理の少なくとも１つが上記複数の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成するための混合器とを備える画像処理装置。
【請求項１４４】
デジタル画像を処理するための画像処理装置であって、
ａ）画像を示す非オブジェクトベースのデータに、初期段階のセグメンテーション処理を実施するための初期段階セグメンテーション処理器と、
ｂ）上記初期段階のセグメンテーション処理の結果に基づいて、上記画像についての複雑度測度を推定するための推定器と、
ｃ）上記複雑度測度が基準を満たしている場合に、高精度なセグメンテーション処理を実施するための高性能セグメンテーション処理器とを備える画像処理装置。
【請求項１４５】
上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理の結果に基づいて、セグメンテーションに基づく画質改善を実施するためのセグメンテーションベース改善処理器をさらに備える請求項１４４に記載の画像処理装置。
【請求項１４６】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）初期段階のセグメンテーション処理を画像に実施するための初期段階セグメンテーション処理器と、
ｂ）高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、
ｃ）上記初期段階のセグメンテーションの結果および上記性能データに基づいて、上記画像についての複雑度測度を推定するための推定器と、
ｄ）上記複雑度測度が基準を満たしている場合に、高精度なセグメンテーション処理を実施するための高性能セグメンテーション処理器と、
ｅ）上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するためのセグメンテーションベース改善処理器とを備える画像処理装置。
【請求項１４７】
上記基準には、上記複雑度測度が閾値未満に留まっていることが含まれている請求項１４４または１４６に記載の画像処理装置。
【請求項１４８】
デジタル画像を処理するための画像処理装置であって、
非オブジェクトベースの画像データセットを複数のセクションに分割するための分割器と、
上記セクションのある１つのセクションにセグメンテーションを実施するセグメンテーション処理器と、
上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定するための推定器と、
セグメンテーションが実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、
上記セグメンテーション処理器、上記推定器および上記累計器は、全てのセクションがセグメンテーションされるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、
上記累算複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累算複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備える画像処理装置。
【請求項１４９】
デジタル画像を選択的に処理するための画像処理装置であって、
画像を複数のセクションに分割するための分割器と、
上記セクションのある１つのセクションにセグメンテーションを実施するセグメンテーション器と、
上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定するための推定器と、
セグメンテーションが実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、
上記セグメンテーション器、上記推定器および上記累計器は、全てのセクションがセグメンテーションされるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対してそれぞれの処理を実施すると共に、
上記累積複雑度測度が上記基準を満たしていれば、上記セグメンテーション器、上記推定器および上記累計器による処理を終了して、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備える画像処理装置。
【請求項１５０】
デジタル画像を処理するための画像処理装置であって、
非オブジェクトベースの画像データセットを複数のセクションに分割するための分割器と、
上記複数のセクションのある１つのセクションについての複雑度測度を推定するための推定器と、
上記推定が既に実施されたセクション群の累積複雑度を示す累積複雑度測度を決定するための累計器とを備え、
上記推定器および上記累計器は、全てのセクションが推定されるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、
上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備える画像処理装置。
【請求項１５１】
デジタル画像を選択的に処理するための画像処理装置であって、
画像を複数のセクションに分割するための分割器と、
上記複数のセクションの１つについての複雑度測度を推定するための推定器と、
上記推定が実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、
上記推定器および上記累計器は、セクションが推定されるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、
上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器とを備える画像処理装置。
【請求項１５２】
デジタル画像を可変処理するための画像処理装置であって、
ａ）画像の属性を決定するための属性抽出器と、
ｂ）処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、
ｃ）上記属性および上記処理性能データに基づいて、上記画像についての複雑度測度を推定するための推定器と、
ｄ）上記複雑度測度に比例して可変する効果を有する上記処理を、上記画像に実施するための処理器とを備える画像処理装置。
【請求項１５３】
デジタル画像を可変処理するための画像処理装置であって、
ａ）非オブジェクトベースの画像データセットの属性を決定するための属性抽出器と、
ｂ）上記属性に基づいて上記画像データセットについての複雑度測度を推定するための推定器と、
ｃ）上記複雑度測度に比例して可変する効果を有する処理を上記画像データセットに実施するための処理器とを備える画像処理装置。
【請求項１５４】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施するための処理器と、
ｂ）上記分析処理によって生成された上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定するための測定器と、
ｃ）上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択するための選択器と、
ｄ）上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するための改善器とを備える画像処理装置。
【請求項１５５】
デジタル画像を選択的に処理するための画像処理装置であって、
各々が独立したセグメンテーションマップを作成する複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施するためのセグメンテーション処理器と、
上記セグメンテーション処理によって作成される上記独立したセグメンテーションマップの各々に基づいて、上記画像データセットについての複数の複雑度測度を推定するための推定器と、
上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択するための選択器と、
上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するための処理器とを備える画像処理装置。
【請求項１５６】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施するための処理器と、
ｂ）上記セグメンテーション処理によって生成された上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定するための測定器と、
ｃ）上記画像分析処理に関連している複数の画質改善処理を上記画像に実施するための改善器と、
ｄ）上記改善された画像を、最終的な改善された画像になるように組み合わせるための結合器とを備える画像処理装置。
【請求項１５７】
デジタル画像を選択的に処理するための画像処理装置であって、
各々が独立したセグメンテーションマップを作成する複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施するための処理器と、
上記セグメンテーション処理によって生成された上記独立したセグメンテーションの各々に基づいて、上記画像データセットについての複数の複雑度測度を測定するための測定器と、
上記画像データセットに複数の画質改善処理を実施して、複数の改善された画像を生成するための改善器と、
上記改善された画像を組み合わせて、最終的な改善された画像を得るための結合器とを備える画像処理装置。
【請求項１５８】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割するためのセグメンテーション器と、
ｂ）上記領域の各々について、上記領域属性に基づく複雑度測度を推定するための推定器と、
ｃ）上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施するための処理器とを備える画像処理装置。
【請求項１５９】
デジタル画像を選択的に処理するための画像処理装置であって、
非オブジェクトベースの画像データセットにセグメンテーションを実施して、この画像をコンテンツ領域に分割するためのセグメンテーション器と、
処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、
上記領域の各々についての複雑度測度であって、上記処理性能データに関連している複雑度測度を推定するための推定器と、
上記領域についての上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施するための処理器とを備える画像処理装置。
【請求項１６０】
請求項１〜３１、４０〜１３９のいずれか一項に記載の工程をコンピュータに実行させるプログラム。
【請求項１６１】
請求項１６０記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項１】
デジタル画像の複雑度測定方法であって、
画像をラスタ画像として表現する工程ａと、
上記ラスタ画像における各画素の属性を決定する工程ｂと、
上記属性に基づいて画像複雑度測度を計算する工程ｃとを含む複雑度測定方法。
【請求項２】
上記属性が、セグメンテーションに関する特徴である請求項１に記載の複雑度測定方法。
【請求項３】
上記特徴が、セグメンテーションエリア境界を含む請求項２に記載の複雑度測定方法。
【請求項４】
上記特徴が、セグメンテーションエリア形状を含む請求項２に記載の複雑度測定方法。
【請求項５】
上記特徴が、セグメンテーションエリアサイズを含む請求項２に記載の複雑度測定方法。
【請求項６】
上記特徴が、セグメンテーションエリアのトポロジカルプロパティを含む請求項２に記載の複雑度測定方法。
【請求項７】
上記特徴が、非矩形な接続された構成要素の数を含む請求項２に記載の複雑度測定方法。
【請求項８】
上記特徴が、全画素数に対するハーフトーン画素の数の比率を含む請求項２に記載の複雑度測定方法。
【請求項９】
上記特徴が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率を含む請求項２に記載の複雑度測定方法。
【請求項１０】
上記特徴が、背景領域の輝度統計を含む請求項２に記載の複雑度測定方法。
【請求項１１】
上記特徴が、前景領域の輝度統計を含む請求項２に記載の複雑度測定方法。
【請求項１２】
上記特徴が、背景領域のクロミナンス統計を含む請求項２に記載の複雑度測定方法。
【請求項１３】
上記属性が、変換データ関連特徴である請求項１に記載の複雑度測定方法。
【請求項１４】
デジタル画像の複雑度測定方法であって、
画像をラスタ画像として表現する工程ａと、
上記ラスタ画像の属性を決定する工程ｂと、
画像処理方法の複雑度関連特徴を決定する工程ｃと、
上記属性および上記特徴に基づいて画像複雑度測度を計算する工程ｄとを含む複雑度測定方法。
【請求項１５】
画像複雑度測度の上記計算のために、属性に基づいて、および、コンテンツ種別に関連する情報を使用して、上記ラスタ画像における上記コンテンツ種別を識別する工程をさらに含む請求項１４に記載の複雑度測定方法。
【請求項１６】
上記属性が、ヒストグラム特徴である請求項１４に記載の複雑度測定方法。
【請求項１７】
上記属性が、変換データ関連特徴である請求項１４に記載の複雑度測定方法。
【請求項１８】
デジタル画像を処理するための処理選択方法であって、
画像をラスタ画像として表現する工程ａと、
上記ラスタ画像の属性を決定する工程ｂと、
第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｃと、
上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｄと、
上記複雑度が閾値を上回っていれば第１処理を実施する工程ｅと、
上記複雑度が、上記閾値を上回っていなければ第２処理を実施する工程ｆとを含む処理選択方法。
【請求項１９】
デジタル画像を処理するための処理選択方法であって、
画像の複雑度関連属性を決定する工程ａと、
セグメンテーションに基づく画質改善処理のための処理性能データを取得する工程ｂと、
全体的な画質改善処理のための処理性能データを取得する工程ｃと、
上記属性および上記性能データに基づいて画像複雑度測度を計算する工程ｄと、
上記複雑度が閾値を上回っていれば全体的画質改善を実施する工程ｅと、
上記複雑度が上記閾値を上回っていなければセグメンテーションに基づく画質改善を実施する工程ｆとを含む処理選択方法。
【請求項２０】
画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、
上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定工程とを含んでいることを特徴とする画像処理方法。
【請求項２１】
上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、
上記複雑度計算工程は、上記各セグメンテーションマップ毎に基づいた複雑度をそれぞれ計算し、それらの各複雑度に基づいて、上記処理方法決定工程にて使用される総合的な複雑度を計算することを特徴とする請求項２０記載の画像処理方法。
【請求項２２】
上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を領域分割して、その結果を示すセグメンテーションマップを生成するセグメンテーション工程と、
上記処理方法決定工程にて、デジタル画像の領域毎に特有の方法で画像処理すると決定された場合に実施され、上記画像処理システムが上記セグメンテーションマップの改善処理を行うマップ改善工程とを含んでいることを特徴とする請求項２０または２１記載の画像処理方法。
【請求項２３】
画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、
上記画像処理システムが、デジタル画像全体を同一の方法で画像処理した結果と、デジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせる合成工程とを含んでいることを特徴とする画像処理方法。
【請求項２４】
上記複雑度計算工程は、上記画像処理システムが、上記各領域毎に特有の方法に関連して設定された当該方法の信頼度に応じ、信頼度が低い程、デジタル画像の複雑度が高くなるように、上記複雑度を調整する調整工程を含んでいることを特徴とする請求項２０または２３記載の画像処理方法。
【請求項２５】
上記複雑度計算工程は、上記画像処理システムが、上記各領域のコンテンツ種別に応じて上記複雑度を調整する調整工程を含んでいることを特徴とする請求項２０または２３記載の画像処理方法。
【請求項２６】
上記複雑度計算工程は、上記各領域毎に特有の方法に関連して設定され、上記画像処理システムが当該方法を実施する際の処理能力を示す処理能力データに応じて、上記画像処理システムが、上記複雑度を調整する調整工程を含んでいることを特徴とする請求項２０または２３記載の画像処理方法。
【請求項２７】
画像処理システムが、デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算工程と、
上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像を改善する際の改善度合いを調整する改善度合い調整工程とを含んでいることを特徴とする画像処理方法。
【請求項２８】
上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、
上記複雑度計算工程では、上記画像処理システムは、上記各セグメンテーションマップを含む画像情報毎に、当該デジタル画像の複雑度をそれぞれ計算し、それらの中から上記改善度合い調整工程で調整に使用する複雑度を選択することを特徴とする請求項２７記載の画像処理方法。
【請求項２９】
上記複雑度計算工程の前に実施され、上記画像処理システムが、デジタル画像のレイアウトを示す情報として、当該デジタル画像を互いに異なる複数の方法で領域分割して、その結果を示すセグメンテーションマップをそれぞれ生成するセグメンテーション工程を含み、
上記複雑度計算工程および上記調整工程は、各セグメンテーションマップ毎に実施されると共に、
上記画像処理システムが、上記各セグメンテーションマップ毎に調整された改善度合いで実施された上記デジタル画像の改善処理の結果同士を、上記各セグメンテーションマップと、上記各複雑度との少なくとも一方に応じて組み合わせる合成工程とを含んでいることを特徴とする請求項２７記載の画像処理方法。
【請求項３０】
上記デジタル画像のレイアウトを示す情報は、当該デジタル画像を領域分割する際に生成されるセグメンテーションマップであることを特徴とする請求項２０〜２９のいずれか１項に記載の画像処理方法。
【請求項３１】
画像処理システムが、デジタル画像を統計処理した画像特徴に基づいて、当該デジタル画像の複雑度を概算する複雑度概算工程と、
上記画像処理システムが、上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定工程とを含んでいることを特徴とする画像処理方法。
【請求項３２】
デジタル画像の画像処理システムであって、
ラスタ画像における各画素の属性を決定する属性決定手段と、
上記属性に基づいて画像複雑度測度を計算する複雑度測定手段とを備えていることを特徴とする画像処理システム。
【請求項３３】
上記複雑度測定手段は、画像処理方法に関連して予め設定された、複雑度に関連する画像処理方法の特徴に応じて、上記複雑度を調整することを特徴とする請求項３２記載の画像処理システム。
【請求項３４】
上記複雑度測定手段は、第１および第２プロセスに関連して、予め設定された複雑度に関連する各プロセスの処理性能データに応じて、上記複雑度を調整すると共に、
上記画像処理システムには、上記複雑度が閾値を上回っていれば上記第１プロセスを実施し、上回っていなければ上記第２プロセスを実施する処理手段が設けられていることを特徴とする請求項３２記載の画像処理システム。
【請求項３５】
デジタル画像の画像処理システムであって、
上記デジタル画像の複雑度関連属性を決定する属性決定手段と、
セグメンテーションに基づく画質改善処理のための処理性能データ、および、全体的な画質改善処理のための処理性能データを取得する処理性能データ取得手段と、
上記複雑度関連属性および処理性能データに基づいて、上記デジタル画像の複雑度測度を計算する複雑度計算手段と、
上記複雑度度が閾値を上回っていれば、上記全体的な画質改善処理を実施し、上回っていなければ、上記セグメンテーションに基づく画質改善処理を実施する処理手段とを備えていることを特徴とする画像処理システム。
【請求項３６】
デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、
上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定手段とを備えていることを特徴とする画像処理システム。
【請求項３７】
デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、
デジタル画像全体を同一の方法で画像処理した結果と、デジタル画像の領域毎に特有の方法で画像処理した結果とを、上記計算された複雑度に応じて組み合わせる合成手段とを備えていることを特徴とする画像処理システム。
【請求項３８】
デジタル画像のレイアウトを示す情報を含む画像情報に基づいて、当該デジタル画像の複雑度を計算する複雑度計算手段と、
上記計算された複雑度に応じて、デジタル画像を改善する際の改善度合いを調整する改善度合い調整手段とを備えていることを特徴とする画像処理システム。
【請求項３９】
デジタル画像を統計処理した画像特徴に基づいて、当該デジタル画像の複雑度を概算する複雑度概算手段と、
上記計算された複雑度に応じて、デジタル画像全体を同一の方法で画像処理するか、デジタル画像の領域毎に特有の方法で画像処理するかを決定する処理方法決定手段とを備えていることを特徴とする画像処理システム。
【請求項４０】
デジタル画像を選択的に処理する画像処理方法であって、
画像の属性を決定する工程ａと、
分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、
上記複雑度が基準を満たしている場合だけ、上記分析処理に基づいて画質改善処理を実施する工程ｄとを含む画像処理方法。
【請求項４１】
上記改善処理が、セグメンテーションに基づく画質改善である請求項４０に記載の画像処理方法。
【請求項４２】
上記改善処理が、全体的画質改善である請求項４０に記載の画像処理方法。
【請求項４３】
上記分析処理性能データが、エラーの尤度に関連している請求項４０に記載の画像処理方法。
【請求項４４】
上記分析処理性能データが、目に見えるエラーの尤度に関連している請求項４０に記載の画像処理方法。
【請求項４５】
デジタル画像を選択的に処理する画像処理方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
上記属性に基づいて上記画像の複雑度を推定する工程ｂと、
上記複雑度が基準を満たしている場合は、上記画像を処理する工程ｃとを含む画像処理方法。
【請求項４６】
上記属性が、セグメンテーションに関する特徴である請求項４５に記載の画像処理方法。
【請求項４７】
デジタル画像を可変処理する画像処理方法であって、
画像の属性を決定する工程ａと、
処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記処理性能データに基づいて、上記画像についての複雑度測度を推定する工程ｃと、
上記複雑度測度に比例して可変する効果を有する処理を、上記画像に実施する工程ｄとを含む画像処理方法。
【請求項４８】
上記処理が、セグメンテーションに基づく画質改善である請求項４７に記載の画像処理方法。
【請求項４９】
上記処理が、全体的画質改善である請求項４７に記載の画像処理方法。
【請求項５０】
デジタル画像を可変処理する画像処理方法であって、
非オブジェクトベースの画像データセットの属性を決定する工程ａと、
上記属性に基づいて上記画像データセットについての複雑度測度を推定する工程ｂと、
上記複雑度測度に比例して可変する効果を有する処理を、上記画像データセットに実施する工程ｃとを含む画像処理方法。
【請求項５１】
上記属性が、セグメンテーションに関する特徴であり、上記処理がセグメンテーションに基づく画質改善である請求項５０に記載の画像処理方法。
【請求項５２】
上記特徴が、セグメンテーションエリア境界を含む請求項４６または５１に記載の画像処理方法。
【請求項５３】
上記特徴が、セグメンテーションエリア形状を含む請求項４６または５１に記載の画像処理方法。
【請求項５４】
上記特徴が、セグメンテーションエリアサイズを含む請求項４６または５１に記載の画像処理方法。
【請求項５５】
上記特徴が、セグメンテーションエリアのトポロジカルプロパティを含む請求項４６または５１に記載の画像処理方法。
【請求項５６】
上記特徴が、非矩形な接続された構成要素の数を含む請求項４６または５１に記載の画像処理方法。
【請求項５７】
上記特徴が、全画素数に対するハーフトーン画素の数の比率を含む請求項４６または５１に記載の画像処理方法。
【請求項５８】
上記特徴が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率を含む請求項４６または５１に記載の画像処理方法。
【請求項５９】
上記特徴が、背景領域の輝度統計を含む請求項４６または５１に記載の画像処理方法。
【請求項６０】
上記特徴が、前景領域の輝度統計を含む請求項４６または５１に記載の画像処理方法。
【請求項６１】
上記特徴が、背景領域のクロミナンス統計を含む請求項４６または５１に記載の画像処理方法。
【請求項６２】
デジタル画像を可変処理する画像処理方法であって、
非オブジェクトベースの画像データセットの属性を決定する工程ａと、
処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記処理性能データに基づいて上記画像データセットについての複雑度測度を推定する工程ｃと、
上記複雑度測度に比例して可変する効果を有する処理を、上記画像データセットに実施する工程ｄとを含む画像処理方法。
【請求項６３】
デジタル画像を選択的に処理する画像処理方法であって、
セグメンテーション処理を含み、各々が独立した結果を生じる、複数の画像分析処理を画像に実施する工程ａと、
上記分析処理によって生成された上記独立した結果に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、
上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、
上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施する工程ｄとを含む画像処理方法。
【請求項６４】
デジタル画像を選択的に処理する画像処理方法であって、
各々が独立したセグメンテーションマップを作成する、複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施する工程ａと、
上記セグメンテーション処理によって生成された、上記独立したセグメンテーションマップの各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、
上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、
上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施する工程ｄとを含む画像処理方法。
【請求項６５】
デジタル画像を選択的に処理する画像処理方法であって、
複数のセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ａと、
画像データセットの属性、上記セグメンテーション処理および上記処理性能データに基づいて、非オブジェクトベースの画像データセットについての複数の複雑度測度を測定する工程ｂと、
上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択する工程ｃと、
上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画像データセットの改善を実施する工程ｄとを含む画像処理方法。
【請求項６６】
上記選択された改善処理の可変パラメータを、それに関連付けられた複雑度測度に比例して変更する請求項６４または６５に記載の画像処理方法。
【請求項６７】
上記属性が、変換データ関連特徴である請求項４５、５０または６５に記載の画像処理方法。
【請求項６８】
上記属性が、ヒストグラム特徴である請求項４５、５０または６５に記載の画像処理方法。
【請求項６９】
デジタル画像を選択的に処理する画像処理方法であって、
セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施する工程ａと、
上記セグメンテーション処理によって生じる、上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｂと、
上記各画像分析処理に関連している複数の画質改善処理を上記画像に実施して、複数の画質改善された画像を生じさせる工程ｃと、
上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｄとを含む画像処理方法。
【請求項７０】
上記組み合わせ工程が、改善された画像をそれらの複雑度測度に比例して組み合わせる工程を含む請求項６９に記載の画像処理方法。
【請求項７１】
上記画像分析処理の少なくとも１つが、全体的分析処理である請求項６３または６９に記載の画像処理方法。
【請求項７２】
上記画像が、非オブジェクトベースのデータを示す請求項６３または６９に記載の画像処理方法。
【請求項７３】
上記の複雑度測度は、それに関連付けられた画像分析処理のための処理性能データに関連している請求項６３または６９に記載の画像処理方法。
【請求項７４】
上記複雑度測度が、セグメンテーションエリア境界に関連している請求項６３または６９に記載の画像処理方法。
【請求項７５】
上記複雑度測度が、セグメンテーションエリア形状に関連している請求項６３または６９に記載の画像処理方法。
【請求項７６】
上記複雑度測度が、セグメンテーションエリアサイズに関連している請求項６３または６９に記載の画像処理方法。
【請求項７７】
上記複雑度測度が、セグメンテーションエリアのトポロジカルプロパティに関連している請求項６３または６９に記載の画像処理方法。
【請求項７８】
上記複雑度測度が、非矩形な接続された構成要素の数に関連している請求項６３または６９に記載の画像処理方法。
【請求項７９】
上記複雑度測度が、全画素数に対するハーフトーン画素の数の比率に関連している請求項６３または６９に記載の画像処理方法。
【請求項８０】
上記複雑度測度が、全画素数に対するハーフトーンにおけるテキスト画素の数の比率に関連している請求項６３または６９に記載の画像処理方法。
【請求項８１】
上記複雑度測度が、背景領域の輝度統計に関連している請求項６３または６９に記載の画像処理方法。
【請求項８２】
上記複雑度測度が、前景領域の輝度統計に関連している請求項６３または６９に記載の画像処理方法。
【請求項８３】
上記複雑度測度が、背景領域のクロミナンス統計に関連している請求項６３または６９に記載の画像処理方法。
【請求項８４】
デジタル画像を選択的に処理する画像処理方法であって、
各々が独立したセグメンテーションマップを作成する、複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施する工程ａと、
上記セグメンテーション処理によって生成された、上記独立したセグメンテーションマップの各々に基づいて、上記画像データセットについての複数の複雑度測度を測定する工程ｂと、
上記セグメンテーション処理に関する複数の画質改善処理を上記画像データセットに実施して、複数の改善された画像を生じさせる工程ｃと、
上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｄとを含む画像処理方法。
【請求項８５】
上記改善された画像の各々に、それに関連付けられた複雑度測度に比例する重み係数を与え、上記改善された画像を組み合わせて、上記各改善された画像を重み付けされた割合で含んでいる、最終的な改善された画像を得る請求項８４に記載の画像処理方法。
【請求項８６】
デジタル画像を選択的に処理する画像処理方法であって、
セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施する工程ａと、
上記画像分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記画像分析処理によって生成される独立した結果と上記処理性能データとの各々に基づいて、上記画像についての複数の複雑度測度を測定する工程ｃと、
上記画像分析処理に関連している複数の画質改善処理を上記画像に実施して、複数の改善された画像を生じさせる工程ｄと、
上記改善された画像を組み合わせて、最終的な改善された画像を得る工程ｅとを含む画像処理方法。
【請求項８７】
上記画質改善処理の各々の可変パラメータを、それに関連付けられた複雑度測度に比例して変更する請求項８４または８６に記載の画像処理方法。
【請求項８８】
上記組み合わせ処理の可変パラメータを、上記複雑度測度の少なくとも１つに比例して変更する請求項８４または８６に記載の画像処理方法。
【請求項８９】
デジタル画像を混合処理する画像処理方法であって、
画像の属性を決定する工程ａと、
第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、
上記画像に上記第１処理を実施する工程ｄと、
上記画像に上記第２処理を実施する工程ｅと、
上記複雑度が基準を満たしていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｆと、
上記複雑度が上記基準を満たしていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｇとを含む画像処理方法。
【請求項９０】
デジタル画像を混合処理する画像処理方法であって、
画像の属性を決定する工程ａと、
複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、
上記画像に上記複数の処理を実施する工程ｄと、
上記複数の処理の少なくとも１つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｅとを含む画像処理方法。
【請求項９１】
デジタル画像を混合処理する画像処理方法であって、
非オブジェクトベースの画像データセットの属性を決定する工程ａと、
上記画像データセットに上記第１処理を実施する工程ｂと、
上記画像データセットに上記第２処理を実施する工程ｃと、
上記複雑度が基準を満たしていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像データセットを形成する工程ｄと、
上記複雑度が上記基準を満たしていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｅとを含む画像処理方法。
【請求項９２】
上記第１処理が、全体的画質改善であり、上記第２処理が、セグメンテーションに基づく画質改善である請求項８９または９１に記載の画像処理方法。
【請求項９３】
上記基準は、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示している請求項９２に記載の画像処理方法。
【請求項９４】
デジタル画像を混合処理する画像処理方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
上記属性に基づいて上記画像の複雑度を推定する工程ｂと、
上記画像に複数の処理を実施する工程ｃと、
上記複数の処理の少なくとも１つが上記結果に対して上記複雑度に比例して可変する効果を有しているように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｄとを含む画像処理方法。
【請求項９５】
デジタル画像を混合処理する画像処理方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｃと、
上記画像に上記第１処理を実施する工程ｄと、
上記画像に上記第２処理を実施する工程ｅと、
上記複雑度が閾値を上回っていれば、上記第１処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する工程ｆと、
上記複雑度が上記閾値を上回っていなければ、上記第２処理の効果がより大きくなるように、上記第１処理と上記第２処理との結果を混合して、混合処理された画像を形成する処理ｇとを含む画像処理方法。
【請求項９６】
デジタル画像を混合処理する画像処理方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
第１処理と第２処理とを含む複数の処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記処理性能データに基づいて上記画像の複雑度を推定する工程ｃと、
上記画像に上記複数の処理を実施する工程ｄと、
上記複数の処理の少なくとも１つが上記結果に対して上記複雑度に比例して可変する効果を有しているように、上記複数の処理の結果を混合して、混合処理された画像を形成する工程ｅとを含む画像処理方法。
【請求項９７】
上記複数の処理の少なくとも１つが、全体的画質改善を含む請求項９０、９４、９５または９６に記載の画像処理方法。
【請求項９８】
上記複数の処理の少なくとも１つが、セグメンテーションに基づく画質改善を含む請求項９０、９４、９５または９６に記載の画像処理方法。
【請求項９９】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、
上記初期段階のセグメンテーション処理の結果に基づいて、上記画像データセットについての複雑度測度を推定する工程ｂと、
上記複雑度測度が基準を満たしていれば、上記画像データセットに高精度なセグメンテーション処理を実施する工程ｃとを含む画像処理方法。
【請求項１００】
デジタル画像を処理する画像処理方法であって、
画像に初期段階のセグメンテーション処理を実施する工程ａと、
高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて、上記画像についての複雑度測度を推定する工程ｃと、
上記複雑度測度が基準を満たしていれば、上記高精度なセグメンテーション処理を実施する工程ｄとを含む画像処理方法。
【請求項１０１】
上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理の結果を使用して、セグメンテーションに基づく画質改善を実施する工程をさらに含む請求項９９または１００に記載の画像処理方法。
【請求項１０２】
上記複雑度測度が代替基準を満たしていれば、全体的な画質改善を実施する工程をさらに含む請求項１００に記載の画像処理方法。
【請求項１０３】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットに初期段階のセグメンテーションを実施する工程ａと、
高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記初期段階のセグメンテーションの結果および上記性能データに基づいて、上記画像データセットについての複雑度測度を推定する工程ｃと、
上記複雑度測度が基準を満たしていれば、上記高精度なセグメンテーション処理を実施し、上記高精度なセグメンテーション処理の結果を使用してセグメンテーションに基づく画質改善を実施する工程ｄとを含む画像処理方法。
【請求項１０４】
上記複雑度測度が上記基準を満たしていなければ、全体的な画質改善を実施する工程をさらに含んでいる請求項９９、１００または１０３に記載の画像処理方法。
【請求項１０５】
上記基準が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示している請求項９９、１００または１０３に記載の画像処理方法。
【請求項１０６】
上記基準には、上記複雑度が閾値未満に留まっていることが含まれている請求項９９、１００または１０３に記載の画像処理方法。
【請求項１０７】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、
上記初期段階のセグメンテーション処理の結果に基づいて、上記画像データセットについての初期段階の複雑度測度を推定する工程ｂと、
上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｃと、
上記高精度なセグメンテーション処理の結果に基づいて、上記画像データセットについての高精度な複雑度測度を推定する工程ｄと、
上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づいて画質改善処理を実施する工程ｅとを含む画像処理方法。
【請求項１０８】
上記高精度な複雑度測度が、高精度な代替測度基準を満たしていれば、全体的な画質改善処理を実施する工程をさらに含む請求項１０７に記載の画像処理方法。
【請求項１０９】
上記初期段階の複雑度測度が、初期段階の代替測度基準を満たしていれば、全体的な画質改善処理を実施する工程をさらに含む請求項１０７に記載の画像処理方法。
【請求項１１０】
デジタル画像を処理する画像処理方法であって、
画像に初期段階のセグメンテーション処理を実施する工程ａと、
高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて上記画像についての初期段階の複雑度測度を推定する工程ｃと、
上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｄと、
上記高精度なセグメンテーション処理の結果に基づいて、上記画像についての高精度な複雑度測度を推定する工程ｅと、
上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づく画質改善処理を実施する工程ｆとを含む画像処理方法。
【請求項１１１】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットに初期段階のセグメンテーション処理を実施する工程ａと、
高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記初期段階のセグメンテーション処理の結果および上記性能データに基づいて、上記画像データセットについての初期段階の複雑度測度を推定する工程ｃと、
上記初期段階の複雑度測度が初期段階の測度基準を満たしていれば、高精度なセグメンテーション処理を実施する工程ｄと、
上記高精度なセグメンテーション処理の結果に基づいて、上記画像データセットについての高精度な複雑度測度を推定する工程ｅと、
上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていれば、上記高精度なセグメンテーション処理に基づく画質改善処理を実施する工程ｆとを含む画像処理方法。
【請求項１１２】
上記高精度な複雑度測度が上記高精度な複雑度測度のための測度基準を満たしていなければ、全体的な画質改善処理を実施する工程をさらに含む請求項１０７、１１０または１１１に記載の画像処理方法。
【請求項１１３】
上記初期段階の複雑度測度が上記初期段階の測度基準を満たしていなければ、全体的な画質改善処理を実施する工程をさらに含む請求項１０７、１１０または１１１に記載の画像処理方法。
【請求項１１４】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、
上記セクションのある１つのセクションにセグメンテーションを実施する工程ｂと、
上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定する工程ｃと、
セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｄと、
全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｂ〜工程ｄを繰り返す工程ｅと、
上記累積複雑度測度が上記基準を満たしていれば、上記工程ｅを終了し、第１画質改善処理を実施する工程ｆと、
上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施する工程ｇとを含む画像処理方法。
【請求項１１５】
デジタル画像を処理する画像処理方法であって、
デジタル画像を複数のセクションに分割する工程ａと、
第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記セクションのある１つのセクションにセグメンテーションを実施する工程ｃと、
上記セグメンテーションの結果および上記処理性能データに基づいて上記セクションについての複雑度測度を推定する工程ｄと、
セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｅと、
全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃ〜工程ｅを繰り返す工程ｆと、
上記累積複雑度測度が上記基準を満たしていれば、上記工程ｆを終了し、上記第１画質改善処理を実施する工程ｇと、
上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｈとを含む画像処理方法。
【請求項１１６】
上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、セグメンテーションを実施する上記工程、複雑度測度を推定する上記工程および累積複雑度測度を決定する上記工程を、上記各セクションに対して連続的に実施する請求項１１４または１１５に記載の画像処理方法。
【請求項１１７】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、
上記セクションのある１つのセクションにセグメンテーションを実施する工程ｂと、
第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｃと、
上記セグメンテーションの結果および上記処理性能データに基づいて、上記セクションについての複雑度測度を推定する工程ｄと、
セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｅと、
全てのセクションがセグメンテーション処理されるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｂ〜工程ｅを繰り返す工程ｆと、
上記累積複雑度測度が上記基準を満たしていれば、上記工程ｆを終了し、上記第１画質改善処理を実施する工程ｇと、
上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｈとを含む画像処理方法。
【請求項１１８】
デジタル画像を処理する画像処理方法であって、
画像を複数のセクションに分割する工程ａと、
上記セクションの少なくとも１つについての複雑度測度を推定する工程ｂと、
推定が既に実施されたセクション群の累積複雑度を示す累積複雑度測度を決定する工程ｃと、
上記累積複雑度測度が基準を満たすまで、または、上記累積複雑度測度が上記セクションの全ての累積複雑度を示すまで工程ｂおよび工程ｃを繰り返す工程ｄと、
上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施する工程ｅとを含む画像処理方法。
【請求項１１９】
上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、複雑度測度を推定する上記工程ｂおよび累積複雑度測度を決定する上記工程ｃを、上記各セクションに対して連続的に実施する請求項１１８に記載の画像処理方法。
【請求項１２０】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、
上記セクションの少なくとも１つについての複雑度測度を推定する工程ｂと、
上記推定が既に実施された各セクションの累積複雑度を示す累積複雑度測度を決定する工程ｃと、
上記累積複雑度測度が基準を満たすまで、または、上記累積複雑度測度が上記セクションの全ての累積複雑度を示すまで工程ｂおよび工程ｃを繰り返す工程ｄと、
上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｅとを含む画像処理方法。
【請求項１２１】
デジタル画像を処理する画像処理方法であって、
デジタル画像を複数のセクションに分割する工程ａと、
少なくとも１つの第１画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記セクションの少なくとも１つについての複雑度測度であって、上記処理性能データに関連している複雑度測度を推定する工程ｃと、
上記推定が既に実施された各セクションの複雑度を示す累積複雑度測度を決定する工程ｄと、
全てのセクションの推定が行われるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃおよび工程ｄを繰り返す工程ｅと、
上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｆとを含む画像処理方法。
【請求項１２２】
上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施する工程をさらに含む請求項１１８、１２０または１２１に記載の画像処理方法。
【請求項１２３】
上記累積複雑度測度が閾値を上回れば上記基準が満たされる請求項１１４、１１５、１１８または１２１に記載の画像処理方法。
【請求項１２４】
上記第１画質改善処理が、全体的画質改善である請求項１１４、１１５、１１８または１２１に記載の画像処理方法。
【請求項１２５】
上記第２画質改善処理が、セグメンテーションに基づく画質改善である請求項１１４、１１５または１２２に記載の画像処理方法。
【請求項１２６】
上記累積複雑度測度が上記基準をいったん満たしたら後続のセクションの不必要な処理を回避してもよいように、複雑度測度を推定する上記工程および累積複雑度測度を決定する上記工程を、上記各セクションに対して連続的に実施する請求項１２１に記載の画像処理方法。
【請求項１２７】
上記セクションを、セグメンテーション以前に決定されている初期段階の複雑度推定に基づいた複雑度の順序で処理する請求項１１４、１１５または１２１に記載の画像処理方法。
【請求項１２８】
デジタル画像を処理する画像処理方法であって、
非オブジェクトベースの画像データセットを複数のセクションに分割する工程ａと、
第１画質改善処理と第２画質改善処理とを含む複数の画質改善処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記処理性能データに基づいて、上記セクションの１つについての複雑度測度を推定する工程ｃと、
セグメンテーションが既に実施されたセクション群の複雑度を示す累積複雑度測度を決定する工程ｄと、
全てのセクションの推定が行われるまで、または、上記累積複雑度測度が基準を満たすまで、工程ｃおよび工程ｄを繰り返す工程ｅと、
上記累積複雑度測度が上記基準を満たしていれば、上記第１画質改善処理を実施する工程ｆと、
上記累積複雑度測度が上記基準を満たしていなければ、上記第２画質改善処理を実施する工程ｇとを含む画像処理方法。
【請求項１２９】
デジタル画像を選択的に処理する画像処理方法であって、
画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割する工程ａと、
上記領域の各々について、上記領域属性に基づく複雑度測度を推定する工程ｂと、
上記複雑度測度が基準を満たしている場合だけ、領域に画質改善処理を実施する工程ｃとを含む画像処理方法。
【請求項１３０】
デジタル画像を選択的に処理する画像処理方法であって、
非オブジェクトベースの画像データセットにセグメンテーションを実施して、この画像データセットをコンテンツ領域に分割する工程ａと、
処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記領域の各々についての複雑度であって、上記処理性能データに関連している複雑度を推定する工程ｃと、
上記領域についての上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施する工程ｄとを含む画像処理方法。
【請求項１３１】
上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記領域に、代替画質改善処理を実施する工程をさらに含む請求項１３０に記載の画像処理方法。
【請求項１３２】
上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記画像に全体的画質改善処理を実施する工程をさらに含む請求項１３０に記載の画像処理方法。
【請求項１３３】
複数の上記領域についての上記複雑度測度が上記基準を満たしていなければ、上記領域に、代替画質改善処理を実施する工程をさらに含む請求項１３０に記載の画像処理方法。
【請求項１３４】
上記領域についての上記複雑度測度が第２基準を満たしていれば、上記領域に代替画質改善処理を実施する工程をさらに含む請求項１３０に記載の画像処理方法。
【請求項１３５】
デジタル画像を選択的に処理する画像処理方法であって、
画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割する工程ａと、
上記領域の各々について、上記領域属性に基づく複雑度測度を推定する工程ｂと、
上記画質改善処理の様相が領域についての上記複雑度測度に比例して可変するように、可変の画質改善処理を当該領域に実施する工程ｃとを含む画像処理方法。
【請求項１３６】
デジタル画像を処理するための処理選択方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、
上記複雑度が基準を満たしていれば、上記分析処理に基づいて上記画像に画質改善処理を実施する工程ｄとを含む処理選択方法。
【請求項１３７】
デジタル画像を処理するための処理選択方法であって、
非オブジェクトベースの画像の属性を決定する工程ａと、
第１処理と第２処理とを含む複数の分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを取得する工程ｂと、
上記属性および上記分析処理性能データに基づいて、上記画像の複雑度を推定する工程ｃと、
上記複雑度が閾値を上回っていれば、上記第１処理に基づいた画質改善を実施する工程ｄと、
上記複雑度が、上記閾値を上回っていなければ、上記第２処理に基づいた画質改善処理を実施する工程ｅとを含む処理選択方法。
【請求項１３８】
上記第１処理が、全体的画質改善であり、上記第２処理が、セグメンテーションに基づく画質改善である請求項１６または１３７に記載の処理選択方法。
【請求項１３９】
上記閾値が、セグメンテーションに基づく改善が全体的な改善よりも目に見えるほどのアドバンテージを与えない条件を示している請求項１３８に記載の処理選択方法。
【請求項１４０】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）非オブジェクトベースの画像の属性を決定するための画像分析器と、
ｂ）上記属性に基づいて上記画像の複雑度を推定するための推定器と、
ｃ）上記複雑度が基準を満たしている場合に、上記画像に画質改善処理を実施するための処理器とを備える画像処理装置。
【請求項１４１】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）画像の属性を決定するための画像分析器と、
ｂ）分析処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、
ｃ）上記属性および上記分析処理性能データに基づいて上記画像の複雑度を推定するための推定器と、
ｄ）上記複雑度が基準を満たしている場合は上記分析処理に基づいて画質改善処理を実施するための処理器とを備える画像処理装置。
【請求項１４２】
デジタル画像を混合処理するための画像処理装置であって、
ａ）画像についての非オブジェクトベースの画像データの属性を決定するための画像分析器と、
ｂ）上記属性に基づいて上記画像の複雑度を推定するための推定器と、
ｃ）上記画像に複数の処理を実施するための処理器と、
ｄ）上記複数の処理の少なくとも１つが上記複数の処理の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成するための混合器とを備える画像処理装置。
【請求項１４３】
デジタル画像を混合処理するための画像処理装置であって、
ａ）画像の属性を決定するための画像分析器と、
ｂ）処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、
ｃ）上記属性および上記処理性能データに基づいて、上記画像の複雑度を推定するための推定器と、
ｄ）上記画像に複数の処理を実施するための処理器と、
ｅ）上記複数の処理の少なくとも１つが上記複数の結果に対して上記複雑度に比例して可変する効果を有するように、上記複数の処理の結果を混合して、混合処理された画像を形成するための混合器とを備える画像処理装置。
【請求項１４４】
デジタル画像を処理するための画像処理装置であって、
ａ）画像を示す非オブジェクトベースのデータに、初期段階のセグメンテーション処理を実施するための初期段階セグメンテーション処理器と、
ｂ）上記初期段階のセグメンテーション処理の結果に基づいて、上記画像についての複雑度測度を推定するための推定器と、
ｃ）上記複雑度測度が基準を満たしている場合に、高精度なセグメンテーション処理を実施するための高性能セグメンテーション処理器とを備える画像処理装置。
【請求項１４５】
上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理の結果に基づいて、セグメンテーションに基づく画質改善を実施するためのセグメンテーションベース改善処理器をさらに備える請求項１４４に記載の画像処理装置。
【請求項１４６】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）初期段階のセグメンテーション処理を画像に実施するための初期段階セグメンテーション処理器と、
ｂ）高精度なセグメンテーション処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、
ｃ）上記初期段階のセグメンテーションの結果および上記性能データに基づいて、上記画像についての複雑度測度を推定するための推定器と、
ｄ）上記複雑度測度が基準を満たしている場合に、高精度なセグメンテーション処理を実施するための高性能セグメンテーション処理器と、
ｅ）上記複雑度測度が上記基準を満たしていれば、上記高精度なセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するためのセグメンテーションベース改善処理器とを備える画像処理装置。
【請求項１４７】
上記基準には、上記複雑度測度が閾値未満に留まっていることが含まれている請求項１４４または１４６に記載の画像処理装置。
【請求項１４８】
デジタル画像を処理するための画像処理装置であって、
非オブジェクトベースの画像データセットを複数のセクションに分割するための分割器と、
上記セクションのある１つのセクションにセグメンテーションを実施するセグメンテーション処理器と、
上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定するための推定器と、
セグメンテーションが実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、
上記セグメンテーション処理器、上記推定器および上記累計器は、全てのセクションがセグメンテーションされるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、
上記累算複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累算複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備える画像処理装置。
【請求項１４９】
デジタル画像を選択的に処理するための画像処理装置であって、
画像を複数のセクションに分割するための分割器と、
上記セクションのある１つのセクションにセグメンテーションを実施するセグメンテーション器と、
上記セグメンテーションの結果に基づいて、上記セクションについての複雑度測度を推定するための推定器と、
セグメンテーションが実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、
上記セグメンテーション器、上記推定器および上記累計器は、全てのセクションがセグメンテーションされるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対してそれぞれの処理を実施すると共に、
上記累積複雑度測度が上記基準を満たしていれば、上記セグメンテーション器、上記推定器および上記累計器による処理を終了して、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備える画像処理装置。
【請求項１５０】
デジタル画像を処理するための画像処理装置であって、
非オブジェクトベースの画像データセットを複数のセクションに分割するための分割器と、
上記複数のセクションのある１つのセクションについての複雑度測度を推定するための推定器と、
上記推定が既に実施されたセクション群の累積複雑度を示す累積複雑度測度を決定するための累計器とを備え、
上記推定器および上記累計器は、全てのセクションが推定されるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、
上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器を備える画像処理装置。
【請求項１５１】
デジタル画像を選択的に処理するための画像処理装置であって、
画像を複数のセクションに分割するための分割器と、
上記複数のセクションの１つについての複雑度測度を推定するための推定器と、
上記推定が実施された全てのセクションの複雑度を示す累積複雑度測度を決定するための累計器とを備え、
上記推定器および上記累計器は、セクションが推定されるまで、または、上記累積複雑度測度が基準を満たすまで、後続のセクションに対して、それぞれの処理を実施すると共に、
上記累積複雑度測度が上記基準を満たしていれば、第１画質改善処理を実施し、上記累積複雑度測度が上記基準を満たしていなければ、第２画質改善処理を実施するための処理器とを備える画像処理装置。
【請求項１５２】
デジタル画像を可変処理するための画像処理装置であって、
ａ）画像の属性を決定するための属性抽出器と、
ｂ）処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、
ｃ）上記属性および上記処理性能データに基づいて、上記画像についての複雑度測度を推定するための推定器と、
ｄ）上記複雑度測度に比例して可変する効果を有する上記処理を、上記画像に実施するための処理器とを備える画像処理装置。
【請求項１５３】
デジタル画像を可変処理するための画像処理装置であって、
ａ）非オブジェクトベースの画像データセットの属性を決定するための属性抽出器と、
ｂ）上記属性に基づいて上記画像データセットについての複雑度測度を推定するための推定器と、
ｃ）上記複雑度測度に比例して可変する効果を有する処理を上記画像データセットに実施するための処理器とを備える画像処理装置。
【請求項１５４】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施するための処理器と、
ｂ）上記分析処理によって生成された上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定するための測定器と、
ｃ）上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択するための選択器と、
ｄ）上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するための改善器とを備える画像処理装置。
【請求項１５５】
デジタル画像を選択的に処理するための画像処理装置であって、
各々が独立したセグメンテーションマップを作成する複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施するためのセグメンテーション処理器と、
上記セグメンテーション処理によって作成される上記独立したセグメンテーションマップの各々に基づいて、上記画像データセットについての複数の複雑度測度を推定するための推定器と、
上記セグメンテーション処理の１つを、それに関連付けられた複雑度測度に基づいて選択するための選択器と、
上記選択されたセグメンテーション処理に基づいて、セグメンテーションに基づく画質改善を実施するための処理器とを備える画像処理装置。
【請求項１５６】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）セグメンテーション処理を含み、各々が独立した結果となる複数の画像分析処理を画像に実施するための処理器と、
ｂ）上記セグメンテーション処理によって生成された上記独立した結果の各々に基づいて、上記画像についての複数の複雑度測度を測定するための測定器と、
ｃ）上記画像分析処理に関連している複数の画質改善処理を上記画像に実施するための改善器と、
ｄ）上記改善された画像を、最終的な改善された画像になるように組み合わせるための結合器とを備える画像処理装置。
【請求項１５７】
デジタル画像を選択的に処理するための画像処理装置であって、
各々が独立したセグメンテーションマップを作成する複数のセグメンテーション処理を、非オブジェクトベースの画像データセットに実施するための処理器と、
上記セグメンテーション処理によって生成された上記独立したセグメンテーションの各々に基づいて、上記画像データセットについての複数の複雑度測度を測定するための測定器と、
上記画像データセットに複数の画質改善処理を実施して、複数の改善された画像を生成するための改善器と、
上記改善された画像を組み合わせて、最終的な改善された画像を得るための結合器とを備える画像処理装置。
【請求項１５８】
デジタル画像を選択的に処理するための画像処理装置であって、
ａ）画像にセグメンテーションを実施して、この画像をコンテンツ領域に分割するためのセグメンテーション器と、
ｂ）上記領域の各々について、上記領域属性に基づく複雑度測度を推定するための推定器と、
ｃ）上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施するための処理器とを備える画像処理装置。
【請求項１５９】
デジタル画像を選択的に処理するための画像処理装置であって、
非オブジェクトベースの画像データセットにセグメンテーションを実施して、この画像をコンテンツ領域に分割するためのセグメンテーション器と、
処理のための処理性能データであって、画像複雑度に関連している処理性能データを記憶する記憶装置と、
上記領域の各々についての複雑度測度であって、上記処理性能データに関連している複雑度測度を推定するための推定器と、
上記領域についての上記複雑度測度が基準を満たしていれば、領域に画質改善処理を実施するための処理器とを備える画像処理装置。
【請求項１６０】
請求項１〜３１、４０〜１３９のいずれか一項に記載の工程をコンピュータに実行させるプログラム。
【請求項１６１】
請求項１６０記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００７−１８０２５（Ｐ２００７−１８０２５Ａ）
【公開日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願番号】特願２００５−１９０６０７（Ｐ２００５−１９０６０７）
【出願日】平成１７年６月２９日（２００５．６．２９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願日】平成１７年６月２９日（２００５．６．２９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]