画像処理方法、画像処理装置及び透かし検出システム
【課題】３枚以上の複数枚の処理対象となる画像の中からそれらの共通パターンを特定すること。
【解決手段】まず、Ｎ枚の画像に対して特徴抽出を行い、その結果に基づいてＮ枚の画像をＣ個の階層に分け、Ｎ×Ｃ枚の画像を得る（Ｃは２以上の自然数）。次に、各階層のＮ枚の画像の平均類似度を各々計算し、平均類似度が最大となる階層を特定する。最後に、特定した階層のＮ枚の画像に対し、平均予測誤差が所定の閾値よりも小さい画像を基準画像とし、この基準画像を基にして同じ階層のＮ枚の画像を合成した画像を共通パターンを含む画像とする。
【解決手段】まず、Ｎ枚の画像に対して特徴抽出を行い、その結果に基づいてＮ枚の画像をＣ個の階層に分け、Ｎ×Ｃ枚の画像を得る（Ｃは２以上の自然数）。次に、各階層のＮ枚の画像の平均類似度を各々計算し、平均類似度が最大となる階層を特定する。最後に、特定した階層のＮ枚の画像に対し、平均予測誤差が所定の閾値よりも小さい画像を基準画像とし、この基準画像を基にして同じ階層のＮ枚の画像を合成した画像を共通パターンを含む画像とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理分野に関し、特に複数枚の処理対象の画像から、その形状、色と位置等がこれら複数枚の文書画像のいずれにおいても同じである共通パターンを探し出すか、又は特定するのに用いられる技術に関する。
【背景技術】
【０００２】
コンピュータ技術とデジタル技術が進むに伴い、複数枚の画像からそれらの間の共通パターンを探し出すことについての要求が多くなりつつある。例えば、文書に対する標識や著作権保護等の各種類の目的から、現在多くのMicrosoft（登録商標） Office Word文書或いはPowerPoint（登録商標）文書の背景に、いずれにも、数字、文字又は図形等の透かしが埋め込まれている。しかし、それに続き、電子文書を印刷して取得された紙文書に対して更なる処理が要求される。例えば、コピー又はスキャンするときに、しばしば、書類の完全性を確保するように、文書画像から透かしを抽出し、抽出された透かしに対して認証すること、及び／または、本文の部分だけを保持するように、文書画像から透かしを除去することなどが求められる。
【０００３】
また、デジタルカメラ、スキャナなどのデバイスにより、大きなサイズ有する対象或いは広い範囲を有するシーンを撮影又はスキャンするときに、当該対象又はシーンの画像を一度に取得することができないので、当該対象を連続的にスキャンしたり、当該シーンを多くの角度から連続的に撮影したりして、複数枚の画像を取得し、その複数枚の画像間の共通部分を探し出し、それに基づいて、取得した複数枚の画像に対するつなぎ合わせを行う必要がしばしば生じる。その他にも、複数枚の画像からそれらの間の共通パターンを探し出すことには、多くの応用の可能性がある。
【０００４】
このため、従来、画像から共通パターンを探し出す方法が多く提案されている。例えば、非特許文献１には、パターンの色の同一性に基づいて複数枚の文書画像から共通の機密パターンを抽出する方法が開示されている。ここでは、まず各文書画像に対して色を分類し、第一枚目の文書画像を基準画像として、一色ごとの分類において、それにその他の文書画像を合わせ、全ての画像を累積し、そして、共通パターンの色の同一性に基づいて重ね合わせ確率が最高の合成画像を共通パターンとして特定する。
【０００５】
また、従来の技術においては、画像のつなぎ合わせを実現するのに用いられる多くの方法及びシステムも提案されている。例えば、特許文献１、及び特許文献２においては、それぞれ計算された２枚ずつの部分画像間の重複量に基づいて、複数枚の部分画像に対してつなぎ合わせ又は、合成を行うのに用いられる方法及び装置が開示されている。
【０００６】
しかし、従来提案されている各種方法及び装置においては、処理対象の複数枚の画像に対して２枚ずつの処理を行うか、又は、その中のいずれか１枚の画像を基準画像として２枚以上の画像に対して処理を行うが、何れにおいても処理対象の複数枚の画像間の関連性が考慮されていない。
【０００７】
また、画像間の共通パターンがある程度劣化している場合が考慮されていない。実際には、処理対象の複数枚の画像には常に共通パターンが劣化している状況が出現する。例えば、文書画像に対するスキャン又はコピー等の処理を行う時の誤差により、各文書画像における、例えば透かしパターンのような共通パターンは、位置、角度及び/又はサイズに差異が発生する可能性があること、文書の本文部分に遮られて透かし画像に欠落が発生すること、つなぎ合わせようとする複数枚の画像の共通部分（即ち、共通パターン）は、遮断又は焦点のずれなどの原因によって、欠落或いは曇りが発生すること、及びこれらに類似する状況である。
【０００８】
図１は、６枚の文書画像の中に透かしパターンが有る一例を示している。この図に示されるように、６枚の文書画像のいずれにも同じ透かしの内容が含まれているが、本文部分によって遮られているので、どの１枚の画像も完全な透かし文字列の「CONFIDENTIAL」を含んでいない。このように、共通パターンにある程度の劣化が発生した状況では、従来の各種の方法及び装置を利用しても、いずれも複数枚の画像から共通パターンを満足に探し出すことができない。
【０００９】
従って、比較的正確に及び／又は満足に、処理対象の複数枚（３枚または３枚以上）の画像からそれらの中の共通パターンを探し出すか又は特定する技術、即ち、従来の技術における上述の欠陥を克服することができ、各種の原因によって共通パターンの劣化が発生している状況下でも、満足な結果を取得することができる技術が切に求められている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第６６９０４８２号明細書
【特許文献２】米国特許第７１４５５９６号明細書
【非特許文献】
【００１１】
【非特許文献１】藤井勇作、武部浩明、藤本克仁、直井聡, "文書間の色一様性に基づく文書画像群からの機密パターン抽出",信学会技報 SIS2006-81, pp.1-5, 2007
【発明の概要】
【発明が解決しようとする課題】
【００１２】
以下の文中には、本願ではいくつかの面に関する基本的な理解を提供するために、簡潔な概要の記載が与えられているが、この概要の記載は一例と理解されるべきである。それは、本願のキーポイント又は重要な部分を特定するための意図ではなく、また、本願の範囲を限定するための意図でもない。その目的は、簡素化した形式によって本願に係るいくつかの概念を提供することだけであり、これを後に挙げる更なる詳細な記述の前書きとする。
【００１３】
従来の技術に存在している上述の問題に対して、本願に開示される技術の一つの目的は、３枚以上の複数枚の処理対象となる画像の中からそれらの共通パターンを探し出すか、又は特定するのに用いられる画像処理方法及び装置を提供することにある。それは、複数枚の処理対象の画像間の関連性を考慮することにより、共通パターンに劣化が発生した場合でも複数画像から共通パターンを比較的な確実、かつ正確に探し出すことができ、満足な結果を取得することができる。
【００１４】
本願に開示される技術の他の目的は、３枚以上の複数枚の処理対象となる画像からその他の複数枚の画像とのマッチングをするのに最も優れた１枚の画像を基準画像として特定するのに用いられる方法及び装置を提供することにある。
【００１５】
本願に開示される技術の更なる他の目的は、３枚以上の複数枚の処理対象となる画像の平均類似度を計算するのに用いられる方法及び装置を提供することにある。
【００１６】
本願に開示される技術のまた一つの目的は、プログラムのコードが記憶されているコンピュータ読み取り可能な記憶媒体を提供することにあり、当該プログラムのコードがコンピュータで実行されるときに、前記コンピュータに上述の方法のいずれか一つを実行させる。
【００１７】
本願に開示される技術のまた更なる一つの目的は、３枚以上の複数枚の文書画像から透かしを抽出するのに用いられる透かし検出システムを提供することにある。
【課題を解決するための手段】
【００１８】
上述の目的を達成するため、本願の開示する画像処理装置により用いられる画像処理方法は、一つの態様において、Ｎ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）。当該画像処理方法は、Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像を前記Ｃ個の階層に分けるステップ（ここで、Ｃは２以上の自然数である）と、各階層におけるＮ枚の画像の平均類似度を計算するステップと、平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像とし、該基準画像を基にして当該階層におけるＮ枚の画像を合成した合成画像を共通パターンを含む画像として特定するステップと、を含んでいる。
【００１９】
また、本願の開示する画像処理装置は、一つの態様において、Ｎ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）。当該画像処理装置は、前記共通パターンの画像をＣ個の階層のいずれか１つの階層にほぼ集中させるため、Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像を前記Ｃ個の階層に分ける画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、各階層におけるＮ枚の画像の平均類似度を計算する平均類似度計算部と、平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像として特定する基準画像特定部と、基準画像を基にして当該階層におけるＮ枚の画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、を備える。
【００２０】
また、本願の開示する透かし検出システムは、一つの態様において、Ｎ枚の処理対象の画像から、当該Ｎ枚の文書画像に埋め込まれた透かしを含む画像を特定する（ここで、Ｎは３以上の自然数である）。当該透かし検出システムは、Ｎ枚の文書画像に対して文書画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の文書画像を前記Ｃ個の階層に分ける画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、各階層における前記Ｎ枚の文書画像の平均類似度を計算する平均類似度計算部と、平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい文書画像を基準画像として特定する基準画像特定部と、基準画像を基にして当該階層におけるＮ枚の文書画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、を備える。
【発明の効果】
【００２１】
本願に開示する技術では、基準画像の特定及び／又は平均類似度の計算を行う過程において、複数枚の画像間の関連性が考慮されており、そのために、平均予測誤差と予測精度確率のパラメータ（具体的な意味及び計算方法は後で詳細的に説明する）が導入されている。これによって、図１に示す共通パターンに欠落があるか或いはぼやけている場合にも、共通パターンを正確、且つ確実に探し出すことができるようになる。
【００２２】
本願に開示する技術の他の長所は、本技術をグレイ階調画像に対する処理を行うのに用いることができるだけでなく、カラー画像に対する処理を行うのにも用いることができることにある。
【００２３】
本願に開示する技術の他の長所は、必要に応じて、本技術による画像処理方法及び装置を、文書画像に対する透かし検出に用いるなど、複数枚の画像をつなぎ合わせるなどの多くの実際的な応用に用いることができることにある。
【図面の簡単な説明】
【００２４】
【図１】図１は、透かしパターン入りの複数枚の処理対象の文書のグレイ階調画像の一例を示す図である。ここで、各文書画像には、同様の透かし文字列である「CONFIDENTIAL」が含まれる。
【図２】図２は、本実施例による画像処理方法及び装置を適用できるデータ処理システムの一例のブロック図を示している。
【図３】図３は、一実施例における図１に示された複数枚の処理対象の文書のグレイ階調画像から、その中の共通パターン（例えば、共通の透かし文字列）を探し出す画像処理方法３００のフローチャートを示している。
【図４】図４は、図３に示した方法に従って図１に示す６枚の文書画像に対してエッジ検出を行った後、三つの階層に分けた場合に、共通パターンが所在する階層の６枚の文書エッジ画像を示す図である。
【図５】図５は、図４に示す６枚の画像に対して２枚ずつのマッチングを行って計算して取得された並進マッチングパラメータの値を示す図である。
【図６】図６は、図５に示す並進マッチングパラメータに基づいて計算して取得した、図４に示す画像１に対する予測並進マッチングパラメータの値を示す図である。
【図７】図７は、図５及び図６に示される値に基づいて取得した、図４に示す画像１に対する並進予測誤差の値を示す図である。
【図８】図８は、図３に示した方法に従って特定された基準画像に基づいて図４に示した文書のエッジ画像を合成して取得した合成文書エッジ画像を示す図である。
【図９】図９は、図８に示した合成文書エッジ画像に対してノイズ除去処理（即ち、背景の除去）を行って取得されたエッジ画像を示す図である。
【図１０】図１０は、従来の方法を用いて任意に選択した１枚の文書画像を基準画像にして取得した合成文書エッジ画像を示す図である。
【図１１】図１１は、図３に示した方法を用いて図１に示す６枚の文書画像に対してエッジ強度によって階層分けした後の、第一階層における２枚ずつの画像間の類似度の値、及び当該階層における各文書エッジ画像の予測精度確率値を示す図である。
【図１２】図１２は、第二の階層（当該階層は共通パターンを含む階層である）における２枚ずつの画像間の類似度の値、及び、当該階層における各画像の予測精度確率値を示す図である。
【図１３】図１３は、他の実施例の画像処理方法１３００を示す図である。それは図３に示される方法３００の一変形例である。
【図１４】図１４は、一実施例の画像処理装置１４００の概念的なブロック図を示している。
【発明を実施するための形態】
【００２５】
以下に、本願に係る技術の見本となる実施例を図面に基づいて記述する。明瞭、簡便のため、明細書には実際の実施形態の全ての特徴が記述されているわけではない。しかし、以下のことが理解されるべきである。即ち、このような実際の実施例を開発する過程において、開発者の具体的な目標を実現するために、実施形態に特定される多くのことを決定しなければならない。そして、開発の仕事は非常に複雑であり、時間を費やす可能性があるのだが、ここに開示している内容を利用する当業者には、このような開発の仕事は型どおりの任務だけである。
【００２６】
ここで、説明する必要があるのは、必要以上に詳述することによって本願に係る技術が不明瞭になるのを防ぐために、図面には、本願に係る技術による方案に密接な関係がある装置構成及び／または処理ステップだけを示しており、本願に係る技術にあまり関係のないその他の詳細は省略したことである。
【００２７】
当業者は、図面における要素は、単に簡便、明瞭に示したものであり、且つ、必ずしも比率どおりに描いたものではないことを理解すべきである。例えば、本願に係る技術の実施例の理解に寄与できるように、図面におけるある要素のサイズは、他の要素に対して拡大されている。
【実施例１】
【００２８】
簡便のため、以降、図１に示される６枚の文書画像（グレイ階調画像と仮定する）からその６枚の画像に共通する透かしパターン、即ち文字列の「CONFIDENTIAL」を探し出すことを例にして、本発明による画像処理方法及び装置について記述する。しかし、本発明は他の状況にも適用できるのは言うまでもない。
【００２９】
図２には、本実施例による画像処理方法及び装置を適用可能な一例であるデータ処理システム２００のブロック図を示している。
【００３０】
図２に示すように、データ処理システム２００は、システムバス２０６に接続されている複数のプロセッサ２０２と２０４を含む対称型マルチプロセッサ（ＳＭＰ）システムであってもよい。しかし、選択として、シングルプロセッサシステム（図示しない）を採用してもよい。なお、メモリコントローラ／高速バッファー２０８も、システムバス２０６に接続されており、ローカルメモリ２０９とのインタフェースを提供するのに用いられる。Ｉ／Ｏバスブリッジ２１０が、システムバス２０６に接続されており、Ｉ／Ｏバス２１２とのインタフェースを提供している。メモリコントローラ／高速バッファー２０８とＩ／Ｏバスブリッジ２１０は、記述されているように一体に集積されてもよい。Ｉ／Ｏバス２１２に接続されているＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスブリッジ２１４が、ＰＣＩローカルバス２１６とのインタフェースを提供している。モデム２１８とネットワークアダプター２２０はＰＣＩローカルバス２１６に接続することができる。典型的なＰＣＩバスの実現方式は、四つのＰＣＩ拡張スロット或は挿入型コネクタをサポートすることができる。付加されたＰＣＩバスブリッジ２２２と２２４が、付加されたＰＣＩローカルバス２２６及び２２８のインタフェースを提供している。これによって、付加されたモデム又はネットワークアダプターをサポートすることができるようになっている。この方法に従って、データ処理システム２００は多くの周辺の機器、例えばネットワークコンピュータに接続されている。メモリがマッピングするグラフィックアダプター２３０とハードディスク２３２は、図に記述しているように、直接に又は間接に、Ｉ／Ｏバス２１２に接続することができる。
【００３１】
本願に係る技術による画像処理装置は、例えば、図２に示されるプロセサー２０２と２０４に集積することができ、もしくは、周辺の機器をＩ／Ｏバスを介して、データ処理システム２００に接続することができる。
【００３２】
当業者は、図２に記述されるハードウエアを変更可能であることを理解すべきである。例えば、記述されているハードウエアの他に、又はそれらの代わりに、光ディスクドライブなどのような他の周辺の機器を使用することができる。図２に記述されている例は、本願に係る技術を適用することができるシステムの構成を制限するものではない。
【００３３】
図３は、本願に係る技術による一つの実施例におけるＮ枚（ここで、Ｎは３以上の自然数である）の処理対象の文書画像（例えば、図１に示している６枚の文書グレイ階調画像である）から、その中の共通パターンを探し出す（例えば、共通の透かし文字列）画像処理方法３００のフローチャートを示している。
【００３４】
図３に示されているように、方法３００は、ステップＳ３０５で開始されてから、ステップＳ３１０において、画像毎の特徴を抽出するように、全てのＮ枚の文書画像に対する処理を行う。従来の技術において、文書画像に対する特徴の抽出方法には多くのものを用いることができる。ここで使用する方法は、まずCANNY演算子を用いて全てのＮ枚の文書画像における全てのエッジを抽出してから、各エッジ点のエッジ強度の大きさを計算する。ここで、CANNY演算子は、グレイ階調画像に対する処理に適した常用のエッジ検出演算子であり、その更なる詳細は、J. F. Canny, "A computational approach to edge detection", IEEE trans. PAMI, 8(6), pp.679-698, 1986、を参照することができる。なお、その更なる多くの詳細は、http://www.pages.drexel.edu/~weg22/can_tut.htmlを参照することができる。
【００３５】
続いて、ステップＳ３１５において、ステップＳ３１０で計算して取得されたＮ枚の画像の全てのエッジ点のエッジ強度の大きさに基づいて、Ｎ枚の画像に対する階層分けを行う。仮に、Ｎ枚の画像をＣ個の階層に分けるとすると、各文書画像Ii（i=1、2、…、N）に対して、Ｃ枚の文書エッジ画像（それらは、それぞれ、第一から第Ｃまでの階層にある）を得ることができる。言い換えれば、Ｎ枚の画像をＣ個の階層に分けた後、合計で、Ｎ×Ｃ枚の文書のエッジ画像を取得することができ、そして、各階層のいずれも、Ｎ枚の文書のエッジ画像を有している。コピーや、スキャンなどの後続の処理によって、異なる文書画像のグレイ階調又は色収差などのパラメーターが変化して、互いに異なっていても、異なる文書画像の中の共通パターンのエッジ強度は一致している（ともに強められ、又はともに弱められる）。即ち、異なる文書画像の中の共通パターンのエッジ強度は相互に一致するものである。従って、Ｎ枚の画像に対する階層分けを行うと、共通パターンのエッジは、ほぼ同時にＣ個の階層の中のある一つの階層に現れるようになる。
【００３６】
図４は、前記の方法に従って図１に示した６枚の文書画像に対して、特徴抽出（即ち、エッジ検出）を行ってからそれを三つの階層（即ち、Ｃ＝３）に分けた場合に、共通パターンが所在する一つの階層における６枚の文書エッジ画像を示している。図４によって、図１に示した６枚の文書画像の中の共通パターン、即ち、共通の文字列の「CONFIDENTIAL」のエッジの何れも当該階層に現れることが分かる。
【００３７】
図３に戻って参照すると、方法３００は、ステップＳ３２０〜Ｓ３４５において、第一の階層から、各階層（lを用いて現在の処理中の階層を表す）におけるＮ枚の文書エッジ画像に対する処理を開始し、その中からその他のＮ−１枚の画像とのマッチングに最も優れる１枚の画像（信頼性が最高の画像と称してもよい）を基準画像として探し出す。そして、当該Ｎ−１枚の画像と基準画像とを合成して、合成エッジ画像を取得する。
【００３８】
具体的には、図３に示すように、ステップＳ３２０において、第１（ここで１は０＜１ ＜Ｃ＋１の自然数である）の階層における各画像（Iiを用いて表す）に対して平均予測誤差
【数１】
を計算する。
【００３９】
平均予測誤差
【数２】
の計算過程は、以下の通りである。まず、Ｎ枚の文書エッジ画像に対して、２枚ずつのマッチングを行い、２枚ずつのマッチングパラメータを取得する。２枚ずつの画像間の差異は、並進、回転及び／又は拡大縮小変換から見積もることができると仮定する。このようにして、第i枚と第j枚の２枚の画像間のマッチングパラメータMij (Pt, Pr, Ps)を計算することができ、ここで、Pt, Prと Psは、それぞれ、並進、回転及び拡大縮小変換に対応するパラメータであり、iとjはいずれも１とＮの間（二つの端点を含む）に介在している自然数であり、かつ、i≠jである。
【００４０】
ここで、２枚の画像間のマッチングパラメータは、従来の任意の一つの方法を用いて計算することができる。例えば、B. Srinivasa Reddy and B. N. Chatterji, "An FFT-Based Technique for Translation, Rotation and Scale-Invariant Image Registration", IEEE Transactions on Image Processing, Vol. 5, No. 8, 1996, pp. 1266-1271.に開示されている方法を用いて、マッチングパラメーターMijを計算することができる。
【００４１】
Ｎ枚の画像ついてみると、２枚ずつのマッチングを経て、Ｎ×（Ｎ−１)／２個のマッチングパラメータを計算することができる。もし、画像の２枚ずつのマッチングを経て、何れも正しいマッチングパラメータを計算することができれば、Ｎ×（Ｎ−１)／２個のマッチングパラメータには、冗長性があることは言うまでもない。各１枚の文書画像に対して、その他のＮ−１枚の画像と２枚のマッチングパラメータを計算することができ、そして、このＮ−１個のマッチングパラメータを用いて、その他のＮ−１枚の画像間のマッチングパラメータを予測することができる。例えば、第１枚と第２枚の画像間のマッチングパラメータM12と、第１枚と第３枚の画像間のマッチングパラメータM13とを用いて、第１枚の画像に対する第２枚と第３枚の画像間のマッチングパラメータM23の値（M231eを用いて表す）を予測することができる。即ち、第m枚と第i枚の画像間のマッチングパラメータMmi、及び第m枚と第j枚の画像間のマッチングパラメータMmjに基づいて、第m枚の画像に対する第i枚と第j枚の画像間のマッチングパラメータMijの値Mijmeを予測することができる。ここで、mは１とＮの間に介在する自然数（二つの端点を含む）であり、かつ、m≠i≠jである。
【００４２】
実際には、図１に示すように、多くの文書画像の中での共通パターンは全て欠落している。従って、実際に計算された２枚ずつのマッチングパラメータと予測された２枚ずつのマッチングパラメータの間には一定の誤差がある。即ち、第i枚と第j枚の画像間の２枚ずつのマッチングを行って計算されたマッチングパラメータMijと、マッチングパラメータMmiとMmjに基づいて予測されたマッチングパラメータMijmeとの間には、一定の誤差がある。以下に、この誤差を「第m枚の画像に対する第i枚と第j枚の画像間の予測誤差」と呼び、εijm(Pt, Pr, Ps)で表す。
【００４３】
上述のように、各１枚の画像に対して、その他のＮ−１枚の画像間の予測誤差を取得することができるので、当該画像に対する並進、回転及び／又は拡大縮小における予測誤差マトリックスをそれぞれ取得することができるようになる。
【００４４】
そして、各１枚の画像に対して、当該画像に対する並進、回転及び／又は拡大縮小のそれぞれに関する予測誤差マトリックスに基づいて、並進、回転及び拡大縮小の三つの要因を総合して考慮し、当該画像の平均予測誤差
【数３】
を計算する。ここで、従来の技術における任意の一つの知られている計算方法を用いて、１枚の画像の平均予測誤差
【数４】
を取得することができる（後でさらに詳細に説明する）。
【００４５】
図３に示すように、ステップＳ３２０で現在の階層の中の全てのＮ枚の画像の平均予測誤差を取得すると、方法３００の処理フローはステップＳ３２５に進み、当該階層における平均予測誤差が最も小さい画像を基準画像として特定する。ここで、平均予測誤差が最も小さい画像は、Ｎ枚の画像の中で、その他のＮ−１枚の画像とのマッチングに最も優れる画像であり、即ち、信頼性が最高の画像である。
【００４６】
ここでＮ枚の画像における平均予測誤差の最も小さい画像（即ち、Ｎ枚画像において、他のＮ−１枚の画像とのマッチングに最も優れる画像であり、信頼性が最高の画像といってもよい）を、基準画像として特定しているが、その他の適当な画像（例えば、二番目にマッチングが優れる画像）を基準画像としても、同様に本発明の目的を実現することができることを当業者は理解すべきである。例えば、計算されたＮ枚の画像の平均予測誤差を小さい順に並べると、先頭の１／ｎ（ｎは０より大きく、且つＮ以下の自然数であり、ｎの値は経験によって設定することができる）に並んでいる画像は、何れも、その他のＮ−１枚の画像とのマッチングに優れる１枚の画像であると認められ得る（又は、それを、信頼性がある画像と称してもよい）。或いは、経験によって予め平均予測誤差に対して一つの閾値を設定しておき、平均予測誤差が前記閾値より小さい画像は、いずれも、その他のＮ−１枚の画像とのマッチングに優れる画像（即ち、信頼性がある画像である）と認めることができ、これによって、前記の、その他のＮ−１枚の画像とのマッチングに優れる画像（即ち、信頼性がある画像）を基準画像として特定することになる。
【００４７】
続いて、ステップＳ３３０においては、基準画像を基礎として、先に計算された基準画像とその他のＮ−１枚の画像との２枚ずつのマッチングパラメータを利用して、並進、回転及び／又は拡大縮小変換を行うことによって、基準画像と同じ位置、角度及び大きさを有する（即ち、その他のＮ−１枚の画像を基準画像に合わせる）ように、その他のＮ−１枚の画像を変換する。そして、合わせた後のＮ枚の画像を合成して、１枚の合成された文書エッジ画像を得る。
【００４８】
ここで、従来の技術において知られている任意の方法を用いて、Ｎ枚の画像を合成する。例えば、比較的簡単な方法としては、変換して合わせた後のＮ枚の画像を、画素点毎に累積すると、各画素点における数値は、当該画素点における全ての重ね合わせた画像中のエッジ点の総数となる。そして、表示のために、取得された各画素点における０〜Ｎの数値を線形変換して、合成された画像を取得するものがある（例えば、０〜Ｎの数値を０〜２５５のグレイ階調の値に線形変換して、合成されたグレイ階調画像を得る）。なお、例えば、P. Shivakumara and G. Hemantha Kumar and D. S. Guru and P. Nagabhushan, "Sliding window based approach for document image mosaicing", Image Vision Comput., Vol. 24, No. 1, pp.94-100, 2006、及びAnthony Zappal and Andrew H. Gee and Michael Taylor, "Document mosaicing", Image Vision Comput., Vol. 17, No. 8, 1999, pp.589-595.に公開されている技術を用いて、合成を行ってもよい。
【００４９】
簡単のために、ここで、並進のみを例にして、図５〜７に基づいて、平均予測誤差の計算方法をさらに詳細に説明する。即ち、ここで各階層における全ての画像の２枚ずつのマッチングパラメータMij (Pt, Pr, Ps)中の回転パラメータPrと拡大縮小パラメータPsとは、いずれも０であるとすると、マッチングパラメータをMij (x, y)に簡素化することができる。ここで、xとyの値はそれぞれ、xとy方向における並進量を表す。
【００５０】
図５には、図４に示している６枚のエッジ画像に対して２枚ずつのマッチングを行って計算して取得した並進のマッチングパラメータMij (x, y)の値が示されている。図６には、前記した方法に従って図５に示している並進のマッチングパラメータに基づいて計算して取得した、画像１に対する予測並進のマッチングパラメータの値が示されている。ここで
【数５】
図７には、図５と図６に示している値に基づいて取得した、画像１に対する並進予測誤差εij1(x, y)の値が示されている。ここで
【数６】
図５〜７に示すように、（NA, NA）或いはN/Aは無効な値を表し、それらの値に対しては計算する必要がないことを示す。
【００５１】
以上に記載のように、任意の知られている方法を用いて、図７に示している並進予測誤差εij1(x, y)に対して計算を行うことにより、画像１の平均予測誤差
【数７】
を求めることができる。ここで使用された比較的簡単な方法は、図７に示す、全ての有効な予測誤差値に対してxとy方向の総平均値を求めることである。具体的にいうと、図７に示したマトリックスにおいて、有効な２０個の位置でのxとyの値をそれぞれ加算して得られた和sum(x)とsum(y)に対して、総平均値を求める。即ち
【数８】
従って、求められた画像１の平均予測誤差は１．０５となる。このようにして、同様な方法に従って、全てのＮ枚の画像の平均予測誤差を取得することができる。
【００５２】
以上、並進の変換のみを例として、図５〜７に基づいて、如何にして１枚の画像の平均予測誤差を計算するかを記述したが、当業者は、同時に並進、回転及び／又は拡大縮小を考慮する場合に、如何にして１枚の画像の平均予測誤差を計算するかを容易に想到することができる。例えば、比較的簡単な方法として、前記した方法に従って、それぞれ１枚の画像の平均並進予測誤差、平均回転予測誤差と平均拡大縮小予測誤差を計算してから、これらの三つの誤差値に対して加重平均を行い、当該画像の平均予測誤差を得るものがある。
【００５３】
図８には、前記の方法に従って特定された基準画像に基づいて、図４に示した文書のエッジ画像を合成して取得した合成文書エッジ画像が示されている。図８から、共通パターンの他に、当該合成文書エッジ画像の中には、常に若干のノイズが存在していることが分かる。
【００５４】
図３に戻って参照すると、さらにノイズの影響を除去して理想の結果を得るために、図３に示すように、ステップＳ３３５においては、ステップＳ３３０で取得された合成文書エッジ画像に対して、ノイズ除去処理が行われる。
【００５５】
例えば、以上に記載のように、変換後のＮ枚の画像に対して、画素点毎に累積することによって画像の合成を行う場合には、もし、合成文書エッジ画像中のいずれか１つの画素点の数値が一定の閾値Ｔより小さければ、当該画素点の位置における重ね合わせたエッジ点の数は充分ではないことが分かる。従って、当該画素点をノイズ点と認めて、当該点の数値を０（即ち、背景に設置する）にする。図９には、図８に示す共通のパターンが所在する階層における合成文書エッジ画像に対してノイズ除去処理（即ち、背景を除去する）を行ってから取得したエッジ画像が示されている。従来の技術において知られているその他のノイズ除去の方法を用いてもよいことはいうまでもない。
【００５６】
図１０には、非特許文献１に公開されている方法に従って、任意の１枚の文書画像（平均予測誤差が最も小さくない文書画像）を選択して基準画像とすることによって取得された、共通パターンを含む合成文書エッジ画像（ここで既にノイズ除去処理を行った）が示されている。図９及び１０に示した画像を比較すると、図９における“C”、“N”と“F”などの幾つかの透かし文字は、従来の方法を用いて取得した結果（図１０）よりさらに明晰になっていることが容易にわかる。
【００５７】
また、再度図３に戻って参考にすると、図に示すように、方法３００の処理フローでは、ノイズ除去処理（即ち、ステップＳ３３５）を行ってからステップＳ３４０に進み、現在の階層の全ての画像の平均類似度が計算される。
【００５８】
上記に言及されたように、本発明には、複数枚の画像間の関連性が考慮されている。そのため、画像類似度を計算するときに、予測精度確率Pというパラメータが導入されており、画像の平均予測誤差の当該画像の類似度に対する影響を表すのに用いられる。
【００５９】
ここで使用された、予測精度確率Piを計算する比較的簡単な方法は、以下の式で示される。
【数９】
ここで、
【数１０】
は第i枚の画像の平均予測誤差、
【数１１】
は予め設定された最大の平均予測誤差値である。ここで、
【数１２】
は、平均予測誤差のパラメータが、並進、回転及び／又は拡大縮小で取り得る値の範囲を表す。このように、計算された予測精度確率Piの値は０と１（二つの端点を含む）間に介在する。
【００６０】
計算された予測精度確率Piを用いると、第i枚の文書画像の類似度は以下のように定義される。
【数１３】
ここで、CONF2(i, j)は、第i枚の画像と第j枚の画像との類似度（この２枚の画像は既に並進、回転及び／又は拡大縮小変換して互いに合わせたものである）を表す。
【００６１】
理想状態では、画像の平均予測誤差は０となるので、式（4）によって、Pi＝1となり、この時、本発明において計算された画像の類似度と従来の方法に従って取得された類似度とは、同じになるが、非理想状態では、画像の平均予測誤差は０ではないので、Pi < 1となり、従って、予測精度確率Piにより、第i枚の画像の平均予測誤差の当該画像の類似度に対する影響が表されることになる。
【００６２】
２値の画像に対しては、２枚の画像（それらを既に互いに重ね合わせたと仮定する）間の類似度を計算する比較的簡単な方法は、以下とおりである。
【数１４】
【００６３】
本発明による方法３００において、その他の任意の知られている方法を用いて２枚の画像間の類似度を計算してもよい。更に、必要に応じて上記式（5）を修正してもよい。
【００６４】
そして、現在の階層のすべての画像の平均類似度を以下のように定義することができる。
【数１５】
【００６５】
また、再度図３を参照すると、ステップＳ３４０において現在の階層の平均類似度が計算されると、方法３００の処理はステップＳ３４５に進み、ここでは、全てのＣ階層に対する処理が完成されたか否かが判断される。もし、ステップＳ３４５においてまだ全てのＣ階層に対する処理が完成されていないと判断されれば、l に1を加え、方法３００の処理をステップＳ３２０に戻し、次の階層（即ち、第l＋1階層）における全てのＮ枚の画像に対してステップＳ３２０からステップＳ３４０までの処理を繰り返す。
【００６６】
以上に記載のように、画像特徴の抽出過程において、Ｎ枚の画像に対する階層分けを行って、各画像を異なる画像エッジ強度に従ってＣ個の階層に分ける。そして、透かしのような共通画像はＣ個の階層中の何れかの階層に集中するが、具体的に、どの階層であるかは、まだわからない。従って、各階層のそれぞれにおける全てのＮ枚の文書エッジ画像のいずれにも、ステップＳ３２０からステップＳ３３５までの処理を行い、そして、ステップＳ３４０に示すように、各階層のそれぞれに対して、当該階層の平均類似度を計算することになる。
【００６７】
図３に示すように、もしステップＳ３４５において、既に全てのＣ個の階層に対する処理が完成したと判断された場合は、方法３００の処理フローは、ステップＳ３５０に進み、平均類似度が最大の階層を共通パターンが所在する階層として特定するので、平均類似度が最大の階層の合成文書エッジ画像（既にノイズ除去処理を行った）を、共通パターンを含むエッジ画像として特定することができ、共通パターンを探し出すか、又は特定することができるようになる。
【００６８】
上で言及したように、方法３００のステップＳ３４０において使用される類似度のアルゴリズムには、複数枚の画像間の関連性が考慮されている。即ち、予測誤差の類似度の精度に対する影響が考慮されている。従って、従来の方法に比べると、本願に係る技術における方法は、より正確な結果を取得することができる。例えば、上に記載したような、複数枚の画像から共通パターンを探し出す応用の場合には、複数枚の画像において、偶然に２枚の画像が非常に類似していると、これらの２枚の画像間の類似度がかなり高くなる。これによって、Ｎ枚の画像の平均類似度（予測誤差の類似度の精度に対する影響を考慮しない場合の）が大きくなる可能性がある。しかし、これらの２枚の画像が、その他のＮ−２枚の画像と良好にマッチングできないならば、それらの平均予測誤差はかなり高くなる。このように、本発明によれば、それらの予測精度確率を低減し、これらの２枚の画像の類似度CONFiを低減することができるので、それによってＮ枚の画像の平均類似度も低減することができる。
【００６９】
例えば、図１１には、図３に示している方法３００を用いて、図１に示す６枚の文書画像に対して、エッジ強度に従って階層分けを行った後の第一の階層における２枚ずつの画像間の類似度の値、及び当該階層における各文書エッジ画像の予測精度確率の値が示されているが、図１２には第二の階層（当該階層は、共通パターンを含む階層である）における２枚ずつの画像間の類似度の値、及び当該階層における各画像の予測精度確率の値が示されている。
【００７０】
図１１に示した状況では、予測精度確率を考慮しない場合には、和を求めてから、平均をすることによって取得された平均類似度の値は0.0484となる。しかし、予測精度確率の影響を考慮すれば、上記式（5）に従って、６枚の画像の類似度はそれぞれ0.0032、0.0178、0.0334、0.0207、0.0298、及び0.0246となる。このようにして、上記式（7）によれば、図１１に示している第一の階層の平均類似度は0.0216となる。
【００７１】
図１２に示した状況では、もし予測精度確率を考慮しないならば、和を求めてから平均をすることによって取得された平均類似度は0.0364となる。しかし、予測精度確率の影響を考慮すれば、上記式（5）に従って、６枚の画像の類似度はそれぞれ0.0299、0.0347、0.0334、0.0271、0.0315、及び0.0326となる。このようにして、上記式（7）によれば、図１２に示した第二の階層の平均類似度は0.0315となる。
【００７２】
従って、もし予測精度確率を考慮せず、平均類似度の値に従って選択するなら、誤って図１１で表された第一の階層がその中に共通パターンを含む階層であると認められることになる。しかし、予測精度確率を考慮すれば、共通パターンを含む階層（即ち、図１２で表された第二の階層）における文書エッジ画像の平均類似度は共通パターンを含まない階層（図１１で表された第一の階層）における文書エッジ画像の平均類似度より高くなる。即ち、予測精度確率が考慮された場合に計算された平均類似度が大きい階層を、その中に共通パターンを含む階層として正確に特定することができるので、正確な結果を取得することができる。
【００７３】
以上、図３に示したフローチャートに基づいて、図１に示す６枚の文書グレイ階調画像を例として、本発明による画像処理方法を記述したが、当業者は、図３に示したフローチャートが単に例示的なものであり、実際の応用と具体的な要求に応じて、図３に示される方法のフローに対して相応する修正することができることは明らかなはずである。
【００７４】
必要に応じて、図３に示した方法３００における一部のステップの実行順序を調整し、又は、一部の処理ステップを省略或いは付加してもよい。例えば、図３には、平均類似度を計算する処理（即ち、ステップＳ３４０）が、画像に対する合成とノイズ除去の処理（即ち、ステップＳ３３０とＳ３３５）を実行した後に実行されるように示されているが、勿論、それらを並行して実行してもよい、又は順序を逆にして実行してもよい。
【００７５】
図１３には本発明による他の実施例の画像処理方法１３００が示されている。それは図３に示される方法３００の一変形例である。
【００７６】
図３と１３に示される方法のフローチャートから、ステップＳ１３０５〜Ｓ１３４５における処理過程は、図３に示すステップＳ３０５〜Ｓ３２５、Ｓ３４０〜Ｓ３４５、Ｓ３３０〜Ｓ３３５における処理過程と類似していることが分かる。それらの違いは単に以下だけにある。即ち、図１３に示すように、ステップＳ１３４０における画像合成処理とステップＳ１３４５におけるノイズ除去処理は、平均類似度の計算のステップＳ１３３０の後に実行される。このとき、全ての階層に対して処理を行う必要はなく、平均類似度が最大の階層（共通パターンが所在する階層）のみにおけるＮ枚の画像に対して、合成とノイズ除去処理が行われ、ステップＳ３５０は省略されることになる。これにより、図３に示される方法に比べて、計算量を減少することができる。重複を防ぐために、ここでは、再び図１３に示した各ステップにおける具体的な処理過程は記述しない。
【００７７】
勿論、図３に示した方法３００又は図１３に示した方法１３００に対して他の修正をしてもよく、例えば、図１３に示したステップＳ１３２５は、ステップＳ１３３５とステップＳ１３４０との間で実行されてもよい。そして、当業者は、完全に相応するフローチャートを容易に描くことができるが、簡単のためここで一つ一つに詳述しない。
【００７８】
そして、上に言及した、画像特徴抽出処理と、エッジ検出処理と、画像に対する階層分けの処理と、２枚ずつの画像のマッチングパラメータを用いて画像の平均予測誤差を計算する処理と、複数枚の画像に対する合成の処理と、画像のノイズ除去の処理と、２枚ずつの画像の類似度を計算する処理と、予測精度確率を利用して１枚の画像のその他の画像との類似度を計算する処理等は、勿論、任意の一つの知られている技術を用いて行うことができ、以上に記述されたいずれかの具体的な方法には限定されない。
【００７９】
なお、以上、文書グレイ階調画像を例として本願に係る技術による画像処理方法に対して記述したが、勿論、当該方法は、文書画像に対する処理に限定されることはなく、任意のグレイ階調画像に対する処理に適用でき、またカラー画像に対する処理にも適用できる。例えば、複数枚のカラー画像から共通パターンを探し出す応用には、図３に示したステップＳ３１０の前に、カラー→グレイ変換によって複数枚のカラー画像をグレイ階調画像に変換してから、また、図３又は図１３に示した方法を用いて処理を行う。あるいは、ステップＳ３１０又はステップＳ１３１０において直接にカラー画像から特徴抽出を行う。例えば、直接にカラー画像からエッジ情報を抽出してエッジ強度を計算する（例えば、趙景秀等によって発表された文書"カラー情報の区分度によるカラーエッジ検出", 計算机応用, 第8号, 2001.を参照することができる）。
【００８０】
また、以上ではエッジ情報を抽出してエッジ強度を計算することを例として、本願に係る技術による画像処理方法における、画像に対する特徴抽出と階層分けに関する処理を記述したが、勿論、本願に係る技術による画像処理方法は、これに限定されるものではなく、本願に係る技術は、様々な既知の画像特徴抽出方法及び特徴抽出結果によって画像に対して階層分けを行う方法を応用することができる。特徴抽出の結果によって共通パターン画像がほぼ同じ階層に分けられる方法であればよい。例えば、エッジ強度の大きさではなく、共通パターンの色（カラー画像に対する）又は、画素グレイ階調の値（グレイ階調画像に対する）に従って階層分けを行う場合には、同様に類似の結果を得ることができる。例えば、処理対象のカラー画像又はグレイ階調画像に対して特徴抽出を行った後に、共通パターンの色、或いは、グレイ階調の画素値が互いに一致性を有するという仮定に基づいて、色又はグレイ階調の画素値に従って階層分けを行うことによっても、共通パターンの画像をほぼ同一の階層に分けることができる。
【００８１】
そして、以上、本願に係る技術による方法を記述する際には、平均予測誤差と予測精度確率の概念が導入され、それらの計算方法も与えた。本願に開示された内容を利用する当業者であれば、必要に応じて上述の概念と計算方法を拡張することができるが、ここでは一つ一つについては詳述しない。
【００８２】
以上では、複数枚の文書画像から、例えば透かしという共通パターンを探し出す応用だけを記述したが、図３に示した画像処理方法３００、又は図１３に示した方法１３００は複数枚の画像に対してつなぎ合わせを行う応用に適用してもよい。通常の場合には、つなぎ合わせようとする複数枚の画像同士は並進に加えて、サイズ（拡大縮小）と角度（回転）の変化が発生する可能性があり、さらに類似の透視変形又は湾曲変形という状況が発生する可能性がある。このような場合には、上記の方法３００又は１３００を用いて共通パターンを探し出す前には、前処理部分を必要とし、それによって、複数枚の画像の何れも、一致したサイズ、角度及び変形係数を有するか、或いは、複数枚の画像における共通パターンが、位置、サイズ、角度と変形係数などにより構成された高次元のパラメータ空間において一致するようにする。そして、つなぎ合わせようとする複数枚の画像における共通パターンを探し出すと、複数枚の画像中の共通する“一つの原点”が探し出されたことになる。そして、それによって、つなぎ合わせようとする複数枚の画像の相対的な位置を特定して、複数枚の画像に対してつなぎ合わせによる合成を行うことで、画像のつなぎ合わせを実現することができる。画像のつなぎ合わせの技術については、現在知られている方法は非常に多い。例えば、特許文献１或いは特許文献２に開示されている方法を用いてつなぎ合わせを行ってもよい。勿論、その他の方法を用いても良い、ここでは簡単のため一つ一つは詳述しない。
【００８３】
なお、当業者であれば、以上図３と１３に基づいて記述された画像処理方法における一部の処理過程、例えば、複数枚の画像からその他の各画像と最も良くマッチングする１枚の画像を探し出して基準画像とするのに用いられる処理過程、複数枚の画像同士の関連性を考慮する場合に、複数枚の画像に対して平均類似度を計算するのに用いられる処理過程等は、勿論、必要に応じて本願実施例に示した画像処理以外にも各種応用に用いられ得ることがわかるはずである。
【００８４】
以下に図１４に基づいて、本発明による一つの実施例の複数枚の処理対象の画像から共通パターンを探し出すか、又は特定するのに用いられる画像処理装置を記述する。
【００８５】
図１４には、本発明による一つの実施例の画像処理装置１４００の概念的なブロック図が示されている。当該画像処理装置１４００は、図３に示した方法３００、又は図１３に示した方法１３００を利用することができる。図１４に示すように、画像処理装置１４００は画像特徴抽出ユニット１４１０と、基準画像特定ユニット１４２０と、平均類似度計算ユニット１４３０と、画像合成ユニット１４４０及びノイズ除去ユニット１４５０を含む。
【００８６】
ここで、画像特徴抽出ユニット１４１０は、受け取った複数枚（例えばＮ枚）の処理対象の画像（グレイ階調画像又はカラー画像であることができる）に対して階層分けを行うために、Ｎ枚の画像から、画像特徴を抽出するのに用いられる。例えば、以上に記述したように、画像特徴抽出ユニット１４１０は、エッジ検出演算子を利用して画像中の全てのエッジを抽出し、各エッジ点のエッジ強度の大きさを計算し、エッジ強度の大きさに基づいてＮ枚の画像をＣ個の階層に分けて、Ｎ×Ｃ枚の画像を取得する。
【００８７】
基準画像特定ユニット１４２０は、画像特徴抽出ユニット１４１０により取得された各階層のそれぞれにおけるＮ枚の画像（例えば、エッジ画像）から、以上に記述された方法を用いて、１枚の適当な画像（残りのＮ−１枚の画像とのマッチングに最も優れる画像であり、具体的に例えば、平均予測誤差が最小の画像である）を、当該階層の基準画像として特定するのに用いられる。
【００８８】
平均類似度計算ユニット１４３０は、以上に記述の方法に従って、予測誤差の類似度の精度に対する影響を考慮する場合に（例えば、各画像の平均予測誤差を利用して予測精度確率を計算する）、各階層における全ての画像の平均類似度を計算するのに用いられる。
【００８９】
画像合成ユニット１４４０は、一つの階層中の全ての画像に対して、基準画像を基礎とし、並進、回転及び／又は拡大縮小変換等を行うことによって、基準画像以外のＮ−１枚の画像を基準画像に合わせ、Ｎ枚の画像を合成するのに用いられる（例えば、エッジ画像の場合には、画素点毎にその数値を累積し、合成された画像の各画素点における数値は、当該点における全ての重ね合わせたエッジ点の総数である）。ここで、画像合成ユニット１４４０は、各階層のそれぞれの画像を合成しても良く、或いは、計算を簡素化するために、画像合成ユニット１４４０は、平均類似度計算ユニットの計算結果によって、平均類似度が最大の階層の画像のみを合成してもよい。
【００９０】
ノイズ除去ユニット１４５０は、合成画像に存在する必要以上のノイズを除去するために、画像合成ユニット１４４０により合成された画像に対してノイズ除去処理を行うのに用いられる。
【００９１】
上で既に具体的な各処理過程について詳細に記述したことに鑑み、重複を回避するため、ここでは再度前記各ユニットの具体的な処理過程は詳述しない。
【００９２】
ここで説明する必要があるのは、図１４に示した画像処理装置１４００の構成は、単に例示的なものであり、当業者は、必要に応じて図１４に示している構成のブロック図を修正してもよいということである。例えば、画像合成ユニット１４４０の合成画像の品質が予め決めた要求を満たすことができれば、ノイズ除去ユニット１４５０を省略することができる。また、処理対象の複数枚の画像がカラー画像である場合には、画像特徴抽出ユニット１４１０の前にカラー−グレイ階調変換ユニットを付加しても良い。それは、カラー−グレイ階調変換によりＮ枚のカラー画像をＮ枚のグレイ階調画像に変換するのに用いられる。
【００９３】
上に言及したように、本願に係る技術による画像処理方法３００と１３００及び画像処理装置１４００は、図２に示した汎用のデータ処理システムに適用することができる。しかし、本願に係る技術による画像処理方法及び装置は、勿論、図２に示しているものと異なるシステム又はデバイスに用いられても良い。例えば、それらは、スキャナ、複写機または多機能一体機等のデバイスに適用することができる。そして、当該スキャナ、複写機または多機能一体機等のデバイスが、複数枚の文書画像からその中に埋め込まれた透かしを抽出することができるようにして、文書に対する管理を行い、会社内部の機密な文書をコピー又は複写することに対して監視、警報するのに用いることができる。
【００９４】
なお、勿論、本願に係る技術による前記の方法における各操作過程は、デバイスが読み取り可能な各種の記憶媒体に記憶された、コンピュータで実行可能なプログラムでも実現することができる。
【００９５】
そして、本願に係る技術の目的は、以下の方式によって達成することもできる。即ち、前記の実行可能なプログラムのコードを記憶している記憶媒体を、システム又はデバイスに直接又は間接に提供し、当該システム又はデバイスにおけるコンピュータ又は中央処理装置（ＣＰＵ）が、前記のプログラムのコードを読み出し、実行する。
【００９６】
この場合に、当該システム又はデバイスはプログラムを実行する機能を有すれば、本願に係る技術の実施方式はプログラムに限定されず、そして、当該プログラムは任意の形式であってもよい。例えば、オブジェクトプログラム、インタプリタにより実行されるプログラム又は操作システムに提供するシナリオプログラム等である。
【００９７】
前記のこれらのデバイスに読み取り可能な記憶媒体は、各種メモリやメモリセル、半導体デバイス、例えば光、磁気及び光磁気ディスク等のディスクユニット、及びその他の情報を記憶するのに適する媒体等を含むが、それらに限定されるものではない。
【００９８】
また、クライントコンピュータが、インターネットにおける相応するウェブサイトに接続して、本願に係る技術によるコンピュータのプログラムのコードをコンピュータにダウンロードし、インストールしてから当該プログラムを実行することによっても、本願に係る技術を実現することができる。
【００９９】
最後に、説明する必要があるのは、本出願では、例えば第一や第二という関係用語は、ただ一つの実体又は操作を他の実体又は操作から区別するため用いられたものであり、これら実体又は操作間に如何なるこのような実際の関係又は順序があることを要求又は暗示するものではない。そして、“有する”、“含む”又は如何なる他の変形表現も、非排他的な「含む」をカバーしている。従って、一連の要素を含む過程、方法、物品又はデバイスは、それらの要素を含むだけではなく、明確に記載されていないその他の要素も含み、或いは、このような過程、方法、物品又はデバイスに固有の要素も含む。より多くの制限がない場合に、「一つの……を含む」の言葉で限定される要素は、前記の要素を含む過程、方法、物品又はデバイスに、更にその他の同様な要素が存在することを排除しないものである。
【０１００】
以上、本願に係る技術の実施例について図面に基づいて詳細に記述したが、理解すべきであるのは、上記の実施の形態は、本願に係る技術を説明するのみであり、本願に係る技術に対する制限にはならないということである。当業者であれば、本願に係る技術の主旨と範囲から逸脱しない範囲で、前記の実施の形態に対する各種の修正と変更を行うことができる。このため、本願に係る技術の範囲は、添付の特許請求の範囲及びその均等の意味によって限定されるだけである。
【０１０１】
（付記１）画像処理装置がＮ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）画像処理方法であって、
Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像をＣ個の階層に分けることによりＮ×Ｃ枚の画像を得るステップ（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の画像の平均類似度を計算するステップと、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像とし、該基準画像を基にして当該階層におけるＮ枚の画像を合成した合成画像を共通パターンを含む画像として特定するステップと、
を前記画像処理装置が実行することを特徴とする画像処理方法。
【０１０２】
（付記２）前記階層におけるＮ枚の画像における各画像に対して、前記平均予測誤差を計算するステップをさらに含み、
前記平均予測誤差を計算するステップは、
当該画像と残りのＮ−１枚の画像との２枚ずつの画像間のマッチングパラメータに基づいて、当該画像に対する残りのＮ−１枚の画像の２枚ずつの画像間の予測マッチングパラメータを計算し、当該画像に対する予測マッチングパラメータマトリックスを取得するステップと、
当該画像に対する前記予測マッチングパラメータマトリックスに基づいて、当該画像の前記平均予測誤差を計算するステップと、
を含むことを特徴とする付記１に記載の画像処理方法。
【０１０３】
（付記３）各階層におけるＮ枚の画像の前記平均類似度を計算するステップは、
各画像の前記平均予測誤差に基づいて、各画像の予測精度確率を計算するステップと、
各画像と残りのＮ−１枚の画像との２枚ずつの画像間の類似度に基づいて、各画像の前記予測精度確率を用いて各画像の類似度を計算するステップと、
各画像の類似度に基づいてＮ枚の画像の前記平均類似度を計算するステップと、
を含むことを特徴とする付記２に記載の画像処理方法。
【０１０４】
（付記４）画像の特徴抽出を行い、前記特徴抽出の結果に基づいて前記Ｎ枚の画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得るステップは、
エッジ検出演算子を用いて当該Ｎ枚の画像におけるすべてのエッジを抽出するステップと、
各エッジ点におけるエッジ強度の大きさを計算するステップと、
計算された前記エッジ強度の大きさに基づいて当該Ｎ枚の画像を前記Ｃ個の階層に分けるステップと、
を含むことを特徴とする付記１〜３のいずれか１つに記載の画像処理方法。
【０１０５】
（付記５）前記Ｎ枚の処理対象の画像はグレイ階調画像であり、前記エッジ検出演算子はＣＡＮＮＹ演算子であることを特徴とする付記４に記載の画像処理方法。
【０１０６】
（付記６）前記Ｎ枚の処理対象の画像はカラー画像であり、前記エッジ検出演算子はカラー画像からエッジ情報を抽出することを特徴とする付記４に記載の画像処理方法。
【０１０７】
（付記７）前記Ｎ枚の処理対象の画像はカラー画像であり、画像の特徴抽出を行う前に、カラー−グレイ階調変換によりＮ枚のグレイ階調画像を取得するステップをさらに含み、前記エッジ検出演算子はＣＡＮＮＹ演算子であることを特徴とする付記４に記載の画像処理方法。
【０１０８】
（付記８）前記合成画像を取得するステップをさらに含み、当該合成画像を取得するステップは、
前記階層における残りのＮ−１枚の画像と前記基準画像を合わせるステップと、
合わせたＮ枚の画像を画素点ごとに累積することにより、当該画素点における全ての重ね合わせたエッジ点の総数を計算し、合成されたエッジ画像を前記合成画像として当該総数に基づいて取得するステップと、
を含むことを特徴とする付記４に記載の画像処理方法。
【０１０９】
（付記９）前記合成画像に対してノイズ除去を行うステップをさらに含み、前記合成画像を共通パターンを含む画像として特定するステップは、ノイズ除去後の前記合成画像を、共通パターンを含む画像として特定することを特徴とする付記１〜３のいずれか１つに記載の画像処理方法。
【０１１０】
（付記１０）前記Ｎ枚の処理対象の画像は文書画像であり、前記共通パターンは文書画像中に埋め込まれた透かしであることを特徴とする付記１〜３のいずれか１つに記載の画像処理方法。
【０１１１】
（付記１１）２枚ずつの画像間の前記マッチングパラメータは、並進、回転及び／又は拡大縮小変換に係るマッチングパラメータを含むことを特徴とする付記２又は３に記載の画像処理方法。
【０１１２】
（付記１２）Ｎ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）画像処理装置であって、
Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像をＣ個の階層に分けることによりＮ×Ｃ枚の画像を得る画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の画像の平均類似度を計算する平均類似度計算部と、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像として特定する基準画像特定部と、
前記基準画像を基にして当該階層におけるＮ枚の画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、
を備えたことを特徴とする画像処理装置。
【０１１３】
（付記１３）前記基準画像特定部は、
前記１つの階層におけるＮ枚の画像における各画像と残りのＮ−１枚の画像との２枚ずつの画像間のマッチングパラメータに基づいて、各画像に対する残りのＮ−１枚の画像の２枚ずつの画像間の予測マッチングパラメータを計算し、各画像に対する予測マッチングパラメータマトリックスを取得する予測パラメータマトリックス取得部と、
各画像に対する前記予測マッチングパラメータマトリックスに基づいて、各画像の平均予測誤差を計算する平均予測誤差計算部と、
を含むことを特徴とする付記１２に記載の画像処理装置。
【０１１４】
（付記１４）前記平均類似度計算部は、
Ｎ枚の画像における各画像の前記平均予測誤差に基づいて、各画像の予測精度確率を計算する予測精度確率計算部と、
Ｎ枚の画像における各画像と残りのＮ−１枚の画像との２枚ずつの画像間の類似度に基づいて、各画像の前記予測精度確率を用いて各画像の類似度を計算する類似度計算部と、
を備え、
Ｎ枚の画像における各画像の前記類似度に基づいて、Ｎ枚の画像の前記平均類似度を計算することを特徴とする付記１３に記載の画像処理装置。
【０１１５】
（付記１５）前記画像特徴抽出部は、
エッジ検出演算子を用いて前記Ｎ枚の画像におけるすべてのエッジを抽出するエッジ抽出部と、
各エッジ点におけるエッジ強度の大きさを計算するエッジ強度計算部と、
を備え、
計算された前記エッジ強度の大きさに基づいてＮ枚の画像を前記Ｃ個の階層に分けることを特徴とする付記１２〜１４のいずれか１つに記載の画像処理装置。
【０１１６】
（付記１６）前記Ｎ枚の処理対象の画像はグレイ階調画像であり、前記エッジ検出演算子はＣＡＮＮＹ演算子であることを特徴とする付記１５に記載の画像処理装置。
【０１１７】
（付記１７）前記Ｎ枚の処理対象の画像はカラー画像であり、前記エッジ検出演算子はカラー画像から直接エッジ情報を抽出することを特徴とする付記１５に記載の画像処理装置。
【０１１８】
（付記１８）前記Ｎ枚の処理対象の画像はカラー画像であり、
前記画像処理装置は、カラー−グレイ階調変換によりＮ枚のカラー画像をＮ枚のグレイ階調画像に変換するカラー−グレイ階調変換部をさらに備え、
前記エッジ検出演算子はＣＡＮＮＹ演算子であることを特徴とする付記１５に記載の画像処理装置。
【０１１９】
（付記１９）前記画像合成部は、当該階層における残りのＮ−１枚の画像と基準画像とを合わせ、合わせたＮ枚の画像を画素点ごとに累積することにより、当該画素点における全ての重ね合わせたエッジ点の総数を計算し、合成されたエッジ画像を前記合成画像として当該総数に基づいて取得することを特徴とする付記１５に記載の画像処理装置。
【０１２０】
（付記２０）前記画像合成部によって合成された合成画像に対してノイズ除去処理を行うノイズ除去部をさらに備え、前記画像合成部は、ノイズ除去後の合成画像を前記共通パターンを含む画像として特定することを特徴とする付記１２〜１４のいずれか１つに記載の画像処理装置。
【０１２１】
（付記２１）前記Ｎ枚の処理対象の画像は、文書画像であり、前記共通パターンは文書画像中に埋め込まれた透かしであることを特徴とする付記１２〜１４のいずれか１つに記載の画像処理装置。
【０１２２】
（付記２２）２枚ずつの画像間の前記マッチングパラメータは、並進、回転及び／又は拡大縮小変換に係るマッチングパラメータを含むことを特徴とする付記１３又は１４に記載の画像処理装置。
【０１２３】
（付記２３）Ｎ枚の処理対象の画像から、当該Ｎ枚の文書画像に埋め込まれた透かしを含む画像を特定する（ここで、Ｎは３以上の自然数である）透かし検出システムであって、
Ｎ枚の文書画像に対して文書画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の文書画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得る画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の文書画像の平均類似度を計算する平均類似度計算部と、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい文書画像を基準画像として特定する基準画像特定部と、
前記基準画像を基にして当該階層におけるＮ枚の文書画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、
を備えたことを特徴とする透かし検出システム。
【０１２４】
（付記２４）前記透かし検出システムは、スキャナ、複写機、又は多機能一体機に集積されていることを特徴とする付記２３に記載の透かし検出システム。
【符号の説明】
【０１２５】
２００ データ処理システム
２０２ プロセッサ
２０４ プロセッサ
２０６ システムバス
２０８ メモリコントローラ／高速バッファー
２０９ ローカルメモリ
２１０ Ｉ／Ｏブリッジ
２１２ Ｉ／Ｏバス
２１４ ＰＣＩバスブリッジ
２１６ ＰＣＩバス
２１８ モデム
２２０ ネットワークアダプター
２２２ ＰＣＩバスブリッジ
２２４ ＰＣＩバスブリッジ
２２６ ＰＣＩバス
２２８ ＰＣＩバス
２３０ グラッフィックアダプター
２３２ ハードディスク
３００ 画像処理方法
１３００ 画像処理方法
１４００ 画像処理装置
１４１０ 画像特徴抽出ユニット
１４２０ 基準画像特定ユニット
１４３０ 平均類似度計算ユニット
１４４０ 画像合成ユニット
１４５０ ノイズ除去ユニット
【技術分野】
【０００１】
本発明は、画像処理分野に関し、特に複数枚の処理対象の画像から、その形状、色と位置等がこれら複数枚の文書画像のいずれにおいても同じである共通パターンを探し出すか、又は特定するのに用いられる技術に関する。
【背景技術】
【０００２】
コンピュータ技術とデジタル技術が進むに伴い、複数枚の画像からそれらの間の共通パターンを探し出すことについての要求が多くなりつつある。例えば、文書に対する標識や著作権保護等の各種類の目的から、現在多くのMicrosoft（登録商標） Office Word文書或いはPowerPoint（登録商標）文書の背景に、いずれにも、数字、文字又は図形等の透かしが埋め込まれている。しかし、それに続き、電子文書を印刷して取得された紙文書に対して更なる処理が要求される。例えば、コピー又はスキャンするときに、しばしば、書類の完全性を確保するように、文書画像から透かしを抽出し、抽出された透かしに対して認証すること、及び／または、本文の部分だけを保持するように、文書画像から透かしを除去することなどが求められる。
【０００３】
また、デジタルカメラ、スキャナなどのデバイスにより、大きなサイズ有する対象或いは広い範囲を有するシーンを撮影又はスキャンするときに、当該対象又はシーンの画像を一度に取得することができないので、当該対象を連続的にスキャンしたり、当該シーンを多くの角度から連続的に撮影したりして、複数枚の画像を取得し、その複数枚の画像間の共通部分を探し出し、それに基づいて、取得した複数枚の画像に対するつなぎ合わせを行う必要がしばしば生じる。その他にも、複数枚の画像からそれらの間の共通パターンを探し出すことには、多くの応用の可能性がある。
【０００４】
このため、従来、画像から共通パターンを探し出す方法が多く提案されている。例えば、非特許文献１には、パターンの色の同一性に基づいて複数枚の文書画像から共通の機密パターンを抽出する方法が開示されている。ここでは、まず各文書画像に対して色を分類し、第一枚目の文書画像を基準画像として、一色ごとの分類において、それにその他の文書画像を合わせ、全ての画像を累積し、そして、共通パターンの色の同一性に基づいて重ね合わせ確率が最高の合成画像を共通パターンとして特定する。
【０００５】
また、従来の技術においては、画像のつなぎ合わせを実現するのに用いられる多くの方法及びシステムも提案されている。例えば、特許文献１、及び特許文献２においては、それぞれ計算された２枚ずつの部分画像間の重複量に基づいて、複数枚の部分画像に対してつなぎ合わせ又は、合成を行うのに用いられる方法及び装置が開示されている。
【０００６】
しかし、従来提案されている各種方法及び装置においては、処理対象の複数枚の画像に対して２枚ずつの処理を行うか、又は、その中のいずれか１枚の画像を基準画像として２枚以上の画像に対して処理を行うが、何れにおいても処理対象の複数枚の画像間の関連性が考慮されていない。
【０００７】
また、画像間の共通パターンがある程度劣化している場合が考慮されていない。実際には、処理対象の複数枚の画像には常に共通パターンが劣化している状況が出現する。例えば、文書画像に対するスキャン又はコピー等の処理を行う時の誤差により、各文書画像における、例えば透かしパターンのような共通パターンは、位置、角度及び/又はサイズに差異が発生する可能性があること、文書の本文部分に遮られて透かし画像に欠落が発生すること、つなぎ合わせようとする複数枚の画像の共通部分（即ち、共通パターン）は、遮断又は焦点のずれなどの原因によって、欠落或いは曇りが発生すること、及びこれらに類似する状況である。
【０００８】
図１は、６枚の文書画像の中に透かしパターンが有る一例を示している。この図に示されるように、６枚の文書画像のいずれにも同じ透かしの内容が含まれているが、本文部分によって遮られているので、どの１枚の画像も完全な透かし文字列の「CONFIDENTIAL」を含んでいない。このように、共通パターンにある程度の劣化が発生した状況では、従来の各種の方法及び装置を利用しても、いずれも複数枚の画像から共通パターンを満足に探し出すことができない。
【０００９】
従って、比較的正確に及び／又は満足に、処理対象の複数枚（３枚または３枚以上）の画像からそれらの中の共通パターンを探し出すか又は特定する技術、即ち、従来の技術における上述の欠陥を克服することができ、各種の原因によって共通パターンの劣化が発生している状況下でも、満足な結果を取得することができる技術が切に求められている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第６６９０４８２号明細書
【特許文献２】米国特許第７１４５５９６号明細書
【非特許文献】
【００１１】
【非特許文献１】藤井勇作、武部浩明、藤本克仁、直井聡, "文書間の色一様性に基づく文書画像群からの機密パターン抽出",信学会技報 SIS2006-81, pp.1-5, 2007
【発明の概要】
【発明が解決しようとする課題】
【００１２】
以下の文中には、本願ではいくつかの面に関する基本的な理解を提供するために、簡潔な概要の記載が与えられているが、この概要の記載は一例と理解されるべきである。それは、本願のキーポイント又は重要な部分を特定するための意図ではなく、また、本願の範囲を限定するための意図でもない。その目的は、簡素化した形式によって本願に係るいくつかの概念を提供することだけであり、これを後に挙げる更なる詳細な記述の前書きとする。
【００１３】
従来の技術に存在している上述の問題に対して、本願に開示される技術の一つの目的は、３枚以上の複数枚の処理対象となる画像の中からそれらの共通パターンを探し出すか、又は特定するのに用いられる画像処理方法及び装置を提供することにある。それは、複数枚の処理対象の画像間の関連性を考慮することにより、共通パターンに劣化が発生した場合でも複数画像から共通パターンを比較的な確実、かつ正確に探し出すことができ、満足な結果を取得することができる。
【００１４】
本願に開示される技術の他の目的は、３枚以上の複数枚の処理対象となる画像からその他の複数枚の画像とのマッチングをするのに最も優れた１枚の画像を基準画像として特定するのに用いられる方法及び装置を提供することにある。
【００１５】
本願に開示される技術の更なる他の目的は、３枚以上の複数枚の処理対象となる画像の平均類似度を計算するのに用いられる方法及び装置を提供することにある。
【００１６】
本願に開示される技術のまた一つの目的は、プログラムのコードが記憶されているコンピュータ読み取り可能な記憶媒体を提供することにあり、当該プログラムのコードがコンピュータで実行されるときに、前記コンピュータに上述の方法のいずれか一つを実行させる。
【００１７】
本願に開示される技術のまた更なる一つの目的は、３枚以上の複数枚の文書画像から透かしを抽出するのに用いられる透かし検出システムを提供することにある。
【課題を解決するための手段】
【００１８】
上述の目的を達成するため、本願の開示する画像処理装置により用いられる画像処理方法は、一つの態様において、Ｎ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）。当該画像処理方法は、Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像を前記Ｃ個の階層に分けるステップ（ここで、Ｃは２以上の自然数である）と、各階層におけるＮ枚の画像の平均類似度を計算するステップと、平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像とし、該基準画像を基にして当該階層におけるＮ枚の画像を合成した合成画像を共通パターンを含む画像として特定するステップと、を含んでいる。
【００１９】
また、本願の開示する画像処理装置は、一つの態様において、Ｎ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）。当該画像処理装置は、前記共通パターンの画像をＣ個の階層のいずれか１つの階層にほぼ集中させるため、Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像を前記Ｃ個の階層に分ける画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、各階層におけるＮ枚の画像の平均類似度を計算する平均類似度計算部と、平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像として特定する基準画像特定部と、基準画像を基にして当該階層におけるＮ枚の画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、を備える。
【００２０】
また、本願の開示する透かし検出システムは、一つの態様において、Ｎ枚の処理対象の画像から、当該Ｎ枚の文書画像に埋め込まれた透かしを含む画像を特定する（ここで、Ｎは３以上の自然数である）。当該透かし検出システムは、Ｎ枚の文書画像に対して文書画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の文書画像を前記Ｃ個の階層に分ける画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、各階層における前記Ｎ枚の文書画像の平均類似度を計算する平均類似度計算部と、平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい文書画像を基準画像として特定する基準画像特定部と、基準画像を基にして当該階層におけるＮ枚の文書画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、を備える。
【発明の効果】
【００２１】
本願に開示する技術では、基準画像の特定及び／又は平均類似度の計算を行う過程において、複数枚の画像間の関連性が考慮されており、そのために、平均予測誤差と予測精度確率のパラメータ（具体的な意味及び計算方法は後で詳細的に説明する）が導入されている。これによって、図１に示す共通パターンに欠落があるか或いはぼやけている場合にも、共通パターンを正確、且つ確実に探し出すことができるようになる。
【００２２】
本願に開示する技術の他の長所は、本技術をグレイ階調画像に対する処理を行うのに用いることができるだけでなく、カラー画像に対する処理を行うのにも用いることができることにある。
【００２３】
本願に開示する技術の他の長所は、必要に応じて、本技術による画像処理方法及び装置を、文書画像に対する透かし検出に用いるなど、複数枚の画像をつなぎ合わせるなどの多くの実際的な応用に用いることができることにある。
【図面の簡単な説明】
【００２４】
【図１】図１は、透かしパターン入りの複数枚の処理対象の文書のグレイ階調画像の一例を示す図である。ここで、各文書画像には、同様の透かし文字列である「CONFIDENTIAL」が含まれる。
【図２】図２は、本実施例による画像処理方法及び装置を適用できるデータ処理システムの一例のブロック図を示している。
【図３】図３は、一実施例における図１に示された複数枚の処理対象の文書のグレイ階調画像から、その中の共通パターン（例えば、共通の透かし文字列）を探し出す画像処理方法３００のフローチャートを示している。
【図４】図４は、図３に示した方法に従って図１に示す６枚の文書画像に対してエッジ検出を行った後、三つの階層に分けた場合に、共通パターンが所在する階層の６枚の文書エッジ画像を示す図である。
【図５】図５は、図４に示す６枚の画像に対して２枚ずつのマッチングを行って計算して取得された並進マッチングパラメータの値を示す図である。
【図６】図６は、図５に示す並進マッチングパラメータに基づいて計算して取得した、図４に示す画像１に対する予測並進マッチングパラメータの値を示す図である。
【図７】図７は、図５及び図６に示される値に基づいて取得した、図４に示す画像１に対する並進予測誤差の値を示す図である。
【図８】図８は、図３に示した方法に従って特定された基準画像に基づいて図４に示した文書のエッジ画像を合成して取得した合成文書エッジ画像を示す図である。
【図９】図９は、図８に示した合成文書エッジ画像に対してノイズ除去処理（即ち、背景の除去）を行って取得されたエッジ画像を示す図である。
【図１０】図１０は、従来の方法を用いて任意に選択した１枚の文書画像を基準画像にして取得した合成文書エッジ画像を示す図である。
【図１１】図１１は、図３に示した方法を用いて図１に示す６枚の文書画像に対してエッジ強度によって階層分けした後の、第一階層における２枚ずつの画像間の類似度の値、及び当該階層における各文書エッジ画像の予測精度確率値を示す図である。
【図１２】図１２は、第二の階層（当該階層は共通パターンを含む階層である）における２枚ずつの画像間の類似度の値、及び、当該階層における各画像の予測精度確率値を示す図である。
【図１３】図１３は、他の実施例の画像処理方法１３００を示す図である。それは図３に示される方法３００の一変形例である。
【図１４】図１４は、一実施例の画像処理装置１４００の概念的なブロック図を示している。
【発明を実施するための形態】
【００２５】
以下に、本願に係る技術の見本となる実施例を図面に基づいて記述する。明瞭、簡便のため、明細書には実際の実施形態の全ての特徴が記述されているわけではない。しかし、以下のことが理解されるべきである。即ち、このような実際の実施例を開発する過程において、開発者の具体的な目標を実現するために、実施形態に特定される多くのことを決定しなければならない。そして、開発の仕事は非常に複雑であり、時間を費やす可能性があるのだが、ここに開示している内容を利用する当業者には、このような開発の仕事は型どおりの任務だけである。
【００２６】
ここで、説明する必要があるのは、必要以上に詳述することによって本願に係る技術が不明瞭になるのを防ぐために、図面には、本願に係る技術による方案に密接な関係がある装置構成及び／または処理ステップだけを示しており、本願に係る技術にあまり関係のないその他の詳細は省略したことである。
【００２７】
当業者は、図面における要素は、単に簡便、明瞭に示したものであり、且つ、必ずしも比率どおりに描いたものではないことを理解すべきである。例えば、本願に係る技術の実施例の理解に寄与できるように、図面におけるある要素のサイズは、他の要素に対して拡大されている。
【実施例１】
【００２８】
簡便のため、以降、図１に示される６枚の文書画像（グレイ階調画像と仮定する）からその６枚の画像に共通する透かしパターン、即ち文字列の「CONFIDENTIAL」を探し出すことを例にして、本発明による画像処理方法及び装置について記述する。しかし、本発明は他の状況にも適用できるのは言うまでもない。
【００２９】
図２には、本実施例による画像処理方法及び装置を適用可能な一例であるデータ処理システム２００のブロック図を示している。
【００３０】
図２に示すように、データ処理システム２００は、システムバス２０６に接続されている複数のプロセッサ２０２と２０４を含む対称型マルチプロセッサ（ＳＭＰ）システムであってもよい。しかし、選択として、シングルプロセッサシステム（図示しない）を採用してもよい。なお、メモリコントローラ／高速バッファー２０８も、システムバス２０６に接続されており、ローカルメモリ２０９とのインタフェースを提供するのに用いられる。Ｉ／Ｏバスブリッジ２１０が、システムバス２０６に接続されており、Ｉ／Ｏバス２１２とのインタフェースを提供している。メモリコントローラ／高速バッファー２０８とＩ／Ｏバスブリッジ２１０は、記述されているように一体に集積されてもよい。Ｉ／Ｏバス２１２に接続されているＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスブリッジ２１４が、ＰＣＩローカルバス２１６とのインタフェースを提供している。モデム２１８とネットワークアダプター２２０はＰＣＩローカルバス２１６に接続することができる。典型的なＰＣＩバスの実現方式は、四つのＰＣＩ拡張スロット或は挿入型コネクタをサポートすることができる。付加されたＰＣＩバスブリッジ２２２と２２４が、付加されたＰＣＩローカルバス２２６及び２２８のインタフェースを提供している。これによって、付加されたモデム又はネットワークアダプターをサポートすることができるようになっている。この方法に従って、データ処理システム２００は多くの周辺の機器、例えばネットワークコンピュータに接続されている。メモリがマッピングするグラフィックアダプター２３０とハードディスク２３２は、図に記述しているように、直接に又は間接に、Ｉ／Ｏバス２１２に接続することができる。
【００３１】
本願に係る技術による画像処理装置は、例えば、図２に示されるプロセサー２０２と２０４に集積することができ、もしくは、周辺の機器をＩ／Ｏバスを介して、データ処理システム２００に接続することができる。
【００３２】
当業者は、図２に記述されるハードウエアを変更可能であることを理解すべきである。例えば、記述されているハードウエアの他に、又はそれらの代わりに、光ディスクドライブなどのような他の周辺の機器を使用することができる。図２に記述されている例は、本願に係る技術を適用することができるシステムの構成を制限するものではない。
【００３３】
図３は、本願に係る技術による一つの実施例におけるＮ枚（ここで、Ｎは３以上の自然数である）の処理対象の文書画像（例えば、図１に示している６枚の文書グレイ階調画像である）から、その中の共通パターンを探し出す（例えば、共通の透かし文字列）画像処理方法３００のフローチャートを示している。
【００３４】
図３に示されているように、方法３００は、ステップＳ３０５で開始されてから、ステップＳ３１０において、画像毎の特徴を抽出するように、全てのＮ枚の文書画像に対する処理を行う。従来の技術において、文書画像に対する特徴の抽出方法には多くのものを用いることができる。ここで使用する方法は、まずCANNY演算子を用いて全てのＮ枚の文書画像における全てのエッジを抽出してから、各エッジ点のエッジ強度の大きさを計算する。ここで、CANNY演算子は、グレイ階調画像に対する処理に適した常用のエッジ検出演算子であり、その更なる詳細は、J. F. Canny, "A computational approach to edge detection", IEEE trans. PAMI, 8(6), pp.679-698, 1986、を参照することができる。なお、その更なる多くの詳細は、http://www.pages.drexel.edu/~weg22/can_tut.htmlを参照することができる。
【００３５】
続いて、ステップＳ３１５において、ステップＳ３１０で計算して取得されたＮ枚の画像の全てのエッジ点のエッジ強度の大きさに基づいて、Ｎ枚の画像に対する階層分けを行う。仮に、Ｎ枚の画像をＣ個の階層に分けるとすると、各文書画像Ii（i=1、2、…、N）に対して、Ｃ枚の文書エッジ画像（それらは、それぞれ、第一から第Ｃまでの階層にある）を得ることができる。言い換えれば、Ｎ枚の画像をＣ個の階層に分けた後、合計で、Ｎ×Ｃ枚の文書のエッジ画像を取得することができ、そして、各階層のいずれも、Ｎ枚の文書のエッジ画像を有している。コピーや、スキャンなどの後続の処理によって、異なる文書画像のグレイ階調又は色収差などのパラメーターが変化して、互いに異なっていても、異なる文書画像の中の共通パターンのエッジ強度は一致している（ともに強められ、又はともに弱められる）。即ち、異なる文書画像の中の共通パターンのエッジ強度は相互に一致するものである。従って、Ｎ枚の画像に対する階層分けを行うと、共通パターンのエッジは、ほぼ同時にＣ個の階層の中のある一つの階層に現れるようになる。
【００３６】
図４は、前記の方法に従って図１に示した６枚の文書画像に対して、特徴抽出（即ち、エッジ検出）を行ってからそれを三つの階層（即ち、Ｃ＝３）に分けた場合に、共通パターンが所在する一つの階層における６枚の文書エッジ画像を示している。図４によって、図１に示した６枚の文書画像の中の共通パターン、即ち、共通の文字列の「CONFIDENTIAL」のエッジの何れも当該階層に現れることが分かる。
【００３７】
図３に戻って参照すると、方法３００は、ステップＳ３２０〜Ｓ３４５において、第一の階層から、各階層（lを用いて現在の処理中の階層を表す）におけるＮ枚の文書エッジ画像に対する処理を開始し、その中からその他のＮ−１枚の画像とのマッチングに最も優れる１枚の画像（信頼性が最高の画像と称してもよい）を基準画像として探し出す。そして、当該Ｎ−１枚の画像と基準画像とを合成して、合成エッジ画像を取得する。
【００３８】
具体的には、図３に示すように、ステップＳ３２０において、第１（ここで１は０＜１ ＜Ｃ＋１の自然数である）の階層における各画像（Iiを用いて表す）に対して平均予測誤差
【数１】
を計算する。
【００３９】
平均予測誤差
【数２】
の計算過程は、以下の通りである。まず、Ｎ枚の文書エッジ画像に対して、２枚ずつのマッチングを行い、２枚ずつのマッチングパラメータを取得する。２枚ずつの画像間の差異は、並進、回転及び／又は拡大縮小変換から見積もることができると仮定する。このようにして、第i枚と第j枚の２枚の画像間のマッチングパラメータMij (Pt, Pr, Ps)を計算することができ、ここで、Pt, Prと Psは、それぞれ、並進、回転及び拡大縮小変換に対応するパラメータであり、iとjはいずれも１とＮの間（二つの端点を含む）に介在している自然数であり、かつ、i≠jである。
【００４０】
ここで、２枚の画像間のマッチングパラメータは、従来の任意の一つの方法を用いて計算することができる。例えば、B. Srinivasa Reddy and B. N. Chatterji, "An FFT-Based Technique for Translation, Rotation and Scale-Invariant Image Registration", IEEE Transactions on Image Processing, Vol. 5, No. 8, 1996, pp. 1266-1271.に開示されている方法を用いて、マッチングパラメーターMijを計算することができる。
【００４１】
Ｎ枚の画像ついてみると、２枚ずつのマッチングを経て、Ｎ×（Ｎ−１)／２個のマッチングパラメータを計算することができる。もし、画像の２枚ずつのマッチングを経て、何れも正しいマッチングパラメータを計算することができれば、Ｎ×（Ｎ−１)／２個のマッチングパラメータには、冗長性があることは言うまでもない。各１枚の文書画像に対して、その他のＮ−１枚の画像と２枚のマッチングパラメータを計算することができ、そして、このＮ−１個のマッチングパラメータを用いて、その他のＮ−１枚の画像間のマッチングパラメータを予測することができる。例えば、第１枚と第２枚の画像間のマッチングパラメータM12と、第１枚と第３枚の画像間のマッチングパラメータM13とを用いて、第１枚の画像に対する第２枚と第３枚の画像間のマッチングパラメータM23の値（M231eを用いて表す）を予測することができる。即ち、第m枚と第i枚の画像間のマッチングパラメータMmi、及び第m枚と第j枚の画像間のマッチングパラメータMmjに基づいて、第m枚の画像に対する第i枚と第j枚の画像間のマッチングパラメータMijの値Mijmeを予測することができる。ここで、mは１とＮの間に介在する自然数（二つの端点を含む）であり、かつ、m≠i≠jである。
【００４２】
実際には、図１に示すように、多くの文書画像の中での共通パターンは全て欠落している。従って、実際に計算された２枚ずつのマッチングパラメータと予測された２枚ずつのマッチングパラメータの間には一定の誤差がある。即ち、第i枚と第j枚の画像間の２枚ずつのマッチングを行って計算されたマッチングパラメータMijと、マッチングパラメータMmiとMmjに基づいて予測されたマッチングパラメータMijmeとの間には、一定の誤差がある。以下に、この誤差を「第m枚の画像に対する第i枚と第j枚の画像間の予測誤差」と呼び、εijm(Pt, Pr, Ps)で表す。
【００４３】
上述のように、各１枚の画像に対して、その他のＮ−１枚の画像間の予測誤差を取得することができるので、当該画像に対する並進、回転及び／又は拡大縮小における予測誤差マトリックスをそれぞれ取得することができるようになる。
【００４４】
そして、各１枚の画像に対して、当該画像に対する並進、回転及び／又は拡大縮小のそれぞれに関する予測誤差マトリックスに基づいて、並進、回転及び拡大縮小の三つの要因を総合して考慮し、当該画像の平均予測誤差
【数３】
を計算する。ここで、従来の技術における任意の一つの知られている計算方法を用いて、１枚の画像の平均予測誤差
【数４】
を取得することができる（後でさらに詳細に説明する）。
【００４５】
図３に示すように、ステップＳ３２０で現在の階層の中の全てのＮ枚の画像の平均予測誤差を取得すると、方法３００の処理フローはステップＳ３２５に進み、当該階層における平均予測誤差が最も小さい画像を基準画像として特定する。ここで、平均予測誤差が最も小さい画像は、Ｎ枚の画像の中で、その他のＮ−１枚の画像とのマッチングに最も優れる画像であり、即ち、信頼性が最高の画像である。
【００４６】
ここでＮ枚の画像における平均予測誤差の最も小さい画像（即ち、Ｎ枚画像において、他のＮ−１枚の画像とのマッチングに最も優れる画像であり、信頼性が最高の画像といってもよい）を、基準画像として特定しているが、その他の適当な画像（例えば、二番目にマッチングが優れる画像）を基準画像としても、同様に本発明の目的を実現することができることを当業者は理解すべきである。例えば、計算されたＮ枚の画像の平均予測誤差を小さい順に並べると、先頭の１／ｎ（ｎは０より大きく、且つＮ以下の自然数であり、ｎの値は経験によって設定することができる）に並んでいる画像は、何れも、その他のＮ−１枚の画像とのマッチングに優れる１枚の画像であると認められ得る（又は、それを、信頼性がある画像と称してもよい）。或いは、経験によって予め平均予測誤差に対して一つの閾値を設定しておき、平均予測誤差が前記閾値より小さい画像は、いずれも、その他のＮ−１枚の画像とのマッチングに優れる画像（即ち、信頼性がある画像である）と認めることができ、これによって、前記の、その他のＮ−１枚の画像とのマッチングに優れる画像（即ち、信頼性がある画像）を基準画像として特定することになる。
【００４７】
続いて、ステップＳ３３０においては、基準画像を基礎として、先に計算された基準画像とその他のＮ−１枚の画像との２枚ずつのマッチングパラメータを利用して、並進、回転及び／又は拡大縮小変換を行うことによって、基準画像と同じ位置、角度及び大きさを有する（即ち、その他のＮ−１枚の画像を基準画像に合わせる）ように、その他のＮ−１枚の画像を変換する。そして、合わせた後のＮ枚の画像を合成して、１枚の合成された文書エッジ画像を得る。
【００４８】
ここで、従来の技術において知られている任意の方法を用いて、Ｎ枚の画像を合成する。例えば、比較的簡単な方法としては、変換して合わせた後のＮ枚の画像を、画素点毎に累積すると、各画素点における数値は、当該画素点における全ての重ね合わせた画像中のエッジ点の総数となる。そして、表示のために、取得された各画素点における０〜Ｎの数値を線形変換して、合成された画像を取得するものがある（例えば、０〜Ｎの数値を０〜２５５のグレイ階調の値に線形変換して、合成されたグレイ階調画像を得る）。なお、例えば、P. Shivakumara and G. Hemantha Kumar and D. S. Guru and P. Nagabhushan, "Sliding window based approach for document image mosaicing", Image Vision Comput., Vol. 24, No. 1, pp.94-100, 2006、及びAnthony Zappal and Andrew H. Gee and Michael Taylor, "Document mosaicing", Image Vision Comput., Vol. 17, No. 8, 1999, pp.589-595.に公開されている技術を用いて、合成を行ってもよい。
【００４９】
簡単のために、ここで、並進のみを例にして、図５〜７に基づいて、平均予測誤差の計算方法をさらに詳細に説明する。即ち、ここで各階層における全ての画像の２枚ずつのマッチングパラメータMij (Pt, Pr, Ps)中の回転パラメータPrと拡大縮小パラメータPsとは、いずれも０であるとすると、マッチングパラメータをMij (x, y)に簡素化することができる。ここで、xとyの値はそれぞれ、xとy方向における並進量を表す。
【００５０】
図５には、図４に示している６枚のエッジ画像に対して２枚ずつのマッチングを行って計算して取得した並進のマッチングパラメータMij (x, y)の値が示されている。図６には、前記した方法に従って図５に示している並進のマッチングパラメータに基づいて計算して取得した、画像１に対する予測並進のマッチングパラメータの値が示されている。ここで
【数５】
図７には、図５と図６に示している値に基づいて取得した、画像１に対する並進予測誤差εij1(x, y)の値が示されている。ここで
【数６】
図５〜７に示すように、（NA, NA）或いはN/Aは無効な値を表し、それらの値に対しては計算する必要がないことを示す。
【００５１】
以上に記載のように、任意の知られている方法を用いて、図７に示している並進予測誤差εij1(x, y)に対して計算を行うことにより、画像１の平均予測誤差
【数７】
を求めることができる。ここで使用された比較的簡単な方法は、図７に示す、全ての有効な予測誤差値に対してxとy方向の総平均値を求めることである。具体的にいうと、図７に示したマトリックスにおいて、有効な２０個の位置でのxとyの値をそれぞれ加算して得られた和sum(x)とsum(y)に対して、総平均値を求める。即ち
【数８】
従って、求められた画像１の平均予測誤差は１．０５となる。このようにして、同様な方法に従って、全てのＮ枚の画像の平均予測誤差を取得することができる。
【００５２】
以上、並進の変換のみを例として、図５〜７に基づいて、如何にして１枚の画像の平均予測誤差を計算するかを記述したが、当業者は、同時に並進、回転及び／又は拡大縮小を考慮する場合に、如何にして１枚の画像の平均予測誤差を計算するかを容易に想到することができる。例えば、比較的簡単な方法として、前記した方法に従って、それぞれ１枚の画像の平均並進予測誤差、平均回転予測誤差と平均拡大縮小予測誤差を計算してから、これらの三つの誤差値に対して加重平均を行い、当該画像の平均予測誤差を得るものがある。
【００５３】
図８には、前記の方法に従って特定された基準画像に基づいて、図４に示した文書のエッジ画像を合成して取得した合成文書エッジ画像が示されている。図８から、共通パターンの他に、当該合成文書エッジ画像の中には、常に若干のノイズが存在していることが分かる。
【００５４】
図３に戻って参照すると、さらにノイズの影響を除去して理想の結果を得るために、図３に示すように、ステップＳ３３５においては、ステップＳ３３０で取得された合成文書エッジ画像に対して、ノイズ除去処理が行われる。
【００５５】
例えば、以上に記載のように、変換後のＮ枚の画像に対して、画素点毎に累積することによって画像の合成を行う場合には、もし、合成文書エッジ画像中のいずれか１つの画素点の数値が一定の閾値Ｔより小さければ、当該画素点の位置における重ね合わせたエッジ点の数は充分ではないことが分かる。従って、当該画素点をノイズ点と認めて、当該点の数値を０（即ち、背景に設置する）にする。図９には、図８に示す共通のパターンが所在する階層における合成文書エッジ画像に対してノイズ除去処理（即ち、背景を除去する）を行ってから取得したエッジ画像が示されている。従来の技術において知られているその他のノイズ除去の方法を用いてもよいことはいうまでもない。
【００５６】
図１０には、非特許文献１に公開されている方法に従って、任意の１枚の文書画像（平均予測誤差が最も小さくない文書画像）を選択して基準画像とすることによって取得された、共通パターンを含む合成文書エッジ画像（ここで既にノイズ除去処理を行った）が示されている。図９及び１０に示した画像を比較すると、図９における“C”、“N”と“F”などの幾つかの透かし文字は、従来の方法を用いて取得した結果（図１０）よりさらに明晰になっていることが容易にわかる。
【００５７】
また、再度図３に戻って参考にすると、図に示すように、方法３００の処理フローでは、ノイズ除去処理（即ち、ステップＳ３３５）を行ってからステップＳ３４０に進み、現在の階層の全ての画像の平均類似度が計算される。
【００５８】
上記に言及されたように、本発明には、複数枚の画像間の関連性が考慮されている。そのため、画像類似度を計算するときに、予測精度確率Pというパラメータが導入されており、画像の平均予測誤差の当該画像の類似度に対する影響を表すのに用いられる。
【００５９】
ここで使用された、予測精度確率Piを計算する比較的簡単な方法は、以下の式で示される。
【数９】
ここで、
【数１０】
は第i枚の画像の平均予測誤差、
【数１１】
は予め設定された最大の平均予測誤差値である。ここで、
【数１２】
は、平均予測誤差のパラメータが、並進、回転及び／又は拡大縮小で取り得る値の範囲を表す。このように、計算された予測精度確率Piの値は０と１（二つの端点を含む）間に介在する。
【００６０】
計算された予測精度確率Piを用いると、第i枚の文書画像の類似度は以下のように定義される。
【数１３】
ここで、CONF2(i, j)は、第i枚の画像と第j枚の画像との類似度（この２枚の画像は既に並進、回転及び／又は拡大縮小変換して互いに合わせたものである）を表す。
【００６１】
理想状態では、画像の平均予測誤差は０となるので、式（4）によって、Pi＝1となり、この時、本発明において計算された画像の類似度と従来の方法に従って取得された類似度とは、同じになるが、非理想状態では、画像の平均予測誤差は０ではないので、Pi < 1となり、従って、予測精度確率Piにより、第i枚の画像の平均予測誤差の当該画像の類似度に対する影響が表されることになる。
【００６２】
２値の画像に対しては、２枚の画像（それらを既に互いに重ね合わせたと仮定する）間の類似度を計算する比較的簡単な方法は、以下とおりである。
【数１４】
【００６３】
本発明による方法３００において、その他の任意の知られている方法を用いて２枚の画像間の類似度を計算してもよい。更に、必要に応じて上記式（5）を修正してもよい。
【００６４】
そして、現在の階層のすべての画像の平均類似度を以下のように定義することができる。
【数１５】
【００６５】
また、再度図３を参照すると、ステップＳ３４０において現在の階層の平均類似度が計算されると、方法３００の処理はステップＳ３４５に進み、ここでは、全てのＣ階層に対する処理が完成されたか否かが判断される。もし、ステップＳ３４５においてまだ全てのＣ階層に対する処理が完成されていないと判断されれば、l に1を加え、方法３００の処理をステップＳ３２０に戻し、次の階層（即ち、第l＋1階層）における全てのＮ枚の画像に対してステップＳ３２０からステップＳ３４０までの処理を繰り返す。
【００６６】
以上に記載のように、画像特徴の抽出過程において、Ｎ枚の画像に対する階層分けを行って、各画像を異なる画像エッジ強度に従ってＣ個の階層に分ける。そして、透かしのような共通画像はＣ個の階層中の何れかの階層に集中するが、具体的に、どの階層であるかは、まだわからない。従って、各階層のそれぞれにおける全てのＮ枚の文書エッジ画像のいずれにも、ステップＳ３２０からステップＳ３３５までの処理を行い、そして、ステップＳ３４０に示すように、各階層のそれぞれに対して、当該階層の平均類似度を計算することになる。
【００６７】
図３に示すように、もしステップＳ３４５において、既に全てのＣ個の階層に対する処理が完成したと判断された場合は、方法３００の処理フローは、ステップＳ３５０に進み、平均類似度が最大の階層を共通パターンが所在する階層として特定するので、平均類似度が最大の階層の合成文書エッジ画像（既にノイズ除去処理を行った）を、共通パターンを含むエッジ画像として特定することができ、共通パターンを探し出すか、又は特定することができるようになる。
【００６８】
上で言及したように、方法３００のステップＳ３４０において使用される類似度のアルゴリズムには、複数枚の画像間の関連性が考慮されている。即ち、予測誤差の類似度の精度に対する影響が考慮されている。従って、従来の方法に比べると、本願に係る技術における方法は、より正確な結果を取得することができる。例えば、上に記載したような、複数枚の画像から共通パターンを探し出す応用の場合には、複数枚の画像において、偶然に２枚の画像が非常に類似していると、これらの２枚の画像間の類似度がかなり高くなる。これによって、Ｎ枚の画像の平均類似度（予測誤差の類似度の精度に対する影響を考慮しない場合の）が大きくなる可能性がある。しかし、これらの２枚の画像が、その他のＮ−２枚の画像と良好にマッチングできないならば、それらの平均予測誤差はかなり高くなる。このように、本発明によれば、それらの予測精度確率を低減し、これらの２枚の画像の類似度CONFiを低減することができるので、それによってＮ枚の画像の平均類似度も低減することができる。
【００６９】
例えば、図１１には、図３に示している方法３００を用いて、図１に示す６枚の文書画像に対して、エッジ強度に従って階層分けを行った後の第一の階層における２枚ずつの画像間の類似度の値、及び当該階層における各文書エッジ画像の予測精度確率の値が示されているが、図１２には第二の階層（当該階層は、共通パターンを含む階層である）における２枚ずつの画像間の類似度の値、及び当該階層における各画像の予測精度確率の値が示されている。
【００７０】
図１１に示した状況では、予測精度確率を考慮しない場合には、和を求めてから、平均をすることによって取得された平均類似度の値は0.0484となる。しかし、予測精度確率の影響を考慮すれば、上記式（5）に従って、６枚の画像の類似度はそれぞれ0.0032、0.0178、0.0334、0.0207、0.0298、及び0.0246となる。このようにして、上記式（7）によれば、図１１に示している第一の階層の平均類似度は0.0216となる。
【００７１】
図１２に示した状況では、もし予測精度確率を考慮しないならば、和を求めてから平均をすることによって取得された平均類似度は0.0364となる。しかし、予測精度確率の影響を考慮すれば、上記式（5）に従って、６枚の画像の類似度はそれぞれ0.0299、0.0347、0.0334、0.0271、0.0315、及び0.0326となる。このようにして、上記式（7）によれば、図１２に示した第二の階層の平均類似度は0.0315となる。
【００７２】
従って、もし予測精度確率を考慮せず、平均類似度の値に従って選択するなら、誤って図１１で表された第一の階層がその中に共通パターンを含む階層であると認められることになる。しかし、予測精度確率を考慮すれば、共通パターンを含む階層（即ち、図１２で表された第二の階層）における文書エッジ画像の平均類似度は共通パターンを含まない階層（図１１で表された第一の階層）における文書エッジ画像の平均類似度より高くなる。即ち、予測精度確率が考慮された場合に計算された平均類似度が大きい階層を、その中に共通パターンを含む階層として正確に特定することができるので、正確な結果を取得することができる。
【００７３】
以上、図３に示したフローチャートに基づいて、図１に示す６枚の文書グレイ階調画像を例として、本発明による画像処理方法を記述したが、当業者は、図３に示したフローチャートが単に例示的なものであり、実際の応用と具体的な要求に応じて、図３に示される方法のフローに対して相応する修正することができることは明らかなはずである。
【００７４】
必要に応じて、図３に示した方法３００における一部のステップの実行順序を調整し、又は、一部の処理ステップを省略或いは付加してもよい。例えば、図３には、平均類似度を計算する処理（即ち、ステップＳ３４０）が、画像に対する合成とノイズ除去の処理（即ち、ステップＳ３３０とＳ３３５）を実行した後に実行されるように示されているが、勿論、それらを並行して実行してもよい、又は順序を逆にして実行してもよい。
【００７５】
図１３には本発明による他の実施例の画像処理方法１３００が示されている。それは図３に示される方法３００の一変形例である。
【００７６】
図３と１３に示される方法のフローチャートから、ステップＳ１３０５〜Ｓ１３４５における処理過程は、図３に示すステップＳ３０５〜Ｓ３２５、Ｓ３４０〜Ｓ３４５、Ｓ３３０〜Ｓ３３５における処理過程と類似していることが分かる。それらの違いは単に以下だけにある。即ち、図１３に示すように、ステップＳ１３４０における画像合成処理とステップＳ１３４５におけるノイズ除去処理は、平均類似度の計算のステップＳ１３３０の後に実行される。このとき、全ての階層に対して処理を行う必要はなく、平均類似度が最大の階層（共通パターンが所在する階層）のみにおけるＮ枚の画像に対して、合成とノイズ除去処理が行われ、ステップＳ３５０は省略されることになる。これにより、図３に示される方法に比べて、計算量を減少することができる。重複を防ぐために、ここでは、再び図１３に示した各ステップにおける具体的な処理過程は記述しない。
【００７７】
勿論、図３に示した方法３００又は図１３に示した方法１３００に対して他の修正をしてもよく、例えば、図１３に示したステップＳ１３２５は、ステップＳ１３３５とステップＳ１３４０との間で実行されてもよい。そして、当業者は、完全に相応するフローチャートを容易に描くことができるが、簡単のためここで一つ一つに詳述しない。
【００７８】
そして、上に言及した、画像特徴抽出処理と、エッジ検出処理と、画像に対する階層分けの処理と、２枚ずつの画像のマッチングパラメータを用いて画像の平均予測誤差を計算する処理と、複数枚の画像に対する合成の処理と、画像のノイズ除去の処理と、２枚ずつの画像の類似度を計算する処理と、予測精度確率を利用して１枚の画像のその他の画像との類似度を計算する処理等は、勿論、任意の一つの知られている技術を用いて行うことができ、以上に記述されたいずれかの具体的な方法には限定されない。
【００７９】
なお、以上、文書グレイ階調画像を例として本願に係る技術による画像処理方法に対して記述したが、勿論、当該方法は、文書画像に対する処理に限定されることはなく、任意のグレイ階調画像に対する処理に適用でき、またカラー画像に対する処理にも適用できる。例えば、複数枚のカラー画像から共通パターンを探し出す応用には、図３に示したステップＳ３１０の前に、カラー→グレイ変換によって複数枚のカラー画像をグレイ階調画像に変換してから、また、図３又は図１３に示した方法を用いて処理を行う。あるいは、ステップＳ３１０又はステップＳ１３１０において直接にカラー画像から特徴抽出を行う。例えば、直接にカラー画像からエッジ情報を抽出してエッジ強度を計算する（例えば、趙景秀等によって発表された文書"カラー情報の区分度によるカラーエッジ検出", 計算机応用, 第8号, 2001.を参照することができる）。
【００８０】
また、以上ではエッジ情報を抽出してエッジ強度を計算することを例として、本願に係る技術による画像処理方法における、画像に対する特徴抽出と階層分けに関する処理を記述したが、勿論、本願に係る技術による画像処理方法は、これに限定されるものではなく、本願に係る技術は、様々な既知の画像特徴抽出方法及び特徴抽出結果によって画像に対して階層分けを行う方法を応用することができる。特徴抽出の結果によって共通パターン画像がほぼ同じ階層に分けられる方法であればよい。例えば、エッジ強度の大きさではなく、共通パターンの色（カラー画像に対する）又は、画素グレイ階調の値（グレイ階調画像に対する）に従って階層分けを行う場合には、同様に類似の結果を得ることができる。例えば、処理対象のカラー画像又はグレイ階調画像に対して特徴抽出を行った後に、共通パターンの色、或いは、グレイ階調の画素値が互いに一致性を有するという仮定に基づいて、色又はグレイ階調の画素値に従って階層分けを行うことによっても、共通パターンの画像をほぼ同一の階層に分けることができる。
【００８１】
そして、以上、本願に係る技術による方法を記述する際には、平均予測誤差と予測精度確率の概念が導入され、それらの計算方法も与えた。本願に開示された内容を利用する当業者であれば、必要に応じて上述の概念と計算方法を拡張することができるが、ここでは一つ一つについては詳述しない。
【００８２】
以上では、複数枚の文書画像から、例えば透かしという共通パターンを探し出す応用だけを記述したが、図３に示した画像処理方法３００、又は図１３に示した方法１３００は複数枚の画像に対してつなぎ合わせを行う応用に適用してもよい。通常の場合には、つなぎ合わせようとする複数枚の画像同士は並進に加えて、サイズ（拡大縮小）と角度（回転）の変化が発生する可能性があり、さらに類似の透視変形又は湾曲変形という状況が発生する可能性がある。このような場合には、上記の方法３００又は１３００を用いて共通パターンを探し出す前には、前処理部分を必要とし、それによって、複数枚の画像の何れも、一致したサイズ、角度及び変形係数を有するか、或いは、複数枚の画像における共通パターンが、位置、サイズ、角度と変形係数などにより構成された高次元のパラメータ空間において一致するようにする。そして、つなぎ合わせようとする複数枚の画像における共通パターンを探し出すと、複数枚の画像中の共通する“一つの原点”が探し出されたことになる。そして、それによって、つなぎ合わせようとする複数枚の画像の相対的な位置を特定して、複数枚の画像に対してつなぎ合わせによる合成を行うことで、画像のつなぎ合わせを実現することができる。画像のつなぎ合わせの技術については、現在知られている方法は非常に多い。例えば、特許文献１或いは特許文献２に開示されている方法を用いてつなぎ合わせを行ってもよい。勿論、その他の方法を用いても良い、ここでは簡単のため一つ一つは詳述しない。
【００８３】
なお、当業者であれば、以上図３と１３に基づいて記述された画像処理方法における一部の処理過程、例えば、複数枚の画像からその他の各画像と最も良くマッチングする１枚の画像を探し出して基準画像とするのに用いられる処理過程、複数枚の画像同士の関連性を考慮する場合に、複数枚の画像に対して平均類似度を計算するのに用いられる処理過程等は、勿論、必要に応じて本願実施例に示した画像処理以外にも各種応用に用いられ得ることがわかるはずである。
【００８４】
以下に図１４に基づいて、本発明による一つの実施例の複数枚の処理対象の画像から共通パターンを探し出すか、又は特定するのに用いられる画像処理装置を記述する。
【００８５】
図１４には、本発明による一つの実施例の画像処理装置１４００の概念的なブロック図が示されている。当該画像処理装置１４００は、図３に示した方法３００、又は図１３に示した方法１３００を利用することができる。図１４に示すように、画像処理装置１４００は画像特徴抽出ユニット１４１０と、基準画像特定ユニット１４２０と、平均類似度計算ユニット１４３０と、画像合成ユニット１４４０及びノイズ除去ユニット１４５０を含む。
【００８６】
ここで、画像特徴抽出ユニット１４１０は、受け取った複数枚（例えばＮ枚）の処理対象の画像（グレイ階調画像又はカラー画像であることができる）に対して階層分けを行うために、Ｎ枚の画像から、画像特徴を抽出するのに用いられる。例えば、以上に記述したように、画像特徴抽出ユニット１４１０は、エッジ検出演算子を利用して画像中の全てのエッジを抽出し、各エッジ点のエッジ強度の大きさを計算し、エッジ強度の大きさに基づいてＮ枚の画像をＣ個の階層に分けて、Ｎ×Ｃ枚の画像を取得する。
【００８７】
基準画像特定ユニット１４２０は、画像特徴抽出ユニット１４１０により取得された各階層のそれぞれにおけるＮ枚の画像（例えば、エッジ画像）から、以上に記述された方法を用いて、１枚の適当な画像（残りのＮ−１枚の画像とのマッチングに最も優れる画像であり、具体的に例えば、平均予測誤差が最小の画像である）を、当該階層の基準画像として特定するのに用いられる。
【００８８】
平均類似度計算ユニット１４３０は、以上に記述の方法に従って、予測誤差の類似度の精度に対する影響を考慮する場合に（例えば、各画像の平均予測誤差を利用して予測精度確率を計算する）、各階層における全ての画像の平均類似度を計算するのに用いられる。
【００８９】
画像合成ユニット１４４０は、一つの階層中の全ての画像に対して、基準画像を基礎とし、並進、回転及び／又は拡大縮小変換等を行うことによって、基準画像以外のＮ−１枚の画像を基準画像に合わせ、Ｎ枚の画像を合成するのに用いられる（例えば、エッジ画像の場合には、画素点毎にその数値を累積し、合成された画像の各画素点における数値は、当該点における全ての重ね合わせたエッジ点の総数である）。ここで、画像合成ユニット１４４０は、各階層のそれぞれの画像を合成しても良く、或いは、計算を簡素化するために、画像合成ユニット１４４０は、平均類似度計算ユニットの計算結果によって、平均類似度が最大の階層の画像のみを合成してもよい。
【００９０】
ノイズ除去ユニット１４５０は、合成画像に存在する必要以上のノイズを除去するために、画像合成ユニット１４４０により合成された画像に対してノイズ除去処理を行うのに用いられる。
【００９１】
上で既に具体的な各処理過程について詳細に記述したことに鑑み、重複を回避するため、ここでは再度前記各ユニットの具体的な処理過程は詳述しない。
【００９２】
ここで説明する必要があるのは、図１４に示した画像処理装置１４００の構成は、単に例示的なものであり、当業者は、必要に応じて図１４に示している構成のブロック図を修正してもよいということである。例えば、画像合成ユニット１４４０の合成画像の品質が予め決めた要求を満たすことができれば、ノイズ除去ユニット１４５０を省略することができる。また、処理対象の複数枚の画像がカラー画像である場合には、画像特徴抽出ユニット１４１０の前にカラー−グレイ階調変換ユニットを付加しても良い。それは、カラー−グレイ階調変換によりＮ枚のカラー画像をＮ枚のグレイ階調画像に変換するのに用いられる。
【００９３】
上に言及したように、本願に係る技術による画像処理方法３００と１３００及び画像処理装置１４００は、図２に示した汎用のデータ処理システムに適用することができる。しかし、本願に係る技術による画像処理方法及び装置は、勿論、図２に示しているものと異なるシステム又はデバイスに用いられても良い。例えば、それらは、スキャナ、複写機または多機能一体機等のデバイスに適用することができる。そして、当該スキャナ、複写機または多機能一体機等のデバイスが、複数枚の文書画像からその中に埋め込まれた透かしを抽出することができるようにして、文書に対する管理を行い、会社内部の機密な文書をコピー又は複写することに対して監視、警報するのに用いることができる。
【００９４】
なお、勿論、本願に係る技術による前記の方法における各操作過程は、デバイスが読み取り可能な各種の記憶媒体に記憶された、コンピュータで実行可能なプログラムでも実現することができる。
【００９５】
そして、本願に係る技術の目的は、以下の方式によって達成することもできる。即ち、前記の実行可能なプログラムのコードを記憶している記憶媒体を、システム又はデバイスに直接又は間接に提供し、当該システム又はデバイスにおけるコンピュータ又は中央処理装置（ＣＰＵ）が、前記のプログラムのコードを読み出し、実行する。
【００９６】
この場合に、当該システム又はデバイスはプログラムを実行する機能を有すれば、本願に係る技術の実施方式はプログラムに限定されず、そして、当該プログラムは任意の形式であってもよい。例えば、オブジェクトプログラム、インタプリタにより実行されるプログラム又は操作システムに提供するシナリオプログラム等である。
【００９７】
前記のこれらのデバイスに読み取り可能な記憶媒体は、各種メモリやメモリセル、半導体デバイス、例えば光、磁気及び光磁気ディスク等のディスクユニット、及びその他の情報を記憶するのに適する媒体等を含むが、それらに限定されるものではない。
【００９８】
また、クライントコンピュータが、インターネットにおける相応するウェブサイトに接続して、本願に係る技術によるコンピュータのプログラムのコードをコンピュータにダウンロードし、インストールしてから当該プログラムを実行することによっても、本願に係る技術を実現することができる。
【００９９】
最後に、説明する必要があるのは、本出願では、例えば第一や第二という関係用語は、ただ一つの実体又は操作を他の実体又は操作から区別するため用いられたものであり、これら実体又は操作間に如何なるこのような実際の関係又は順序があることを要求又は暗示するものではない。そして、“有する”、“含む”又は如何なる他の変形表現も、非排他的な「含む」をカバーしている。従って、一連の要素を含む過程、方法、物品又はデバイスは、それらの要素を含むだけではなく、明確に記載されていないその他の要素も含み、或いは、このような過程、方法、物品又はデバイスに固有の要素も含む。より多くの制限がない場合に、「一つの……を含む」の言葉で限定される要素は、前記の要素を含む過程、方法、物品又はデバイスに、更にその他の同様な要素が存在することを排除しないものである。
【０１００】
以上、本願に係る技術の実施例について図面に基づいて詳細に記述したが、理解すべきであるのは、上記の実施の形態は、本願に係る技術を説明するのみであり、本願に係る技術に対する制限にはならないということである。当業者であれば、本願に係る技術の主旨と範囲から逸脱しない範囲で、前記の実施の形態に対する各種の修正と変更を行うことができる。このため、本願に係る技術の範囲は、添付の特許請求の範囲及びその均等の意味によって限定されるだけである。
【０１０１】
（付記１）画像処理装置がＮ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）画像処理方法であって、
Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像をＣ個の階層に分けることによりＮ×Ｃ枚の画像を得るステップ（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の画像の平均類似度を計算するステップと、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像とし、該基準画像を基にして当該階層におけるＮ枚の画像を合成した合成画像を共通パターンを含む画像として特定するステップと、
を前記画像処理装置が実行することを特徴とする画像処理方法。
【０１０２】
（付記２）前記階層におけるＮ枚の画像における各画像に対して、前記平均予測誤差を計算するステップをさらに含み、
前記平均予測誤差を計算するステップは、
当該画像と残りのＮ−１枚の画像との２枚ずつの画像間のマッチングパラメータに基づいて、当該画像に対する残りのＮ−１枚の画像の２枚ずつの画像間の予測マッチングパラメータを計算し、当該画像に対する予測マッチングパラメータマトリックスを取得するステップと、
当該画像に対する前記予測マッチングパラメータマトリックスに基づいて、当該画像の前記平均予測誤差を計算するステップと、
を含むことを特徴とする付記１に記載の画像処理方法。
【０１０３】
（付記３）各階層におけるＮ枚の画像の前記平均類似度を計算するステップは、
各画像の前記平均予測誤差に基づいて、各画像の予測精度確率を計算するステップと、
各画像と残りのＮ−１枚の画像との２枚ずつの画像間の類似度に基づいて、各画像の前記予測精度確率を用いて各画像の類似度を計算するステップと、
各画像の類似度に基づいてＮ枚の画像の前記平均類似度を計算するステップと、
を含むことを特徴とする付記２に記載の画像処理方法。
【０１０４】
（付記４）画像の特徴抽出を行い、前記特徴抽出の結果に基づいて前記Ｎ枚の画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得るステップは、
エッジ検出演算子を用いて当該Ｎ枚の画像におけるすべてのエッジを抽出するステップと、
各エッジ点におけるエッジ強度の大きさを計算するステップと、
計算された前記エッジ強度の大きさに基づいて当該Ｎ枚の画像を前記Ｃ個の階層に分けるステップと、
を含むことを特徴とする付記１〜３のいずれか１つに記載の画像処理方法。
【０１０５】
（付記５）前記Ｎ枚の処理対象の画像はグレイ階調画像であり、前記エッジ検出演算子はＣＡＮＮＹ演算子であることを特徴とする付記４に記載の画像処理方法。
【０１０６】
（付記６）前記Ｎ枚の処理対象の画像はカラー画像であり、前記エッジ検出演算子はカラー画像からエッジ情報を抽出することを特徴とする付記４に記載の画像処理方法。
【０１０７】
（付記７）前記Ｎ枚の処理対象の画像はカラー画像であり、画像の特徴抽出を行う前に、カラー−グレイ階調変換によりＮ枚のグレイ階調画像を取得するステップをさらに含み、前記エッジ検出演算子はＣＡＮＮＹ演算子であることを特徴とする付記４に記載の画像処理方法。
【０１０８】
（付記８）前記合成画像を取得するステップをさらに含み、当該合成画像を取得するステップは、
前記階層における残りのＮ−１枚の画像と前記基準画像を合わせるステップと、
合わせたＮ枚の画像を画素点ごとに累積することにより、当該画素点における全ての重ね合わせたエッジ点の総数を計算し、合成されたエッジ画像を前記合成画像として当該総数に基づいて取得するステップと、
を含むことを特徴とする付記４に記載の画像処理方法。
【０１０９】
（付記９）前記合成画像に対してノイズ除去を行うステップをさらに含み、前記合成画像を共通パターンを含む画像として特定するステップは、ノイズ除去後の前記合成画像を、共通パターンを含む画像として特定することを特徴とする付記１〜３のいずれか１つに記載の画像処理方法。
【０１１０】
（付記１０）前記Ｎ枚の処理対象の画像は文書画像であり、前記共通パターンは文書画像中に埋め込まれた透かしであることを特徴とする付記１〜３のいずれか１つに記載の画像処理方法。
【０１１１】
（付記１１）２枚ずつの画像間の前記マッチングパラメータは、並進、回転及び／又は拡大縮小変換に係るマッチングパラメータを含むことを特徴とする付記２又は３に記載の画像処理方法。
【０１１２】
（付記１２）Ｎ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）画像処理装置であって、
Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像をＣ個の階層に分けることによりＮ×Ｃ枚の画像を得る画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の画像の平均類似度を計算する平均類似度計算部と、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像として特定する基準画像特定部と、
前記基準画像を基にして当該階層におけるＮ枚の画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、
を備えたことを特徴とする画像処理装置。
【０１１３】
（付記１３）前記基準画像特定部は、
前記１つの階層におけるＮ枚の画像における各画像と残りのＮ−１枚の画像との２枚ずつの画像間のマッチングパラメータに基づいて、各画像に対する残りのＮ−１枚の画像の２枚ずつの画像間の予測マッチングパラメータを計算し、各画像に対する予測マッチングパラメータマトリックスを取得する予測パラメータマトリックス取得部と、
各画像に対する前記予測マッチングパラメータマトリックスに基づいて、各画像の平均予測誤差を計算する平均予測誤差計算部と、
を含むことを特徴とする付記１２に記載の画像処理装置。
【０１１４】
（付記１４）前記平均類似度計算部は、
Ｎ枚の画像における各画像の前記平均予測誤差に基づいて、各画像の予測精度確率を計算する予測精度確率計算部と、
Ｎ枚の画像における各画像と残りのＮ−１枚の画像との２枚ずつの画像間の類似度に基づいて、各画像の前記予測精度確率を用いて各画像の類似度を計算する類似度計算部と、
を備え、
Ｎ枚の画像における各画像の前記類似度に基づいて、Ｎ枚の画像の前記平均類似度を計算することを特徴とする付記１３に記載の画像処理装置。
【０１１５】
（付記１５）前記画像特徴抽出部は、
エッジ検出演算子を用いて前記Ｎ枚の画像におけるすべてのエッジを抽出するエッジ抽出部と、
各エッジ点におけるエッジ強度の大きさを計算するエッジ強度計算部と、
を備え、
計算された前記エッジ強度の大きさに基づいてＮ枚の画像を前記Ｃ個の階層に分けることを特徴とする付記１２〜１４のいずれか１つに記載の画像処理装置。
【０１１６】
（付記１６）前記Ｎ枚の処理対象の画像はグレイ階調画像であり、前記エッジ検出演算子はＣＡＮＮＹ演算子であることを特徴とする付記１５に記載の画像処理装置。
【０１１７】
（付記１７）前記Ｎ枚の処理対象の画像はカラー画像であり、前記エッジ検出演算子はカラー画像から直接エッジ情報を抽出することを特徴とする付記１５に記載の画像処理装置。
【０１１８】
（付記１８）前記Ｎ枚の処理対象の画像はカラー画像であり、
前記画像処理装置は、カラー−グレイ階調変換によりＮ枚のカラー画像をＮ枚のグレイ階調画像に変換するカラー−グレイ階調変換部をさらに備え、
前記エッジ検出演算子はＣＡＮＮＹ演算子であることを特徴とする付記１５に記載の画像処理装置。
【０１１９】
（付記１９）前記画像合成部は、当該階層における残りのＮ−１枚の画像と基準画像とを合わせ、合わせたＮ枚の画像を画素点ごとに累積することにより、当該画素点における全ての重ね合わせたエッジ点の総数を計算し、合成されたエッジ画像を前記合成画像として当該総数に基づいて取得することを特徴とする付記１５に記載の画像処理装置。
【０１２０】
（付記２０）前記画像合成部によって合成された合成画像に対してノイズ除去処理を行うノイズ除去部をさらに備え、前記画像合成部は、ノイズ除去後の合成画像を前記共通パターンを含む画像として特定することを特徴とする付記１２〜１４のいずれか１つに記載の画像処理装置。
【０１２１】
（付記２１）前記Ｎ枚の処理対象の画像は、文書画像であり、前記共通パターンは文書画像中に埋め込まれた透かしであることを特徴とする付記１２〜１４のいずれか１つに記載の画像処理装置。
【０１２２】
（付記２２）２枚ずつの画像間の前記マッチングパラメータは、並進、回転及び／又は拡大縮小変換に係るマッチングパラメータを含むことを特徴とする付記１３又は１４に記載の画像処理装置。
【０１２３】
（付記２３）Ｎ枚の処理対象の画像から、当該Ｎ枚の文書画像に埋め込まれた透かしを含む画像を特定する（ここで、Ｎは３以上の自然数である）透かし検出システムであって、
Ｎ枚の文書画像に対して文書画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の文書画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得る画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の文書画像の平均類似度を計算する平均類似度計算部と、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい文書画像を基準画像として特定する基準画像特定部と、
前記基準画像を基にして当該階層におけるＮ枚の文書画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、
を備えたことを特徴とする透かし検出システム。
【０１２４】
（付記２４）前記透かし検出システムは、スキャナ、複写機、又は多機能一体機に集積されていることを特徴とする付記２３に記載の透かし検出システム。
【符号の説明】
【０１２５】
２００ データ処理システム
２０２ プロセッサ
２０４ プロセッサ
２０６ システムバス
２０８ メモリコントローラ／高速バッファー
２０９ ローカルメモリ
２１０ Ｉ／Ｏブリッジ
２１２ Ｉ／Ｏバス
２１４ ＰＣＩバスブリッジ
２１６ ＰＣＩバス
２１８ モデム
２２０ ネットワークアダプター
２２２ ＰＣＩバスブリッジ
２２４ ＰＣＩバスブリッジ
２２６ ＰＣＩバス
２２８ ＰＣＩバス
２３０ グラッフィックアダプター
２３２ ハードディスク
３００ 画像処理方法
１３００ 画像処理方法
１４００ 画像処理装置
１４１０ 画像特徴抽出ユニット
１４２０ 基準画像特定ユニット
１４３０ 平均類似度計算ユニット
１４４０ 画像合成ユニット
１４５０ ノイズ除去ユニット
【特許請求の範囲】
【請求項１】
画像処理装置がＮ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）画像処理方法であって、
Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得るステップ（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の画像の平均類似度を計算するステップと、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像とし、該基準画像を基にして当該階層におけるＮ枚の画像を合成した合成画像を共通パターンを含む画像として特定するステップと、
を前記画像処理装置が実行することを特徴とする画像処理方法。
【請求項２】
前記階層におけるＮ枚の画像における各画像に対して、前記平均予測誤差を計算するステップをさらに含み、
前記平均予測誤差を計算するステップは、
当該画像と残りのＮ−１枚の画像との２枚ずつの画像間のマッチングパラメータに基づいて、当該画像に対する残りのＮ−１枚の画像の２枚ずつの画像間の予測マッチングパラメータを計算し、当該画像に対する予測マッチングパラメータマトリックスを取得するステップと、
当該画像に対する前記予測マッチングパラメータマトリックスに基づいて、当該画像の前記平均予測誤差を計算するステップと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
各階層におけるＮ枚の画像の前記平均類似度を計算するステップは、
各画像の前記平均予測誤差に基づいて、各画像の予測精度確率を計算するステップと、
各画像と残りのＮ−１枚の画像との２枚ずつの画像間の類似度に基づいて、各画像の前記予測精度確率を用いて各画像の類似度を計算するステップと、
各画像の類似度に基づいてＮ枚の画像の前記平均類似度を計算するステップと、
を含むことを特徴とする請求項２に記載の画像処理方法。
【請求項４】
画像の特徴抽出を行い、前記特徴抽出の結果に基づいて前記Ｎ枚の画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得るステップは、
エッジ検出演算子を用いて当該Ｎ枚の画像におけるすべてのエッジを抽出するステップと、
各エッジ点におけるエッジ強度の大きさを計算するステップと、
計算された前記エッジ強度の大きさに基づいて当該Ｎ枚の画像を前記Ｃ個の階層に分けるステップと、
を含むことを特徴とする請求項１〜３のいずれか１つに記載の画像処理方法。
【請求項５】
前記合成画像を取得するステップをさらに含み、当該合成画像を取得するステップは、
前記階層における残りのＮ−１枚の画像と前記基準画像を合わせるステップと、
合わせたＮ枚の画像を画素点ごとに累積することにより、当該画素点における全ての重ね合わせたエッジ点の総数を計算し、合成されたエッジ画像を前記合成画像として当該総数に基づいて取得するステップと、
を含むことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記Ｎ枚の処理対象の画像は文書画像であり、前記共通パターンは文書画像中に埋め込まれた透かしであることを特徴とする請求項１〜３のいずれか１つに記載の画像処理方法。
【請求項７】
Ｎ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）画像処理装置であって、
Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得る画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の画像の平均類似度を計算する平均類似度計算部と、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像として特定する基準画像特定部と、
前記基準画像を基にして当該階層におけるＮ枚の画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、
を備えたことを特徴とする画像処理装置。
【請求項８】
Ｎ枚の処理対象の画像から、当該Ｎ枚の文書画像に埋め込まれた透かしを含む画像を特定する（ここで、Ｎは３以上の自然数である）透かし検出システムであって、
Ｎ枚の文書画像に対して文書画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の文書画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得る画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の文書画像の平均類似度を計算する平均類似度計算部と、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい文書画像を基準画像として特定する基準画像特定部と、
前記基準画像を基にして当該階層におけるＮ枚の文書画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、
を備えたことを特徴とする透かし検出システム。
【請求項１】
画像処理装置がＮ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）画像処理方法であって、
Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得るステップ（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の画像の平均類似度を計算するステップと、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像とし、該基準画像を基にして当該階層におけるＮ枚の画像を合成した合成画像を共通パターンを含む画像として特定するステップと、
を前記画像処理装置が実行することを特徴とする画像処理方法。
【請求項２】
前記階層におけるＮ枚の画像における各画像に対して、前記平均予測誤差を計算するステップをさらに含み、
前記平均予測誤差を計算するステップは、
当該画像と残りのＮ−１枚の画像との２枚ずつの画像間のマッチングパラメータに基づいて、当該画像に対する残りのＮ−１枚の画像の２枚ずつの画像間の予測マッチングパラメータを計算し、当該画像に対する予測マッチングパラメータマトリックスを取得するステップと、
当該画像に対する前記予測マッチングパラメータマトリックスに基づいて、当該画像の前記平均予測誤差を計算するステップと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
各階層におけるＮ枚の画像の前記平均類似度を計算するステップは、
各画像の前記平均予測誤差に基づいて、各画像の予測精度確率を計算するステップと、
各画像と残りのＮ−１枚の画像との２枚ずつの画像間の類似度に基づいて、各画像の前記予測精度確率を用いて各画像の類似度を計算するステップと、
各画像の類似度に基づいてＮ枚の画像の前記平均類似度を計算するステップと、
を含むことを特徴とする請求項２に記載の画像処理方法。
【請求項４】
画像の特徴抽出を行い、前記特徴抽出の結果に基づいて前記Ｎ枚の画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得るステップは、
エッジ検出演算子を用いて当該Ｎ枚の画像におけるすべてのエッジを抽出するステップと、
各エッジ点におけるエッジ強度の大きさを計算するステップと、
計算された前記エッジ強度の大きさに基づいて当該Ｎ枚の画像を前記Ｃ個の階層に分けるステップと、
を含むことを特徴とする請求項１〜３のいずれか１つに記載の画像処理方法。
【請求項５】
前記合成画像を取得するステップをさらに含み、当該合成画像を取得するステップは、
前記階層における残りのＮ−１枚の画像と前記基準画像を合わせるステップと、
合わせたＮ枚の画像を画素点ごとに累積することにより、当該画素点における全ての重ね合わせたエッジ点の総数を計算し、合成されたエッジ画像を前記合成画像として当該総数に基づいて取得するステップと、
を含むことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記Ｎ枚の処理対象の画像は文書画像であり、前記共通パターンは文書画像中に埋め込まれた透かしであることを特徴とする請求項１〜３のいずれか１つに記載の画像処理方法。
【請求項７】
Ｎ枚の処理対象の画像から、当該Ｎ枚の画像での共通パターンを含む画像を特定する（ここで、Ｎは３以上の自然数である）画像処理装置であって、
Ｎ枚の画像に対して画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得る画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の画像の平均類似度を計算する平均類似度計算部と、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい画像を基準画像として特定する基準画像特定部と、
前記基準画像を基にして当該階層におけるＮ枚の画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、
を備えたことを特徴とする画像処理装置。
【請求項８】
Ｎ枚の処理対象の画像から、当該Ｎ枚の文書画像に埋め込まれた透かしを含む画像を特定する（ここで、Ｎは３以上の自然数である）透かし検出システムであって、
Ｎ枚の文書画像に対して文書画像の特徴抽出を行い、当該特徴抽出の結果に基づいてＮ枚の文書画像を前記Ｃ個の階層に分けることによりＮ×Ｃ枚の画像を得る画像特徴抽出部（ここで、Ｃは２以上の自然数である）と、
各階層における前記Ｎ枚の文書画像の平均類似度を計算する平均類似度計算部と、
前記平均類似度が最大の階層におけるＮ枚の画像において平均予測誤差があらかじめ設定した閾値よりも小さい文書画像を基準画像として特定する基準画像特定部と、
前記基準画像を基にして当該階層におけるＮ枚の文書画像を合成して、合成した合成画像を共通パターンを含む画像として特定する画像合成部と、
を備えたことを特徴とする透かし検出システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−２３２４５０（Ｐ２００９−２３２４５０Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００９−３９８８５（Ｐ２００９−３９８８５）
【出願日】平成２１年２月２３日（２００９．２．２３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２１年２月２３日（２００９．２．２３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]