画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム、及び記録媒体
【課題】２つの画像を合成する画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム、及び記録媒体の提供。
【解決手段】入力された原稿画像から複数の連結領域を抽出し、連結領域の重心を算出することによって特徴点を求める特徴点算出部５３１、算出した特徴点間の距離から原稿画像の特徴量を算出する特徴量算出部５３２、算出した特徴量を基に類似した画像へ投票する投票処理部５３３等を備える文書照合処理部５３を備えており、この文書照合処理部５３の機能を用いて２つの画像のそれぞれから特徴点を抽出し、抽出した特徴点の対応付けを行うことにより画像合成を行う。
【解決手段】入力された原稿画像から複数の連結領域を抽出し、連結領域の重心を算出することによって特徴点を求める特徴点算出部５３１、算出した特徴点間の距離から原稿画像の特徴量を算出する特徴量算出部５３２、算出した特徴量を基に類似した画像へ投票する投票処理部５３３等を備える文書照合処理部５３を備えており、この文書照合処理部５３の機能を用いて２つの画像のそれぞれから特徴点を抽出し、抽出した特徴点の対応付けを行うことにより画像合成を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの画像を合成する画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来より、複写機等の画像形成装置において、複数の入力画像を部分的に重複させて繋ぎ合わせることにより１つの画像を作成し、作成した画像について画像形成を行う場合がある。このため、原稿の画像を記録媒体上に複写する複写機に適用される画像処理装置として、画像読取部で読み取り可能な最大サイズであるスキャナサイズよりも大きな原稿の画像を複写する場合に、原稿の画像を部分的に重複して分割した複数の部分画像のそれぞれについて複数回の読取処理を行った後、読み取った複数の部分画像を繋ぎ合わせて元の原稿の画像に復元し、復元した原稿の画像を記録媒体のサイズに合わせて出力するようにしたものがある（例えば、特許文献１を参照）。
【０００３】
特許文献１に開示されている画像処理装置では、複数の入力画像のそれぞれについて２値化処理と、２値化画像におけるエッジ部の抽出処理とを行い、２値化処理及びエッジ抽出処理後の各入力画像についてパターンマッチング法による比較を行い、エッジ部の特徴が一致する部分が重複するように２つの入力画像を繋ぎ合わせるようにしている。
【特許文献１】特開平４−３１４２６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された構成では、２値化処理及びエッジ抽出処理後の画像を各入力画像の特徴データとしてパターンマッチング法による比較を行うようにしているが、これは、複数回分けて読み取られた原稿が回転していないことを暗に限定しているため、実際の２つの画像をパターンマッチングする場合には、その一致ポイントを正確に検出することはできないという問題点を有していた。
【０００５】
本発明は斯かる事情に鑑みてなされたものであり、２つの画像の夫々から画素を連結した連結領域を複数抽出し、抽出した各連結領域に含まれる特徴点に基づいて各画像の特徴を表す特徴量を夫々算出し、算出した特徴量を比較することにより特徴点間の対応付けを行い、対応付けた特徴点の位置の情報を用いて２つの画像の座標変換を表す変換行列を算出し、算出した変換行列を用いて一方の画像を変換することにより画像合成を行う構成とすることにより、入力された２つの画像が互いに傾いている場合であっても正確に特徴点の対応付けを行うことができ、精度良く画像合成を実行することができる画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム、及び記録媒体を提供することを目的とする。
【０００６】
また、本発明の他の目的は、変換行列を算出する際、用いる特徴点を選択して変換行列の精度（画像合成の精度）を向上させることができる画像処理装置を提供することにある。
【０００７】
更に、本発明の他の目的は、合成された画像データを特徴量、原稿を表すインデックス、及び合成画像であることを表すタグ情報を関連付けて格納しておき、再度、画像の合成動作を行わなくても、元の原稿を用いて合成画像データを抽出することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理方法は、互いに重なるべき領域を有する２つの画像を取り込み、取り込んだ２つの画像を前記領域にて合成する画像処理方法において、前記２つの画像の夫々から画素を連結した連結領域を複数抽出し、抽出した各連結領域に含まれる特徴点を抽出し、抽出した特徴点に基づいて各画像の特徴を表す特徴量を夫々算出し、算出した各画像の特徴量を比較することにより各連結領域から抽出した特徴点間の対応付けを行い、対応付けた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出し、算出した変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成することを特徴とする。
【０００９】
本発明にあっては、２つの画像の夫々から抽出した特徴点を用いて各画像の特徴量をそれぞれ算出し、算出した特徴量を比較することによって特徴点間の対応付けを行い、対応付けた特徴点の座標を用いることによって座標変換を表す変換行列を求める。従来の画像合成には、様々な特徴点を採用したパターンマッチングが使用されてきたが、本発明では、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な特徴量を用いて特徴点の対応付けを行うため、２つの画像に傾き等が生じている場合であっても、正確な対応付けが可能となり、画像合成の精度が向上する。
【００１０】
本発明に係る画像処理装置は、互いに重なるべき領域を有する２つの画像を取り込み、取り込んだ２つの画像を前記領域にて合成する画像処理装置において、前記２つの画像の夫々から画素を連結した連結領域を複数抽出する手段と、抽出した各連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて各画像の特徴を表す特徴量を夫々算出する手段と、算出した各画像の特徴量を比較することにより各連結領域から抽出した特徴点間の対応付けを行う手段と、対応付けた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出する手段と、算出した変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成する手段とを備えることを特徴とする。
【００１１】
本発明にあっては、２つの画像の夫々から抽出した特徴点を用いて各画像の特徴量をそれぞれ算出し、算出した特徴量を比較することによって特徴点間の対応付けを行い、対応付けた特徴点の座標を用いることによって座標変換を表す変換行列を求める。従来の画像合成には、様々な特徴点を採用したパターンマッチングが使用されてきたが、本発明では、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な特徴量を用いて特徴点の対応付けを行うため、２つの画像に傾き等が生じている場合であっても、正確な対応付けが可能となり、画像合成の精度が向上する。
【００１２】
本発明に係る画像処理装置は、前記特徴点を抽出する手段は、変換行列を算出する際に阻害要因となる特徴点を、抽出した特徴点から除去するようにしてあることを特徴とする。
【００１３】
本発明にあっては、選択した特徴点を用いて画像合成を行うため、画像合成の精度が向上する。
【００１４】
本発明に係る画像処理装置は、合成された画像データを、合成された画像データより抽出された特徴量、合成された画像データの夫々を識別する第１の識別情報、及び合成された画像データであることを示す第２の識別情報に対応付けて記憶手段に格納する制御部を備えることを特徴とする。
【００１５】
本発明にあっては、記憶手段に関連付けられた格納された情報に基づいて合成された画像データを読み出すことができるため、再度、画像の合成動作を行わなくても、元の原稿を用いて合成画像データを抽出することができる。
【００１６】
本発明に係る画像処理装置は、取り込んだ画像を記憶画像と照合する画像照合手段を備え、該画像照合手段は、前記取り込んだ画像から画素を連結した連結領域を抽出する手段と、抽出した連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて前記画像の特徴を表す特徴量を算出する手段と、算出した特徴量と予め記憶されている記憶画像の特徴量とを比較し、一致する特徴量の記憶画像に投票する手段とを備えることを特徴とする。
【００１７】
本発明にあっては、画像照合手段が、画像から画素を連結した連結領域を抽出する手段と、抽出した連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて画像の特徴を表す特徴量を算出する手段と、算出した特徴量と予め記憶されている記憶画像の特徴量とを比較し、一致する特徴量の記憶画像に投票する手段とを備えるため、画像照合手段の一部の機能を利用することにより、２つの画像から抽出した特徴点間の対応付けが可能となる。
【００１８】
本発明に係る画像処理装置は、抽出した連結領域の重心を算出する手段を備え、算出した重心を前記連結領域の特徴点としてあることを特徴とする。
【００１９】
本発明にあっては、抽出した連結領域の重心を算出し、算出した重心を特徴点としているため、任意の画像について特徴点の抽出が可能となり、高速かつ精度よく特徴量の算出が可能となる。
【００２０】
本発明に係る画像処理装置は、前記特徴量は、前記画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータであることを特徴とする。
【００２１】
本発明にあっては、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータを特徴量として算出するため、合成対象の画像が天地逆転してスキャンされた場合であっても、画像合成の精度が保たれる。
【００２２】
本発明に係る画像処理装置は、１つの画像から抽出した特徴点間の距離を用いて定式化したハッシュ関数によりハッシュ値を算出する手段を備え、算出したハッシュ値を前記画像の特徴量としてあることを特徴とする。
【００２３】
本発明にあっては、特徴点間の距離を用いて定式化したハッシュ関数によりハッシュ値を算出するようにしているため、特徴点の幾何学的な配置に応じた不変量が算出される。
【００２４】
本発明に係る画像処理装置は、合成すべき領域を各画像について予め設定してあることを特徴とする。
【００２５】
本発明にあっては、合成すべき領域が予め設定されているため、処理時間が短縮される。
【００２６】
本発明に係る画像読取装置は、原稿を載置する原稿台と、該原稿台に載置された原稿から画像を読み取る読取手段と、前述した発明の何れか１つに記載の画像処理装置とを備え、前記読取手段にて読み取った２つの画像を前記画像処理装置にて合成するようにしてあることを特徴とする。
【００２７】
本発明にあっては、スキャナ装置、デジタル複合機等により読み取られた画像について画像合成を行うことができる。
【００２８】
本発明に係る画像読取装置は、合成すべき領域を前記原稿台に対して設定してあることを特徴とする。
【００２９】
本発明にあっては、合成すべき領域を原稿台に対して設定しているため、原稿の載置位置を容易に特定することができる。
【００３０】
本発明に係る画像形成装置は、前述した発明の何れか１つに記載の画像処理装置と、該画像処理装置により２つの画像を合成して得られた画像をシート上に形成する手段とを備えることを特徴とする。
【００３１】
本発明にあっては、プリンタ装置、デジタル複合機などに適用することができ、合成して得られた画像をシート上に形成することができる。
【００３２】
本発明に係る画像形成装置は、原稿を載置する原稿台と、該原稿台に載置された原稿から画像を読み取る読取手段とを備え、合成すべき領域を前記原稿台に対して設定してあることを特徴とする。
【００３３】
本発明にあっては、合成すべき領域を原稿台に対して設定しているため、原稿の載置位置を容易に特定することができる。
【００３４】
本発明に係るコンピュータプログラムは、コンピュータに、互いに重なるべき領域を有する２つの画像を該領域にて合成させるコンピュータプログラムにおいて、コンピュータに、前記２つの画像の夫々から画素を連結した連結領域を複数抽出させるステップと、コンピュータに、抽出させた各連結領域に含まれる特徴点を抽出させるステップと、コンピュータに、抽出させた特徴点に基づいて各画像の特徴を表す特徴量を算出させるステップと、コンピュータに、算出させた各画像の特徴量を比較させることにより各連結領域から抽出された特徴点間の対応付けを行わせるステップと、コンピュータに、対応付けられた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出させるステップと、コンピュータに、算出させた変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成させるステップとを有することを特徴とする。
【００３５】
本発明にあっては、２つの画像の夫々から抽出した特徴点を用いて各画像の特徴量をそれぞれ算出し、算出した特徴量を比較することによって特徴点間の対応付けを行い、対応付けた特徴点の座標を用いることによって座標変換を表す変換行列を求める。従来の画像合成には、様々な特徴点を採用したパターンマッチングが使用されてきたが、本発明では、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な特徴量を用いて特徴点の対応付けを行うため、２つの画像に傾き等が生じている場合であっても、正確な対応付けが可能となり、画像合成の精度が向上する。
【００３６】
本発明に係る記録媒体は、コンピュータに、互いに重なるべき領域を有する２つの画像を該領域にて合成させるコンピュータプログラムが記録されているコンピュータでの読み取りが可能な記録媒体において、コンピュータに、前記２つの画像の夫々から画素を連結した連結領域を複数抽出させるステップと、コンピュータに、抽出させた各連結領域に含まれる特徴点を抽出させるステップと、コンピュータに、抽出させた特徴点に基づいて各画像の特徴を表す特徴量を算出させるステップと、コンピュータに、算出させた各画像の特徴量を比較させることにより各連結領域から抽出された特徴点間の対応付けを行わせるステップと、コンピュータに、対応付けられた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出させるステップと、コンピュータに、算出させた変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成させるステップとを有するコンピュータプログラムが記録されていることを特徴とする。
【００３７】
本発明にあっては、２つの画像の夫々から抽出した特徴点を用いて各画像の特徴量をそれぞれ算出し、算出した特徴量を比較することによって特徴点間の対応付けを行い、対応付けた特徴点の座標を用いることによって座標変換を表す変換行列を求める。従来の画像合成には、様々な特徴点を採用したパターンマッチングが使用されてきたが、本発明では、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な特徴量を用いて特徴点の対応付けを行うため、２つの画像に傾き等が生じている場合であっても、正確な対応付けが可能となり、画像合成の精度が向上する。
【発明の効果】
【００３８】
本発明による場合は、２つの画像の夫々から抽出した特徴点を用いて各画像の特徴量をそれぞれ算出し、算出した特徴量を比較することによって特徴点間の対応付けを行い、対応付けた特徴点の座標を用いることによって座標変換を表す変換行列を求める。従来の画像合成には、様々な特徴点を採用したパターンマッチングが使用されてきたが、本発明では、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な特徴量を用いて特徴点の対応付けを行うため、２つの画像に傾き等が生じている場合であっても、特徴点を正確に対応付けることが可能となり、精度よく２つの画像を合成することができる。
【００３９】
本発明による場合は、画像照合手段が、画像から画素を連結した連結領域を抽出する手段と、抽出した連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて画像の特徴を表す特徴量を算出する手段と、算出した特徴量と予め記憶されている記憶画像の特徴量とを比較し、一致する特徴量の記憶画像に投票する手段とを備える。したがって、画像照合手段の一部の機能を利用することにより、２つの画像から抽出した特徴点間の対応付けを行うことができ、対応付けた特徴点の位置の情報を用いて画像合成を行うことができる。また、画像合成手段の一部の機能を用いるため、画像合成を行うために付加する回路構成を必要最小限とすることができる。
【００４０】
本発明よる場合は、選択した特徴点を用いて画像合成を行うため、画像合成の精度を向上させることができる。
【００４１】
本発明による場合は、記憶手段に関連付けられた格納された情報に基づいて合成された画像データを読み出すことができるため、再度、画像の合成動作を行わなくても、元の原稿を用いて合成画像データを抽出することができる。
【００４２】
本発明による場合は、抽出した連結領域の重心を算出し、算出した重心を特徴点としている。したがって、任意の画像について特徴点の抽出が可能となり、高速かつ精度良く特徴量を算出することができる。
【００４３】
本発明による場合は、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータを特徴量として算出するため、合成対象の画像が天地逆転してスキャンされた場合であっても、画像合成の精度を一定以上に保つことができる。
【００４４】
本発明による場合は、特徴点間の距離を用いて定式化したハッシュ関数によりハッシュ値を算出するようにしているため、特徴点の幾何学的な配置に応じた不変量を算出することができる。
【００４５】
本発明による場合は、合成すべき領域が予め設定されているため、処理時間を短縮することができる。
【００４６】
本発明による場合は、スキャナ装置、デジタル複合機等により読み取られた画像について画像合成を行うことができる。
【００４７】
本発明による場合は、合成すべき領域を原稿台に対して設定しているため、原稿の載置位置を容易に特定することができる。
【００４８】
本発明による場合は、プリンタ装置、デジタル複合機などに適用することができ、合成して得られた画像をシート上に形成することができる。
【発明を実施するための最良の形態】
【００４９】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。実施の形態１に係る画像処理システムは、操作パネル１、画像入力装置３、画像処理装置５Ａ、画像出力装置７を備える。
【００５０】
操作パネル１は、液晶表示装置、各種スイッチ等からなり、ユーザに報知すべき情報の表示、ユーザによる各種選択操作等を受付ける。
【００５１】
画像入力装置３は、原稿の画像を光学的に読み取る読取手段であり、読取用の原稿に光を照射する光源、ＣＣＤ（Charge Coupled Device）のようなイメージセンサ等を備えている。画像入力装置３では、所定の読取位置にセットされた原稿からの反射光像を当該イメージセンサに結像させ、ＲＧＢ（R : Red, G : Green, B : Blue）のアナログ電気信号を出力する。画像入力装置３が出力したアナログ電気信号は画像処理装置５Ａへ入力される。
【００５２】
画像処理装置５Ａは、画像入力装置３から出力されるアナログ電気信号をデジタル電気信号に変換した後、適宜の画像処理を行い、得られた画像データを画像出力装置７へ出力する。なお、画像処理装置５Ａの内部構成、動作等については後に詳述することとする。
【００５３】
画像出力装置７は、画像処理装置５Ａが出力する画像信号に基づいて用紙、ＯＨＰフィルム等のシート上に画像形成を行う手段である。そのため、画像出力装置７は、感光体ドラムを所定の電位に帯電させる帯電器、外部から受付けた画像データに応じてレーザ光を発して感光体ドラム上に静電潜像を生成させるレーザ書込装置、感光体ドラム表面に形成された静電潜像にトナーを供給して顕像化する現像器、感光体ドラム表面に形成されたトナー像を用紙上に転写する転写器等（不図示）を備えており、電子写真方式にて利用者が所望する画像を用紙上に形成する。なお、レーザ書込装置を用いた電子写真方式により画像形成を行う他、インクジェット方式、熱転写方式、昇華方式等により画像形成を行う構成であってもよい。
【００５４】
次に、画像処理装置５Ａの内部構成について説明する。ＡＤ変換部５１は、画像入力装置３から入力されたＲＧＢのアナログ信号をデジタル信号に変換する。シェーディング補正部５２は、ＡＤ変換部５１から出力されたデジタル形式のＲＧＢ信号に対して、画像入力装置３の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。シェーディング補正されたＲＧＢ信号は、文書照合処理部５３へ出力される。
【００５５】
文書照合処理部５３は、画像入力装置３を通じて取り込まれた画像が予め記憶されている記憶画像（以下、登録フォーマットという）に類似しているか否かの判定を行い、類似していると判定した場合、入力画像が登録フォーマットに対して書き込みを行った画像であるか否かを判断する。登録フォーマットに対して書き込みを行った画像であると判断した場合、書き込みに対応した領域を抽出し、抽出した領域の画像を登録フォーマットに関連付けて記憶する。
【００５６】
画像合成処理部５４は、画像入力装置３を通じて取り込まれた２つの画像を合成する際、文書照合処理部５３の機能の一部を用いて両画像に共通する特徴点を抽出し、抽出した特徴点同士の対応付けを行い、一方の画像の座標系を他方の画像の座標系に写す変換行列を求め、求めた変換行列を用いて一方の画像を変換することにより画像合成を行うものである。
【００５７】
入力階調補正部５５は、下地濃度の除去やコントラストなどの画質調整処理を行う。領域分離処理部５６は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離する処理を行う。領域分離処理部５６は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を後段の黒生成下色除去部５８、空間フィルタ処理部５９、及び階調再現処理部６２へ出力すると共に、入力されたＲＧＢ信号をそのまま後段の色補正部５７へ出力する。
【００５８】
色補正部５７は、色再現の忠実化再現のために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行うものである。色補正されたＲＧＢ信号は、後段の黒生成下色除去部５８へ出力される。黒生成下色除去部５８は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いた新たなＣＭＹ信号を生成する処理を行う。この処理によってＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。
【００５９】
黒生成処理の一例として、スケルトンブラックによる黒生成を行う方法がある。この方法では、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）、入力されるデータをＣ，Ｍ，Ｙ、出力されるデータをＣ’，Ｍ’，Ｙ’，Ｋ’、ＵＣＲ率（UCR : Under Color Removal）をα（０＜α＜１）とすると、黒生成下色除去処理は以下の式で表される。
【００６０】
Ｋ’＝ｆ｛ｍｉｎ（Ｃ，Ｍ，Ｙ）｝
Ｃ’＝Ｃ−αＫ’
Ｍ’＝Ｍ−αＫ’
Ｙ’＝Ｙ−αＫ’
【００６１】
空間フィルタ処理部５９は、黒生成下色除去部５８より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒子状劣化を防ぐように処理を行う。
【００６２】
例えば、領域分離処理部５６にて文字に分離された領域は、特に黒文字又は色文字の再現性を高めるために、空間フィルタ処理部５９による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部６２においては、高周波数の再現に適した高解像度のスクリーンでの二値化又は多値化処理が選択される。また、領域分離処理部５６にて網点領域に分離された領域に関しては、空間フィルタ処理部５９において、入力網点成分を除去するためのローパスフィルタ処理が施される。そして、出力階調補正部６０において、濃度信号などの信号をカラー画像出力装置の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部６２で最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理を施す。また、領域分離処理部５６にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化又は多値化処理が行われる。また、変倍処理部６１は、領域再現処理を行う前に必要に応じて変倍処理を行う。
【００６３】
前述した各処理が施された画像データは、一旦記憶手段（不図示）に記憶され、所定のタイミングで読出されて画像出力装置７へ出力される。
【００６４】
本実施の形態では、画像合成処理部５４が文書照合処理部５３の機能の一部を利用することにより、画像合成を行うことを特徴としている。以下では、文書照合処理部５３の詳細について説明する。
【００６５】
図２は文書照合処理部５３の内部構成を示すブロック図である。文書照合処理部５３は、制御部５３０、特徴点算出部５３１、特徴量算出部５３２、投票処理部５３３、類似度判定処理部５３４、データ格納部５３５を備える。
【００６６】
制御部５３０は、例えばＣＰＵであり、前述したハードウェア各部の制御を行う。特徴点算出部５３１は、入力画像に含まれる文字列、罫線などから連結部分を抽出し、連結部分の重心を特徴点として算出する。特徴量算出部５３２は、特徴点算出部５３１で算出された特徴点を用いて、回転、拡大、縮小に対して不変な量である特徴量（ハッシュ値）を算出する。投票処理部５３３は、特徴量算出部５３２で算出された特徴量を用いてデータ格納部５３５に予め登録している登録フォーマットに投票する。類似度判定処理部５３４は、投票結果を用いて入力画像と登録フォーマットとの類比を判定する。
【００６７】
図３は特徴点算出部５３１の構成を示すブロック図である。特徴点算出部５３１は、無彩化処理部５３１１、解像度変換部５３１２、フィルタ処理部５３１３、２値化処理部５３１４、及び重心算出部５３１５を備えている。
【００６８】
無彩化処理部５３１１は、入力画像データがカラー画像であった場合に無彩化して、明度信号又は輝度信号に変換するための処理部である。例えば、下記の変換式により輝度信号を求める。
【００６９】
Ｙｊ＝０．３０Ｒｊ＋０．５９Ｇｊ＋０．１１Ｂｊ
【００７０】
ここで、Ｙｊは各画素の輝度値、Ｒｊ，Ｇｊ，Ｂｊは各画素の色成分を表す。また、この方法ではなく、ＲＧＢ信号をＣＩＥ１９７６Ｌ* ａ* ｂ* 信号（CIE : Commission International de l'Eclairage、 Ｌ* ： 明度、a*, ｂ* ：色度）に変換しても良い。
【００７１】
解像度変換部５３１２は、入力画像データが画像入力装置３にて光学的に変倍されていた場合に、所定の解像度になるように再度変倍する処理部である。また、解像度変換部５３１２では、後段の処理量を軽減するために、画像入力装置３にて等倍時に読込まれる解像度よりも解像度を落とすための解像度変換としても用いられる。例えば、６００ｄｐｉ（dot per inch）で読み込まれた画像データを３００ｄｐｉに変換する。
【００７２】
フィルタ処理部５３１３は、画像入力装置の空間周波数特性が機種ごとに異なることを吸収するために用いられる処理部である。ＣＣＤが出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び走査ムラ等に起因して、画像のぼけなどの劣化が生じている。フィルタ処理部５３１３は、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理を行う。また、後段の処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタを用いて強調及び平滑化処理を行う。
【００７３】
２値化処理部５３１４は、無彩化された画像データから重心算出に適した２値画像データを作成する処理部である。重心算出部５３１５は、２値化されたデータから連結成分の重心を求め、これを特徴点として特徴量算出部５３２へ出力する。重心の算出方法としては、従来手法を用いることができる。すなわち、２値画像の２値化情報に基づいて各画素に対してラベリングを行い、同一ラベルが付された画素によって連結された連結領域を特定し、特定した連結領域の重心を特徴点として算出する。
【００７４】
図４は特徴点の抽出例を示す模式図である。図４（ａ）は、前述した手法により、「Ａ」の文字が連結領域として特定された例であり、図中の黒丸で示した点が特徴点（重心）として算出された様子を示している。図４（ｂ）は、同様に「書」の文字から連結領域を抽出した例であるが、連結領域が２つの領域に分割されて特定されている様子を示している。この場合、各連結領域から特徴点（重心）が算出されるため、１つの文字から２つの特徴点（特徴点Ａ，特徴点Ｂ）が算出されることになる。
【００７５】
次に、特徴量の算出手法について説明する。図５は特徴量算出部５３２の構成を示すブロック図である。特徴量算出部５３２は、近傍点抽出部５３２１及び特徴量抽出部５３２２を備える。近傍点抽出部５３２１は、特徴点算出部５３１によって算出された複数の特徴点のうち、任意の１つを注目特徴点として選択し、その注目特徴点から距離が小さい順に４つの特徴点を周辺特徴点として選択する。特徴量抽出部５３２２は、注目特徴点に対する４つの周辺特徴点の距離に基づいてハッシュ値（特徴量）を算出する。
【００７６】
図６は注目特徴点及び周辺特徴点について説明する説明図である。図６は特徴点算出部５３１によって６つの特徴点Ｐ１〜Ｐ６が算出された様子を示している。このとき、特徴量算出部５３２が特徴点Ｐ３を注目特徴点として選択した場合、特徴点Ｐ１，Ｐ２，Ｐ４，Ｐ５が周辺特徴点として選択される。特徴量算出部５３２は、選択した注目特徴点（Ｐ３）及び周辺特徴点（Ｐ１，Ｐ２，Ｐ４，Ｐ５）を用いて、入力画像の傾き、移動、回転等により不変な不変量を算出し、算出した不変量から入力画像の特徴量を算出する。
【００７７】
図７は注目特徴点Ｐ３による不変量の算出例を説明する説明図である。注目特徴点Ｐ３と周辺特徴点Ｐ１，Ｐ２，Ｐ４，Ｐ５との間の距離を用いて、不変量Ｈ３ｊを、Ｈ３ｊ＝Ａ３ｊ／Ｂ３ｊにより定義する。ここで、ｊ＝１，２，３の値をとり、Ａ３ｊ、Ｂ３ｊはそれぞれ特徴点間の距離を示しており、特徴点間の距離は、各周辺特徴点の座標値に基づいて算出される。すなわち、３通りの不変量が算出され、不変量Ｈ３１の値はＡ３１／Ｂ３１（図７（ａ）参照）、不変量Ｈ３２の値はＡ３２／Ｂ３２（図７（ｂ）参照）、不変量Ｈ３３の値はＡ３３／Ｂ３３となる（図７（ｃ）参照）。これらの不変量Ｈ３ｊは、例えば、原稿読取時に原稿が回転、移動、傾いた場合であっても値が変化せず、後段の類似判定において画像の類比判定を精度良く行うことができる。
【００７８】
図８は注目特徴点を特徴点Ｐ４とした場合の不変量の算出例を説明する説明図である。特徴量算出部５３２は、周辺特徴点として特徴点Ｐ２，Ｐ３，Ｐ５，Ｐ６を選択する。このとき、不変量Ｈ４ｊ（ｊ＝１，２，３）は、前述と同様に、Ｈ４ｊ＝Ａ４ｊ／Ｂ４ｊにより算出することができる。すなわち、不変量Ｈ４１の値はＡ４１／Ｂ４１（図８（ａ）参照）、不変量Ｈ４２の値はＡ４２／Ｂ４２（図８（ｂ）参照）、不変量Ｈ４３の値はＡ４３／Ｂ４３となる（図８（ｃ）参照）。
【００７９】
他の特徴点Ｐ１，Ｐ２，Ｐ５，Ｐ６を注目特徴点として選択した場合も同様であり、特徴量算出部５３２は、注目特徴点を順次変更し、各特徴点Ｐ１，Ｐ２，…，Ｐ６を選択した場合の不変量Ｈｉｊ（ｉ＝１，２，…，６：ｊ＝１，２，３）を算出する。
【００８０】
次いで、特徴量算出部５３２は、各注目特徴点により算出された不変量を用いて特徴量（ハッシュ値）Ｈｉを算出する。注目特徴点を特徴点Ｐｉとした場合のハッシュ値Ｈｉは、Ｈｉ＝（Ｈｉ１×１０2 ＋Ｈｉ２×１０1 ＋Ｈｉ３×１０0 ）／Ｅで表される。ここで、ｉは自然数であり特徴点の数を表しており、Ｅは余りをどの程度設定するかにより決定される定数であり、例えば、Ｅ＝１０とした場合、余りは０〜９の値をとり、これが算出するハッシュ値の取り得る範囲となる。
【００８１】
図９及び図１０はそれぞれ注目特徴点をＰ３及びＰ４とした場合の不変量の他の算出例を説明する説明図である。注目特徴点による不変量を算出する方法としては、例えば、図９に示すように、注目特徴点Ｐ３の周辺特徴点Ｐ１，Ｐ２，Ｐ４，Ｐ５の４点より４通りの組み合わせを選択し、不変量Ｈ３ｊ（ｊ＝１，２，３，４）を前述の場合と同様に、Ｈ３ｊ＝Ａ３ｊ／Ｂ３ｊにより算出してもよい。また、注目特徴点をＰ４としたときも同様に、注目特徴点Ｐ４の周辺特徴点Ｐ２，Ｐ３，Ｐ５，Ｐ６の４点より４通りの組み合わせを選択し（図１０を参照）、不変量Ｈ４ｊ（ｊ＝１，２，３，４）をＨ４ｊ＝Ａ４ｊ／Ｂ４ｊにより算出してもよい。この場合、ハッシュ値は、Ｈｉ＝（Ｈｉ１×１０3 ＋Ｈｉ２×１０2 ＋Ｈｉ３×１０1 ＋Ｈｉ４×１０0）／Ｅで算出される。
【００８２】
なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。また、上記では、周辺特徴点として４つを選択する構成としたが、４つに限定されるものではない。例えば、６つを抽出するようにしてもよい。この場合、６つの特徴点から５つを抽出し、５つを抽出する６通り夫々の方法について、５点から３点を抽出して不変量を求め、ハッシュ値を算出するようにしてもよい。
【００８３】
特徴量算出部５３２では、このようにして各連結領域について特徴量（ハッシュ値）を算出する。投票処理部５３３は、特徴量算出部５３２が算出したハッシュ値に基づいてハッシュテーブルを検索し、登録されているインデックスの原稿に投票する。図１１はハッシュテーブルの一例を示す概念図である。ハッシュテーブルは、ハッシュ値及び登録フォーマットを表すインデックスの各欄により構成される。すなわち、図１１（ａ）に示すように、連結領域の特徴を表す特徴量に対応して、登録フォーマットを表すインデックスを登録している。例えば、算出したハッシュ値が「Ｈ１」である場合、投票処理部５３３は、「ＩＤ１」のインデックスを持つ登録フォーマットに投票を行う。また、算出したハッシュ値が「Ｈ３」である場合、投票処理部５３３は２種類の登録フォーマット（すなわち、「ＩＤ２」、「ＩＤ３」のインデックスを持つ登録フォーマット）に投票を行う。算出したハッシュ値が他の値である場合も同様である。なお、ハッシュ値が等しい場合（Ｈ１＝Ｈ５）、図１１（ｂ）に示すように、ハッシュテーブルの２つのエントリを１つにまとめることも可能である。
【００８４】
図１２は投票結果の一例を示すグラフである。横軸は登録フォーマットの種類、縦軸は得票数を表している。図１２に示した例は、３種類の登録フォーマット（「Ｎ１」〜「Ｎ３」）について投票が行われている様子を示している。投票を累積加算した投票結果は類似度判定処理部５３４へ出力される。
【００８５】
類似度判定処理部５３４は、投票処理部５３３から入力された投票結果に基づいて、画像の類似度を判定し、判定結果を制御部５３０へ通知する。類似度判定処理部５３４は、投票処理部５３３から入力された投票数（得票数）を予め定めた閾値と比較し、投票数が閾値以上である場合、入力画像が登録フォーマットに類似すると判定する。類似度判定処理部５３４は、投票処理部５３３から入力された投票数が閾値より小さい場合、類似する原稿がないと判定して、その結果を制御部５３０へ通知する。
【００８６】
なお、上記判定方法は一例であり、別の方法として、例えば、原稿毎の最大得票数（原稿毎に求められる特徴点の数など）で得票数を除算して正規化した後、類比判定を行ってもよい。
【００８７】
画像合成処理部５４では、文書照合処理部５３の機能の一部を用いて２つの原稿画像の合成を行う際、まず、１回目に読み込まれた原稿画像の特徴点の座標と２回目に読み込まれた原稿画像の特徴点の座標との対応付けを行う。図１３は２つの画像から抽出された特徴点の対応付けを説明する説明図である。図１３に示した例では、１回目に読み込まれた原稿画像から（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、及び（ｘ４，ｙ４）の座標を持つ４つの特徴点が抽出されており、各特徴点は、２回目に読み込まれた原稿画像から抽出された（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、及び（ｘ４’，ｙ４’）の座標を持つ４つの特徴点とそれぞれ対応付けられている様子を示している。
【００８８】
１回目に読み込まれた原稿画像の特徴点の座標を用いて作成した行列をＰｏｕｔ、２回目に読み込まれた原稿画像の特徴点の座標を用いて作成した行列をＰｉｎとした場合、一方の原稿画像の座標系を他方の原稿画像の座標系に写す変換式は、変換行列Ａを用いて以下のように表すことができる。
【００８９】
【数１】
【００９０】
行列Ｐｉｎは正方行列ではないので、両辺にＰｉｎの転置行列ＰｉｎT を乗算し、さらにＰｉｎT Ｐｉｎの逆行列を乗算することにより、変換行列Ａを求めることができる。
【００９１】
【数２】
【００９２】
したがって、一方の画像上の座標（ｘ，ｙ）を、他方の画像上の座標系に写す変換式は変換行列Ａを用いて、以下のように表すことができる。
【００９３】
【数３】
【００９４】
画像合成処理部５４は、数式３を用いて一方の画像上の座標を変換することにより、画像合成を行う。
【００９５】
以下、画像合成の具体的な処理手順について説明する。図１４は実施の形態１に係る画像処理システムによる画像合成の処理手順を説明するフローチャートである。画像処理装置５Ａは、まず、画像データの取り込み回数ｋを１にセットし（ステップＳ１１）、ｋ回目の画像データの取り込みを行う（ステップＳ１２）。
【００９６】
図１５は原稿の読取手順を説明する説明図である。本実施の形態では、原稿を載置するプラテン３０のサイズ（例えばＡ３サイズ）を越えるサイズの原稿（例えばＡ２サイズの原稿）を幾らかの重複領域を含めて、２回に分けてスキャンする。図１５（ａ）は、原稿の上側領域をスキャンしている様子を示しており、図１５（ｂ）は、前記上側領域の一部を重複して原稿の下側領域をスキャンしている様子を示している。すなわち、互いに重なり合う領域を持つように画像が取り込まれる。
【００９７】
次いで、文書照合処理部５３の特徴点算出部５３１及び特徴量算出部５３２を用いることにより、特徴量算出処理を行う（ステップＳ１３）。このとき、文書照合処理部５３は、特徴量として算出したハッシュ値に対応する特徴点のインデックスを格納すると共に、各インデックスに関連付けて特徴点の座標を格納する。図１６は特徴量（ハッシュ値）と特徴点のインデックスとの対応関係を示す図であり、図１７は特徴点のインデックスと座標との対応関係を示す図である。このような対応関係は、例えば、文書照合処理部５３のデータ格納部５３５に格納される。
【００９８】
次いで、画像処理装置５Ａは、取り込んだ画像データが２回目であるか否か（すなわち、ｋ＝２であるか否か）を判断し（ステップＳ１４）、２回目でない場合には（Ｓ１４：ＮＯ）、ｋの値を１つだけインクリメントし（ステップＳ１５）、処理をステップＳ１２へ移行させる。
【００９９】
取込んだ画像が２回目である場合（Ｓ１４：ＹＥＳ）、特徴点の対応付けを行う（ステップＳ１６）。１回目及び２回目に取込んだ画像から算出したハッシュ値と特徴点のインデックスとの対応関係が、それぞれ図１６（ａ）及び図１６（ｂ）に示したようになり、特徴点を表すインデックスと座標との対応関係が、それぞれ図１７（ａ）及び図１７（ｂ）に示したようになった場合、一方の画像から算出した特徴点ｆ１，ｆ２，ｆ３，ｆ４は、それぞれ他方の画像から抽出した特徴点ｐ１，ｐ２，ｐ３，ｐ４と対応付けられることが分かる。
【０１００】
これらの特徴点を用いて２つの画像を合成する場合、画像合成処理部５４は、対応する特徴点を２組以上用いて前述した変換行列Ａを算出する（ステップＳ１７）。算出した変換行列Ａを用いることにより、１回目の画像上の任意の座標（ｘ，ｙ）は、２回目の画像上の座標（ｘ’，ｙ’）に変換される。これにより、１回目の原稿が傾きを持っていた場合であっても、この変換行列Ａによって、２回目のスキャン画像の座標系に合わせて座標変換され、全体として連続した画像として合成することができる（ステップＳ１８）。
【０１０１】
なお、特徴点及び特徴量の算出は画像全体について行ってもよく、予め重ね合わせる領域を設定しておき、その設定領域内でのみ特徴点及び特徴量の算出を行ってもよい。図１８は重ね合わせる領域の設定例を示す模式図である。図１８に示した例では、重ね合わせる領域を明示するために指示板３１をプラテン３０の側面に設けている。指示板３１は指標３２を備えており、指標３２によって指定されるプラテン上の領域３０ａを重ね合わせの領域として設定している。この領域に合わせて１回目及び２回目のスキャンを実施し、入力画像データを作成することにより、設定幅の領域だけに対して一連の処理を実行すればよい。
【０１０２】
重ね合わせる領域を設定しない場合は、一方の画像から算出したｆ１，ｆ２，ｆ３，ｆ４，…と、他方の画像から抽出した特徴点ｐ１，ｐ２，ｐ３，ｐ４，…との対応付けを行う際、特徴点を選択するようにしてもよい。原稿を重複して読み取っているので、ほとんどの特徴点は重複領域のものが対応付けられているが、場合によっては、重複領域の特徴点のハッシュ値が重複していない領域のハッシュ値と一致する場合もあり得る。重複領域以外の特徴点の座標のデータが含まれると変換行列の精度が低下する虞があるので、重複領域内の特徴点のみを用いるようにする。
【０１０３】
図１９は対応付けを行う２つの画像の夫々から抽出した特徴点の一例を示す模式図である。例えば、両方の画像より特徴量が一致する特徴点を抽出し、抽出した特徴点ｆ１，ｆ２，ｆ３，ｆ４，…、及びｐ１，ｐ２，ｐ３，ｐ４，…について、原稿の４辺Ｅ１、Ｅ２、Ｅ３、Ｅ４、及びＥ１’、Ｅ２’、 Ｅ３’、 Ｅ４’からの距離を加算したヒストグラムを作成し、それぞれの特徴点が原稿の何れの辺に近い領域から抽出されているか（どの領域が重複して読み取られているか）を判定する。図２０は作成するヒストグラムを説明する説明図である。上記ヒストグラムのうち、特徴点が抽出された辺は、ヒストグラム（各点から辺までの距離の累積値）が最も小さくなるので、この特徴を用いることにより、どの領域から特徴点が抽出されているか判定することができる（図２０は２つの特徴点の座標を加算した例を示している。）。そして、特定された辺から所定の範囲内（例えば、特徴点の座標位置で５００）にある特徴点を選択することにより、不要な特徴点を削除して変換行列を求めることができる。また、特徴点がどの領域（辺）に存在するのかの判定を自動で行うので、ユーザは原稿の読み取りを行う際、原稿の向きを考慮することなく、原稿の読み取りを行うことができる。
【０１０４】
なお、デジタル複写機、複合機を用いて画像合成を行う場合は、例えば、操作パネル１より画像合成のモードを選択する。モードの設定は制御部５３０によって認識され、文書照合処理部５３の機能を用いて画像合成処理がなされ、合成することによって得られた画像データは変倍処理部６１で予め定められる値（又はユーザにより設定された値）に縮小され、階調再現処理部６２を通じて画像出力装置７へ送られる。
【０１０５】
実施の形態２．
実施の形態１では、文書照合処理部５３を利用して画像合成を実施したが、画像合成処理に文書照合処理の機能を組み込む構成であってもよい。本実施の形態では、画像合成処理に文書照合処理を組み込んだ画像処理装置の構成について説明する。
【０１０６】
図２１は本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。本実施の形態２に係る画像処理システムは、操作パネル１、画像入力装置３、画像処理装置５Ｂ、画像出力装置７を備える。このうち、画像処理装置５Ｂ以外の構成については、実施の形態１と全く同様である。
【０１０７】
画像処理装置５Ｂは、ＡＤ変換部５１、シェーディング補正部５２、画像合成処理部６４、入力階調補正部５５、領域分離処理部５６、色補正部５７、黒生成下色除去部５８、空間フィルタ処理部５９、出力階調補正部６０、変倍処理部６１、階調再現処理部６２により構成される。このうち、画像合成処理部６４以外の構成については、実施の形態１と全く同様である。
【０１０８】
図２２は画像合成処理部６４の内部構成を示すブロック図である。画像合成処理部６４は、制御部６４０、特徴点算出部６４１、特徴量算出部６４２、投票処理部６４３、合成処理部６４４、データ格納部６４５を備える。
【０１０９】
制御部６４０は、例えばＣＰＵであり、前述したハードウェア各部の制御を行う。特徴点算出部６４１は、入力画像に含まれる文字列、罫線などから連結部分を抽出し、連結部分の重心を特徴点として算出する。特徴量算出部６４２は、特徴点算出部６４１で算出された特徴点を用いて、回転、拡大、縮小に対して不変な量である特徴量（ハッシュ値）を算出する。投票処理部６４３は、特徴量算出部６４２で算出された特徴量を用いてデータ格納部６４５に予め登録している登録フォーマットに投票する。合成処理部６４４は、投票処理部６４３による投票結果を用いることにより、２つの画像から抽出した特徴点同士の対応関係を求め、前記画像間に成り立つ変換行列を算出する。そして、算出した変換行列に従って一方の画像を他方の画像の座標系に変換することにより画像合成を行う。
【０１１０】
図２３及び図２４は実施の形態２に係る画像処理システムによる画像合成の処理手順を説明するフローチャートである。画像処理装置５Ｂは、まず、画像データの取り込み回数ｋを１にセットし（ステップＳ２１）、ｋ回目の画像データの取り込みを行う（ステップＳ２２）。そして、画像合成処理部６４の特徴点算出部６４１及び特徴量算出部６４２を用いることにより、特徴量算出処理を行う（ステップＳ２３）。
【０１１１】
次いで、画像処理装置５Ｂは、取り込んだ画像データが２回目であるか否か（すなわち、ｋ＝２であるか否か）を判断し（ステップＳ２４）、２回目でない場合には（Ｓ２４：ＮＯ）、ｋの値を１つだけインクリメントし（ステップＳ２５）、処理をステップＳ２２へ移行させる。
【０１１２】
図２５は画像処理装置５Ｂに取り込まれる画像の一例を示す模式図である。画像入力装置３により読み取られる原稿のサイズは、プラテン３０のサイズよりも少しだけ大きく、本実施の形態では、例えば原稿の上側領域及び下側領域の２回に分けて読み取りを行う。このとき、上側領域及び下側領域には共通する画像を含んだ重複領域が形成されるように読み取りがおこなわれる（図２５（ａ）及び図２５（ｂ）を参照）。
【０１１３】
本実施の形態では、１回目の読取画像にｎ個（ｎは２以上の整数）の探索画像領域、２回目の読取画像にｎ個の参照画像領域を設定し、探索画像領域内の特徴点と参照画像領域内の特徴点との対応付けを行う。図２６は探索画像領域及び参照画像領域が設定されている様子を示す模式図である。すなわち、図２６（ａ）に示した１回目の読取画像には、ｎ個の探索画像領域Ｔ１，Ｔ２，…，Ｔｎが設定されており、図２６（ｂ）に示した２回目の読取画像には、ｎ個の参照画像領域Ｓ１，Ｓ２，…，Ｓｎが設定されている様子を示している。
【０１１４】
以下、説明を図２３に示したフローチャートに戻し、特徴点の対応付け及び画像合成の処理手順について説明する。取込んだ画像データが２回目である場合（Ｓ２４：ＹＥＳ）、画像合成処理部６４は、探索画像領域Ｔｘ及び参照画像領域Ｓｘのインデックスｘを１に設定する（ステップＳ２６）。そして、探索画像領域Ｔｘ内での参照画像を探索し（ステップＳ２７）、両領域に同一の特徴点があるか否かを判断する（ステップＳ２８）。同一の特徴点がないと判断した場合（Ｓ２８：ＮＯ）、処理をステップＳ２７へ戻す。
【０１１５】
同一の特徴点があると判断した場合（Ｓ２８：ＹＥＳ）、画像合成処理部６４は、探索画像領域Ｔｘ及び参照画像領域Ｓｘ内の特徴点の座標を格納する（ステップＳ２９）。
【０１１６】
次いで、画像合成処理部６４は、変換行列の算出の可否を判断するために、同一の特徴点が２組以上得られたか否かを判断する（ステップＳ３０）。同一の特徴点が２組以上得られていないと判断した場合（Ｓ３０：ＮＯ）、インデックスｘが探索画像領域Ｔｘ及び参照画像領域Ｓｘの設定数ｎに達したか否かを判断する（ステップＳ３１）。インデックスｘが設定数ｎに達していないと判断した場合（Ｓ３１：ＮＯ）、画像合成処理部６４は、インデックスｘの値を１つだけインクリメントし（ステップＳ３２）、処理をステップＳ２７へ戻す。すなわち、同一の特徴点が２組以上得られていない場合には、変換行列Ａを求めることができないため、残る探索画像領域Ｔｘ及び参照画像領域Ｓｘについても特徴点の対応付けを試みる。一方、同一の特徴点が２組以上得られていない状態でインデックスｘが設定数ｎに達したと判断した場合（Ｓ３１：ＹＥＳ）、エラー処理を行い（ステップＳ３３）、本フローチャートによる処理を終了する。エラー処理は、例えば、画像合成の実行が不能である旨をユーザに報知する。
【０１１７】
ステップＳ３０にて同一の特徴点が２組以上得られたと判断した場合（Ｓ３０：ＹＥＳ）、対応する特徴点を２組以上用いて実施の形態１で説明した変換行列Ａを算出する（ステップＳ３４）。そして、参照画像領域を設けた画像の全ての画像データを座標変換し（ステップＳ３５）、全体として連続した画像として合成する。
【０１１８】
なお、本実施の形態では、１回目に読み取った読取画像に探索画像領域を設定し、２回目に読み取った読取画像に参照画像領域を設けているが、実施の形態１に示すように、これらの画像領域を設けずに重複して読み取った領域の特徴点の対応関係を求めて座標変換を行い、画像合成を行う構成としてもよい。
【０１１９】
実施の形態３．
実施の形態１及び２では、各処理をハードウェアにより実現する構成としたが、ソフトウェアの処理により本発明を実現する構成としてもよい。
【０１２０】
図２７は本発明のコンピュータプログラムがインストールされた画像処理装置の内部構成を説明するブロック図である。図中１００は、本実施の形態に係る画像処理装置であり、具体的にはパーソナルコンピュータ、ワークステーション等である。画像処理装置１００はＣＰＵ１０１を備えており、ＣＰＵ１０１にはＲＯＭ１０３、ＲＡＭ１０４、ハードディスク１０５、外部記憶部１０６、入力部１０７、表示部１０８、通信ポート１０９等のハードウェアがバス１０２を介して接続されている。ＣＰＵ１０１は、ＲＯＭ１０３に予め格納された制御プログラムに従って前述のハードウェア各部を制御する。
【０１２１】
ＲＡＭ１０４は前述の制御プログラム、又は本発明に係るコンピュータプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）の実行中に生成される各種データを一時的に記憶する揮発性のメモリである。ハードディスク１０５は、磁気記録媒体を有する記憶手段であり、本発明のコンピュータプログラムのプログラムコード等が記憶される。外部記憶部１０６は、本発明のコンピュータプログラムのプログラムコードを記録した記録媒体Ｍからプログラムコードを読取るための読取装置を備えている。記録媒体Ｍとしては、ＦＤ（Flexible Disk）、ＣＤ−ＲＯＭ等を用いることができる。外部記憶部１０６によって読取られたプログラムコードはハードディスク１０５に格納される。ＣＰＵ１０１はハードディスク１０５に格納された本発明に係るプログラムコードをＲＡＭ１０４上にロードして実行することにより、装置全体を、実施の形態１で説明したような画像処理を実現する装置として機能させ、２つの画像からそれぞれ算出させた特徴量に基づいて特徴点同士の対応付けを行わせ、一方の画像の座標系を他方の画像の座標系に写す変換行列を算出させ、算出させた変換行列を用いて２つの画像の合成を行わせる。
【０１２２】
入力部１０７は、外部から画像データを取得するためのインタフェースとして機能する。入力部１０７には、例えば、カラースキャナ装置などが接続される。表示部１０８は、処理対象の画像データ、画像処理中の画像データ、画像処理後の画像データ等を表示するためのインタフェースとして機能する。表示部１０８に液晶ディスプレイ装置などの外部表示装置を接続して画像データを表示する構成であってもよく、表示部１０８自身が表示装置を備え、画像データを表示する構成であってもよい。通信ポート１０９は、外部にプリンタ１５０を接続するためのインタフェースである。画像処理された画像データをプリンタ１５０にて印刷する場合、画像処理装置１００は、前記画像データを基にプリンタ１５０にてデコード可能なプリントデータを生成し、生成したプリントデータをプリンタ１５０へ送信する。
【０１２３】
なお、本実施の形態では、各種演算をＣＰＵ１０１が実行する構成としたが、画像処理に係る演算を行う専用のチップを別途設け、ＣＰＵ１０１からの指示により演算を行う構成としてもよい。
【０１２４】
また、本発明に係るコンピュータプログラムコードを記録する記録媒体Ｍとしては、前述したＦＤ及びＣＤ−ＲＯＭの他に、ＭＯ、ＭＤ、ＤＶＤ等の光ディスク、ハードディスク等の磁気記録媒体、ＩＣカード、メモリカード、光カード等のカード型記録媒体、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリの利用も可能である。また、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークから本発明に係るコンピュータプログラムコードをダウンロードするようにしてもよい。
【０１２５】
また、本発明のコンピュータプログラムは、単体のアプリケーションプログラム、ユーティリティプログラムとして提供される形態であってもよく、他のアプリケーションプログラム、ユーティリティプログラムに組み込み、そのプログラムの一部の機能として提供する形態であってもよい。例えば、その一形態としてプリンタドライバに組み込んで提供する形態が考えられる。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１２６】
実施の形態４．
実施の形態１及び２では、デジタル複写機、複合機を用いて画像合成を行う例を示したが、ネットワークで接続されたサーバを用いて処理を分担し、実現するようにしても良い。
【０１２７】
図２８は本実施の形態に係るネットワークシステムの全体構成を示す模式図である。図２８に示すように、本実施の形態に係るネットワークシステムは、サーバ７０、複合機（ＭＦＰ）１０Ａ，１０Ｂ，…、プリンタ８１Ａ，８１Ｂ，…、ファクシミリ８２Ａ，８２Ｂ，…、コンピュータ８３Ａ，８３Ｂ，…、デジタルカメラ８４Ａ，８４Ｂ，…、スキャナ８５Ａ，８５Ｂ，…などがネットワークＮを介して接続されている。システムの構成は上記のものに限定されず、例えば、サーバ７０が複数接続されていてもよい。
【０１２８】
図２９はＭＦＰ１０Ａ（１０Ｂ）及びサーバ７０の内部構成を示すブロック図である。ＭＦＰ１０Ａ（１０Ｂ）は、装置内のハードウェア各部を制御するＭＦＰ制御部１１、読み込まれた原稿画像から特徴点を算出する特徴点算出部１２、算出した特徴点に基づいて原稿画像の特徴量を算出する特徴量算出部１３、算出した特徴量を用いて画像合成処理を行うＭＦＰ画像合成処理部１４、及びメモリ１５を備える。ハードウェア各部が実行する処理は、実施の形態１で説明した画像処理装置５Ａが実行する処理と同様であるため、その詳細については説明を省略する。
【０１２９】
サーバ７０は、装置内のハードウェア各部を制御するサーバ制御部７１、画像合成処理を行うサーバ画像合成処理部７２、及びメモリ７３を備える。サーバ画像合成処理部７２では、主としてＭＦＰ１０Ａ（１０Ｂ）で算出された特徴点、特徴量のデータに基づいて変換行列を算出する処理を行う。
【０１３０】
例えば、複合機１０Ａにおいて、１回目に読み込まれた原稿画像および２回目に読み込まれた原稿画像より特徴点および特徴量を算出してサーバ７０に送信するとともに、読み込まれた原稿画像を、一旦、ハードディスクなどに格納しておく。必要に応じて、圧縮して格納するようにしても良い。サーバ７０では、上記特徴点のデータを用いて変換行列を算出し、算出結果を複合機１０Ａに送信する。複合機１０Ａでは、変換行列を受信した場合、ハードディスクなどに格納しておいた原稿画像を読み出し（圧縮している場合は復号処理を施した後、読み出す）、変換行列を用いて画像の合成を行う。
【０１３１】
実施の形態５．
合成された画像データ（合成画像データ）、合成元の画像データを表すインデックス（第１の識別情報）、合成画像データであることを示すタグ（第２の識別情報）、及び抽出された特徴量（すなわち、合成された画像データ、合成画像データであることを示すタグとハッシュテーブル）をサーバ７０（ＭＦＰ１０Ａなどのハードディスクでも良い）等に格納しておき、ＭＦＰ１０Ａ（１０Ｂ）の操作パネルより画像合成モードを選択し、合成画像データの元の原稿を読み込んで、対応する合成画像データを検索するようにしても良い。この場合、１度合成画像データを作成しておけば、再度、画像の合成動作を行わなくても、元の原稿を用いて、合成画像データを抽出することができる。
【０１３２】
図３０は操作パネルの一例を示す模式図であり、図３１は操作パネルから画像合成モードが選択された場合に表示される画面の一例を示す模式図である。図３０に示す操作パネルから画像合成モードを選択し、図３１に示す画面から合成画像データに対象を絞って検索を行うことができるため、速やかに検索を行うことができるとともに、誤判別を抑制することができる。元の原稿は、合成画像の一部であるので、元の原稿から合成画像データを抽出することができるように、類似度判定の閾値を設定しておく。閾値は種々の原稿を用いて、対応する合成画像データが抽出できる値を決めれば良い。合成画像データはＭＭＲやＪＰＥＧ等原稿の種別に応じた方法で圧縮して格納しておいても良い。
【図面の簡単な説明】
【０１３３】
【図１】本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。
【図２】文書照合処理部の内部構成を示すブロック図である。
【図３】特徴点算出部の構成を示すブロック図である。
【図４】特徴点の抽出例を示す模式図である。
【図５】特徴量算出部の構成を示すブロック図である。
【図６】注目特徴点及び周辺特徴点について説明する説明図である。
【図７】注目特徴点Ｐ３による不変量の算出例を説明する説明図である。
【図８】注目特徴点を特徴点Ｐ４とした場合の不変量の算出例を説明する説明図である。
【図９】注目特徴点をＰ３とした場合の不変量の他の算出例を説明する説明図である。
【図１０】注目特徴点をＰ４とした場合の不変量の他の算出例を説明する説明図である。
【図１１】ハッシュテーブルの一例を示す概念図である。
【図１２】投票結果の一例を示すグラフである。
【図１３】２つの画像から抽出された特徴点の対応付けを説明する説明図である。
【図１４】実施の形態１に係る画像処理システムによる画像合成の処理手順を説明するフローチャートである。
【図１５】原稿の読取手順を説明する説明図である。
【図１６】特徴量（ハッシュ値）と特徴点のインデックスとの対応関係を示す図である。
【図１７】特徴点のインデックスと座標との対応関係を示す図である。
【図１８】重ね合わせる領域の設定例を示す模式図である。
【図１９】対応付けを行う２つの画像の夫々から抽出した特徴点の一例を示す模式図である。
【図２０】作成するヒストグラムを説明する説明図である。
【図２１】本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。
【図２２】画像合成処理部の内部構成を示すブロック図である。
【図２３】実施の形態２に係る画像処理システムによる画像合成の処理手順を説明するフローチャートである。
【図２４】実施の形態２に係る画像処理システムによる画像合成の処理手順を説明するフローチャートである。
【図２５】画像処理装置に取り込まれる画像の一例を示す模式図である。
【図２６】探索画像領域及び参照画像領域が設定されている様子を示す模式図である。
【図２７】本発明のコンピュータプログラムがインストールされた画像処理装置の内部構成を説明するブロック図である。
【図２８】本実施の形態に係るネットワークシステムの全体構成を示す模式図である。
【図２９】ＭＦＰ及びサーバの内部構成を示すブロック図である。
【図３０】操作パネルの一例を示す模式図である。
【図３１】操作パネルから画像合成モードが選択された場合に表示される画面の一例を示す模式図である。
【符号の説明】
【０１３４】
１ 操作パネル
３ 画像入力装置
５Ａ，５Ｂ 画像処理装置
７ 画像出力装置
５３ 文書照合処理部
５４，６４ 画像合成処理部
５３０ 制御部
５３１ 特徴点算出部
５３２ 特徴量算出部
５３３ 投票処理部
５３４ 類似度判定処理部
５３５ データ格納部
【技術分野】
【０００１】
本発明は、２つの画像を合成する画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来より、複写機等の画像形成装置において、複数の入力画像を部分的に重複させて繋ぎ合わせることにより１つの画像を作成し、作成した画像について画像形成を行う場合がある。このため、原稿の画像を記録媒体上に複写する複写機に適用される画像処理装置として、画像読取部で読み取り可能な最大サイズであるスキャナサイズよりも大きな原稿の画像を複写する場合に、原稿の画像を部分的に重複して分割した複数の部分画像のそれぞれについて複数回の読取処理を行った後、読み取った複数の部分画像を繋ぎ合わせて元の原稿の画像に復元し、復元した原稿の画像を記録媒体のサイズに合わせて出力するようにしたものがある（例えば、特許文献１を参照）。
【０００３】
特許文献１に開示されている画像処理装置では、複数の入力画像のそれぞれについて２値化処理と、２値化画像におけるエッジ部の抽出処理とを行い、２値化処理及びエッジ抽出処理後の各入力画像についてパターンマッチング法による比較を行い、エッジ部の特徴が一致する部分が重複するように２つの入力画像を繋ぎ合わせるようにしている。
【特許文献１】特開平４−３１４２６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された構成では、２値化処理及びエッジ抽出処理後の画像を各入力画像の特徴データとしてパターンマッチング法による比較を行うようにしているが、これは、複数回分けて読み取られた原稿が回転していないことを暗に限定しているため、実際の２つの画像をパターンマッチングする場合には、その一致ポイントを正確に検出することはできないという問題点を有していた。
【０００５】
本発明は斯かる事情に鑑みてなされたものであり、２つの画像の夫々から画素を連結した連結領域を複数抽出し、抽出した各連結領域に含まれる特徴点に基づいて各画像の特徴を表す特徴量を夫々算出し、算出した特徴量を比較することにより特徴点間の対応付けを行い、対応付けた特徴点の位置の情報を用いて２つの画像の座標変換を表す変換行列を算出し、算出した変換行列を用いて一方の画像を変換することにより画像合成を行う構成とすることにより、入力された２つの画像が互いに傾いている場合であっても正確に特徴点の対応付けを行うことができ、精度良く画像合成を実行することができる画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム、及び記録媒体を提供することを目的とする。
【０００６】
また、本発明の他の目的は、変換行列を算出する際、用いる特徴点を選択して変換行列の精度（画像合成の精度）を向上させることができる画像処理装置を提供することにある。
【０００７】
更に、本発明の他の目的は、合成された画像データを特徴量、原稿を表すインデックス、及び合成画像であることを表すタグ情報を関連付けて格納しておき、再度、画像の合成動作を行わなくても、元の原稿を用いて合成画像データを抽出することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理方法は、互いに重なるべき領域を有する２つの画像を取り込み、取り込んだ２つの画像を前記領域にて合成する画像処理方法において、前記２つの画像の夫々から画素を連結した連結領域を複数抽出し、抽出した各連結領域に含まれる特徴点を抽出し、抽出した特徴点に基づいて各画像の特徴を表す特徴量を夫々算出し、算出した各画像の特徴量を比較することにより各連結領域から抽出した特徴点間の対応付けを行い、対応付けた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出し、算出した変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成することを特徴とする。
【０００９】
本発明にあっては、２つの画像の夫々から抽出した特徴点を用いて各画像の特徴量をそれぞれ算出し、算出した特徴量を比較することによって特徴点間の対応付けを行い、対応付けた特徴点の座標を用いることによって座標変換を表す変換行列を求める。従来の画像合成には、様々な特徴点を採用したパターンマッチングが使用されてきたが、本発明では、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な特徴量を用いて特徴点の対応付けを行うため、２つの画像に傾き等が生じている場合であっても、正確な対応付けが可能となり、画像合成の精度が向上する。
【００１０】
本発明に係る画像処理装置は、互いに重なるべき領域を有する２つの画像を取り込み、取り込んだ２つの画像を前記領域にて合成する画像処理装置において、前記２つの画像の夫々から画素を連結した連結領域を複数抽出する手段と、抽出した各連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて各画像の特徴を表す特徴量を夫々算出する手段と、算出した各画像の特徴量を比較することにより各連結領域から抽出した特徴点間の対応付けを行う手段と、対応付けた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出する手段と、算出した変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成する手段とを備えることを特徴とする。
【００１１】
本発明にあっては、２つの画像の夫々から抽出した特徴点を用いて各画像の特徴量をそれぞれ算出し、算出した特徴量を比較することによって特徴点間の対応付けを行い、対応付けた特徴点の座標を用いることによって座標変換を表す変換行列を求める。従来の画像合成には、様々な特徴点を採用したパターンマッチングが使用されてきたが、本発明では、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な特徴量を用いて特徴点の対応付けを行うため、２つの画像に傾き等が生じている場合であっても、正確な対応付けが可能となり、画像合成の精度が向上する。
【００１２】
本発明に係る画像処理装置は、前記特徴点を抽出する手段は、変換行列を算出する際に阻害要因となる特徴点を、抽出した特徴点から除去するようにしてあることを特徴とする。
【００１３】
本発明にあっては、選択した特徴点を用いて画像合成を行うため、画像合成の精度が向上する。
【００１４】
本発明に係る画像処理装置は、合成された画像データを、合成された画像データより抽出された特徴量、合成された画像データの夫々を識別する第１の識別情報、及び合成された画像データであることを示す第２の識別情報に対応付けて記憶手段に格納する制御部を備えることを特徴とする。
【００１５】
本発明にあっては、記憶手段に関連付けられた格納された情報に基づいて合成された画像データを読み出すことができるため、再度、画像の合成動作を行わなくても、元の原稿を用いて合成画像データを抽出することができる。
【００１６】
本発明に係る画像処理装置は、取り込んだ画像を記憶画像と照合する画像照合手段を備え、該画像照合手段は、前記取り込んだ画像から画素を連結した連結領域を抽出する手段と、抽出した連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて前記画像の特徴を表す特徴量を算出する手段と、算出した特徴量と予め記憶されている記憶画像の特徴量とを比較し、一致する特徴量の記憶画像に投票する手段とを備えることを特徴とする。
【００１７】
本発明にあっては、画像照合手段が、画像から画素を連結した連結領域を抽出する手段と、抽出した連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて画像の特徴を表す特徴量を算出する手段と、算出した特徴量と予め記憶されている記憶画像の特徴量とを比較し、一致する特徴量の記憶画像に投票する手段とを備えるため、画像照合手段の一部の機能を利用することにより、２つの画像から抽出した特徴点間の対応付けが可能となる。
【００１８】
本発明に係る画像処理装置は、抽出した連結領域の重心を算出する手段を備え、算出した重心を前記連結領域の特徴点としてあることを特徴とする。
【００１９】
本発明にあっては、抽出した連結領域の重心を算出し、算出した重心を特徴点としているため、任意の画像について特徴点の抽出が可能となり、高速かつ精度よく特徴量の算出が可能となる。
【００２０】
本発明に係る画像処理装置は、前記特徴量は、前記画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータであることを特徴とする。
【００２１】
本発明にあっては、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータを特徴量として算出するため、合成対象の画像が天地逆転してスキャンされた場合であっても、画像合成の精度が保たれる。
【００２２】
本発明に係る画像処理装置は、１つの画像から抽出した特徴点間の距離を用いて定式化したハッシュ関数によりハッシュ値を算出する手段を備え、算出したハッシュ値を前記画像の特徴量としてあることを特徴とする。
【００２３】
本発明にあっては、特徴点間の距離を用いて定式化したハッシュ関数によりハッシュ値を算出するようにしているため、特徴点の幾何学的な配置に応じた不変量が算出される。
【００２４】
本発明に係る画像処理装置は、合成すべき領域を各画像について予め設定してあることを特徴とする。
【００２５】
本発明にあっては、合成すべき領域が予め設定されているため、処理時間が短縮される。
【００２６】
本発明に係る画像読取装置は、原稿を載置する原稿台と、該原稿台に載置された原稿から画像を読み取る読取手段と、前述した発明の何れか１つに記載の画像処理装置とを備え、前記読取手段にて読み取った２つの画像を前記画像処理装置にて合成するようにしてあることを特徴とする。
【００２７】
本発明にあっては、スキャナ装置、デジタル複合機等により読み取られた画像について画像合成を行うことができる。
【００２８】
本発明に係る画像読取装置は、合成すべき領域を前記原稿台に対して設定してあることを特徴とする。
【００２９】
本発明にあっては、合成すべき領域を原稿台に対して設定しているため、原稿の載置位置を容易に特定することができる。
【００３０】
本発明に係る画像形成装置は、前述した発明の何れか１つに記載の画像処理装置と、該画像処理装置により２つの画像を合成して得られた画像をシート上に形成する手段とを備えることを特徴とする。
【００３１】
本発明にあっては、プリンタ装置、デジタル複合機などに適用することができ、合成して得られた画像をシート上に形成することができる。
【００３２】
本発明に係る画像形成装置は、原稿を載置する原稿台と、該原稿台に載置された原稿から画像を読み取る読取手段とを備え、合成すべき領域を前記原稿台に対して設定してあることを特徴とする。
【００３３】
本発明にあっては、合成すべき領域を原稿台に対して設定しているため、原稿の載置位置を容易に特定することができる。
【００３４】
本発明に係るコンピュータプログラムは、コンピュータに、互いに重なるべき領域を有する２つの画像を該領域にて合成させるコンピュータプログラムにおいて、コンピュータに、前記２つの画像の夫々から画素を連結した連結領域を複数抽出させるステップと、コンピュータに、抽出させた各連結領域に含まれる特徴点を抽出させるステップと、コンピュータに、抽出させた特徴点に基づいて各画像の特徴を表す特徴量を算出させるステップと、コンピュータに、算出させた各画像の特徴量を比較させることにより各連結領域から抽出された特徴点間の対応付けを行わせるステップと、コンピュータに、対応付けられた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出させるステップと、コンピュータに、算出させた変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成させるステップとを有することを特徴とする。
【００３５】
本発明にあっては、２つの画像の夫々から抽出した特徴点を用いて各画像の特徴量をそれぞれ算出し、算出した特徴量を比較することによって特徴点間の対応付けを行い、対応付けた特徴点の座標を用いることによって座標変換を表す変換行列を求める。従来の画像合成には、様々な特徴点を採用したパターンマッチングが使用されてきたが、本発明では、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な特徴量を用いて特徴点の対応付けを行うため、２つの画像に傾き等が生じている場合であっても、正確な対応付けが可能となり、画像合成の精度が向上する。
【００３６】
本発明に係る記録媒体は、コンピュータに、互いに重なるべき領域を有する２つの画像を該領域にて合成させるコンピュータプログラムが記録されているコンピュータでの読み取りが可能な記録媒体において、コンピュータに、前記２つの画像の夫々から画素を連結した連結領域を複数抽出させるステップと、コンピュータに、抽出させた各連結領域に含まれる特徴点を抽出させるステップと、コンピュータに、抽出させた特徴点に基づいて各画像の特徴を表す特徴量を算出させるステップと、コンピュータに、算出させた各画像の特徴量を比較させることにより各連結領域から抽出された特徴点間の対応付けを行わせるステップと、コンピュータに、対応付けられた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出させるステップと、コンピュータに、算出させた変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成させるステップとを有するコンピュータプログラムが記録されていることを特徴とする。
【００３７】
本発明にあっては、２つの画像の夫々から抽出した特徴点を用いて各画像の特徴量をそれぞれ算出し、算出した特徴量を比較することによって特徴点間の対応付けを行い、対応付けた特徴点の座標を用いることによって座標変換を表す変換行列を求める。従来の画像合成には、様々な特徴点を採用したパターンマッチングが使用されてきたが、本発明では、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な特徴量を用いて特徴点の対応付けを行うため、２つの画像に傾き等が生じている場合であっても、正確な対応付けが可能となり、画像合成の精度が向上する。
【発明の効果】
【００３８】
本発明による場合は、２つの画像の夫々から抽出した特徴点を用いて各画像の特徴量をそれぞれ算出し、算出した特徴量を比較することによって特徴点間の対応付けを行い、対応付けた特徴点の座標を用いることによって座標変換を表す変換行列を求める。従来の画像合成には、様々な特徴点を採用したパターンマッチングが使用されてきたが、本発明では、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な特徴量を用いて特徴点の対応付けを行うため、２つの画像に傾き等が生じている場合であっても、特徴点を正確に対応付けることが可能となり、精度よく２つの画像を合成することができる。
【００３９】
本発明による場合は、画像照合手段が、画像から画素を連結した連結領域を抽出する手段と、抽出した連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて画像の特徴を表す特徴量を算出する手段と、算出した特徴量と予め記憶されている記憶画像の特徴量とを比較し、一致する特徴量の記憶画像に投票する手段とを備える。したがって、画像照合手段の一部の機能を利用することにより、２つの画像から抽出した特徴点間の対応付けを行うことができ、対応付けた特徴点の位置の情報を用いて画像合成を行うことができる。また、画像合成手段の一部の機能を用いるため、画像合成を行うために付加する回路構成を必要最小限とすることができる。
【００４０】
本発明よる場合は、選択した特徴点を用いて画像合成を行うため、画像合成の精度を向上させることができる。
【００４１】
本発明による場合は、記憶手段に関連付けられた格納された情報に基づいて合成された画像データを読み出すことができるため、再度、画像の合成動作を行わなくても、元の原稿を用いて合成画像データを抽出することができる。
【００４２】
本発明による場合は、抽出した連結領域の重心を算出し、算出した重心を特徴点としている。したがって、任意の画像について特徴点の抽出が可能となり、高速かつ精度良く特徴量を算出することができる。
【００４３】
本発明による場合は、画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータを特徴量として算出するため、合成対象の画像が天地逆転してスキャンされた場合であっても、画像合成の精度を一定以上に保つことができる。
【００４４】
本発明による場合は、特徴点間の距離を用いて定式化したハッシュ関数によりハッシュ値を算出するようにしているため、特徴点の幾何学的な配置に応じた不変量を算出することができる。
【００４５】
本発明による場合は、合成すべき領域が予め設定されているため、処理時間を短縮することができる。
【００４６】
本発明による場合は、スキャナ装置、デジタル複合機等により読み取られた画像について画像合成を行うことができる。
【００４７】
本発明による場合は、合成すべき領域を原稿台に対して設定しているため、原稿の載置位置を容易に特定することができる。
【００４８】
本発明による場合は、プリンタ装置、デジタル複合機などに適用することができ、合成して得られた画像をシート上に形成することができる。
【発明を実施するための最良の形態】
【００４９】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。実施の形態１に係る画像処理システムは、操作パネル１、画像入力装置３、画像処理装置５Ａ、画像出力装置７を備える。
【００５０】
操作パネル１は、液晶表示装置、各種スイッチ等からなり、ユーザに報知すべき情報の表示、ユーザによる各種選択操作等を受付ける。
【００５１】
画像入力装置３は、原稿の画像を光学的に読み取る読取手段であり、読取用の原稿に光を照射する光源、ＣＣＤ（Charge Coupled Device）のようなイメージセンサ等を備えている。画像入力装置３では、所定の読取位置にセットされた原稿からの反射光像を当該イメージセンサに結像させ、ＲＧＢ（R : Red, G : Green, B : Blue）のアナログ電気信号を出力する。画像入力装置３が出力したアナログ電気信号は画像処理装置５Ａへ入力される。
【００５２】
画像処理装置５Ａは、画像入力装置３から出力されるアナログ電気信号をデジタル電気信号に変換した後、適宜の画像処理を行い、得られた画像データを画像出力装置７へ出力する。なお、画像処理装置５Ａの内部構成、動作等については後に詳述することとする。
【００５３】
画像出力装置７は、画像処理装置５Ａが出力する画像信号に基づいて用紙、ＯＨＰフィルム等のシート上に画像形成を行う手段である。そのため、画像出力装置７は、感光体ドラムを所定の電位に帯電させる帯電器、外部から受付けた画像データに応じてレーザ光を発して感光体ドラム上に静電潜像を生成させるレーザ書込装置、感光体ドラム表面に形成された静電潜像にトナーを供給して顕像化する現像器、感光体ドラム表面に形成されたトナー像を用紙上に転写する転写器等（不図示）を備えており、電子写真方式にて利用者が所望する画像を用紙上に形成する。なお、レーザ書込装置を用いた電子写真方式により画像形成を行う他、インクジェット方式、熱転写方式、昇華方式等により画像形成を行う構成であってもよい。
【００５４】
次に、画像処理装置５Ａの内部構成について説明する。ＡＤ変換部５１は、画像入力装置３から入力されたＲＧＢのアナログ信号をデジタル信号に変換する。シェーディング補正部５２は、ＡＤ変換部５１から出力されたデジタル形式のＲＧＢ信号に対して、画像入力装置３の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。シェーディング補正されたＲＧＢ信号は、文書照合処理部５３へ出力される。
【００５５】
文書照合処理部５３は、画像入力装置３を通じて取り込まれた画像が予め記憶されている記憶画像（以下、登録フォーマットという）に類似しているか否かの判定を行い、類似していると判定した場合、入力画像が登録フォーマットに対して書き込みを行った画像であるか否かを判断する。登録フォーマットに対して書き込みを行った画像であると判断した場合、書き込みに対応した領域を抽出し、抽出した領域の画像を登録フォーマットに関連付けて記憶する。
【００５６】
画像合成処理部５４は、画像入力装置３を通じて取り込まれた２つの画像を合成する際、文書照合処理部５３の機能の一部を用いて両画像に共通する特徴点を抽出し、抽出した特徴点同士の対応付けを行い、一方の画像の座標系を他方の画像の座標系に写す変換行列を求め、求めた変換行列を用いて一方の画像を変換することにより画像合成を行うものである。
【００５７】
入力階調補正部５５は、下地濃度の除去やコントラストなどの画質調整処理を行う。領域分離処理部５６は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離する処理を行う。領域分離処理部５６は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を後段の黒生成下色除去部５８、空間フィルタ処理部５９、及び階調再現処理部６２へ出力すると共に、入力されたＲＧＢ信号をそのまま後段の色補正部５７へ出力する。
【００５８】
色補正部５７は、色再現の忠実化再現のために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行うものである。色補正されたＲＧＢ信号は、後段の黒生成下色除去部５８へ出力される。黒生成下色除去部５８は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いた新たなＣＭＹ信号を生成する処理を行う。この処理によってＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。
【００５９】
黒生成処理の一例として、スケルトンブラックによる黒生成を行う方法がある。この方法では、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）、入力されるデータをＣ，Ｍ，Ｙ、出力されるデータをＣ’，Ｍ’，Ｙ’，Ｋ’、ＵＣＲ率（UCR : Under Color Removal）をα（０＜α＜１）とすると、黒生成下色除去処理は以下の式で表される。
【００６０】
Ｋ’＝ｆ｛ｍｉｎ（Ｃ，Ｍ，Ｙ）｝
Ｃ’＝Ｃ−αＫ’
Ｍ’＝Ｍ−αＫ’
Ｙ’＝Ｙ−αＫ’
【００６１】
空間フィルタ処理部５９は、黒生成下色除去部５８より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒子状劣化を防ぐように処理を行う。
【００６２】
例えば、領域分離処理部５６にて文字に分離された領域は、特に黒文字又は色文字の再現性を高めるために、空間フィルタ処理部５９による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部６２においては、高周波数の再現に適した高解像度のスクリーンでの二値化又は多値化処理が選択される。また、領域分離処理部５６にて網点領域に分離された領域に関しては、空間フィルタ処理部５９において、入力網点成分を除去するためのローパスフィルタ処理が施される。そして、出力階調補正部６０において、濃度信号などの信号をカラー画像出力装置の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部６２で最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理を施す。また、領域分離処理部５６にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化又は多値化処理が行われる。また、変倍処理部６１は、領域再現処理を行う前に必要に応じて変倍処理を行う。
【００６３】
前述した各処理が施された画像データは、一旦記憶手段（不図示）に記憶され、所定のタイミングで読出されて画像出力装置７へ出力される。
【００６４】
本実施の形態では、画像合成処理部５４が文書照合処理部５３の機能の一部を利用することにより、画像合成を行うことを特徴としている。以下では、文書照合処理部５３の詳細について説明する。
【００６５】
図２は文書照合処理部５３の内部構成を示すブロック図である。文書照合処理部５３は、制御部５３０、特徴点算出部５３１、特徴量算出部５３２、投票処理部５３３、類似度判定処理部５３４、データ格納部５３５を備える。
【００６６】
制御部５３０は、例えばＣＰＵであり、前述したハードウェア各部の制御を行う。特徴点算出部５３１は、入力画像に含まれる文字列、罫線などから連結部分を抽出し、連結部分の重心を特徴点として算出する。特徴量算出部５３２は、特徴点算出部５３１で算出された特徴点を用いて、回転、拡大、縮小に対して不変な量である特徴量（ハッシュ値）を算出する。投票処理部５３３は、特徴量算出部５３２で算出された特徴量を用いてデータ格納部５３５に予め登録している登録フォーマットに投票する。類似度判定処理部５３４は、投票結果を用いて入力画像と登録フォーマットとの類比を判定する。
【００６７】
図３は特徴点算出部５３１の構成を示すブロック図である。特徴点算出部５３１は、無彩化処理部５３１１、解像度変換部５３１２、フィルタ処理部５３１３、２値化処理部５３１４、及び重心算出部５３１５を備えている。
【００６８】
無彩化処理部５３１１は、入力画像データがカラー画像であった場合に無彩化して、明度信号又は輝度信号に変換するための処理部である。例えば、下記の変換式により輝度信号を求める。
【００６９】
Ｙｊ＝０．３０Ｒｊ＋０．５９Ｇｊ＋０．１１Ｂｊ
【００７０】
ここで、Ｙｊは各画素の輝度値、Ｒｊ，Ｇｊ，Ｂｊは各画素の色成分を表す。また、この方法ではなく、ＲＧＢ信号をＣＩＥ１９７６Ｌ* ａ* ｂ* 信号（CIE : Commission International de l'Eclairage、 Ｌ* ： 明度、a*, ｂ* ：色度）に変換しても良い。
【００７１】
解像度変換部５３１２は、入力画像データが画像入力装置３にて光学的に変倍されていた場合に、所定の解像度になるように再度変倍する処理部である。また、解像度変換部５３１２では、後段の処理量を軽減するために、画像入力装置３にて等倍時に読込まれる解像度よりも解像度を落とすための解像度変換としても用いられる。例えば、６００ｄｐｉ（dot per inch）で読み込まれた画像データを３００ｄｐｉに変換する。
【００７２】
フィルタ処理部５３１３は、画像入力装置の空間周波数特性が機種ごとに異なることを吸収するために用いられる処理部である。ＣＣＤが出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び走査ムラ等に起因して、画像のぼけなどの劣化が生じている。フィルタ処理部５３１３は、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理を行う。また、後段の処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタを用いて強調及び平滑化処理を行う。
【００７３】
２値化処理部５３１４は、無彩化された画像データから重心算出に適した２値画像データを作成する処理部である。重心算出部５３１５は、２値化されたデータから連結成分の重心を求め、これを特徴点として特徴量算出部５３２へ出力する。重心の算出方法としては、従来手法を用いることができる。すなわち、２値画像の２値化情報に基づいて各画素に対してラベリングを行い、同一ラベルが付された画素によって連結された連結領域を特定し、特定した連結領域の重心を特徴点として算出する。
【００７４】
図４は特徴点の抽出例を示す模式図である。図４（ａ）は、前述した手法により、「Ａ」の文字が連結領域として特定された例であり、図中の黒丸で示した点が特徴点（重心）として算出された様子を示している。図４（ｂ）は、同様に「書」の文字から連結領域を抽出した例であるが、連結領域が２つの領域に分割されて特定されている様子を示している。この場合、各連結領域から特徴点（重心）が算出されるため、１つの文字から２つの特徴点（特徴点Ａ，特徴点Ｂ）が算出されることになる。
【００７５】
次に、特徴量の算出手法について説明する。図５は特徴量算出部５３２の構成を示すブロック図である。特徴量算出部５３２は、近傍点抽出部５３２１及び特徴量抽出部５３２２を備える。近傍点抽出部５３２１は、特徴点算出部５３１によって算出された複数の特徴点のうち、任意の１つを注目特徴点として選択し、その注目特徴点から距離が小さい順に４つの特徴点を周辺特徴点として選択する。特徴量抽出部５３２２は、注目特徴点に対する４つの周辺特徴点の距離に基づいてハッシュ値（特徴量）を算出する。
【００７６】
図６は注目特徴点及び周辺特徴点について説明する説明図である。図６は特徴点算出部５３１によって６つの特徴点Ｐ１〜Ｐ６が算出された様子を示している。このとき、特徴量算出部５３２が特徴点Ｐ３を注目特徴点として選択した場合、特徴点Ｐ１，Ｐ２，Ｐ４，Ｐ５が周辺特徴点として選択される。特徴量算出部５３２は、選択した注目特徴点（Ｐ３）及び周辺特徴点（Ｐ１，Ｐ２，Ｐ４，Ｐ５）を用いて、入力画像の傾き、移動、回転等により不変な不変量を算出し、算出した不変量から入力画像の特徴量を算出する。
【００７７】
図７は注目特徴点Ｐ３による不変量の算出例を説明する説明図である。注目特徴点Ｐ３と周辺特徴点Ｐ１，Ｐ２，Ｐ４，Ｐ５との間の距離を用いて、不変量Ｈ３ｊを、Ｈ３ｊ＝Ａ３ｊ／Ｂ３ｊにより定義する。ここで、ｊ＝１，２，３の値をとり、Ａ３ｊ、Ｂ３ｊはそれぞれ特徴点間の距離を示しており、特徴点間の距離は、各周辺特徴点の座標値に基づいて算出される。すなわち、３通りの不変量が算出され、不変量Ｈ３１の値はＡ３１／Ｂ３１（図７（ａ）参照）、不変量Ｈ３２の値はＡ３２／Ｂ３２（図７（ｂ）参照）、不変量Ｈ３３の値はＡ３３／Ｂ３３となる（図７（ｃ）参照）。これらの不変量Ｈ３ｊは、例えば、原稿読取時に原稿が回転、移動、傾いた場合であっても値が変化せず、後段の類似判定において画像の類比判定を精度良く行うことができる。
【００７８】
図８は注目特徴点を特徴点Ｐ４とした場合の不変量の算出例を説明する説明図である。特徴量算出部５３２は、周辺特徴点として特徴点Ｐ２，Ｐ３，Ｐ５，Ｐ６を選択する。このとき、不変量Ｈ４ｊ（ｊ＝１，２，３）は、前述と同様に、Ｈ４ｊ＝Ａ４ｊ／Ｂ４ｊにより算出することができる。すなわち、不変量Ｈ４１の値はＡ４１／Ｂ４１（図８（ａ）参照）、不変量Ｈ４２の値はＡ４２／Ｂ４２（図８（ｂ）参照）、不変量Ｈ４３の値はＡ４３／Ｂ４３となる（図８（ｃ）参照）。
【００７９】
他の特徴点Ｐ１，Ｐ２，Ｐ５，Ｐ６を注目特徴点として選択した場合も同様であり、特徴量算出部５３２は、注目特徴点を順次変更し、各特徴点Ｐ１，Ｐ２，…，Ｐ６を選択した場合の不変量Ｈｉｊ（ｉ＝１，２，…，６：ｊ＝１，２，３）を算出する。
【００８０】
次いで、特徴量算出部５３２は、各注目特徴点により算出された不変量を用いて特徴量（ハッシュ値）Ｈｉを算出する。注目特徴点を特徴点Ｐｉとした場合のハッシュ値Ｈｉは、Ｈｉ＝（Ｈｉ１×１０2 ＋Ｈｉ２×１０1 ＋Ｈｉ３×１０0 ）／Ｅで表される。ここで、ｉは自然数であり特徴点の数を表しており、Ｅは余りをどの程度設定するかにより決定される定数であり、例えば、Ｅ＝１０とした場合、余りは０〜９の値をとり、これが算出するハッシュ値の取り得る範囲となる。
【００８１】
図９及び図１０はそれぞれ注目特徴点をＰ３及びＰ４とした場合の不変量の他の算出例を説明する説明図である。注目特徴点による不変量を算出する方法としては、例えば、図９に示すように、注目特徴点Ｐ３の周辺特徴点Ｐ１，Ｐ２，Ｐ４，Ｐ５の４点より４通りの組み合わせを選択し、不変量Ｈ３ｊ（ｊ＝１，２，３，４）を前述の場合と同様に、Ｈ３ｊ＝Ａ３ｊ／Ｂ３ｊにより算出してもよい。また、注目特徴点をＰ４としたときも同様に、注目特徴点Ｐ４の周辺特徴点Ｐ２，Ｐ３，Ｐ５，Ｐ６の４点より４通りの組み合わせを選択し（図１０を参照）、不変量Ｈ４ｊ（ｊ＝１，２，３，４）をＨ４ｊ＝Ａ４ｊ／Ｂ４ｊにより算出してもよい。この場合、ハッシュ値は、Ｈｉ＝（Ｈｉ１×１０3 ＋Ｈｉ２×１０2 ＋Ｈｉ３×１０1 ＋Ｈｉ４×１０0）／Ｅで算出される。
【００８２】
なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。また、上記では、周辺特徴点として４つを選択する構成としたが、４つに限定されるものではない。例えば、６つを抽出するようにしてもよい。この場合、６つの特徴点から５つを抽出し、５つを抽出する６通り夫々の方法について、５点から３点を抽出して不変量を求め、ハッシュ値を算出するようにしてもよい。
【００８３】
特徴量算出部５３２では、このようにして各連結領域について特徴量（ハッシュ値）を算出する。投票処理部５３３は、特徴量算出部５３２が算出したハッシュ値に基づいてハッシュテーブルを検索し、登録されているインデックスの原稿に投票する。図１１はハッシュテーブルの一例を示す概念図である。ハッシュテーブルは、ハッシュ値及び登録フォーマットを表すインデックスの各欄により構成される。すなわち、図１１（ａ）に示すように、連結領域の特徴を表す特徴量に対応して、登録フォーマットを表すインデックスを登録している。例えば、算出したハッシュ値が「Ｈ１」である場合、投票処理部５３３は、「ＩＤ１」のインデックスを持つ登録フォーマットに投票を行う。また、算出したハッシュ値が「Ｈ３」である場合、投票処理部５３３は２種類の登録フォーマット（すなわち、「ＩＤ２」、「ＩＤ３」のインデックスを持つ登録フォーマット）に投票を行う。算出したハッシュ値が他の値である場合も同様である。なお、ハッシュ値が等しい場合（Ｈ１＝Ｈ５）、図１１（ｂ）に示すように、ハッシュテーブルの２つのエントリを１つにまとめることも可能である。
【００８４】
図１２は投票結果の一例を示すグラフである。横軸は登録フォーマットの種類、縦軸は得票数を表している。図１２に示した例は、３種類の登録フォーマット（「Ｎ１」〜「Ｎ３」）について投票が行われている様子を示している。投票を累積加算した投票結果は類似度判定処理部５３４へ出力される。
【００８５】
類似度判定処理部５３４は、投票処理部５３３から入力された投票結果に基づいて、画像の類似度を判定し、判定結果を制御部５３０へ通知する。類似度判定処理部５３４は、投票処理部５３３から入力された投票数（得票数）を予め定めた閾値と比較し、投票数が閾値以上である場合、入力画像が登録フォーマットに類似すると判定する。類似度判定処理部５３４は、投票処理部５３３から入力された投票数が閾値より小さい場合、類似する原稿がないと判定して、その結果を制御部５３０へ通知する。
【００８６】
なお、上記判定方法は一例であり、別の方法として、例えば、原稿毎の最大得票数（原稿毎に求められる特徴点の数など）で得票数を除算して正規化した後、類比判定を行ってもよい。
【００８７】
画像合成処理部５４では、文書照合処理部５３の機能の一部を用いて２つの原稿画像の合成を行う際、まず、１回目に読み込まれた原稿画像の特徴点の座標と２回目に読み込まれた原稿画像の特徴点の座標との対応付けを行う。図１３は２つの画像から抽出された特徴点の対応付けを説明する説明図である。図１３に示した例では、１回目に読み込まれた原稿画像から（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、及び（ｘ４，ｙ４）の座標を持つ４つの特徴点が抽出されており、各特徴点は、２回目に読み込まれた原稿画像から抽出された（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、及び（ｘ４’，ｙ４’）の座標を持つ４つの特徴点とそれぞれ対応付けられている様子を示している。
【００８８】
１回目に読み込まれた原稿画像の特徴点の座標を用いて作成した行列をＰｏｕｔ、２回目に読み込まれた原稿画像の特徴点の座標を用いて作成した行列をＰｉｎとした場合、一方の原稿画像の座標系を他方の原稿画像の座標系に写す変換式は、変換行列Ａを用いて以下のように表すことができる。
【００８９】
【数１】
【００９０】
行列Ｐｉｎは正方行列ではないので、両辺にＰｉｎの転置行列ＰｉｎT を乗算し、さらにＰｉｎT Ｐｉｎの逆行列を乗算することにより、変換行列Ａを求めることができる。
【００９１】
【数２】
【００９２】
したがって、一方の画像上の座標（ｘ，ｙ）を、他方の画像上の座標系に写す変換式は変換行列Ａを用いて、以下のように表すことができる。
【００９３】
【数３】
【００９４】
画像合成処理部５４は、数式３を用いて一方の画像上の座標を変換することにより、画像合成を行う。
【００９５】
以下、画像合成の具体的な処理手順について説明する。図１４は実施の形態１に係る画像処理システムによる画像合成の処理手順を説明するフローチャートである。画像処理装置５Ａは、まず、画像データの取り込み回数ｋを１にセットし（ステップＳ１１）、ｋ回目の画像データの取り込みを行う（ステップＳ１２）。
【００９６】
図１５は原稿の読取手順を説明する説明図である。本実施の形態では、原稿を載置するプラテン３０のサイズ（例えばＡ３サイズ）を越えるサイズの原稿（例えばＡ２サイズの原稿）を幾らかの重複領域を含めて、２回に分けてスキャンする。図１５（ａ）は、原稿の上側領域をスキャンしている様子を示しており、図１５（ｂ）は、前記上側領域の一部を重複して原稿の下側領域をスキャンしている様子を示している。すなわち、互いに重なり合う領域を持つように画像が取り込まれる。
【００９７】
次いで、文書照合処理部５３の特徴点算出部５３１及び特徴量算出部５３２を用いることにより、特徴量算出処理を行う（ステップＳ１３）。このとき、文書照合処理部５３は、特徴量として算出したハッシュ値に対応する特徴点のインデックスを格納すると共に、各インデックスに関連付けて特徴点の座標を格納する。図１６は特徴量（ハッシュ値）と特徴点のインデックスとの対応関係を示す図であり、図１７は特徴点のインデックスと座標との対応関係を示す図である。このような対応関係は、例えば、文書照合処理部５３のデータ格納部５３５に格納される。
【００９８】
次いで、画像処理装置５Ａは、取り込んだ画像データが２回目であるか否か（すなわち、ｋ＝２であるか否か）を判断し（ステップＳ１４）、２回目でない場合には（Ｓ１４：ＮＯ）、ｋの値を１つだけインクリメントし（ステップＳ１５）、処理をステップＳ１２へ移行させる。
【００９９】
取込んだ画像が２回目である場合（Ｓ１４：ＹＥＳ）、特徴点の対応付けを行う（ステップＳ１６）。１回目及び２回目に取込んだ画像から算出したハッシュ値と特徴点のインデックスとの対応関係が、それぞれ図１６（ａ）及び図１６（ｂ）に示したようになり、特徴点を表すインデックスと座標との対応関係が、それぞれ図１７（ａ）及び図１７（ｂ）に示したようになった場合、一方の画像から算出した特徴点ｆ１，ｆ２，ｆ３，ｆ４は、それぞれ他方の画像から抽出した特徴点ｐ１，ｐ２，ｐ３，ｐ４と対応付けられることが分かる。
【０１００】
これらの特徴点を用いて２つの画像を合成する場合、画像合成処理部５４は、対応する特徴点を２組以上用いて前述した変換行列Ａを算出する（ステップＳ１７）。算出した変換行列Ａを用いることにより、１回目の画像上の任意の座標（ｘ，ｙ）は、２回目の画像上の座標（ｘ’，ｙ’）に変換される。これにより、１回目の原稿が傾きを持っていた場合であっても、この変換行列Ａによって、２回目のスキャン画像の座標系に合わせて座標変換され、全体として連続した画像として合成することができる（ステップＳ１８）。
【０１０１】
なお、特徴点及び特徴量の算出は画像全体について行ってもよく、予め重ね合わせる領域を設定しておき、その設定領域内でのみ特徴点及び特徴量の算出を行ってもよい。図１８は重ね合わせる領域の設定例を示す模式図である。図１８に示した例では、重ね合わせる領域を明示するために指示板３１をプラテン３０の側面に設けている。指示板３１は指標３２を備えており、指標３２によって指定されるプラテン上の領域３０ａを重ね合わせの領域として設定している。この領域に合わせて１回目及び２回目のスキャンを実施し、入力画像データを作成することにより、設定幅の領域だけに対して一連の処理を実行すればよい。
【０１０２】
重ね合わせる領域を設定しない場合は、一方の画像から算出したｆ１，ｆ２，ｆ３，ｆ４，…と、他方の画像から抽出した特徴点ｐ１，ｐ２，ｐ３，ｐ４，…との対応付けを行う際、特徴点を選択するようにしてもよい。原稿を重複して読み取っているので、ほとんどの特徴点は重複領域のものが対応付けられているが、場合によっては、重複領域の特徴点のハッシュ値が重複していない領域のハッシュ値と一致する場合もあり得る。重複領域以外の特徴点の座標のデータが含まれると変換行列の精度が低下する虞があるので、重複領域内の特徴点のみを用いるようにする。
【０１０３】
図１９は対応付けを行う２つの画像の夫々から抽出した特徴点の一例を示す模式図である。例えば、両方の画像より特徴量が一致する特徴点を抽出し、抽出した特徴点ｆ１，ｆ２，ｆ３，ｆ４，…、及びｐ１，ｐ２，ｐ３，ｐ４，…について、原稿の４辺Ｅ１、Ｅ２、Ｅ３、Ｅ４、及びＥ１’、Ｅ２’、 Ｅ３’、 Ｅ４’からの距離を加算したヒストグラムを作成し、それぞれの特徴点が原稿の何れの辺に近い領域から抽出されているか（どの領域が重複して読み取られているか）を判定する。図２０は作成するヒストグラムを説明する説明図である。上記ヒストグラムのうち、特徴点が抽出された辺は、ヒストグラム（各点から辺までの距離の累積値）が最も小さくなるので、この特徴を用いることにより、どの領域から特徴点が抽出されているか判定することができる（図２０は２つの特徴点の座標を加算した例を示している。）。そして、特定された辺から所定の範囲内（例えば、特徴点の座標位置で５００）にある特徴点を選択することにより、不要な特徴点を削除して変換行列を求めることができる。また、特徴点がどの領域（辺）に存在するのかの判定を自動で行うので、ユーザは原稿の読み取りを行う際、原稿の向きを考慮することなく、原稿の読み取りを行うことができる。
【０１０４】
なお、デジタル複写機、複合機を用いて画像合成を行う場合は、例えば、操作パネル１より画像合成のモードを選択する。モードの設定は制御部５３０によって認識され、文書照合処理部５３の機能を用いて画像合成処理がなされ、合成することによって得られた画像データは変倍処理部６１で予め定められる値（又はユーザにより設定された値）に縮小され、階調再現処理部６２を通じて画像出力装置７へ送られる。
【０１０５】
実施の形態２．
実施の形態１では、文書照合処理部５３を利用して画像合成を実施したが、画像合成処理に文書照合処理の機能を組み込む構成であってもよい。本実施の形態では、画像合成処理に文書照合処理を組み込んだ画像処理装置の構成について説明する。
【０１０６】
図２１は本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。本実施の形態２に係る画像処理システムは、操作パネル１、画像入力装置３、画像処理装置５Ｂ、画像出力装置７を備える。このうち、画像処理装置５Ｂ以外の構成については、実施の形態１と全く同様である。
【０１０７】
画像処理装置５Ｂは、ＡＤ変換部５１、シェーディング補正部５２、画像合成処理部６４、入力階調補正部５５、領域分離処理部５６、色補正部５７、黒生成下色除去部５８、空間フィルタ処理部５９、出力階調補正部６０、変倍処理部６１、階調再現処理部６２により構成される。このうち、画像合成処理部６４以外の構成については、実施の形態１と全く同様である。
【０１０８】
図２２は画像合成処理部６４の内部構成を示すブロック図である。画像合成処理部６４は、制御部６４０、特徴点算出部６４１、特徴量算出部６４２、投票処理部６４３、合成処理部６４４、データ格納部６４５を備える。
【０１０９】
制御部６４０は、例えばＣＰＵであり、前述したハードウェア各部の制御を行う。特徴点算出部６４１は、入力画像に含まれる文字列、罫線などから連結部分を抽出し、連結部分の重心を特徴点として算出する。特徴量算出部６４２は、特徴点算出部６４１で算出された特徴点を用いて、回転、拡大、縮小に対して不変な量である特徴量（ハッシュ値）を算出する。投票処理部６４３は、特徴量算出部６４２で算出された特徴量を用いてデータ格納部６４５に予め登録している登録フォーマットに投票する。合成処理部６４４は、投票処理部６４３による投票結果を用いることにより、２つの画像から抽出した特徴点同士の対応関係を求め、前記画像間に成り立つ変換行列を算出する。そして、算出した変換行列に従って一方の画像を他方の画像の座標系に変換することにより画像合成を行う。
【０１１０】
図２３及び図２４は実施の形態２に係る画像処理システムによる画像合成の処理手順を説明するフローチャートである。画像処理装置５Ｂは、まず、画像データの取り込み回数ｋを１にセットし（ステップＳ２１）、ｋ回目の画像データの取り込みを行う（ステップＳ２２）。そして、画像合成処理部６４の特徴点算出部６４１及び特徴量算出部６４２を用いることにより、特徴量算出処理を行う（ステップＳ２３）。
【０１１１】
次いで、画像処理装置５Ｂは、取り込んだ画像データが２回目であるか否か（すなわち、ｋ＝２であるか否か）を判断し（ステップＳ２４）、２回目でない場合には（Ｓ２４：ＮＯ）、ｋの値を１つだけインクリメントし（ステップＳ２５）、処理をステップＳ２２へ移行させる。
【０１１２】
図２５は画像処理装置５Ｂに取り込まれる画像の一例を示す模式図である。画像入力装置３により読み取られる原稿のサイズは、プラテン３０のサイズよりも少しだけ大きく、本実施の形態では、例えば原稿の上側領域及び下側領域の２回に分けて読み取りを行う。このとき、上側領域及び下側領域には共通する画像を含んだ重複領域が形成されるように読み取りがおこなわれる（図２５（ａ）及び図２５（ｂ）を参照）。
【０１１３】
本実施の形態では、１回目の読取画像にｎ個（ｎは２以上の整数）の探索画像領域、２回目の読取画像にｎ個の参照画像領域を設定し、探索画像領域内の特徴点と参照画像領域内の特徴点との対応付けを行う。図２６は探索画像領域及び参照画像領域が設定されている様子を示す模式図である。すなわち、図２６（ａ）に示した１回目の読取画像には、ｎ個の探索画像領域Ｔ１，Ｔ２，…，Ｔｎが設定されており、図２６（ｂ）に示した２回目の読取画像には、ｎ個の参照画像領域Ｓ１，Ｓ２，…，Ｓｎが設定されている様子を示している。
【０１１４】
以下、説明を図２３に示したフローチャートに戻し、特徴点の対応付け及び画像合成の処理手順について説明する。取込んだ画像データが２回目である場合（Ｓ２４：ＹＥＳ）、画像合成処理部６４は、探索画像領域Ｔｘ及び参照画像領域Ｓｘのインデックスｘを１に設定する（ステップＳ２６）。そして、探索画像領域Ｔｘ内での参照画像を探索し（ステップＳ２７）、両領域に同一の特徴点があるか否かを判断する（ステップＳ２８）。同一の特徴点がないと判断した場合（Ｓ２８：ＮＯ）、処理をステップＳ２７へ戻す。
【０１１５】
同一の特徴点があると判断した場合（Ｓ２８：ＹＥＳ）、画像合成処理部６４は、探索画像領域Ｔｘ及び参照画像領域Ｓｘ内の特徴点の座標を格納する（ステップＳ２９）。
【０１１６】
次いで、画像合成処理部６４は、変換行列の算出の可否を判断するために、同一の特徴点が２組以上得られたか否かを判断する（ステップＳ３０）。同一の特徴点が２組以上得られていないと判断した場合（Ｓ３０：ＮＯ）、インデックスｘが探索画像領域Ｔｘ及び参照画像領域Ｓｘの設定数ｎに達したか否かを判断する（ステップＳ３１）。インデックスｘが設定数ｎに達していないと判断した場合（Ｓ３１：ＮＯ）、画像合成処理部６４は、インデックスｘの値を１つだけインクリメントし（ステップＳ３２）、処理をステップＳ２７へ戻す。すなわち、同一の特徴点が２組以上得られていない場合には、変換行列Ａを求めることができないため、残る探索画像領域Ｔｘ及び参照画像領域Ｓｘについても特徴点の対応付けを試みる。一方、同一の特徴点が２組以上得られていない状態でインデックスｘが設定数ｎに達したと判断した場合（Ｓ３１：ＹＥＳ）、エラー処理を行い（ステップＳ３３）、本フローチャートによる処理を終了する。エラー処理は、例えば、画像合成の実行が不能である旨をユーザに報知する。
【０１１７】
ステップＳ３０にて同一の特徴点が２組以上得られたと判断した場合（Ｓ３０：ＹＥＳ）、対応する特徴点を２組以上用いて実施の形態１で説明した変換行列Ａを算出する（ステップＳ３４）。そして、参照画像領域を設けた画像の全ての画像データを座標変換し（ステップＳ３５）、全体として連続した画像として合成する。
【０１１８】
なお、本実施の形態では、１回目に読み取った読取画像に探索画像領域を設定し、２回目に読み取った読取画像に参照画像領域を設けているが、実施の形態１に示すように、これらの画像領域を設けずに重複して読み取った領域の特徴点の対応関係を求めて座標変換を行い、画像合成を行う構成としてもよい。
【０１１９】
実施の形態３．
実施の形態１及び２では、各処理をハードウェアにより実現する構成としたが、ソフトウェアの処理により本発明を実現する構成としてもよい。
【０１２０】
図２７は本発明のコンピュータプログラムがインストールされた画像処理装置の内部構成を説明するブロック図である。図中１００は、本実施の形態に係る画像処理装置であり、具体的にはパーソナルコンピュータ、ワークステーション等である。画像処理装置１００はＣＰＵ１０１を備えており、ＣＰＵ１０１にはＲＯＭ１０３、ＲＡＭ１０４、ハードディスク１０５、外部記憶部１０６、入力部１０７、表示部１０８、通信ポート１０９等のハードウェアがバス１０２を介して接続されている。ＣＰＵ１０１は、ＲＯＭ１０３に予め格納された制御プログラムに従って前述のハードウェア各部を制御する。
【０１２１】
ＲＡＭ１０４は前述の制御プログラム、又は本発明に係るコンピュータプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）の実行中に生成される各種データを一時的に記憶する揮発性のメモリである。ハードディスク１０５は、磁気記録媒体を有する記憶手段であり、本発明のコンピュータプログラムのプログラムコード等が記憶される。外部記憶部１０６は、本発明のコンピュータプログラムのプログラムコードを記録した記録媒体Ｍからプログラムコードを読取るための読取装置を備えている。記録媒体Ｍとしては、ＦＤ（Flexible Disk）、ＣＤ−ＲＯＭ等を用いることができる。外部記憶部１０６によって読取られたプログラムコードはハードディスク１０５に格納される。ＣＰＵ１０１はハードディスク１０５に格納された本発明に係るプログラムコードをＲＡＭ１０４上にロードして実行することにより、装置全体を、実施の形態１で説明したような画像処理を実現する装置として機能させ、２つの画像からそれぞれ算出させた特徴量に基づいて特徴点同士の対応付けを行わせ、一方の画像の座標系を他方の画像の座標系に写す変換行列を算出させ、算出させた変換行列を用いて２つの画像の合成を行わせる。
【０１２２】
入力部１０７は、外部から画像データを取得するためのインタフェースとして機能する。入力部１０７には、例えば、カラースキャナ装置などが接続される。表示部１０８は、処理対象の画像データ、画像処理中の画像データ、画像処理後の画像データ等を表示するためのインタフェースとして機能する。表示部１０８に液晶ディスプレイ装置などの外部表示装置を接続して画像データを表示する構成であってもよく、表示部１０８自身が表示装置を備え、画像データを表示する構成であってもよい。通信ポート１０９は、外部にプリンタ１５０を接続するためのインタフェースである。画像処理された画像データをプリンタ１５０にて印刷する場合、画像処理装置１００は、前記画像データを基にプリンタ１５０にてデコード可能なプリントデータを生成し、生成したプリントデータをプリンタ１５０へ送信する。
【０１２３】
なお、本実施の形態では、各種演算をＣＰＵ１０１が実行する構成としたが、画像処理に係る演算を行う専用のチップを別途設け、ＣＰＵ１０１からの指示により演算を行う構成としてもよい。
【０１２４】
また、本発明に係るコンピュータプログラムコードを記録する記録媒体Ｍとしては、前述したＦＤ及びＣＤ−ＲＯＭの他に、ＭＯ、ＭＤ、ＤＶＤ等の光ディスク、ハードディスク等の磁気記録媒体、ＩＣカード、メモリカード、光カード等のカード型記録媒体、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリの利用も可能である。また、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークから本発明に係るコンピュータプログラムコードをダウンロードするようにしてもよい。
【０１２５】
また、本発明のコンピュータプログラムは、単体のアプリケーションプログラム、ユーティリティプログラムとして提供される形態であってもよく、他のアプリケーションプログラム、ユーティリティプログラムに組み込み、そのプログラムの一部の機能として提供する形態であってもよい。例えば、その一形態としてプリンタドライバに組み込んで提供する形態が考えられる。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１２６】
実施の形態４．
実施の形態１及び２では、デジタル複写機、複合機を用いて画像合成を行う例を示したが、ネットワークで接続されたサーバを用いて処理を分担し、実現するようにしても良い。
【０１２７】
図２８は本実施の形態に係るネットワークシステムの全体構成を示す模式図である。図２８に示すように、本実施の形態に係るネットワークシステムは、サーバ７０、複合機（ＭＦＰ）１０Ａ，１０Ｂ，…、プリンタ８１Ａ，８１Ｂ，…、ファクシミリ８２Ａ，８２Ｂ，…、コンピュータ８３Ａ，８３Ｂ，…、デジタルカメラ８４Ａ，８４Ｂ，…、スキャナ８５Ａ，８５Ｂ，…などがネットワークＮを介して接続されている。システムの構成は上記のものに限定されず、例えば、サーバ７０が複数接続されていてもよい。
【０１２８】
図２９はＭＦＰ１０Ａ（１０Ｂ）及びサーバ７０の内部構成を示すブロック図である。ＭＦＰ１０Ａ（１０Ｂ）は、装置内のハードウェア各部を制御するＭＦＰ制御部１１、読み込まれた原稿画像から特徴点を算出する特徴点算出部１２、算出した特徴点に基づいて原稿画像の特徴量を算出する特徴量算出部１３、算出した特徴量を用いて画像合成処理を行うＭＦＰ画像合成処理部１４、及びメモリ１５を備える。ハードウェア各部が実行する処理は、実施の形態１で説明した画像処理装置５Ａが実行する処理と同様であるため、その詳細については説明を省略する。
【０１２９】
サーバ７０は、装置内のハードウェア各部を制御するサーバ制御部７１、画像合成処理を行うサーバ画像合成処理部７２、及びメモリ７３を備える。サーバ画像合成処理部７２では、主としてＭＦＰ１０Ａ（１０Ｂ）で算出された特徴点、特徴量のデータに基づいて変換行列を算出する処理を行う。
【０１３０】
例えば、複合機１０Ａにおいて、１回目に読み込まれた原稿画像および２回目に読み込まれた原稿画像より特徴点および特徴量を算出してサーバ７０に送信するとともに、読み込まれた原稿画像を、一旦、ハードディスクなどに格納しておく。必要に応じて、圧縮して格納するようにしても良い。サーバ７０では、上記特徴点のデータを用いて変換行列を算出し、算出結果を複合機１０Ａに送信する。複合機１０Ａでは、変換行列を受信した場合、ハードディスクなどに格納しておいた原稿画像を読み出し（圧縮している場合は復号処理を施した後、読み出す）、変換行列を用いて画像の合成を行う。
【０１３１】
実施の形態５．
合成された画像データ（合成画像データ）、合成元の画像データを表すインデックス（第１の識別情報）、合成画像データであることを示すタグ（第２の識別情報）、及び抽出された特徴量（すなわち、合成された画像データ、合成画像データであることを示すタグとハッシュテーブル）をサーバ７０（ＭＦＰ１０Ａなどのハードディスクでも良い）等に格納しておき、ＭＦＰ１０Ａ（１０Ｂ）の操作パネルより画像合成モードを選択し、合成画像データの元の原稿を読み込んで、対応する合成画像データを検索するようにしても良い。この場合、１度合成画像データを作成しておけば、再度、画像の合成動作を行わなくても、元の原稿を用いて、合成画像データを抽出することができる。
【０１３２】
図３０は操作パネルの一例を示す模式図であり、図３１は操作パネルから画像合成モードが選択された場合に表示される画面の一例を示す模式図である。図３０に示す操作パネルから画像合成モードを選択し、図３１に示す画面から合成画像データに対象を絞って検索を行うことができるため、速やかに検索を行うことができるとともに、誤判別を抑制することができる。元の原稿は、合成画像の一部であるので、元の原稿から合成画像データを抽出することができるように、類似度判定の閾値を設定しておく。閾値は種々の原稿を用いて、対応する合成画像データが抽出できる値を決めれば良い。合成画像データはＭＭＲやＪＰＥＧ等原稿の種別に応じた方法で圧縮して格納しておいても良い。
【図面の簡単な説明】
【０１３３】
【図１】本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。
【図２】文書照合処理部の内部構成を示すブロック図である。
【図３】特徴点算出部の構成を示すブロック図である。
【図４】特徴点の抽出例を示す模式図である。
【図５】特徴量算出部の構成を示すブロック図である。
【図６】注目特徴点及び周辺特徴点について説明する説明図である。
【図７】注目特徴点Ｐ３による不変量の算出例を説明する説明図である。
【図８】注目特徴点を特徴点Ｐ４とした場合の不変量の算出例を説明する説明図である。
【図９】注目特徴点をＰ３とした場合の不変量の他の算出例を説明する説明図である。
【図１０】注目特徴点をＰ４とした場合の不変量の他の算出例を説明する説明図である。
【図１１】ハッシュテーブルの一例を示す概念図である。
【図１２】投票結果の一例を示すグラフである。
【図１３】２つの画像から抽出された特徴点の対応付けを説明する説明図である。
【図１４】実施の形態１に係る画像処理システムによる画像合成の処理手順を説明するフローチャートである。
【図１５】原稿の読取手順を説明する説明図である。
【図１６】特徴量（ハッシュ値）と特徴点のインデックスとの対応関係を示す図である。
【図１７】特徴点のインデックスと座標との対応関係を示す図である。
【図１８】重ね合わせる領域の設定例を示す模式図である。
【図１９】対応付けを行う２つの画像の夫々から抽出した特徴点の一例を示す模式図である。
【図２０】作成するヒストグラムを説明する説明図である。
【図２１】本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。
【図２２】画像合成処理部の内部構成を示すブロック図である。
【図２３】実施の形態２に係る画像処理システムによる画像合成の処理手順を説明するフローチャートである。
【図２４】実施の形態２に係る画像処理システムによる画像合成の処理手順を説明するフローチャートである。
【図２５】画像処理装置に取り込まれる画像の一例を示す模式図である。
【図２６】探索画像領域及び参照画像領域が設定されている様子を示す模式図である。
【図２７】本発明のコンピュータプログラムがインストールされた画像処理装置の内部構成を説明するブロック図である。
【図２８】本実施の形態に係るネットワークシステムの全体構成を示す模式図である。
【図２９】ＭＦＰ及びサーバの内部構成を示すブロック図である。
【図３０】操作パネルの一例を示す模式図である。
【図３１】操作パネルから画像合成モードが選択された場合に表示される画面の一例を示す模式図である。
【符号の説明】
【０１３４】
１ 操作パネル
３ 画像入力装置
５Ａ，５Ｂ 画像処理装置
７ 画像出力装置
５３ 文書照合処理部
５４，６４ 画像合成処理部
５３０ 制御部
５３１ 特徴点算出部
５３２ 特徴量算出部
５３３ 投票処理部
５３４ 類似度判定処理部
５３５ データ格納部
【特許請求の範囲】
【請求項１】
互いに重なるべき領域を有する２つの画像を取り込み、取り込んだ２つの画像を前記領域にて合成する画像処理方法において、
前記２つの画像の夫々から画素を連結した連結領域を複数抽出し、抽出した各連結領域に含まれる特徴点を抽出し、抽出した特徴点に基づいて各画像の特徴を表す特徴量を夫々算出し、算出した各画像の特徴量を比較することにより各連結領域から抽出した特徴点間の対応付けを行い、対応付けた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出し、算出した変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成することを特徴とする画像処理方法。
【請求項２】
互いに重なるべき領域を有する２つの画像を取り込み、取り込んだ２つの画像を前記領域にて合成する画像処理装置において、
前記２つの画像の夫々から画素を連結した連結領域を複数抽出する手段と、抽出した各連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて各画像の特徴を表す特徴量を夫々算出する手段と、算出した各画像の特徴量を比較することにより各連結領域から抽出した特徴点間の対応付けを行う手段と、対応付けた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出する手段と、算出した変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成する手段とを備えることを特徴とする画像処理装置。
【請求項３】
前記特徴点を抽出する手段は、変換行列を算出する際に阻害要因となる特徴点を、抽出した特徴点から除去するようにしてあることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
合成された画像データを、合成された画像データより抽出された特徴量、合成された画像データの夫々を識別する第１の識別情報、及び合成された画像データであることを示す第２の識別情報に対応付けて記憶手段に格納する制御部を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
取り込んだ画像を記憶画像と照合する画像照合手段を備え、該画像照合手段は、前記取り込んだ画像から画素を連結した連結領域を抽出する手段と、抽出した連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて前記画像の特徴を表す特徴量を算出する手段と、算出した特徴量と予め記憶されている記憶画像の特徴量とを比較し、一致する特徴量の記憶画像に投票する手段とを備えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
抽出した連結領域の重心を算出する手段を備え、算出した重心を前記連結領域の特徴点としてあることを特徴とする請求項２から請求項５の何れか１つに記載の画像処理装置。
【請求項７】
前記特徴量は、前記画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータであることを特徴とする請求項２から請求項５の何れか１つに記載の画像処理装置。
【請求項８】
１つの画像から抽出した特徴点間の距離を用いて定式化したハッシュ関数によりハッシュ値を算出する手段を備え、算出したハッシュ値を前記画像の特徴量としてあることを特徴とする請求項２から請求項５の何れか１つに記載の画像処理装置。
【請求項９】
合成すべき領域を各画像について予め設定してあることを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
原稿を載置する原稿台と、該原稿台に載置された原稿から画像を読み取る読取手段と、請求項２から請求項９の何れか１つに記載の画像処理装置とを備え、前記読取手段にて読み取った２つの画像を前記画像処理装置にて合成するようにしてあることを特徴とする画像読取装置。
【請求項１１】
合成すべき領域を前記原稿台に対して設定してあることを特徴とする請求項１０に記載の画像読取装置。
【請求項１２】
請求項２から請求項９の何れか１つに記載の画像処理装置と、該画像処理装置により２つの画像を合成して得られた画像をシート上に形成する手段とを備えることを特徴とする画像形成装置。
【請求項１３】
原稿を載置する原稿台と、該原稿台に載置された原稿から画像を読み取る読取手段とを備え、合成すべき領域を前記原稿台に対して設定してあることを特徴とする請求項１２に記載の画像形成装置。
【請求項１４】
コンピュータに、互いに重なるべき領域を有する２つの画像を該領域にて合成させるコンピュータプログラムにおいて、
コンピュータに、前記２つの画像の夫々から画素を連結した連結領域を複数抽出させるステップと、コンピュータに、抽出させた各連結領域に含まれる特徴点を抽出させるステップと、コンピュータに、抽出させた特徴点に基づいて各画像の特徴を表す特徴量を算出させるステップと、コンピュータに、算出させた各画像の特徴量を比較させることにより各連結領域から抽出された特徴点間の対応付けを行わせるステップと、コンピュータに、対応付けられた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出させるステップと、コンピュータに、算出させた変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成させるステップとを有することを特徴とするコンピュータプログラム。
【請求項１５】
コンピュータに、互いに重なるべき領域を有する２つの画像を該領域にて合成させるコンピュータプログラムが記録されているコンピュータでの読み取りが可能な記録媒体において、
コンピュータに、前記２つの画像の夫々から画素を連結した連結領域を複数抽出させるステップと、コンピュータに、抽出させた各連結領域に含まれる特徴点を抽出させるステップと、コンピュータに、抽出させた特徴点に基づいて各画像の特徴を表す特徴量を算出させるステップと、コンピュータに、算出させた各画像の特徴量を比較させることにより各連結領域から抽出された特徴点間の対応付けを行わせるステップと、コンピュータに、対応付けられた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出させるステップと、コンピュータに、算出させた変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成させるステップとを有するコンピュータプログラムが記録されていることを特徴とするコンピュータでの読み取りが可能な記録媒体。
【請求項１】
互いに重なるべき領域を有する２つの画像を取り込み、取り込んだ２つの画像を前記領域にて合成する画像処理方法において、
前記２つの画像の夫々から画素を連結した連結領域を複数抽出し、抽出した各連結領域に含まれる特徴点を抽出し、抽出した特徴点に基づいて各画像の特徴を表す特徴量を夫々算出し、算出した各画像の特徴量を比較することにより各連結領域から抽出した特徴点間の対応付けを行い、対応付けた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出し、算出した変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成することを特徴とする画像処理方法。
【請求項２】
互いに重なるべき領域を有する２つの画像を取り込み、取り込んだ２つの画像を前記領域にて合成する画像処理装置において、
前記２つの画像の夫々から画素を連結した連結領域を複数抽出する手段と、抽出した各連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて各画像の特徴を表す特徴量を夫々算出する手段と、算出した各画像の特徴量を比較することにより各連結領域から抽出した特徴点間の対応付けを行う手段と、対応付けた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出する手段と、算出した変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成する手段とを備えることを特徴とする画像処理装置。
【請求項３】
前記特徴点を抽出する手段は、変換行列を算出する際に阻害要因となる特徴点を、抽出した特徴点から除去するようにしてあることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
合成された画像データを、合成された画像データより抽出された特徴量、合成された画像データの夫々を識別する第１の識別情報、及び合成された画像データであることを示す第２の識別情報に対応付けて記憶手段に格納する制御部を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
取り込んだ画像を記憶画像と照合する画像照合手段を備え、該画像照合手段は、前記取り込んだ画像から画素を連結した連結領域を抽出する手段と、抽出した連結領域に含まれる特徴点を抽出する手段と、抽出した特徴点に基づいて前記画像の特徴を表す特徴量を算出する手段と、算出した特徴量と予め記憶されている記憶画像の特徴量とを比較し、一致する特徴量の記憶画像に投票する手段とを備えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
抽出した連結領域の重心を算出する手段を備え、算出した重心を前記連結領域の特徴点としてあることを特徴とする請求項２から請求項５の何れか１つに記載の画像処理装置。
【請求項７】
前記特徴量は、前記画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータであることを特徴とする請求項２から請求項５の何れか１つに記載の画像処理装置。
【請求項８】
１つの画像から抽出した特徴点間の距離を用いて定式化したハッシュ関数によりハッシュ値を算出する手段を備え、算出したハッシュ値を前記画像の特徴量としてあることを特徴とする請求項２から請求項５の何れか１つに記載の画像処理装置。
【請求項９】
合成すべき領域を各画像について予め設定してあることを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
原稿を載置する原稿台と、該原稿台に載置された原稿から画像を読み取る読取手段と、請求項２から請求項９の何れか１つに記載の画像処理装置とを備え、前記読取手段にて読み取った２つの画像を前記画像処理装置にて合成するようにしてあることを特徴とする画像読取装置。
【請求項１１】
合成すべき領域を前記原稿台に対して設定してあることを特徴とする請求項１０に記載の画像読取装置。
【請求項１２】
請求項２から請求項９の何れか１つに記載の画像処理装置と、該画像処理装置により２つの画像を合成して得られた画像をシート上に形成する手段とを備えることを特徴とする画像形成装置。
【請求項１３】
原稿を載置する原稿台と、該原稿台に載置された原稿から画像を読み取る読取手段とを備え、合成すべき領域を前記原稿台に対して設定してあることを特徴とする請求項１２に記載の画像形成装置。
【請求項１４】
コンピュータに、互いに重なるべき領域を有する２つの画像を該領域にて合成させるコンピュータプログラムにおいて、
コンピュータに、前記２つの画像の夫々から画素を連結した連結領域を複数抽出させるステップと、コンピュータに、抽出させた各連結領域に含まれる特徴点を抽出させるステップと、コンピュータに、抽出させた特徴点に基づいて各画像の特徴を表す特徴量を算出させるステップと、コンピュータに、算出させた各画像の特徴量を比較させることにより各連結領域から抽出された特徴点間の対応付けを行わせるステップと、コンピュータに、対応付けられた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出させるステップと、コンピュータに、算出させた変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成させるステップとを有することを特徴とするコンピュータプログラム。
【請求項１５】
コンピュータに、互いに重なるべき領域を有する２つの画像を該領域にて合成させるコンピュータプログラムが記録されているコンピュータでの読み取りが可能な記録媒体において、
コンピュータに、前記２つの画像の夫々から画素を連結した連結領域を複数抽出させるステップと、コンピュータに、抽出させた各連結領域に含まれる特徴点を抽出させるステップと、コンピュータに、抽出させた特徴点に基づいて各画像の特徴を表す特徴量を算出させるステップと、コンピュータに、算出させた各画像の特徴量を比較させることにより各連結領域から抽出された特徴点間の対応付けを行わせるステップと、コンピュータに、対応付けられた特徴点の位置の情報を用いて一方の画像の座標系を他方の画像の座標系に写す変換行列を算出させるステップと、コンピュータに、算出させた変換行列を用いて前記一方の画像を変換することにより前記２つの画像を合成させるステップとを有するコンピュータプログラムが記録されていることを特徴とするコンピュータでの読み取りが可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２００８−１７８０８４（Ｐ２００８−１７８０８４Ａ）
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願番号】特願２００７−３１４９８６（Ｐ２００７−３１４９８６）
【出願日】平成１９年１２月５日（２００７．１２．５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願日】平成１９年１２月５日（２００７．１２．５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]