画像処理装置、処理方法及び処理プログラム
【課題】小画像の周囲に文字情報等が記録されていてもその文字情報等も含めて小画像を正確に分割することができる画像処理装置を提供する。
【解決手段】画像処理装置１は、画像取込部２と、背景検出手段４と、画像中の複数の小画像及びそれに付随する文字情報を小画像ごとに分割する画像分割手段５と、からなる画像処理部３と、を備える。背景検出手段は、画像の明度の頻度分布から背景部分を検出する。画像分割手段は、背景部分以外の領域から明度の頻度分布により小画像を検出し、背景部分以外の領域から明度の頻度分布を用いて縦方向と横方向に分割した帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出し、この２つを重ね合わせた領域を全画像領域シードとして検出し、これを小画像の配置に応じて縦横に均等に分割し文字情報を付随する小画像を検出する。
【解決手段】画像処理装置１は、画像取込部２と、背景検出手段４と、画像中の複数の小画像及びそれに付随する文字情報を小画像ごとに分割する画像分割手段５と、からなる画像処理部３と、を備える。背景検出手段は、画像の明度の頻度分布から背景部分を検出する。画像分割手段は、背景部分以外の領域から明度の頻度分布により小画像を検出し、背景部分以外の領域から明度の頻度分布を用いて縦方向と横方向に分割した帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出し、この２つを重ね合わせた領域を全画像領域シードとして検出し、これを小画像の配置に応じて縦横に均等に分割し文字情報を付随する小画像を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１枚のフィルムに複数の小画像を記録した医用画像から、小画像を自動的に分割して保存する画像処理装置、処理方法及び処理プログラムであって、特に各小画像に付随して記録されている文字情報等についても各小画像と一体にして自動的に分割して保存することができる画像処理装置、処理方法及び処理プログラムに関するものである。
【背景技術】
【０００２】
従来、医用画像は１枚のフィルムに複数の小画像を記録することが多く、その画像を画像データとして電子保管する際には、１枚のフィルム単位ではなく、小画像ごとに分割して保存することが通常行われている。
【０００３】
この小画像ごとの分割を、手作業で行うことは多大な手間を要することから、自動的に小画像に分割する装置が望まれていた。そこで、このような１枚のフィルムから複数の小画像を自動的に分割して保存する画像処理装置が提案されている（特許文献１参照）。この画像処理装置は、フィルムをスキャンして画像を取り込み、その画像を構成する画素値の分散に基づいて小画像の配置を検出するもので、複数の小画像を自動的に短時間で分割することができるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３４２５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記画像処理装置にあっては、分割しようとする複数の小画像の周囲にその小画像に付随する文字情報等が記録されている場合に、隣接する小画像間の背景部分がほぼ透明であると、文字情報等が正確に検出できずに小画像に文字情報等を含めたかたちで正確に分割することができないという問題があった。
【０００６】
本発明は、このような実情に鑑みてなされたものであり、小画像の周囲に文字情報等が記録されている場合に、背景部分に影響されることなく文字情報等も含めて小画像を自動で正確に分割することができる画像処理装置、処理方法及び処理プログラムを提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記解決課題は、下記の各発明によって解決することができる。
すなわち、本発明の画像処理装置は、画像を取り込む画像取込部と、取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置であって、前記背景検出手段は、前記取り込んだ画像の明度の頻度分布から背景部分を検出し、前記画像分割手段は、前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出し、かつ前記取り込んだ画像を前記背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出し、該縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を、前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出し、該全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とし、該全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定し、該仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出することを特徴とする。
【０００８】
また、前記背景検出手段は、取り込んだ画像を構成する画素の明度の頻度分布と、前記明度の頻度の平均値とを求め、該平均値を超えた頻度を有する明度を背景部分の明度である背景明度として検出することを特徴とする。
これにより、背景明度部分を除いた部分が画像情報を有する部分として検出することができる。
【０００９】
また、前記画像分割手段は、前記取り込んだ画像を構成する画素の明度のうち、背景明度以外の明度の頻度分布を求め、該頻度分布に基づいて前記取り込んだ画像の画像領域中における予め設定した設定値を超える明度の頻度から前記小画像の配置を求めることを特徴とする。
【００１０】
また、前記背景検出手段は、全画像領域シードにおける周期性を求め、全画像領域シード中の周期性のない単独のタイトル部を除外することを特徴とする。
【００１１】
また、前記画像分割手段は、仮分割線が全画像領域シードを貫く場合に、隣接する小画像領域同士の間隔が狭いものと判断して全画像領域シードの全領域を、検出した小画像の数に応じて等間隔に分割して小画像領域とすることを特徴とする。
これにより、小画像間隔が狭い画像であっても、確実に分割して小画像領域を検出することができる。
【００１２】
本発明の画像処理方法は、画像を取り込む画像取込部と、取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置を用いて画像を処理する方法であって、前記背景検出手段により、前記取り込んだ画像の明度の頻度分布から背景部分を検出し、前記画像分割手段により、前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出し、かつ前記取り込んだ画像を背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出し、該縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出し、該全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とし、該全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定し、該仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出することを特徴とする。
【００１３】
本発明の画像処理プログラムは、取り込んだ画像から画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割させる画像処理プログラムであって、画像を取り込む画像取込部と、取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置において、前記背景検出手段により前記取り込んだ画像の明度の頻度分布から背景部分を検出するステップと、前記画像分割手段により前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出するステップと、前記画像分割手段により前記取り込んだ画像を前記背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出するステップと、前記画像分割手段により前記縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を、前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出するステップと、前記画像分割手段により前記全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とするステップと、前記画像分割手段により前記全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定するステップと、前記画像分割手段により前記仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出するステップと、を実行させることを特徴とする。
【発明の効果】
【００１４】
以上、説明したように、本発明の画像処理装置、処理方法及び処理プログラムによれば、小画像の周囲に文字情報等が記録されている場合に、背景部分に影響されることなく文字情報等も含めて小画像を自動で正確に分割することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係る画像処理装置のシステム構成図である。
【図２】本発明の画像処理装置における分割対象の画像領域を示す図である。
【図３】本発明の画像処理装置における分割対象の画像領域を示す図である。
【図４】本発明の画像処理装置における分割対象の画像領域を示す図である。
【図５】本発明の画像処理装置における画像分割処理の流れを示すフローである。
【図６】本発明の画像処理装置における高精度分割の流れを示すフローである。
【図７】本発明の画像処理装置における小画像抽出の流れを示すフローである。
【図８】本発明の画像処理装置における画像を構成する画素の明度の頻度分布を示す図である。
【図９】本発明の画像処理装置における分割画像コア部の検出説明図である。
【図１０】本発明の画像処理装置における分割画像コア部拡大の説明図である。
【図１１】本発明の画像処理装置における拡大矩形の結合説明図である。
【図１２】本発明の画像処理装置における全画像領域シード検出を示す図である。
【図１３】本発明の画像処理装置における全画像領域シード検出を示す図である。
【図１４】本発明の画像処理装置における全画像領域検出を示す図である。
【図１５】本発明の画像処理装置における全画像領域検出を示す図である。
【図１６】本発明の画像処理装置における仮分割線生成を示す図である。
【図１７】本発明の画像処理装置における合成分割矩形生成を示す図である。
【図１８】本発明の画像処理装置における合成分割矩形生成を示す図である。
【図１９】本発明の画像処理装置における高精度分割モードで分割された小画像領域を示す図である。
【図２０】本発明の画像処理装置における中精度分割の流れを示すフローである。
【図２１】本発明の画像処理装置の中精度分割における背景明度検出の流れを示すフローである。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、本発明の画像処理装置、処理方法及び処理プログラムを実施するための形態を詳細に説明する。図１〜図２１は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表し、基本的な構成及び動作は同様であるものとする。
【００１７】
＜構成＞
図１は、本発明の実施形態に係る画像処理装置のシステム構成図である。本発明の画像処理装置１は、フィルムをスキャンするなどして画像を取り込む画像取込部２と、画像取込部２が取り込んだ画像を処理する画像処理部３とから構成されている。
【００１８】
前記画像取込部２は、フィルムスキャナやイメージスキャナ等の機能を有して、フィルムから画像を取り込むほかに、外部記憶装置等から画像を取り込むことも可能としている。
【００１９】
前記画像処理部３は、背景検出手段４と画像分割手段５とから構成され、背景検出手段４は、取り込んだ画像領域中の画像部分以外の、枠となる背景部分を検出する手段である。この背景部分とは、画像領域に配置されている複数の小画像を格子状に区切る領域であり、その間隔が数mmから数十mm程度の不透明又はほぼ透明の部分である。
【００２０】
前記画像分割手段５は、背景検出手段４によって検出された背景部分を用いて、画像領域に配置された複数の小画像を検出し、各小画像を切り出して、それぞれ別ファイルとして保存することができるものである。
【００２１】
図２〜図４は、本発明の画像処理装置１が高精度分割モードで分割する対象となる画像の例を示すもので、図２は小画像間の背景部分が狭い画像を示し、図３は上部にタイトル領域がある画像を示し、図４は小画像間の背景部分が広い画像を示している。本発明の画像処理装置１は、これらのパターンの異なる画像について確実に小画像領域を分解することができるものである。
【００２２】
＜動作＞
本発明の実施形態に係る画像処理装置１の動作について、図５及び図６を参照して説明する。
【００２３】
図５は、本発明の画像処理装置１の動作フロー図であり、このフローは、背景検出手段４が、画像取込部２が取り込んだ画像における文字情報等の微小情報の数が予め設定された閾値より多いか否かを判定するステップ１と、微小情報の数が閾値より多い場合に画像分割手段５が高精度分割モードで分割するステップ２と、高精度分割モードでの分割がリジェクトされたか否かを画像分割手段５が判定するステップ３と、リジェクトされた場合と、前記ステップ１で微小情報の数が閾値より小さい場合に画像分割手段５が中精度分割モードで分割するステップ４に移行し、その分割の結果、分割線が小画像領域を貫くか否かを画像分割手段５が判定するステップ５と、分割線が小画像を貫く場合に画像分割手段５がリジェクト設定を行ってから処理を終了するステップ６とからなり、前記ステップ３でリジェクトされない場合と、前記ステップ５で分割線が小画像を貫かない場合にはそれぞれ処理を終了する。
このフローは、画像処理部３が取り込んだ画像を高精度分割モードで分割するか、又は中精度分割モードで分割するかを選択する流れを示している。
【００２４】
＜高精度分割モード＞
図６は、背景検出手段４及び画像分割手段５が上記ステップ２の高精度分割モードで分割する動作フロー図であり、このフローは、画像取込部２がフィルムをスキャンして取り込んだ画像から小画像抽出を行うステップ２１と、全画像領域シード（後述する）を検出するステップ２２と、この全画像領域シードから全画像領域を検出するステップ２３と、全画像領域から仮分割線決定を行うステップ２４と、仮分割線が全画像領域シードを貫くか否かを判定するステップ２５と、貫く場合に全画像領域を単純分割するステップ２６と、仮分割線が全画像領域シードを貫かない場合に合成分割矩形生成を行うステップ２７と、小画像面積が全画像領域より閾値を超えて小さいか否かを判定するステップ２８と、閾値を超えない場合に、分割線が小画像領域を貫くか否かを判定するステップ２９と、前記ステップ２８で小画像面積が全画像領域より閾値を超えて小さい場合、及びステップ２９で分割線が小画像領域を貫く場合にリジェクト設定を行って処理を終了するステップ３０とからなり、ステップ２９で分割線が小画像領域を貫かない場合には処理を終了する。
このフローは、画像取込部２が取り込んだ画像を画像分割手段５が高精度分割モードで分割する流れを示している。
【００２５】
前記ステップ２１の小画像抽出については、後述するステップ４の中精度分割モードにおける分割画像コア部検出までの流れと同様であり、この小画像抽出の動作フローを示す図７、及び図８〜図１１に基づいて以下に詳細に説明する。
前記背景検出手段４は、ステップ３１において、図８に示すごとく、画像取込部２が取り込んだ画像を構成する画素の明度の頻度分布を求める。次に背景検出手段４は、ステップ３２において、明度の頻度の平均値３１を求め、平均値３１を超えた頻度を有する明度を背景部分の明度（以下、背景明度と称す）とする。符号３２は、背景明度の範囲を示している。この背景明度から背景部分を検出できない場合には、処理を終了する。
【００２６】
前記画像分割手段５は、ステップ３４において、取り込んだ画像を構成する画素の明度のうち、前記背景明度３２以外の明度の頻度分布を求め、該頻度分布に基づいて取り込んだ画像の画像領域中における分割画像コア部４３の配置について、以下のごとく検出する。
【００２７】
図９は、分割画像コア部４３の検出説明図であり、画像領域の横軸をＸ軸、縦軸をＹ軸として説明する。画像分割手段５は、取り込んだ画像をＹ軸に平行な細かな短冊状領域ごとに背景明度３２以外の明度の頻度を求めて、これをヒストグラム４１として表す。
【００２８】
同様に、画像分割手段５は、画像領域をＸ軸に平行な細かな短冊状領域ごとに背景明度３２以外の明度の頻度を求めて、これをヒストグラム４２として表す。
【００２９】
画像分割手段５は、このようにして得られたヒストグラム４１、４２において、予め設定された設定値４４よりも大きい明度の頻度を有する短冊状領域を求め、その短冊状領域の交差する部分を分割画像コア部４３として検出する。この設定値４４としては、小画像が検出される程度でよく、小画像の周囲の文字情報等の微小情報については検出されない程度とする。
このようにして求めた分割画像コア部４３から、小画像１７（後述する）の数及び配置を検出する。
【００３０】
次に、小画像１７の周囲に記録されている文字情報等の微小情報についても検出すべく、ステップ２２の全画像領域シード、すなわち取り込んだ画像中の複数の小画像を包含する全画像領域を検出するための前段階のシード（種）の検出について、図１２、図１３に基づいて以下に詳細に説明する。
図１２は、画像取込部２がフィルムから取り込んだ画像を、背景検出手段４が、前述した図８のごとく、背景明度以外の明度を有する部分として予め設定した設定値（微小情報も検出するために、前述した設定値４４とは異なる設定値とする）よりも大きい明度の頻度を有する短冊状領域を縦と横について求め、これを縦のスキャンライン１１及び横のスキャンライン１２として検出した状態を表している。この状態では、縦のスキャンライン１１と横のスキャンライン１２とが２層構造となって検出される。また、フィルムのタイトルが記録されている上部のタイトル部１３も、横のスキャンラインの一つとして検出される。
【００３１】
図１３は、背景検出手段４が、図１２で検出した縦のスキャンライン１１と横のスキャンライン１２とを同一平面上で結合して、その重なり合った領域を全画像領域シード１４として検出する状態を表している。更に背景検出手段４は、重なり合った領域で面積が大きい領域群を、横方向に３列、縦方向に４行配置された合計１２個の小画像１７として抽出する。
【００３２】
前記ステップ２３の全画像領域検出について、図１４、図１５に基づいて以下に詳細に説明する。
図１４は、背景検出手段４が、図１２で検出した縦横の全スキャンライン部分から、画像が記録されていない領域を除外するために、縦横のスキャンライン１１、１２における交差していない一方だけのスキャンライン部分１５を除外するとともに、上部のタイトル部１３を含む横のスキャンラインについても、画像、文字情報の周期性を持った他の横のスキャンライン１２とパターンが異なっていることを検出して除外し、全画像領域シード１４を抽出した、全画像領域を検出する直前の状態を表している。
【００３３】
図１５は、背景検出手段４が、図１４で抽出した全画像領域シード１４について、その最外周を矩形に囲繞する境界を設定して、その内側を全画像領域１６として検出する状態を表している。
【００３４】
前記ステップ２４の仮分割線決定について、図１６に基づいて以下に詳細に説明する。
図１６は、画像分割手段５が、図１５までにおいて背景検出手段４が検出した全画像領域１６中に横に３列、縦に４行配置された小画像１７を、仮分割線１８、１９により均等に分割することを表している。具体的には、全画像領域１６の横幅を均等間隔で３分割する２本の縦の仮分割線１８と、全画像領域１６の縦幅を均等間隔で４分割する３本の横の仮分割線１９とを設定するものである。
【００３５】
前記ステップ２７の合成分割矩形生成について、図１７、図１８に基づいて以下に詳細に説明する。
図１７は、画像分割手段５が、図１６の仮分割線１８、１９と図１４の全画像領域シード１４とを重ね合わせて、合成分割矩形を生成する状態を表している。
【００３６】
図１８は、画像分割手段５が、図１７の仮分割線１８、１９で区分けされた領域に位置する、周囲に微小情報領域（本実施形態ではそれぞれ８個）を有する小画像１７について、該小画像１７と周囲の微小情報領域とを１個の画像に合成して、１２個の小画像領域２０として検出するものである。
【００３７】
このようにして検出された小画像領域２０の画像例が、図１９に示すものであり、中央に小画像１７を配置し、その周囲に小画像１７に付随する微小な文字情報２１が記録されているものである。この文字情報２１を小画像１７と一体にして正確に切り抜くためには、小画像１７を挟んで対角線上に位置していることが必要であり、且つその文字情報２１の配置が１枚のフィルムにおいて小画像１７ごとにある程度似通っていることが必要になる。これは、背景検出手段４がタイトル部１３を除外するためには、画像、文字情報に周期性を持たせることが必要となるためである。
【００３８】
＜中精度分割モード＞
図２０は、画像分割手段５が上記ステップ４の中精度分割モードで分割する動作フロー図であり、このフローは、背景検出手段４が、画像取込部２が取り込んだ画像中の背景明度を検出するステップ３１と、背景検出手段４が、背景が存在するか否か、すなわち背景明度が検出できたかどうかを判定するステップ３２とを備えて、検出できなかった場合は、その旨のエラーを画面等に表示して処理を終了し、検出できた場合は次のステップ３３を実行する。
【００３９】
前記ステップ３３に続くフローは、背景検出手段４が、背景明度の範囲が予め設定された設定範囲よりも大きいか否かの判定を行うステップ３３と、設定範囲よりも小さい場合に分割画像のコア部を検出するステップ３４と、設定範囲よりも大きい場合に背景検出をリトライするステップ３５と、背景検出手段４が、背景明度の決定ができたか否かを判定するステップ３６とを備えて、このステップ３６で背景明度が決定できなかった場合は、エラーが発生したとしてその旨を画面等に表示して処理を終了し、背景明度の決定ができた場合はステップ３４を実行する。
【００４０】
前記ステップ３４に続くフローは、画像分割手段５が、分割画像コア部を拡大した矩形を検出するステップ３７と、画像分割手段５が、後述する拡大矩形７１、結合矩形８１の個数をカウントして、個数が１個であるか否かの判定を行うステップ３８と、個数が１個の場合は、その旨を画面等に表示して処理を終了し、個数が１個でない場合に、画像分割手段５が、画像領域中の各小画像を分割するための分割線を生成してチェックするステップ３９を備える。この際、画像分割手段５は、生成した分割線が最終矩形と交わっている場合は、分割線の交わっている部分を削除する。
これにより、小画像が格子状にきちんと整列していなくても、正確に小画像を分割するための分割線を生成することができる。
【００４１】
図２１は、前記ステップ３１の背景明度検出の動作フロー図であり、このフローは、背景検出手段４が画像取込部２で取り込んだ画像を構成する画像の明度の頻度分布を求めるステップ４１と、明度の頻度の平均値を求めるステップ４２と、明度の頻度の平均値より多い頻度を有する明度を背景明度とするステップ４３を備える。図８の画素の明度の頻度分布に示すごとく、背景明度が暗い場合に、明度の暗い部分にピークが存在し、そのピークのある明度の暗い部分以外には特にピークのない頻度分布となることが多い。これは、背景明度は全て同じなので、背景明度の頻度は高くなるのに対し、画像部分は多くの場合多種多様な明度が存在するので、背景明度と比較して頻度が高くならないからである。
【００４２】
次に、ステップ４２において背景検出手段４は、頻度の平均値３１を求める。背景検出手段４は、頻度の平均値を超えた頻度を有する明度を背景明度とする。
背景明度は、暗い場合だけでなく、明るい場合や、任意の明度の場合でも同様であり、発明者は画像明度の平均値を超えた頻度を有する明度から、正確且つ容易に背景明度を検出することが可能となった。
【００４３】
また、画像領域に枠の部分がなくて全て画像の場合には、背景検出手段４は背景明度を検出することができないが、この場合には、明度の頻度分布において、明度の頻度平均値を超えた頻度を有する明度が、１個所にまとまることなく全般的に分布することになる。背景検出手段４は、このような明度の頻度分布の場合には、背景が存在しないと判断することができる。
【００４４】
前記ステップ３４の分割画像コア部の検出について、図９に示すごとく、画像分割手段５は、画像領域をＹ軸に平行な細かな短冊状領域ごとに背景明度以外の明度の頻度を求めて、これをヒストグラム４１として表す。
【００４５】
同様に、画像分割手段５は、画像領域をＸ軸に平行な細かな短冊状領域ごとに背景明度以外の明度の頻度を求めて、これをヒストグラム４２として表す。
【００４６】
画像分割手段５は、このようにして得られたヒストグラム４１、４２において、予め設定された設定値よりも大きい頻度を有する短冊状領域を求め、その短冊状領域の交差する部分を分割画像コア部４３として検出する。この設定値は、前述した小画像を検出するための設定値４４とは異なり、小画像に加え文字情報等の微小情報も検出し得る明度の頻度の設定とするものである。
【００４７】
前記ステップ３７のコア部を拡大した矩形検出について、図１０に示すごとく、画像分割手段５は、画像領域中の分割画像コア部４３の４個の頂点（Ａ、Ｂ、Ｃ、Ｄ）について、分割画像コア部４３を構成する矩形ＡＢＣＤの外側方向に、背景明度に達するまで伸長させていく。更に詳しく頂点Ａを矩形ＡＢＣＤの外側方向であってＹ軸方向に明度が背景明度になるまで伸長させ、背景明度になった点をＡｙとする。同様に、頂点Ａを矩形ＡＢＣＤの外側方向であってＹ軸方向に明度が背景明度になるまで伸長させ、背景明度になった点をＡｘとする。同じ操作を残りの頂点Ｂ、Ｃ、Ｄについても行う。
このようにして得られたＡｘ、Ａｙ、Ｂｘ、Ｂｙ、Ｃｘ、Ｃｙ、Ｄｘ、Ｄｙの全てを包含し、且つ面積が最小となる矩形として拡大矩形５１を検出する。
【００４８】
このようにして各分割画像コア部６３を拡大していくと、拡大矩形５１同士で重なり合う場合が生じる。その場合には、図１１の拡大矩形の結合説明図に表すように、画像分割手段５は、重なり合った全ての拡大矩形５１を含み、面積が最小となる矩形の結合矩形６１を検出するものである。
【００４９】
前記ステップ３８の矩形の個数の判断において、このようにして最終的に得られた拡大矩形５１、結合矩形６１の個数をカウントし、その個数が１個であるか否かの判断を行う。そして、個数が１個と判断された場合は、その旨を画面等に表示して処理を終了し、個数が１個でないと判断された場合は、ステップ３９で、画像分割手段５は、画像領域中の各小画像領域を分割するための分割線を生成する。分割線は、隣り合う最終矩形の対向する辺と辺の真ん中に設けることができる。この際、画像分割手段５は、生成した分割線のチェックを行い、分割線が最終矩形と交わっている場合は、分割線の交わっている部分を削除して処理を終了する。これにより、小画像領域が格子状に整列していなくても、正確に小画像領域を分割するための分割線を生成することができる。
【００５０】
このように本発明の画像処理装置における中精度分割モードにあっては、前述した高精度分割モードで画像を分解しない場合に、取り込んだ画像から背景明度を検出し、この背景明度以外の明度の頻度分布を求めることによって、文字情報等の微小情報を付随する小画像領域の配置を正確に検出し、小画像領域の分割、小画像領域を分割するための分割線の生成等を容易にかつ正確に行うことが可能となる。
【産業上の利用可能性】
【００５１】
本発明の画像処理装置、処理方法及び処理プログラムは、図１に示すように、コンピュータのＣＰＵ、メモリ、補助記憶装置、ディスプレイ、入力デバイス等を含むハードウェア資源上に構築されたＯＳ、アプリケーション、データベース、ネットワークシステム等によって実現されるものであり、画像処理が上記のハードウェア資源を用いて具体的に実現されるものであるから、自然法則を利用した技術的思想に該当するものであり、コンピュータ製造等の産業において利用することができるものである。
【符号の説明】
【００５２】
１ 画像処理装置
２ 画像取込部
３ 画像処理部
４ 背景検出手段
５ 画像分割手段
１１ スキャンライン
１２ スキャンライン
１３ タイトル部
１４ 全画像領域シード
１５ スキャンライン部分
１６ 全画像領域
１７ 小画像
１８ 仮分割線
１９ 仮分割線
２０ 小画像領域
２１ 文字情報
３１ 頻度平均値
３２ 背景明度の範囲
４１ ヒストグラム
４２ ヒストグラム
４３ 分割画像コア部
５１ 拡大矩形
６１ 結合矩形
【技術分野】
【０００１】
本発明は、１枚のフィルムに複数の小画像を記録した医用画像から、小画像を自動的に分割して保存する画像処理装置、処理方法及び処理プログラムであって、特に各小画像に付随して記録されている文字情報等についても各小画像と一体にして自動的に分割して保存することができる画像処理装置、処理方法及び処理プログラムに関するものである。
【背景技術】
【０００２】
従来、医用画像は１枚のフィルムに複数の小画像を記録することが多く、その画像を画像データとして電子保管する際には、１枚のフィルム単位ではなく、小画像ごとに分割して保存することが通常行われている。
【０００３】
この小画像ごとの分割を、手作業で行うことは多大な手間を要することから、自動的に小画像に分割する装置が望まれていた。そこで、このような１枚のフィルムから複数の小画像を自動的に分割して保存する画像処理装置が提案されている（特許文献１参照）。この画像処理装置は、フィルムをスキャンして画像を取り込み、その画像を構成する画素値の分散に基づいて小画像の配置を検出するもので、複数の小画像を自動的に短時間で分割することができるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３４２５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記画像処理装置にあっては、分割しようとする複数の小画像の周囲にその小画像に付随する文字情報等が記録されている場合に、隣接する小画像間の背景部分がほぼ透明であると、文字情報等が正確に検出できずに小画像に文字情報等を含めたかたちで正確に分割することができないという問題があった。
【０００６】
本発明は、このような実情に鑑みてなされたものであり、小画像の周囲に文字情報等が記録されている場合に、背景部分に影響されることなく文字情報等も含めて小画像を自動で正確に分割することができる画像処理装置、処理方法及び処理プログラムを提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記解決課題は、下記の各発明によって解決することができる。
すなわち、本発明の画像処理装置は、画像を取り込む画像取込部と、取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置であって、前記背景検出手段は、前記取り込んだ画像の明度の頻度分布から背景部分を検出し、前記画像分割手段は、前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出し、かつ前記取り込んだ画像を前記背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出し、該縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を、前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出し、該全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とし、該全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定し、該仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出することを特徴とする。
【０００８】
また、前記背景検出手段は、取り込んだ画像を構成する画素の明度の頻度分布と、前記明度の頻度の平均値とを求め、該平均値を超えた頻度を有する明度を背景部分の明度である背景明度として検出することを特徴とする。
これにより、背景明度部分を除いた部分が画像情報を有する部分として検出することができる。
【０００９】
また、前記画像分割手段は、前記取り込んだ画像を構成する画素の明度のうち、背景明度以外の明度の頻度分布を求め、該頻度分布に基づいて前記取り込んだ画像の画像領域中における予め設定した設定値を超える明度の頻度から前記小画像の配置を求めることを特徴とする。
【００１０】
また、前記背景検出手段は、全画像領域シードにおける周期性を求め、全画像領域シード中の周期性のない単独のタイトル部を除外することを特徴とする。
【００１１】
また、前記画像分割手段は、仮分割線が全画像領域シードを貫く場合に、隣接する小画像領域同士の間隔が狭いものと判断して全画像領域シードの全領域を、検出した小画像の数に応じて等間隔に分割して小画像領域とすることを特徴とする。
これにより、小画像間隔が狭い画像であっても、確実に分割して小画像領域を検出することができる。
【００１２】
本発明の画像処理方法は、画像を取り込む画像取込部と、取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置を用いて画像を処理する方法であって、前記背景検出手段により、前記取り込んだ画像の明度の頻度分布から背景部分を検出し、前記画像分割手段により、前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出し、かつ前記取り込んだ画像を背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出し、該縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出し、該全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とし、該全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定し、該仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出することを特徴とする。
【００１３】
本発明の画像処理プログラムは、取り込んだ画像から画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割させる画像処理プログラムであって、画像を取り込む画像取込部と、取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置において、前記背景検出手段により前記取り込んだ画像の明度の頻度分布から背景部分を検出するステップと、前記画像分割手段により前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出するステップと、前記画像分割手段により前記取り込んだ画像を前記背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出するステップと、前記画像分割手段により前記縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を、前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出するステップと、前記画像分割手段により前記全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とするステップと、前記画像分割手段により前記全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定するステップと、前記画像分割手段により前記仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出するステップと、を実行させることを特徴とする。
【発明の効果】
【００１４】
以上、説明したように、本発明の画像処理装置、処理方法及び処理プログラムによれば、小画像の周囲に文字情報等が記録されている場合に、背景部分に影響されることなく文字情報等も含めて小画像を自動で正確に分割することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係る画像処理装置のシステム構成図である。
【図２】本発明の画像処理装置における分割対象の画像領域を示す図である。
【図３】本発明の画像処理装置における分割対象の画像領域を示す図である。
【図４】本発明の画像処理装置における分割対象の画像領域を示す図である。
【図５】本発明の画像処理装置における画像分割処理の流れを示すフローである。
【図６】本発明の画像処理装置における高精度分割の流れを示すフローである。
【図７】本発明の画像処理装置における小画像抽出の流れを示すフローである。
【図８】本発明の画像処理装置における画像を構成する画素の明度の頻度分布を示す図である。
【図９】本発明の画像処理装置における分割画像コア部の検出説明図である。
【図１０】本発明の画像処理装置における分割画像コア部拡大の説明図である。
【図１１】本発明の画像処理装置における拡大矩形の結合説明図である。
【図１２】本発明の画像処理装置における全画像領域シード検出を示す図である。
【図１３】本発明の画像処理装置における全画像領域シード検出を示す図である。
【図１４】本発明の画像処理装置における全画像領域検出を示す図である。
【図１５】本発明の画像処理装置における全画像領域検出を示す図である。
【図１６】本発明の画像処理装置における仮分割線生成を示す図である。
【図１７】本発明の画像処理装置における合成分割矩形生成を示す図である。
【図１８】本発明の画像処理装置における合成分割矩形生成を示す図である。
【図１９】本発明の画像処理装置における高精度分割モードで分割された小画像領域を示す図である。
【図２０】本発明の画像処理装置における中精度分割の流れを示すフローである。
【図２１】本発明の画像処理装置の中精度分割における背景明度検出の流れを示すフローである。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、本発明の画像処理装置、処理方法及び処理プログラムを実施するための形態を詳細に説明する。図１〜図２１は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表し、基本的な構成及び動作は同様であるものとする。
【００１７】
＜構成＞
図１は、本発明の実施形態に係る画像処理装置のシステム構成図である。本発明の画像処理装置１は、フィルムをスキャンするなどして画像を取り込む画像取込部２と、画像取込部２が取り込んだ画像を処理する画像処理部３とから構成されている。
【００１８】
前記画像取込部２は、フィルムスキャナやイメージスキャナ等の機能を有して、フィルムから画像を取り込むほかに、外部記憶装置等から画像を取り込むことも可能としている。
【００１９】
前記画像処理部３は、背景検出手段４と画像分割手段５とから構成され、背景検出手段４は、取り込んだ画像領域中の画像部分以外の、枠となる背景部分を検出する手段である。この背景部分とは、画像領域に配置されている複数の小画像を格子状に区切る領域であり、その間隔が数mmから数十mm程度の不透明又はほぼ透明の部分である。
【００２０】
前記画像分割手段５は、背景検出手段４によって検出された背景部分を用いて、画像領域に配置された複数の小画像を検出し、各小画像を切り出して、それぞれ別ファイルとして保存することができるものである。
【００２１】
図２〜図４は、本発明の画像処理装置１が高精度分割モードで分割する対象となる画像の例を示すもので、図２は小画像間の背景部分が狭い画像を示し、図３は上部にタイトル領域がある画像を示し、図４は小画像間の背景部分が広い画像を示している。本発明の画像処理装置１は、これらのパターンの異なる画像について確実に小画像領域を分解することができるものである。
【００２２】
＜動作＞
本発明の実施形態に係る画像処理装置１の動作について、図５及び図６を参照して説明する。
【００２３】
図５は、本発明の画像処理装置１の動作フロー図であり、このフローは、背景検出手段４が、画像取込部２が取り込んだ画像における文字情報等の微小情報の数が予め設定された閾値より多いか否かを判定するステップ１と、微小情報の数が閾値より多い場合に画像分割手段５が高精度分割モードで分割するステップ２と、高精度分割モードでの分割がリジェクトされたか否かを画像分割手段５が判定するステップ３と、リジェクトされた場合と、前記ステップ１で微小情報の数が閾値より小さい場合に画像分割手段５が中精度分割モードで分割するステップ４に移行し、その分割の結果、分割線が小画像領域を貫くか否かを画像分割手段５が判定するステップ５と、分割線が小画像を貫く場合に画像分割手段５がリジェクト設定を行ってから処理を終了するステップ６とからなり、前記ステップ３でリジェクトされない場合と、前記ステップ５で分割線が小画像を貫かない場合にはそれぞれ処理を終了する。
このフローは、画像処理部３が取り込んだ画像を高精度分割モードで分割するか、又は中精度分割モードで分割するかを選択する流れを示している。
【００２４】
＜高精度分割モード＞
図６は、背景検出手段４及び画像分割手段５が上記ステップ２の高精度分割モードで分割する動作フロー図であり、このフローは、画像取込部２がフィルムをスキャンして取り込んだ画像から小画像抽出を行うステップ２１と、全画像領域シード（後述する）を検出するステップ２２と、この全画像領域シードから全画像領域を検出するステップ２３と、全画像領域から仮分割線決定を行うステップ２４と、仮分割線が全画像領域シードを貫くか否かを判定するステップ２５と、貫く場合に全画像領域を単純分割するステップ２６と、仮分割線が全画像領域シードを貫かない場合に合成分割矩形生成を行うステップ２７と、小画像面積が全画像領域より閾値を超えて小さいか否かを判定するステップ２８と、閾値を超えない場合に、分割線が小画像領域を貫くか否かを判定するステップ２９と、前記ステップ２８で小画像面積が全画像領域より閾値を超えて小さい場合、及びステップ２９で分割線が小画像領域を貫く場合にリジェクト設定を行って処理を終了するステップ３０とからなり、ステップ２９で分割線が小画像領域を貫かない場合には処理を終了する。
このフローは、画像取込部２が取り込んだ画像を画像分割手段５が高精度分割モードで分割する流れを示している。
【００２５】
前記ステップ２１の小画像抽出については、後述するステップ４の中精度分割モードにおける分割画像コア部検出までの流れと同様であり、この小画像抽出の動作フローを示す図７、及び図８〜図１１に基づいて以下に詳細に説明する。
前記背景検出手段４は、ステップ３１において、図８に示すごとく、画像取込部２が取り込んだ画像を構成する画素の明度の頻度分布を求める。次に背景検出手段４は、ステップ３２において、明度の頻度の平均値３１を求め、平均値３１を超えた頻度を有する明度を背景部分の明度（以下、背景明度と称す）とする。符号３２は、背景明度の範囲を示している。この背景明度から背景部分を検出できない場合には、処理を終了する。
【００２６】
前記画像分割手段５は、ステップ３４において、取り込んだ画像を構成する画素の明度のうち、前記背景明度３２以外の明度の頻度分布を求め、該頻度分布に基づいて取り込んだ画像の画像領域中における分割画像コア部４３の配置について、以下のごとく検出する。
【００２７】
図９は、分割画像コア部４３の検出説明図であり、画像領域の横軸をＸ軸、縦軸をＹ軸として説明する。画像分割手段５は、取り込んだ画像をＹ軸に平行な細かな短冊状領域ごとに背景明度３２以外の明度の頻度を求めて、これをヒストグラム４１として表す。
【００２８】
同様に、画像分割手段５は、画像領域をＸ軸に平行な細かな短冊状領域ごとに背景明度３２以外の明度の頻度を求めて、これをヒストグラム４２として表す。
【００２９】
画像分割手段５は、このようにして得られたヒストグラム４１、４２において、予め設定された設定値４４よりも大きい明度の頻度を有する短冊状領域を求め、その短冊状領域の交差する部分を分割画像コア部４３として検出する。この設定値４４としては、小画像が検出される程度でよく、小画像の周囲の文字情報等の微小情報については検出されない程度とする。
このようにして求めた分割画像コア部４３から、小画像１７（後述する）の数及び配置を検出する。
【００３０】
次に、小画像１７の周囲に記録されている文字情報等の微小情報についても検出すべく、ステップ２２の全画像領域シード、すなわち取り込んだ画像中の複数の小画像を包含する全画像領域を検出するための前段階のシード（種）の検出について、図１２、図１３に基づいて以下に詳細に説明する。
図１２は、画像取込部２がフィルムから取り込んだ画像を、背景検出手段４が、前述した図８のごとく、背景明度以外の明度を有する部分として予め設定した設定値（微小情報も検出するために、前述した設定値４４とは異なる設定値とする）よりも大きい明度の頻度を有する短冊状領域を縦と横について求め、これを縦のスキャンライン１１及び横のスキャンライン１２として検出した状態を表している。この状態では、縦のスキャンライン１１と横のスキャンライン１２とが２層構造となって検出される。また、フィルムのタイトルが記録されている上部のタイトル部１３も、横のスキャンラインの一つとして検出される。
【００３１】
図１３は、背景検出手段４が、図１２で検出した縦のスキャンライン１１と横のスキャンライン１２とを同一平面上で結合して、その重なり合った領域を全画像領域シード１４として検出する状態を表している。更に背景検出手段４は、重なり合った領域で面積が大きい領域群を、横方向に３列、縦方向に４行配置された合計１２個の小画像１７として抽出する。
【００３２】
前記ステップ２３の全画像領域検出について、図１４、図１５に基づいて以下に詳細に説明する。
図１４は、背景検出手段４が、図１２で検出した縦横の全スキャンライン部分から、画像が記録されていない領域を除外するために、縦横のスキャンライン１１、１２における交差していない一方だけのスキャンライン部分１５を除外するとともに、上部のタイトル部１３を含む横のスキャンラインについても、画像、文字情報の周期性を持った他の横のスキャンライン１２とパターンが異なっていることを検出して除外し、全画像領域シード１４を抽出した、全画像領域を検出する直前の状態を表している。
【００３３】
図１５は、背景検出手段４が、図１４で抽出した全画像領域シード１４について、その最外周を矩形に囲繞する境界を設定して、その内側を全画像領域１６として検出する状態を表している。
【００３４】
前記ステップ２４の仮分割線決定について、図１６に基づいて以下に詳細に説明する。
図１６は、画像分割手段５が、図１５までにおいて背景検出手段４が検出した全画像領域１６中に横に３列、縦に４行配置された小画像１７を、仮分割線１８、１９により均等に分割することを表している。具体的には、全画像領域１６の横幅を均等間隔で３分割する２本の縦の仮分割線１８と、全画像領域１６の縦幅を均等間隔で４分割する３本の横の仮分割線１９とを設定するものである。
【００３５】
前記ステップ２７の合成分割矩形生成について、図１７、図１８に基づいて以下に詳細に説明する。
図１７は、画像分割手段５が、図１６の仮分割線１８、１９と図１４の全画像領域シード１４とを重ね合わせて、合成分割矩形を生成する状態を表している。
【００３６】
図１８は、画像分割手段５が、図１７の仮分割線１８、１９で区分けされた領域に位置する、周囲に微小情報領域（本実施形態ではそれぞれ８個）を有する小画像１７について、該小画像１７と周囲の微小情報領域とを１個の画像に合成して、１２個の小画像領域２０として検出するものである。
【００３７】
このようにして検出された小画像領域２０の画像例が、図１９に示すものであり、中央に小画像１７を配置し、その周囲に小画像１７に付随する微小な文字情報２１が記録されているものである。この文字情報２１を小画像１７と一体にして正確に切り抜くためには、小画像１７を挟んで対角線上に位置していることが必要であり、且つその文字情報２１の配置が１枚のフィルムにおいて小画像１７ごとにある程度似通っていることが必要になる。これは、背景検出手段４がタイトル部１３を除外するためには、画像、文字情報に周期性を持たせることが必要となるためである。
【００３８】
＜中精度分割モード＞
図２０は、画像分割手段５が上記ステップ４の中精度分割モードで分割する動作フロー図であり、このフローは、背景検出手段４が、画像取込部２が取り込んだ画像中の背景明度を検出するステップ３１と、背景検出手段４が、背景が存在するか否か、すなわち背景明度が検出できたかどうかを判定するステップ３２とを備えて、検出できなかった場合は、その旨のエラーを画面等に表示して処理を終了し、検出できた場合は次のステップ３３を実行する。
【００３９】
前記ステップ３３に続くフローは、背景検出手段４が、背景明度の範囲が予め設定された設定範囲よりも大きいか否かの判定を行うステップ３３と、設定範囲よりも小さい場合に分割画像のコア部を検出するステップ３４と、設定範囲よりも大きい場合に背景検出をリトライするステップ３５と、背景検出手段４が、背景明度の決定ができたか否かを判定するステップ３６とを備えて、このステップ３６で背景明度が決定できなかった場合は、エラーが発生したとしてその旨を画面等に表示して処理を終了し、背景明度の決定ができた場合はステップ３４を実行する。
【００４０】
前記ステップ３４に続くフローは、画像分割手段５が、分割画像コア部を拡大した矩形を検出するステップ３７と、画像分割手段５が、後述する拡大矩形７１、結合矩形８１の個数をカウントして、個数が１個であるか否かの判定を行うステップ３８と、個数が１個の場合は、その旨を画面等に表示して処理を終了し、個数が１個でない場合に、画像分割手段５が、画像領域中の各小画像を分割するための分割線を生成してチェックするステップ３９を備える。この際、画像分割手段５は、生成した分割線が最終矩形と交わっている場合は、分割線の交わっている部分を削除する。
これにより、小画像が格子状にきちんと整列していなくても、正確に小画像を分割するための分割線を生成することができる。
【００４１】
図２１は、前記ステップ３１の背景明度検出の動作フロー図であり、このフローは、背景検出手段４が画像取込部２で取り込んだ画像を構成する画像の明度の頻度分布を求めるステップ４１と、明度の頻度の平均値を求めるステップ４２と、明度の頻度の平均値より多い頻度を有する明度を背景明度とするステップ４３を備える。図８の画素の明度の頻度分布に示すごとく、背景明度が暗い場合に、明度の暗い部分にピークが存在し、そのピークのある明度の暗い部分以外には特にピークのない頻度分布となることが多い。これは、背景明度は全て同じなので、背景明度の頻度は高くなるのに対し、画像部分は多くの場合多種多様な明度が存在するので、背景明度と比較して頻度が高くならないからである。
【００４２】
次に、ステップ４２において背景検出手段４は、頻度の平均値３１を求める。背景検出手段４は、頻度の平均値を超えた頻度を有する明度を背景明度とする。
背景明度は、暗い場合だけでなく、明るい場合や、任意の明度の場合でも同様であり、発明者は画像明度の平均値を超えた頻度を有する明度から、正確且つ容易に背景明度を検出することが可能となった。
【００４３】
また、画像領域に枠の部分がなくて全て画像の場合には、背景検出手段４は背景明度を検出することができないが、この場合には、明度の頻度分布において、明度の頻度平均値を超えた頻度を有する明度が、１個所にまとまることなく全般的に分布することになる。背景検出手段４は、このような明度の頻度分布の場合には、背景が存在しないと判断することができる。
【００４４】
前記ステップ３４の分割画像コア部の検出について、図９に示すごとく、画像分割手段５は、画像領域をＹ軸に平行な細かな短冊状領域ごとに背景明度以外の明度の頻度を求めて、これをヒストグラム４１として表す。
【００４５】
同様に、画像分割手段５は、画像領域をＸ軸に平行な細かな短冊状領域ごとに背景明度以外の明度の頻度を求めて、これをヒストグラム４２として表す。
【００４６】
画像分割手段５は、このようにして得られたヒストグラム４１、４２において、予め設定された設定値よりも大きい頻度を有する短冊状領域を求め、その短冊状領域の交差する部分を分割画像コア部４３として検出する。この設定値は、前述した小画像を検出するための設定値４４とは異なり、小画像に加え文字情報等の微小情報も検出し得る明度の頻度の設定とするものである。
【００４７】
前記ステップ３７のコア部を拡大した矩形検出について、図１０に示すごとく、画像分割手段５は、画像領域中の分割画像コア部４３の４個の頂点（Ａ、Ｂ、Ｃ、Ｄ）について、分割画像コア部４３を構成する矩形ＡＢＣＤの外側方向に、背景明度に達するまで伸長させていく。更に詳しく頂点Ａを矩形ＡＢＣＤの外側方向であってＹ軸方向に明度が背景明度になるまで伸長させ、背景明度になった点をＡｙとする。同様に、頂点Ａを矩形ＡＢＣＤの外側方向であってＹ軸方向に明度が背景明度になるまで伸長させ、背景明度になった点をＡｘとする。同じ操作を残りの頂点Ｂ、Ｃ、Ｄについても行う。
このようにして得られたＡｘ、Ａｙ、Ｂｘ、Ｂｙ、Ｃｘ、Ｃｙ、Ｄｘ、Ｄｙの全てを包含し、且つ面積が最小となる矩形として拡大矩形５１を検出する。
【００４８】
このようにして各分割画像コア部６３を拡大していくと、拡大矩形５１同士で重なり合う場合が生じる。その場合には、図１１の拡大矩形の結合説明図に表すように、画像分割手段５は、重なり合った全ての拡大矩形５１を含み、面積が最小となる矩形の結合矩形６１を検出するものである。
【００４９】
前記ステップ３８の矩形の個数の判断において、このようにして最終的に得られた拡大矩形５１、結合矩形６１の個数をカウントし、その個数が１個であるか否かの判断を行う。そして、個数が１個と判断された場合は、その旨を画面等に表示して処理を終了し、個数が１個でないと判断された場合は、ステップ３９で、画像分割手段５は、画像領域中の各小画像領域を分割するための分割線を生成する。分割線は、隣り合う最終矩形の対向する辺と辺の真ん中に設けることができる。この際、画像分割手段５は、生成した分割線のチェックを行い、分割線が最終矩形と交わっている場合は、分割線の交わっている部分を削除して処理を終了する。これにより、小画像領域が格子状に整列していなくても、正確に小画像領域を分割するための分割線を生成することができる。
【００５０】
このように本発明の画像処理装置における中精度分割モードにあっては、前述した高精度分割モードで画像を分解しない場合に、取り込んだ画像から背景明度を検出し、この背景明度以外の明度の頻度分布を求めることによって、文字情報等の微小情報を付随する小画像領域の配置を正確に検出し、小画像領域の分割、小画像領域を分割するための分割線の生成等を容易にかつ正確に行うことが可能となる。
【産業上の利用可能性】
【００５１】
本発明の画像処理装置、処理方法及び処理プログラムは、図１に示すように、コンピュータのＣＰＵ、メモリ、補助記憶装置、ディスプレイ、入力デバイス等を含むハードウェア資源上に構築されたＯＳ、アプリケーション、データベース、ネットワークシステム等によって実現されるものであり、画像処理が上記のハードウェア資源を用いて具体的に実現されるものであるから、自然法則を利用した技術的思想に該当するものであり、コンピュータ製造等の産業において利用することができるものである。
【符号の説明】
【００５２】
１ 画像処理装置
２ 画像取込部
３ 画像処理部
４ 背景検出手段
５ 画像分割手段
１１ スキャンライン
１２ スキャンライン
１３ タイトル部
１４ 全画像領域シード
１５ スキャンライン部分
１６ 全画像領域
１７ 小画像
１８ 仮分割線
１９ 仮分割線
２０ 小画像領域
２１ 文字情報
３１ 頻度平均値
３２ 背景明度の範囲
４１ ヒストグラム
４２ ヒストグラム
４３ 分割画像コア部
５１ 拡大矩形
６１ 結合矩形
【特許請求の範囲】
【請求項１】
画像を取り込む画像取込部と、
取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置であって、
前記背景検出手段は、前記取り込んだ画像の明度の頻度分布から背景部分を検出し、
前記画像分割手段は、前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出し、
かつ前記取り込んだ画像を前記背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出し、
該縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を、前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出し、
該全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とし、
該全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定し、
該仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出することを特徴とする画像処理装置。
【請求項２】
前記背景検出手段は、取り込んだ画像を構成する画素の明度の頻度分布と、前記明度の頻度の平均値とを求め、該平均値を超えた頻度を有する明度を背景部分の明度である背景明度として検出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像分割手段は、前記取り込んだ画像を構成する画素の明度のうち、背景明度以外の明度の頻度分布を求め、該頻度分布に基づいて前記取り込んだ画像の画像領域中における予め設定した設定値を超える明度の頻度から前記小画像の配置を求めることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記背景検出手段は、全画像領域シードにおける周期性を求め、全画像領域シード中の周期性のない単独のタイトル部を除外することを特徴とする請求項１〜３の何れかに記載の画像処理装置。
【請求項５】
前記画像分割手段は、仮分割線が全画像領域シードを貫く場合に、隣接する小画像領域同士の間隔が狭いものと判断して全画像領域シードの全領域を、検出した小画像の数に応じて等間隔に分割して小画像領域とすることを特徴とする請求項１〜４の何れかに記載の画像処理装置。
【請求項６】
画像を取り込む画像取込部と、
取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置を用いて画像を処理する方法であって、
前記背景検出手段により、前記取り込んだ画像の明度の頻度分布から背景部分を検出し、
前記画像分割手段により、前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出し、
かつ前記取り込んだ画像を背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出し、
該縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出し、
該全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とし、
該全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定し、
該仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出することを特徴とする画像処理方法。
【請求項７】
前記背景検出手段により、取り込んだ画像を構成する画素の明度の頻度分布と、前記明度の頻度の平均値とを求め、該平均値を超えた頻度を有する明度を背景部分の明度である背景明度として検出することを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記画像分割手段により、前記取り込んだ画像を構成する画素の明度のうち、背景明度以外の明度の頻度分布を求め、該頻度分布に基づいて前記取り込んだ画像の画像領域中における予め設定した設定値を超える明度の頻度から前記小画像の配置を求めることを特徴とする請求項６又は７記載の画像処理方法。
【請求項９】
前記背景検出手段により、全画像領域シードにおける周期性を求め、全画像領域シード中の周期性のない単独のタイトル部を除外することを特徴とする請求項６〜８の何れかに記載の画像処理方法。
【請求項１０】
前記画像分割手段により、仮分割線が全画像領域シードを貫く場合に、隣接する小画像領域同士の間隔が狭いものと判断して全画像領域シードの全領域を、検出した小画像の数に応じて等間隔に分割して小画像領域とすることを特徴とする請求項６〜９の何れかに記載の画像処理方法。
【請求項１１】
取り込んだ画像から画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割させる画像処理プログラムであって、
画像を取り込む画像取込部と、
取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置において、
前記背景検出手段により前記取り込んだ画像の明度の頻度分布から背景部分を検出するステップと、
前記画像分割手段により前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出するステップと、
前記画像分割手段により前記取り込んだ画像を前記背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出するステップと、
前記画像分割手段により前記縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を、前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出するステップと、
前記画像分割手段により前記全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とするステップと、
前記画像分割手段により前記全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定するステップと、
前記画像分割手段により前記仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出するステップと、
を実行させることを特徴とする画像処理プログラム。
【請求項１】
画像を取り込む画像取込部と、
取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置であって、
前記背景検出手段は、前記取り込んだ画像の明度の頻度分布から背景部分を検出し、
前記画像分割手段は、前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出し、
かつ前記取り込んだ画像を前記背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出し、
該縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を、前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出し、
該全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とし、
該全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定し、
該仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出することを特徴とする画像処理装置。
【請求項２】
前記背景検出手段は、取り込んだ画像を構成する画素の明度の頻度分布と、前記明度の頻度の平均値とを求め、該平均値を超えた頻度を有する明度を背景部分の明度である背景明度として検出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像分割手段は、前記取り込んだ画像を構成する画素の明度のうち、背景明度以外の明度の頻度分布を求め、該頻度分布に基づいて前記取り込んだ画像の画像領域中における予め設定した設定値を超える明度の頻度から前記小画像の配置を求めることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記背景検出手段は、全画像領域シードにおける周期性を求め、全画像領域シード中の周期性のない単独のタイトル部を除外することを特徴とする請求項１〜３の何れかに記載の画像処理装置。
【請求項５】
前記画像分割手段は、仮分割線が全画像領域シードを貫く場合に、隣接する小画像領域同士の間隔が狭いものと判断して全画像領域シードの全領域を、検出した小画像の数に応じて等間隔に分割して小画像領域とすることを特徴とする請求項１〜４の何れかに記載の画像処理装置。
【請求項６】
画像を取り込む画像取込部と、
取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置を用いて画像を処理する方法であって、
前記背景検出手段により、前記取り込んだ画像の明度の頻度分布から背景部分を検出し、
前記画像分割手段により、前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出し、
かつ前記取り込んだ画像を背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出し、
該縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出し、
該全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とし、
該全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定し、
該仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出することを特徴とする画像処理方法。
【請求項７】
前記背景検出手段により、取り込んだ画像を構成する画素の明度の頻度分布と、前記明度の頻度の平均値とを求め、該平均値を超えた頻度を有する明度を背景部分の明度である背景明度として検出することを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記画像分割手段により、前記取り込んだ画像を構成する画素の明度のうち、背景明度以外の明度の頻度分布を求め、該頻度分布に基づいて前記取り込んだ画像の画像領域中における予め設定した設定値を超える明度の頻度から前記小画像の配置を求めることを特徴とする請求項６又は７記載の画像処理方法。
【請求項９】
前記背景検出手段により、全画像領域シードにおける周期性を求め、全画像領域シード中の周期性のない単独のタイトル部を除外することを特徴とする請求項６〜８の何れかに記載の画像処理方法。
【請求項１０】
前記画像分割手段により、仮分割線が全画像領域シードを貫く場合に、隣接する小画像領域同士の間隔が狭いものと判断して全画像領域シードの全領域を、検出した小画像の数に応じて等間隔に分割して小画像領域とすることを特徴とする請求項６〜９の何れかに記載の画像処理方法。
【請求項１１】
取り込んだ画像から画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割させる画像処理プログラムであって、
画像を取り込む画像取込部と、
取り込んだ画像の領域中の画像以外の背景部分を検出する背景検出手段と、前記取り込んだ画像中に含まれる画像情報を有する複数の小画像及び該小画像に付随する文字情報を小画像ごとに分割する画像分割手段と、からなる画像処理部と、を備えた画像処理装置において、
前記背景検出手段により前記取り込んだ画像の明度の頻度分布から背景部分を検出するステップと、
前記画像分割手段により前記背景検出手段が検出した前記背景部分以外の画像領域から背景部分以外の明度の頻度分布を用いて前記小画像を検出するステップと、
前記画像分割手段により前記取り込んだ画像を前記背景部分以外の明度の頻度分布を用いて前記小画像及び前記文字情報を含んで縦方向と横方向に分割してなる帯状領域を、縦のスキャンライン及び横のスキャンラインとして検出するステップと、
前記画像分割手段により前記縦のスキャンライン及び横のスキャンラインを重ね合わせて重なり合った領域を、前記複数の小画像を包含する全画像領域を抽出するための全画像領域シードとして検出するステップと、
前記画像分割手段により前記全画像領域シードの最外周を矩形に囲繞する境界を設定してその内側を全画像領域とするステップと、
前記画像分割手段により前記全画像領域中に前記文字情報を付随した各小画像が均等な面積の領域を有して中央近傍に配置されるべく、前記全画像領域と前記小画像の配置とから前記全画像領域を縦横に均等に分割する仮分割線を設定するステップと、
前記画像分割手段により前記仮分割線で前記全画像領域シードを分割して、前記文字情報を付随する各小画像を分割し、該小画像及び付随する前記文字情報を合成して小画像領域を検出するステップと、
を実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２０】
【図２１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２０】
【図２１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−２７１８０２（Ｐ２０１０−２７１８０２Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２１４５０（Ｐ２００９−１２１４５０）
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（０００２３３０３３）日立コンピュータ機器株式会社 (253)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（０００２３３０３３）日立コンピュータ機器株式会社 (253)
【Ｆターム（参考）】
[ Back to top ]