画像識別回路
【課題】テキスト画と自然画の境界部分において不自然な輪郭補正が行われないように、テキスト画と自然画の識別に加えて境界部分の識別も可能な画像識別回路を提供すること。
【解決手段】入力ディジタル映像信号の着目画素についてその着目画素がテキスト画であるか自然画であるかを識別する画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けた。
【解決手段】入力ディジタル映像信号の着目画素についてその着目画素がテキスト画であるか自然画であるかを識別する画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル画像処理におけるテキスト画（コンピュータ画像）と自然画とが混在する画像の精度の高い識別処理を行う画像識別回路に関するものである。
【背景技術】
【０００２】
画像にはそれぞれ特質があり、その特質によって、例えば、テキスト画（コンピュータ画像）と自然画とに分類される。従来より、これらの画像の種類毎にフィルタ処理などの画像処理の方法を切り替えることが行われており、１画面にテキスト画と自然画が混在する画像には、それぞれの特質を抽出して識別を行い、その識別結果に基づいて画像処理を行っていた。従来の識別処理方法の一例として、（１）周波数帯域から識別する方法、（２）着目画素の周辺画素に使われる色数から識別する方法、（３）１画面全体又は一定領域に使用される色数のヒストグラムで識別する方法、などが存在するが、これらはいずれも何らかの問題点があり、識別精度が必ずしも良くないので、本出願人はより精度の高いテキスト画と自然画の識別方法として、特許文献１を既に提案している。この特許文献１によれば、従来の（１）〜（３）の識別方法に比べて識別精度を向上させることが出来るが、少ない画素数で構成された小さなテキストをテキスト画として判別することが出来ないという問題があったため、さらにこの問題を解決したものとして特許文献２を出願している。
【０００３】
特許文献２に記載の画像識別回路の構成を図７に基づいて簡単に説明する。この図７に示す画像識別回路の特徴は、先ず、図８に示すような着目画素を中心とした４方向について、水平方向カウント部１５、垂直方向カウント部１６、斜め０方向カウント部１７及び斜め１方向カウント部１８のそれぞれで５画素の中から２画素を選ぶ全ての組合わせのうち同一輝度となる組合わせが幾つあるかをカウントする。次に、これらの各方向でのカウント値を合計した合計カウント値について、合計値判別部２０において設定値と比較して設定値以上である場合には着目画素はテキスト画であると判別する。また、各方向でのカウント値について、方向別判別部２１においてそれぞれの方向で設定値と比較して設定値以上である場合には着目画素はテキスト画であると判別する。最終的にＯＲ回路２２で合計値判別部２０と方向別判別部２１の出力の論理和をとって、いずれかの判別部でテキスト画と判別された場合には論理和として「１」が出力されてテキスト画と判別し、それ以外の場合には「０」が出力されて自然画と判別される。
【０００４】
このように、特許文献２に記載の画像識別回路によれば、特許文献１での問題であった少ない画素数で構成された小さなテキストをテキスト画として判別することが出来ないという点を解決して、さらに識別精度を向上させることが可能となる。
【特許文献１】特開２００４−５６３５０号公報
【特許文献２】特願２００４−１５３５８０
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、このようにして画素毎に求めた識別結果は後段の回路において輪郭補正等の画像処理に用いられる。例えば、テキスト画と識別された画素には輪郭補正をせずに自然画と識別された画素においてのみ輪郭補正を施すことで、もともとコントラストがありくっきりしているテキスト画部分はそのままに、自然画部分は鮮鋭感を出すといった効果を与えることが出来る。
しかし、輪郭補正は隣接画素の情報を用いて行うものであるため、テキスト画との境界部分にある自然画に対して輪郭補正を行うと、テキスト画の影響で不自然な輪郭補正がなされてしまうという問題があった。
【０００６】
本発明は、上記問題点に鑑みなされたものであり、テキスト画と自然画の境界部分において不自然な輪郭補正が行われないように、テキスト画と自然画の識別に加えて境界部分の識別も可能な画像識別回路を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の請求項１は、入力ディジタル映像信号の着目画素についてその着目画素がテキスト画であるか自然画であるかを識別する画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けたことを特徴とする画像識別回路である。
【０００８】
本発明の請求項２は、入力ディジタル映像信号の着目画素について、着目画素を中心とする（２ｎ＋１）画素（ｎは１以上の整数）で構成される複数方向の各方向別に、（２ｎ＋１）画素から２画素を選択する全（２ｎ2+ｎ）通りの組合わせについて同一輝度値である組合わせの数をカウントする方向別カウント部と、この方向別カウント部のカウント値を全方向分合計した合計カウント値から画像の種類を識別する合計値判別部と、それぞれの方向毎に方向別カウント部のカウント値から画像の種類を識別する方向別判別部とを具備してなる画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けたことを特徴とする画像識別回路である。
【０００９】
本発明の請求項３は、請求項１又は２に加えて、境界検出部は、識別結果の信号を順次１ラインずつ遅延させて連続する（２ｍ＋１）ライン（ｍは１以上の整数）分の信号を得るための２ｍ個のラインメモリと、（２ｍ＋１）ライン分の信号を一時格納しておくレジスタと、レジスタから出力された着目画素を中心とした（２ｍ＋１）画素×（２ｋ＋１）画素（ｋは１以上の整数）分の識別結果の分布を予め設定した複数の境界パターンとそれぞれ照合するための複数のパターン検出部と、複数のパターン検出部の出力の論理和をとってこれを境界検出結果として出力するＯＲ回路とからなることを特徴とする画像識別回路である。
【００１０】
本発明の請求項４は、請求項３に加えて、各パターン検出部は、レジスタから出力された着目画素を中心とした（２ｍ＋１）画素×（２ｋ＋１）画素分の識別結果の分布について、境界パターンのテキスト画部分に対応する画素の合計値を演算する加算器と、境界パターンの自然画部分に対応する画素の合計値を演算する加算器と、前記テキスト画に対応した加算器の合計値を設定された条件と比較する比較器と、前記自然画に対応した加算器の合計値を設定された条件と比較する比較器と、これら２つの比較器の出力の論理積をとって出力するＡＮＤ回路とからなることを特徴とする画像識別回路である。
【発明の効果】
【００１１】
本発明によれば、テキスト画との境界部分にある自然画に対して輪郭補正を行うと、テキスト画の影響で不自然な輪郭補正がなされてしまうという従来の問題点があったが、本発明による境界検出出力の結果を同時に用いることにより、不自然な輪郭補正となってしまう境界を検出してこの部分には輪郭補正を行わないといった処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００１２】
本発明による画像識別回路は、入力ディジタル映像信号の着目画素について、着目画素を中心とする（２ｎ＋１）画素（ｎは１以上の整数）で構成される複数方向の各方向別に、（２ｎ＋１）画素から２画素を選択する全（２ｎ2+ｎ）通りの組合わせについて同一輝度値である組合わせの数をカウントする方向別カウント部と、この方向別カウント部のカウント値を全方向分合計した合計カウント値から画像の種類を識別する合計値判別部と、それぞれの方向毎に方向別カウント部のカウント値から画像の種類を識別する方向別判別部とを具備してなる画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けたことを特徴とするものである。
さらに、境界検出部は、識別結果の信号を順次１ラインずつ遅延させて連続する（２ｍ＋１）ライン（ｍは１以上の整数）分の信号を得るための２ｍ個のラインメモリと、着目画素周辺の（２ｍ＋１）ライン分の信号を一時格納しておくレジスタと、レジスタから出力された着目画素を中心とした（２ｍ＋１）画素×（２ｋ＋１）画素（ｋは１以上の整数）分の識別結果の分布を予め設定した複数の境界パターンとそれぞれ照合するための複数のパターン検出部と、複数のパターン検出部の出力の論理和をとってこれを境界検出結果として出力するＯＲ回路とからなる
【実施例１】
【００１３】
本発明の実施の形態を図面に基づいて説明する。
本発明による画像識別回路の特徴は、図８に示すような着目画素を中心とした４方向でそれぞれ、５画素の中から２画素を選ぶ全ての組合わせのうち同一輝度となる組合わせが幾つあるかをカウントし、この各方向でのカウント値と全方向の合計カウント値とを用いて、当該着目画素がテキスト画であるのか自然画であるのかを識別し、この識別結果の分布から自然画とテキスト画の境界部分を検出するためのものである。これを実施するための構成を示したものが図１に示すブロック図であり、以下、この図１を用いて説明する。
【００１４】
図１において、映像信号遅延処理部１１は、入力された映像信号に対して、１ライン遅延回路と１ドット遅延回路（図示は省略）を組合わせて遅延させることで図８に示す４方向の各画素の信号を生成している。この生成した信号のうち、水平方向カウント部１５には(x-2,y)、(x-1,y)、(x,y)、(x+1,y)、(x+2,y)の５画素の信号が入力され、垂直方向カウント部１６には(x,y-2)、(x,y-1)、(x,y)、(x,y+1)、(x,y+2)の５画素の信号が入力され、斜め０方向カウント部１７には(x-2,y-2)、(x-1,y-1)、(x,y)、(x+1,y+1)、(x+2,y+2)の５画素の信号が入力され、斜め１方向カウント部１８には(x+2,y-2)、(x+1,y-1)、(x,y)、(x-1,y+1)、(x-2,y+2)の５画素の信号が入力される。
【００１５】
水平方向カウント部１５は、入力された(x-2,y)、(x-1,y)、(x,y)、(x+1,y)、(x+2,y)の５画素の信号を用いて、５画素の中から２画素を選ぶ全ての組合わせのうち同一輝度となる組合わせが幾つあるかをカウントして出力する。詳しくは、先ず、入力された５画素の信号を２画素ずつ比較する全１０通りの組合わせについて、差分演算回路２４で差分の絶対値の演算をする。この１０通り分の組合わせの差分の絶対値を、同一輝度判定回路２５においてそれぞれ許容誤差X入力端子１２から入力された許容誤差Xと比較して、許容誤差Xよりも小さい場合には同一輝度であると判断する。ここで、基本的には２つの画素が同一輝度値である場合にはその差分は０となるはずであるが、アナログ信号をＡＤ変換してディジタル信号にした場合には量子化誤差が生じる可能性があるため、許容誤差Xを設定することで差分が一定範囲内の場合には同一輝度値であると判定する。このようにして、同一輝度判定回路２５において全１０通りの組合わせについて同一輝度値であるかを判定して、同一輝度値である場合には後段の加算器２６に「１」を出力し、輝度値が異なる場合には後段の加算器２６に「０」を出力し、加算器２６ではこれらの出力を合計する。この加算器２６の合計値は、同一輝度値となった組合わせの数であり、例えば、水平方向の５画素が全て同一輝度値である場合には合計値は１０（最大値）となり、水平方向の５画素が全て異なる輝度値である場合には合計値は０（最小値）となる。この加算器２６の合計値は、同一輝度値となった組合わせの数のカウント値として、後段の加算器１９と方向別判別部２１に出力する。
【００１６】
同様に、垂直方向カウント部１６では、入力された垂直方向の５画素の信号(x,y-2)、(x,y-1)、(x,y)、(x,y+1)、(x,y+2)を２画素ずつ比較する全１０通りの組合わせについて同一輝度値となった組合わせの数をカウントして、そのカウント値を後段の加算器１９と方向別判別部２１に出力する。同じく、斜め０方向カウント部１７では、入力された斜め０方向の５画素の信号(x-2,y-2)、(x-1,y-1)、(x,y)、(x+1,y+1)、(x+2,y+2)を２画素ずつ比較する全１０通りの組合わせについて同一輝度値となった組合わせの数をカウントして、そのカウント値を後段の加算器１９と方向別判別部２１に出力し、斜め１方向カウント部１８では、入力された斜め０方向の５画素の信号(x+2,y-2)、(x+1,y-1)、(x,y)、(x-1,y+1)、(x-2,y+2)を２画素ずつ比較する全１０通りの組合わせについて同一輝度値となった組合わせの数をカウントして、そのカウント値を後段の加算器１９と方向別判別部２１に出力する。
【００１７】
加算器１９では、水平方向カウント部１５、垂直方向カウント部１６、斜め０方向カウント部１７及び斜め１方向カウント部１８から入力された各方向でのカウント値を加算することで全方向の合計カウント値を算出して、これを後段の合計値判別部２０に出力する。ここで算出する合計カウント値は０〜４０の値をとる。
【００１８】
合計値判別部２０には、前記加算器１９からの合計カウント値と、合計値判別レベル入力端子１３からの合計値判別レベルとが入力される。ここで、合計カウント値が合計値判別レベルよりも大きいか否かを判別して、大きい場合には後段のＯＲ回路２２に「１」を出力し、小さい場合には後段のＯＲ回路２２に「０」を出力する。
【００１９】
方向別判別部２１は、水平判別部２７、垂直判別部２８、斜め０判別部２９、及び、斜め１判別部３０とで構成されており、水平判別部２７には水平方向カウント部１５からのカウント値、垂直判別部２８には垂直方向カウント部１６からのカウント値、斜め０判別部２９には斜め０方向カウント部１７からのカウント値、斜め１判別部３０には斜め１方向カウント部１８からのカウント値がそれぞれ入力されると共に、４つの判別部に共通に、方向別判別レベル入力端子１４からの方向別判別レベルが入力される。これらの水平判別部２７、垂直判別部２８、斜め０判別部２９、及び、斜め１判別部３０では、カウント値が方向別判別レベルよりも大きいか否かをそれぞれ判別して、大きい場合には後段のＯＲ回路２２に「１」を出力し、小さい場合には後段のＯＲ回路２２に「０」を出力する。
【００２０】
ＯＲ回路２２では、合計値判別部２０からの１つの入力と、方向別判別部２１からの４つの入力との計５つの入力について論理和をとって、これを識別結果として後段の境界検出部３１に出力する。論理和をとった結果が「１」である場合にはその着目画素についてはテキスト画であると識別し、論理和をとった結果が「０」である場合にはその着目画素については自然画であると識別する。
【００２１】
境界検出部３１は、ＯＲ回路２２から入力される１ビットの識別結果の信号を用いて、予め境界部分と判別するパターンを設定しておき、着目画素を中心とした５×５の領域における識別結果の配置がパターンと一致するか否かで、着目画素がテキスト画と自然画の境界部分を検出する。境界部分であると検出した場合には「１」を、境界部分でない場合には「０」をそれぞれ境界検出出力端子３３から出力する。本発明はこの境界検出部３１に特徴を有するものであり、以下、図面を用いて詳細に説明を行う。
【００２２】
図２に示すのは、境界検出部３１の詳細な構成を表したブロック図である。この図２において、ＯＲ回路２２から入力される１ビットの識別結果の信号は、ラインメモリ３４ａ〜３４ｄによって順次１ラインずつ遅延されて５ライン分の信号が後段のレジスタ３５に入力される。また、ラインメモリ３４ｂの出力は遅延回路３６にも入力される。レジスタ３５では、５ライン分の信号を一時的に格納してこれを後段のパターン検出部３７に出力する。
【００２３】
パターン検出部３７は、予め想定して設定したパターンの数だけ設けられており、本実施例の場合には２４通りのパターンを想定して、これを検出するためにそれぞれのパターン毎にパターン１検出部３７ａ、パターン２検出部３７ｂ、・・・、パターン２４検出部３７ｘを設けて検出を行っている。これらのパターン検出部３７の出力はＯＲ回路３８に入力され、パターン１検出部３７ａ、パターン２検出部３７ｂ、・・・、パターン２４検出部３７ｘからの入力の論理和をとって、これを境界検出出力として出力端子３３から出力する。
【００２４】
パターン検出部３７のより詳細な構成を図３に基づいて説明するが、先ず、本実施例において想定しているパターンの種類について図４及び図５を用いて説明を行う。図４に示すのは、テキスト画と自然画の識別例を表した模式図であるが、この図４のように、テキスト画と自然画が混在する場合にはその境界が水平方向、垂直方向に区切られて長方形領域となっていることが多いため、この様な長方形領域の境界を検出可能とするために、図５に示す２４通りの５画素×５画素の境界パターンを想定している。これらのパターンは必ず中心の着目画素が自然画と識別され、かつ、自然画とテキスト画が混在しているものである。これら２４通りの境界パターンのそれぞれに対応させてパターン１検出部３７ａ、パターン２検出部３７ｂ、・・・、パターン２４検出部３７ｘを設けているが、ここで１例として、パターン１の場合を検出するためのパターン１検出部３７ａの構成を図３に基づいて説明する。
【００２５】
パターン検出部３７におけるパターン検出方法は、それぞれのパターン毎にテキスト画部分の画素の合計値と自然画部分の画素の合計値を求めて、２つの合計値が共にそれぞれ設定された値となった場合に、境界パターンであると判別するものであり、図３は、パターン１の場合を検出するためのパターン１検出部３７ａを表している。図３に示すように、パターン１の場合には、テキスト画部分に対応する１６画素を加算器３９において加算し、自然画に対応する９画素を加算器４０において加算する。そして、加算器３９の出力は比較器４１において合計値≧16−Aであるかを判別され、加算器４０の出力は比較器４２において合計値≦Bであるかを判別される。
【００２６】
ここで、パターン１と全く同じ識別結果の分布をした入力があると、加算器３９の出力は16、加算器４０の出力は0となるため、このような完全一致の場合のみを考える場合には上記A、Bの値は共に０に設定すればよい。しかし、若干の相違があっても境界パターンとして検出したい場合には、上記A、Bの値を適宜設定することで、識別誤差を吸収することが可能となる。このようにして比較器４１、４２で比較を行って、それぞれ条件を満たす場合には「１」を、満たさない場合には「０」をそれぞれ後段のＡＮＤ回路４３に出力する。ＡＮＤ回路４３では、比較器４１及び４２の出力が共に「１」である場合のみＯＲ回路３８に「１」を出力し、それ以外の場合には「０」をＯＲ回路３８に出力する。
【００２７】
図３は、パターン１の場合を検出するためのパターン１検出部３７ａであったが、同様に、図５に示すパターン２〜パターン２４を検出するためのパターン２検出部３７ｂ〜パターン２４検出部３７ｘのそれぞれにおいても境界パターンの検出が同時に行われて、これらの検出結果もＯＲ回路３８に出力される。
【００２８】
次に、このような構成における本発明の作用を図面に基づいて説明する。
入力された映像信号は、映像信号遅延処理部１１において、図示しない１ライン遅延回路と１ドット遅延回路を組合わせて多段階に遅延され、図８に示す４方向の各画素の信号として、それぞれの方向毎に水平方向カウント部１５、垂直方向カウント部１６、斜め０方向カウント部１７及び斜め１方向カウント部１８に入力される。これらの水平方向カウント部１５、垂直方向カウント部１６、斜め０方向カウント部１７及び斜め１方向カウント部１８では、各方向でそれぞれ５画素の信号を２画素ずつ比較する全１０通りの組合わせについて、差分演算回路２４で差分の絶対値を演算した後に、同一輝度判定回路２５において許容誤差Xと比較して、許容誤差Xよりも小さい場合には同一輝度であると判断し、同一輝度であった組合わせの数をそれぞれカウントする。
【００２９】
このようにして各方向別にカウントしたカウント値は、加算器１９を介して加算することで合計カウント値として、合計値判別部２０に入力されるとともに、各方向別のカウント値それぞれが、方向別判別部２１の水平判別部２７、垂直判別部２８、斜め０判別部２９、又は、斜め１判別部３０に入力される。合計値判別部２０では、入力された合計カウント値が予め設定された合計値判別レベル（例えば、20）よりも大きいか否かを判別し、方向別判別部２１の水平判別部２７、垂直判別部２８、斜め０判別部２９、及び、斜め１判別部３０では、各方向でのカウント値が予め設定された方向別判別レベル（例えば、7）よりも大きいか否かを判別する。ここでの合計値判別レベルと方向別判別レベルとは、適宜変更することが可能なものである。
【００３０】
合計値判別部２０での判別結果と、方向別判別部２１の水平判別部２７、垂直判別部２８、斜め０判別部２９、及び、斜め１判別部３０の４つの判別結果は、共にＯＲ回路２２に入力され、ＯＲ回路２２において論理和をとった結果が「１」である場合はテキスト画、「０」である場合には自然画であると識別して識別結果出力端子２３から出力する。つまり、合計値判別レベル＝20、方向別判別レベル＝7とすると、テキスト画と識別されるためのカウント値の条件は以下のようになる。
全方向のカウント値の合計≧20 ｏｒ ある一方向のカウント値≧7
【００３１】
ＯＲ回路２２の出力は、画素毎にテキスト画か自然画かを識別した結果として境界検出部３１に入力される。境界検出部３１では、図２に示すラインメモリ３４ａ〜３４ｄ、及び、レジスタ３５によって生成した５画素×５画素分の識別結果をパターン１検出部３７ａ〜パターン２４検出部３７ｘに出力する。これらパターン１検出部３７ａ〜パターン２４検出部３７ｘにおいて、入力された５画素×５画素分の識別結果が図５に示した２４通りの境界パターンの何れかと一致するかを検出して、何れかに一致した場合には、着目画素が境界であることを検出した結果として「１」がＯＲ回路３８から出力される。何れにも一致しなかった場合には「０」が出力される。
【００３２】
このようにして、着目画素がテキスト画と自然画の境界部分にあるか否かを表した境界検出出力が出力端子３３から出力されるが、これと同時に、遅延回路３６においてタイミングを調整された着目画素がテキスト画か自然画かを識別した結果である識別結果出力が出力端子３２から出力され、これらの信号は輪郭補正等の画像処理に用いられる。例えば、テキスト画と識別された画素には輪郭補正をせずに自然画と識別された画素においてのみ輪郭補正を施す場合に、テキスト画との境界部分にある自然画に対して輪郭補正を行うと、テキスト画の影響で不自然な輪郭補正がなされてしまうという従来の問題点があったが、本発明による境界検出出力の結果を同時に用いることにより、不自然な輪郭補正となってしまう境界を検出してこの部分には輪郭補正を行わないといった処理を行うことが可能となる。
【実施例２】
【００３３】
前記実施例１においては、テキスト画と自然画が混在する場合にはその境界が水平方向、垂直方向に区切られて長方形領域となっていることが多いため、この様な長方形領域の境界を検出可能とするために、図５に示す２４通りの５画素×５画素の境界パターンを想定していたが、本発明はこれに限られるものではない。
【００３４】
例えば、図６（ａ）に示すように、テキスト画と自然画の境界が斜め方向に区切られている場合も考えられるが、実施例１では境界が水平方向、垂直方向に区切られているものしか想定していないため、実施例１におけるパターン検出部３７では、図６（ａ）に示すような場合の境界を検出することができない。
【００３５】
そこで、図２に示す境界検出部３１におけるパターン検出部３７に、斜め方向の境界を検出するための検出部を追加する。具体的には、水平方向、垂直方向に区切られた２４通りの境界パターンを検出するためのパターン１検出部３７ａ〜パターン２４検出部３７ｘに加えて、図６（ｂ）に示すような斜め方向に区切られた４８通りの境界パターンを検出するためのパターン検出部を追加する。このような構成とすることで、境界が水平方向、垂直方向に区切られている場合のみならず、斜め方向に区切られている場合の境界も検出できるため、斜めの境界部分においても輪郭補正をかけずに自然な映像とすることが出来る。
【実施例３】
【００３６】
前記実施例では、パターン検出部３７で境界パターンを検出した場合にはＯＲ回路３８の出力が「１」となるため、これを用いることで後段の輪郭補正処理回路において境界部分には輪郭補正を行わないという処理を行うことが可能となっていた。しかし、この様に一律に輪郭補正を行わないとすると、輪郭補正を行ったとしてもテキスト画の影響が小さいような境界パターンにおいても輪郭補正が行われないこととなる。
例えば、図５に示す境界パターン１と境界パターン７とを比較すると、共にテキスト画と自然画の境界の角にあたるパターンであるが、パターン１では着目画素が境界に接しているのに対して、パターン７は着目画素と境界との間に１画素隔たりがある。通常、輪郭補正を行う場合、着目画素に近い画素ほど係数を大きくしているため、これらのパターンに共に輪郭補正を行った場合のテキスト画の影響量には差が存在する。
【００３７】
そこで、図２のように全てのパターン検出部３７の出力について論理和をとるのではなく、テキスト画の影響量の差に応じて異なる検出信号を出力するようにしてもよい。例えば、図５に示す２４通りの境界パターンのうち、外側に面した境界パターン（パターン１〜６、１０、１１、１４、１５、１９〜２４）について検出を行って論理和をとるとともに、内側に面した境界パターン（パターン７〜９、１２、１３、１６〜１８）についても検出を行って論理和をとる。このようにして、異なる検出信号を得るようにすることで、例えば、テキスト画の影響の大きい外側に面した境界パターンについては輪郭補正を行わず、テキスト画の影響の小さい内側に面した境界パターンについては通常よりもゲインを小さくして輪郭補正を行う、といった処理の切替えを行うことが可能となる。
【００３８】
前記実施例では、水平方向カウント部１５、垂直方向カウント部１６、斜め０方向カウント部１７及び斜め１方向カウント部１８では、各方向でそれぞれ着目画素を中心とした５画素の信号を２画素ずつ比較する全１０通りの組合わせについて、同一輝度となる組合わせの数をカウントするようにしたが、本発明はこれに限られるものではない。例えば、各方向でそれぞれ着目画素を中心とした３画素の信号を２画素ずつ比較する全３通りの組合わせについて、同一輝度となる組合わせの数をカウントするようにしてもよいし、また、各方向でそれぞれ着目画素を中心とした７画素の信号を２画素ずつ比較する全２１通りの組合わせについて、同一輝度となる組合わせの数をカウントするようにしてもよい。
【００３９】
前記実施例では、境界パターン検出のために着目画素を中心として５画素×５画素分の識別結果の分布を用いているが、この５画素×５画素の範囲としたのは、図示しない後段の回路において輪郭補正を行う場合に、輪郭成分抽出のために用いられる範囲が５画素×５画素の範囲であると想定していたためである。輪郭成分抽出の範囲と境界であると検出する範囲を合わせることによって初めて境界部分が自然な画像となる、当然この画素範囲は輪郭補正との関係で適宜変更可能なものである。
【００４０】
また、必ずしも正方形領域とする必要はなく、輪郭補正処理時に用いる水平方向の画素範囲と垂直方向の画素範囲が異なることも想定されるので、一般化すると、２ｍ個（ｍは１以上の整数）のラインメモリを用いて（２ｍ＋１）ライン分の信号をレジスタに一時格納し、レジスタから（２ｍ＋１）画素×（２ｋ＋１）画素（ｋは１以上の整数）をパターン検出部３７に出力してパターン検出するようにしてもよい。
【００４１】
この条件によれば、最小の境界検出の大きさは３画素×３画素となるが、勿論これよりも小さい範囲を対象として境界検出を行うことも可能である。また、上記条件では着目画素が必ず中心にくるようになっているが、必ずしもこれに限定されるものではない。ただし、境界部分の検出ミスや誤検出をなくし、適切な輪郭補正を行うためには、３画素×３画素以上の範囲で、かつ、着目画素が中心にくる範囲選択が好ましいと言える。
【図面の簡単な説明】
【００４２】
【図１】本発明による画像識別回路の構成を示したブロック図である。
【図２】境界検出部３１の詳細な構成を表したブロック図である。
【図３】パターン検出部３７の詳細な構成を表したブロック図である。
【図４】テキスト画と自然画が混在している場合の識別結果の一例を表した模式図である。
【図５】境界と判別するための境界パターンを表した模式図である。
【図６】（ａ）は、テキスト画と自然画が混在している場合の識別結果の一例を表した模式図、（ｂ）は、境界と判別するための境界パターンを表した模式図である。
【図７】従来の画像識別回路の構成を示したブロック図である。
【図８】従来及び本発明の画像識別回路における各カウント部でカウントする方向を示した模式図である。
【符号の説明】
【００４３】
１１…映像信号遅延処理部、１２…許容誤差X入力端子、１３…合計値判別レベル入力端子、１４…方向別判別レベル入力端子、１５…水平方向カウント部、１６…垂直方向カウント部、１７…斜め０方向カウント部、１８…斜め１方向カウント部、１９…加算器、２０…合計値判別部、２１…方向別判別部、２２…ＯＲ回路、２３…識別結果出力端子、２４…差分演算回路、２５…同一輝度判定回路、２６…加算器、２７…水平判別部、２８…垂直判別部、２９…斜め０判別部、３０…斜め１判別部、３１…境界検出部、３２…識別結果出力端子、３３…境界検出出力端子、３４…ラインメモリ、３５…レジスタ、３６…遅延回路、３７…パターン検出回路、３８…ＯＲ回路、３９…加算器、４０…加算器、４１…比較器、４２…比較器、４３…ＡＮＤ回路。
【技術分野】
【０００１】
本発明は、ディジタル画像処理におけるテキスト画（コンピュータ画像）と自然画とが混在する画像の精度の高い識別処理を行う画像識別回路に関するものである。
【背景技術】
【０００２】
画像にはそれぞれ特質があり、その特質によって、例えば、テキスト画（コンピュータ画像）と自然画とに分類される。従来より、これらの画像の種類毎にフィルタ処理などの画像処理の方法を切り替えることが行われており、１画面にテキスト画と自然画が混在する画像には、それぞれの特質を抽出して識別を行い、その識別結果に基づいて画像処理を行っていた。従来の識別処理方法の一例として、（１）周波数帯域から識別する方法、（２）着目画素の周辺画素に使われる色数から識別する方法、（３）１画面全体又は一定領域に使用される色数のヒストグラムで識別する方法、などが存在するが、これらはいずれも何らかの問題点があり、識別精度が必ずしも良くないので、本出願人はより精度の高いテキスト画と自然画の識別方法として、特許文献１を既に提案している。この特許文献１によれば、従来の（１）〜（３）の識別方法に比べて識別精度を向上させることが出来るが、少ない画素数で構成された小さなテキストをテキスト画として判別することが出来ないという問題があったため、さらにこの問題を解決したものとして特許文献２を出願している。
【０００３】
特許文献２に記載の画像識別回路の構成を図７に基づいて簡単に説明する。この図７に示す画像識別回路の特徴は、先ず、図８に示すような着目画素を中心とした４方向について、水平方向カウント部１５、垂直方向カウント部１６、斜め０方向カウント部１７及び斜め１方向カウント部１８のそれぞれで５画素の中から２画素を選ぶ全ての組合わせのうち同一輝度となる組合わせが幾つあるかをカウントする。次に、これらの各方向でのカウント値を合計した合計カウント値について、合計値判別部２０において設定値と比較して設定値以上である場合には着目画素はテキスト画であると判別する。また、各方向でのカウント値について、方向別判別部２１においてそれぞれの方向で設定値と比較して設定値以上である場合には着目画素はテキスト画であると判別する。最終的にＯＲ回路２２で合計値判別部２０と方向別判別部２１の出力の論理和をとって、いずれかの判別部でテキスト画と判別された場合には論理和として「１」が出力されてテキスト画と判別し、それ以外の場合には「０」が出力されて自然画と判別される。
【０００４】
このように、特許文献２に記載の画像識別回路によれば、特許文献１での問題であった少ない画素数で構成された小さなテキストをテキスト画として判別することが出来ないという点を解決して、さらに識別精度を向上させることが可能となる。
【特許文献１】特開２００４−５６３５０号公報
【特許文献２】特願２００４−１５３５８０
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、このようにして画素毎に求めた識別結果は後段の回路において輪郭補正等の画像処理に用いられる。例えば、テキスト画と識別された画素には輪郭補正をせずに自然画と識別された画素においてのみ輪郭補正を施すことで、もともとコントラストがありくっきりしているテキスト画部分はそのままに、自然画部分は鮮鋭感を出すといった効果を与えることが出来る。
しかし、輪郭補正は隣接画素の情報を用いて行うものであるため、テキスト画との境界部分にある自然画に対して輪郭補正を行うと、テキスト画の影響で不自然な輪郭補正がなされてしまうという問題があった。
【０００６】
本発明は、上記問題点に鑑みなされたものであり、テキスト画と自然画の境界部分において不自然な輪郭補正が行われないように、テキスト画と自然画の識別に加えて境界部分の識別も可能な画像識別回路を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の請求項１は、入力ディジタル映像信号の着目画素についてその着目画素がテキスト画であるか自然画であるかを識別する画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けたことを特徴とする画像識別回路である。
【０００８】
本発明の請求項２は、入力ディジタル映像信号の着目画素について、着目画素を中心とする（２ｎ＋１）画素（ｎは１以上の整数）で構成される複数方向の各方向別に、（２ｎ＋１）画素から２画素を選択する全（２ｎ2+ｎ）通りの組合わせについて同一輝度値である組合わせの数をカウントする方向別カウント部と、この方向別カウント部のカウント値を全方向分合計した合計カウント値から画像の種類を識別する合計値判別部と、それぞれの方向毎に方向別カウント部のカウント値から画像の種類を識別する方向別判別部とを具備してなる画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けたことを特徴とする画像識別回路である。
【０００９】
本発明の請求項３は、請求項１又は２に加えて、境界検出部は、識別結果の信号を順次１ラインずつ遅延させて連続する（２ｍ＋１）ライン（ｍは１以上の整数）分の信号を得るための２ｍ個のラインメモリと、（２ｍ＋１）ライン分の信号を一時格納しておくレジスタと、レジスタから出力された着目画素を中心とした（２ｍ＋１）画素×（２ｋ＋１）画素（ｋは１以上の整数）分の識別結果の分布を予め設定した複数の境界パターンとそれぞれ照合するための複数のパターン検出部と、複数のパターン検出部の出力の論理和をとってこれを境界検出結果として出力するＯＲ回路とからなることを特徴とする画像識別回路である。
【００１０】
本発明の請求項４は、請求項３に加えて、各パターン検出部は、レジスタから出力された着目画素を中心とした（２ｍ＋１）画素×（２ｋ＋１）画素分の識別結果の分布について、境界パターンのテキスト画部分に対応する画素の合計値を演算する加算器と、境界パターンの自然画部分に対応する画素の合計値を演算する加算器と、前記テキスト画に対応した加算器の合計値を設定された条件と比較する比較器と、前記自然画に対応した加算器の合計値を設定された条件と比較する比較器と、これら２つの比較器の出力の論理積をとって出力するＡＮＤ回路とからなることを特徴とする画像識別回路である。
【発明の効果】
【００１１】
本発明によれば、テキスト画との境界部分にある自然画に対して輪郭補正を行うと、テキスト画の影響で不自然な輪郭補正がなされてしまうという従来の問題点があったが、本発明による境界検出出力の結果を同時に用いることにより、不自然な輪郭補正となってしまう境界を検出してこの部分には輪郭補正を行わないといった処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００１２】
本発明による画像識別回路は、入力ディジタル映像信号の着目画素について、着目画素を中心とする（２ｎ＋１）画素（ｎは１以上の整数）で構成される複数方向の各方向別に、（２ｎ＋１）画素から２画素を選択する全（２ｎ2+ｎ）通りの組合わせについて同一輝度値である組合わせの数をカウントする方向別カウント部と、この方向別カウント部のカウント値を全方向分合計した合計カウント値から画像の種類を識別する合計値判別部と、それぞれの方向毎に方向別カウント部のカウント値から画像の種類を識別する方向別判別部とを具備してなる画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けたことを特徴とするものである。
さらに、境界検出部は、識別結果の信号を順次１ラインずつ遅延させて連続する（２ｍ＋１）ライン（ｍは１以上の整数）分の信号を得るための２ｍ個のラインメモリと、着目画素周辺の（２ｍ＋１）ライン分の信号を一時格納しておくレジスタと、レジスタから出力された着目画素を中心とした（２ｍ＋１）画素×（２ｋ＋１）画素（ｋは１以上の整数）分の識別結果の分布を予め設定した複数の境界パターンとそれぞれ照合するための複数のパターン検出部と、複数のパターン検出部の出力の論理和をとってこれを境界検出結果として出力するＯＲ回路とからなる
【実施例１】
【００１３】
本発明の実施の形態を図面に基づいて説明する。
本発明による画像識別回路の特徴は、図８に示すような着目画素を中心とした４方向でそれぞれ、５画素の中から２画素を選ぶ全ての組合わせのうち同一輝度となる組合わせが幾つあるかをカウントし、この各方向でのカウント値と全方向の合計カウント値とを用いて、当該着目画素がテキスト画であるのか自然画であるのかを識別し、この識別結果の分布から自然画とテキスト画の境界部分を検出するためのものである。これを実施するための構成を示したものが図１に示すブロック図であり、以下、この図１を用いて説明する。
【００１４】
図１において、映像信号遅延処理部１１は、入力された映像信号に対して、１ライン遅延回路と１ドット遅延回路（図示は省略）を組合わせて遅延させることで図８に示す４方向の各画素の信号を生成している。この生成した信号のうち、水平方向カウント部１５には(x-2,y)、(x-1,y)、(x,y)、(x+1,y)、(x+2,y)の５画素の信号が入力され、垂直方向カウント部１６には(x,y-2)、(x,y-1)、(x,y)、(x,y+1)、(x,y+2)の５画素の信号が入力され、斜め０方向カウント部１７には(x-2,y-2)、(x-1,y-1)、(x,y)、(x+1,y+1)、(x+2,y+2)の５画素の信号が入力され、斜め１方向カウント部１８には(x+2,y-2)、(x+1,y-1)、(x,y)、(x-1,y+1)、(x-2,y+2)の５画素の信号が入力される。
【００１５】
水平方向カウント部１５は、入力された(x-2,y)、(x-1,y)、(x,y)、(x+1,y)、(x+2,y)の５画素の信号を用いて、５画素の中から２画素を選ぶ全ての組合わせのうち同一輝度となる組合わせが幾つあるかをカウントして出力する。詳しくは、先ず、入力された５画素の信号を２画素ずつ比較する全１０通りの組合わせについて、差分演算回路２４で差分の絶対値の演算をする。この１０通り分の組合わせの差分の絶対値を、同一輝度判定回路２５においてそれぞれ許容誤差X入力端子１２から入力された許容誤差Xと比較して、許容誤差Xよりも小さい場合には同一輝度であると判断する。ここで、基本的には２つの画素が同一輝度値である場合にはその差分は０となるはずであるが、アナログ信号をＡＤ変換してディジタル信号にした場合には量子化誤差が生じる可能性があるため、許容誤差Xを設定することで差分が一定範囲内の場合には同一輝度値であると判定する。このようにして、同一輝度判定回路２５において全１０通りの組合わせについて同一輝度値であるかを判定して、同一輝度値である場合には後段の加算器２６に「１」を出力し、輝度値が異なる場合には後段の加算器２６に「０」を出力し、加算器２６ではこれらの出力を合計する。この加算器２６の合計値は、同一輝度値となった組合わせの数であり、例えば、水平方向の５画素が全て同一輝度値である場合には合計値は１０（最大値）となり、水平方向の５画素が全て異なる輝度値である場合には合計値は０（最小値）となる。この加算器２６の合計値は、同一輝度値となった組合わせの数のカウント値として、後段の加算器１９と方向別判別部２１に出力する。
【００１６】
同様に、垂直方向カウント部１６では、入力された垂直方向の５画素の信号(x,y-2)、(x,y-1)、(x,y)、(x,y+1)、(x,y+2)を２画素ずつ比較する全１０通りの組合わせについて同一輝度値となった組合わせの数をカウントして、そのカウント値を後段の加算器１９と方向別判別部２１に出力する。同じく、斜め０方向カウント部１７では、入力された斜め０方向の５画素の信号(x-2,y-2)、(x-1,y-1)、(x,y)、(x+1,y+1)、(x+2,y+2)を２画素ずつ比較する全１０通りの組合わせについて同一輝度値となった組合わせの数をカウントして、そのカウント値を後段の加算器１９と方向別判別部２１に出力し、斜め１方向カウント部１８では、入力された斜め０方向の５画素の信号(x+2,y-2)、(x+1,y-1)、(x,y)、(x-1,y+1)、(x-2,y+2)を２画素ずつ比較する全１０通りの組合わせについて同一輝度値となった組合わせの数をカウントして、そのカウント値を後段の加算器１９と方向別判別部２１に出力する。
【００１７】
加算器１９では、水平方向カウント部１５、垂直方向カウント部１６、斜め０方向カウント部１７及び斜め１方向カウント部１８から入力された各方向でのカウント値を加算することで全方向の合計カウント値を算出して、これを後段の合計値判別部２０に出力する。ここで算出する合計カウント値は０〜４０の値をとる。
【００１８】
合計値判別部２０には、前記加算器１９からの合計カウント値と、合計値判別レベル入力端子１３からの合計値判別レベルとが入力される。ここで、合計カウント値が合計値判別レベルよりも大きいか否かを判別して、大きい場合には後段のＯＲ回路２２に「１」を出力し、小さい場合には後段のＯＲ回路２２に「０」を出力する。
【００１９】
方向別判別部２１は、水平判別部２７、垂直判別部２８、斜め０判別部２９、及び、斜め１判別部３０とで構成されており、水平判別部２７には水平方向カウント部１５からのカウント値、垂直判別部２８には垂直方向カウント部１６からのカウント値、斜め０判別部２９には斜め０方向カウント部１７からのカウント値、斜め１判別部３０には斜め１方向カウント部１８からのカウント値がそれぞれ入力されると共に、４つの判別部に共通に、方向別判別レベル入力端子１４からの方向別判別レベルが入力される。これらの水平判別部２７、垂直判別部２８、斜め０判別部２９、及び、斜め１判別部３０では、カウント値が方向別判別レベルよりも大きいか否かをそれぞれ判別して、大きい場合には後段のＯＲ回路２２に「１」を出力し、小さい場合には後段のＯＲ回路２２に「０」を出力する。
【００２０】
ＯＲ回路２２では、合計値判別部２０からの１つの入力と、方向別判別部２１からの４つの入力との計５つの入力について論理和をとって、これを識別結果として後段の境界検出部３１に出力する。論理和をとった結果が「１」である場合にはその着目画素についてはテキスト画であると識別し、論理和をとった結果が「０」である場合にはその着目画素については自然画であると識別する。
【００２１】
境界検出部３１は、ＯＲ回路２２から入力される１ビットの識別結果の信号を用いて、予め境界部分と判別するパターンを設定しておき、着目画素を中心とした５×５の領域における識別結果の配置がパターンと一致するか否かで、着目画素がテキスト画と自然画の境界部分を検出する。境界部分であると検出した場合には「１」を、境界部分でない場合には「０」をそれぞれ境界検出出力端子３３から出力する。本発明はこの境界検出部３１に特徴を有するものであり、以下、図面を用いて詳細に説明を行う。
【００２２】
図２に示すのは、境界検出部３１の詳細な構成を表したブロック図である。この図２において、ＯＲ回路２２から入力される１ビットの識別結果の信号は、ラインメモリ３４ａ〜３４ｄによって順次１ラインずつ遅延されて５ライン分の信号が後段のレジスタ３５に入力される。また、ラインメモリ３４ｂの出力は遅延回路３６にも入力される。レジスタ３５では、５ライン分の信号を一時的に格納してこれを後段のパターン検出部３７に出力する。
【００２３】
パターン検出部３７は、予め想定して設定したパターンの数だけ設けられており、本実施例の場合には２４通りのパターンを想定して、これを検出するためにそれぞれのパターン毎にパターン１検出部３７ａ、パターン２検出部３７ｂ、・・・、パターン２４検出部３７ｘを設けて検出を行っている。これらのパターン検出部３７の出力はＯＲ回路３８に入力され、パターン１検出部３７ａ、パターン２検出部３７ｂ、・・・、パターン２４検出部３７ｘからの入力の論理和をとって、これを境界検出出力として出力端子３３から出力する。
【００２４】
パターン検出部３７のより詳細な構成を図３に基づいて説明するが、先ず、本実施例において想定しているパターンの種類について図４及び図５を用いて説明を行う。図４に示すのは、テキスト画と自然画の識別例を表した模式図であるが、この図４のように、テキスト画と自然画が混在する場合にはその境界が水平方向、垂直方向に区切られて長方形領域となっていることが多いため、この様な長方形領域の境界を検出可能とするために、図５に示す２４通りの５画素×５画素の境界パターンを想定している。これらのパターンは必ず中心の着目画素が自然画と識別され、かつ、自然画とテキスト画が混在しているものである。これら２４通りの境界パターンのそれぞれに対応させてパターン１検出部３７ａ、パターン２検出部３７ｂ、・・・、パターン２４検出部３７ｘを設けているが、ここで１例として、パターン１の場合を検出するためのパターン１検出部３７ａの構成を図３に基づいて説明する。
【００２５】
パターン検出部３７におけるパターン検出方法は、それぞれのパターン毎にテキスト画部分の画素の合計値と自然画部分の画素の合計値を求めて、２つの合計値が共にそれぞれ設定された値となった場合に、境界パターンであると判別するものであり、図３は、パターン１の場合を検出するためのパターン１検出部３７ａを表している。図３に示すように、パターン１の場合には、テキスト画部分に対応する１６画素を加算器３９において加算し、自然画に対応する９画素を加算器４０において加算する。そして、加算器３９の出力は比較器４１において合計値≧16−Aであるかを判別され、加算器４０の出力は比較器４２において合計値≦Bであるかを判別される。
【００２６】
ここで、パターン１と全く同じ識別結果の分布をした入力があると、加算器３９の出力は16、加算器４０の出力は0となるため、このような完全一致の場合のみを考える場合には上記A、Bの値は共に０に設定すればよい。しかし、若干の相違があっても境界パターンとして検出したい場合には、上記A、Bの値を適宜設定することで、識別誤差を吸収することが可能となる。このようにして比較器４１、４２で比較を行って、それぞれ条件を満たす場合には「１」を、満たさない場合には「０」をそれぞれ後段のＡＮＤ回路４３に出力する。ＡＮＤ回路４３では、比較器４１及び４２の出力が共に「１」である場合のみＯＲ回路３８に「１」を出力し、それ以外の場合には「０」をＯＲ回路３８に出力する。
【００２７】
図３は、パターン１の場合を検出するためのパターン１検出部３７ａであったが、同様に、図５に示すパターン２〜パターン２４を検出するためのパターン２検出部３７ｂ〜パターン２４検出部３７ｘのそれぞれにおいても境界パターンの検出が同時に行われて、これらの検出結果もＯＲ回路３８に出力される。
【００２８】
次に、このような構成における本発明の作用を図面に基づいて説明する。
入力された映像信号は、映像信号遅延処理部１１において、図示しない１ライン遅延回路と１ドット遅延回路を組合わせて多段階に遅延され、図８に示す４方向の各画素の信号として、それぞれの方向毎に水平方向カウント部１５、垂直方向カウント部１６、斜め０方向カウント部１７及び斜め１方向カウント部１８に入力される。これらの水平方向カウント部１５、垂直方向カウント部１６、斜め０方向カウント部１７及び斜め１方向カウント部１８では、各方向でそれぞれ５画素の信号を２画素ずつ比較する全１０通りの組合わせについて、差分演算回路２４で差分の絶対値を演算した後に、同一輝度判定回路２５において許容誤差Xと比較して、許容誤差Xよりも小さい場合には同一輝度であると判断し、同一輝度であった組合わせの数をそれぞれカウントする。
【００２９】
このようにして各方向別にカウントしたカウント値は、加算器１９を介して加算することで合計カウント値として、合計値判別部２０に入力されるとともに、各方向別のカウント値それぞれが、方向別判別部２１の水平判別部２７、垂直判別部２８、斜め０判別部２９、又は、斜め１判別部３０に入力される。合計値判別部２０では、入力された合計カウント値が予め設定された合計値判別レベル（例えば、20）よりも大きいか否かを判別し、方向別判別部２１の水平判別部２７、垂直判別部２８、斜め０判別部２９、及び、斜め１判別部３０では、各方向でのカウント値が予め設定された方向別判別レベル（例えば、7）よりも大きいか否かを判別する。ここでの合計値判別レベルと方向別判別レベルとは、適宜変更することが可能なものである。
【００３０】
合計値判別部２０での判別結果と、方向別判別部２１の水平判別部２７、垂直判別部２８、斜め０判別部２９、及び、斜め１判別部３０の４つの判別結果は、共にＯＲ回路２２に入力され、ＯＲ回路２２において論理和をとった結果が「１」である場合はテキスト画、「０」である場合には自然画であると識別して識別結果出力端子２３から出力する。つまり、合計値判別レベル＝20、方向別判別レベル＝7とすると、テキスト画と識別されるためのカウント値の条件は以下のようになる。
全方向のカウント値の合計≧20 ｏｒ ある一方向のカウント値≧7
【００３１】
ＯＲ回路２２の出力は、画素毎にテキスト画か自然画かを識別した結果として境界検出部３１に入力される。境界検出部３１では、図２に示すラインメモリ３４ａ〜３４ｄ、及び、レジスタ３５によって生成した５画素×５画素分の識別結果をパターン１検出部３７ａ〜パターン２４検出部３７ｘに出力する。これらパターン１検出部３７ａ〜パターン２４検出部３７ｘにおいて、入力された５画素×５画素分の識別結果が図５に示した２４通りの境界パターンの何れかと一致するかを検出して、何れかに一致した場合には、着目画素が境界であることを検出した結果として「１」がＯＲ回路３８から出力される。何れにも一致しなかった場合には「０」が出力される。
【００３２】
このようにして、着目画素がテキスト画と自然画の境界部分にあるか否かを表した境界検出出力が出力端子３３から出力されるが、これと同時に、遅延回路３６においてタイミングを調整された着目画素がテキスト画か自然画かを識別した結果である識別結果出力が出力端子３２から出力され、これらの信号は輪郭補正等の画像処理に用いられる。例えば、テキスト画と識別された画素には輪郭補正をせずに自然画と識別された画素においてのみ輪郭補正を施す場合に、テキスト画との境界部分にある自然画に対して輪郭補正を行うと、テキスト画の影響で不自然な輪郭補正がなされてしまうという従来の問題点があったが、本発明による境界検出出力の結果を同時に用いることにより、不自然な輪郭補正となってしまう境界を検出してこの部分には輪郭補正を行わないといった処理を行うことが可能となる。
【実施例２】
【００３３】
前記実施例１においては、テキスト画と自然画が混在する場合にはその境界が水平方向、垂直方向に区切られて長方形領域となっていることが多いため、この様な長方形領域の境界を検出可能とするために、図５に示す２４通りの５画素×５画素の境界パターンを想定していたが、本発明はこれに限られるものではない。
【００３４】
例えば、図６（ａ）に示すように、テキスト画と自然画の境界が斜め方向に区切られている場合も考えられるが、実施例１では境界が水平方向、垂直方向に区切られているものしか想定していないため、実施例１におけるパターン検出部３７では、図６（ａ）に示すような場合の境界を検出することができない。
【００３５】
そこで、図２に示す境界検出部３１におけるパターン検出部３７に、斜め方向の境界を検出するための検出部を追加する。具体的には、水平方向、垂直方向に区切られた２４通りの境界パターンを検出するためのパターン１検出部３７ａ〜パターン２４検出部３７ｘに加えて、図６（ｂ）に示すような斜め方向に区切られた４８通りの境界パターンを検出するためのパターン検出部を追加する。このような構成とすることで、境界が水平方向、垂直方向に区切られている場合のみならず、斜め方向に区切られている場合の境界も検出できるため、斜めの境界部分においても輪郭補正をかけずに自然な映像とすることが出来る。
【実施例３】
【００３６】
前記実施例では、パターン検出部３７で境界パターンを検出した場合にはＯＲ回路３８の出力が「１」となるため、これを用いることで後段の輪郭補正処理回路において境界部分には輪郭補正を行わないという処理を行うことが可能となっていた。しかし、この様に一律に輪郭補正を行わないとすると、輪郭補正を行ったとしてもテキスト画の影響が小さいような境界パターンにおいても輪郭補正が行われないこととなる。
例えば、図５に示す境界パターン１と境界パターン７とを比較すると、共にテキスト画と自然画の境界の角にあたるパターンであるが、パターン１では着目画素が境界に接しているのに対して、パターン７は着目画素と境界との間に１画素隔たりがある。通常、輪郭補正を行う場合、着目画素に近い画素ほど係数を大きくしているため、これらのパターンに共に輪郭補正を行った場合のテキスト画の影響量には差が存在する。
【００３７】
そこで、図２のように全てのパターン検出部３７の出力について論理和をとるのではなく、テキスト画の影響量の差に応じて異なる検出信号を出力するようにしてもよい。例えば、図５に示す２４通りの境界パターンのうち、外側に面した境界パターン（パターン１〜６、１０、１１、１４、１５、１９〜２４）について検出を行って論理和をとるとともに、内側に面した境界パターン（パターン７〜９、１２、１３、１６〜１８）についても検出を行って論理和をとる。このようにして、異なる検出信号を得るようにすることで、例えば、テキスト画の影響の大きい外側に面した境界パターンについては輪郭補正を行わず、テキスト画の影響の小さい内側に面した境界パターンについては通常よりもゲインを小さくして輪郭補正を行う、といった処理の切替えを行うことが可能となる。
【００３８】
前記実施例では、水平方向カウント部１５、垂直方向カウント部１６、斜め０方向カウント部１７及び斜め１方向カウント部１８では、各方向でそれぞれ着目画素を中心とした５画素の信号を２画素ずつ比較する全１０通りの組合わせについて、同一輝度となる組合わせの数をカウントするようにしたが、本発明はこれに限られるものではない。例えば、各方向でそれぞれ着目画素を中心とした３画素の信号を２画素ずつ比較する全３通りの組合わせについて、同一輝度となる組合わせの数をカウントするようにしてもよいし、また、各方向でそれぞれ着目画素を中心とした７画素の信号を２画素ずつ比較する全２１通りの組合わせについて、同一輝度となる組合わせの数をカウントするようにしてもよい。
【００３９】
前記実施例では、境界パターン検出のために着目画素を中心として５画素×５画素分の識別結果の分布を用いているが、この５画素×５画素の範囲としたのは、図示しない後段の回路において輪郭補正を行う場合に、輪郭成分抽出のために用いられる範囲が５画素×５画素の範囲であると想定していたためである。輪郭成分抽出の範囲と境界であると検出する範囲を合わせることによって初めて境界部分が自然な画像となる、当然この画素範囲は輪郭補正との関係で適宜変更可能なものである。
【００４０】
また、必ずしも正方形領域とする必要はなく、輪郭補正処理時に用いる水平方向の画素範囲と垂直方向の画素範囲が異なることも想定されるので、一般化すると、２ｍ個（ｍは１以上の整数）のラインメモリを用いて（２ｍ＋１）ライン分の信号をレジスタに一時格納し、レジスタから（２ｍ＋１）画素×（２ｋ＋１）画素（ｋは１以上の整数）をパターン検出部３７に出力してパターン検出するようにしてもよい。
【００４１】
この条件によれば、最小の境界検出の大きさは３画素×３画素となるが、勿論これよりも小さい範囲を対象として境界検出を行うことも可能である。また、上記条件では着目画素が必ず中心にくるようになっているが、必ずしもこれに限定されるものではない。ただし、境界部分の検出ミスや誤検出をなくし、適切な輪郭補正を行うためには、３画素×３画素以上の範囲で、かつ、着目画素が中心にくる範囲選択が好ましいと言える。
【図面の簡単な説明】
【００４２】
【図１】本発明による画像識別回路の構成を示したブロック図である。
【図２】境界検出部３１の詳細な構成を表したブロック図である。
【図３】パターン検出部３７の詳細な構成を表したブロック図である。
【図４】テキスト画と自然画が混在している場合の識別結果の一例を表した模式図である。
【図５】境界と判別するための境界パターンを表した模式図である。
【図６】（ａ）は、テキスト画と自然画が混在している場合の識別結果の一例を表した模式図、（ｂ）は、境界と判別するための境界パターンを表した模式図である。
【図７】従来の画像識別回路の構成を示したブロック図である。
【図８】従来及び本発明の画像識別回路における各カウント部でカウントする方向を示した模式図である。
【符号の説明】
【００４３】
１１…映像信号遅延処理部、１２…許容誤差X入力端子、１３…合計値判別レベル入力端子、１４…方向別判別レベル入力端子、１５…水平方向カウント部、１６…垂直方向カウント部、１７…斜め０方向カウント部、１８…斜め１方向カウント部、１９…加算器、２０…合計値判別部、２１…方向別判別部、２２…ＯＲ回路、２３…識別結果出力端子、２４…差分演算回路、２５…同一輝度判定回路、２６…加算器、２７…水平判別部、２８…垂直判別部、２９…斜め０判別部、３０…斜め１判別部、３１…境界検出部、３２…識別結果出力端子、３３…境界検出出力端子、３４…ラインメモリ、３５…レジスタ、３６…遅延回路、３７…パターン検出回路、３８…ＯＲ回路、３９…加算器、４０…加算器、４１…比較器、４２…比較器、４３…ＡＮＤ回路。
【特許請求の範囲】
【請求項１】
入力ディジタル映像信号の着目画素についてその着目画素がテキスト画であるか自然画であるかを識別する画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けたことを特徴とする画像識別回路。
【請求項２】
入力ディジタル映像信号の着目画素について、着目画素を中心とする（２ｎ＋１）画素（ｎは１以上の整数）で構成される複数方向の各方向別に、（２ｎ＋１）画素から２画素を選択する全（２ｎ2+ｎ）通りの組合わせについて同一輝度値である組合わせの数をカウントする方向別カウント部と、この方向別カウント部のカウント値を全方向分合計した合計カウント値から画像の種類を識別する合計値判別部と、それぞれの方向毎に方向別カウント部のカウント値から画像の種類を識別する方向別判別部とを具備してなる画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けたことを特徴とする画像識別回路。
【請求項３】
境界検出部は、識別結果の信号を順次１ラインずつ遅延させて連続する（２ｍ＋１）ライン（ｍは１以上の整数）分の信号を得るための２ｍ個のラインメモリと、（２ｍ＋１）ライン分の信号を一時格納しておくレジスタと、レジスタから出力された着目画素を中心とした（２ｍ＋１）画素×（２ｋ＋１）画素（ｋは１以上の整数）分の識別結果の分布を予め設定した複数の境界パターンとそれぞれ照合するための複数のパターン検出部と、複数のパターン検出部の出力の論理和をとってこれを境界検出結果として出力するＯＲ回路とからなることを特徴とする請求項１又は２記載の画像識別回路。
【請求項４】
各パターン検出部は、レジスタから出力された着目画素を中心とした（２ｍ＋１）画素×（２ｋ＋１）画素分の識別結果の分布について、境界パターンのテキスト画部分に対応する画素の合計値を演算する加算器と、境界パターンの自然画部分に対応する画素の合計値を演算する加算器と、前記テキスト画に対応した加算器の合計値を設定された条件と比較する比較器と、前記自然画に対応した加算器の合計値を設定された条件と比較する比較器と、これら２つの比較器の出力の論理積をとって出力するＡＮＤ回路とからなることを特徴とする請求項３記載の画像識別回路。
【請求項１】
入力ディジタル映像信号の着目画素についてその着目画素がテキスト画であるか自然画であるかを識別する画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けたことを特徴とする画像識別回路。
【請求項２】
入力ディジタル映像信号の着目画素について、着目画素を中心とする（２ｎ＋１）画素（ｎは１以上の整数）で構成される複数方向の各方向別に、（２ｎ＋１）画素から２画素を選択する全（２ｎ2+ｎ）通りの組合わせについて同一輝度値である組合わせの数をカウントする方向別カウント部と、この方向別カウント部のカウント値を全方向分合計した合計カウント値から画像の種類を識別する合計値判別部と、それぞれの方向毎に方向別カウント部のカウント値から画像の種類を識別する方向別判別部とを具備してなる画像識別回路において、着目画素を中心とした複数画素を単位として前記識別結果の分布を、テキスト画と自然画の境界部分を検出するために予め設定した複数の境界パターンと照合して、着目画素が境界部分であるか否かを検出する境界検出部を設けたことを特徴とする画像識別回路。
【請求項３】
境界検出部は、識別結果の信号を順次１ラインずつ遅延させて連続する（２ｍ＋１）ライン（ｍは１以上の整数）分の信号を得るための２ｍ個のラインメモリと、（２ｍ＋１）ライン分の信号を一時格納しておくレジスタと、レジスタから出力された着目画素を中心とした（２ｍ＋１）画素×（２ｋ＋１）画素（ｋは１以上の整数）分の識別結果の分布を予め設定した複数の境界パターンとそれぞれ照合するための複数のパターン検出部と、複数のパターン検出部の出力の論理和をとってこれを境界検出結果として出力するＯＲ回路とからなることを特徴とする請求項１又は２記載の画像識別回路。
【請求項４】
各パターン検出部は、レジスタから出力された着目画素を中心とした（２ｍ＋１）画素×（２ｋ＋１）画素分の識別結果の分布について、境界パターンのテキスト画部分に対応する画素の合計値を演算する加算器と、境界パターンの自然画部分に対応する画素の合計値を演算する加算器と、前記テキスト画に対応した加算器の合計値を設定された条件と比較する比較器と、前記自然画に対応した加算器の合計値を設定された条件と比較する比較器と、これら２つの比較器の出力の論理積をとって出力するＡＮＤ回路とからなることを特徴とする請求項３記載の画像識別回路。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−１７４４９９（Ｐ２００７−１７４４９９Ａ）
【公開日】平成１９年７月５日（２００７．７．５）
【国際特許分類】
【出願番号】特願２００５−３７２１６７（Ｐ２００５−３７２１６７）
【出願日】平成１７年１２月２６日（２００５．１２．２６）
【出願人】（０００００６６１１）株式会社富士通ゼネラル (1,266)
【Ｆターム（参考）】
【公開日】平成１９年７月５日（２００７．７．５）
【国際特許分類】
【出願日】平成１７年１２月２６日（２００５．１２．２６）
【出願人】（０００００６６１１）株式会社富士通ゼネラル (1,266)
【Ｆターム（参考）】
[ Back to top ]