画像処理装置および画像処理方法
【課題】画像と文字とが混在するコンテンツの画像データに対する画像処理を良好に行って画質向上を図る。
【解決手段】入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る。各ブロックの帯域情報に基づいて画面を複数種類の領域、例えば、画像領域、文字領域、画像と文字の混在領域に分離する。分離された画面領域毎に処理強度を求める。入力画像データに対して、分離された画面領域毎に、求められた処理強度で所定の画像処理、例えばシャープネス処理などを行う。画像領域と文字領域とで同一の処理強度で画像処理が行われることによる画質の低下を回避できる。
【解決手段】入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る。各ブロックの帯域情報に基づいて画面を複数種類の領域、例えば、画像領域、文字領域、画像と文字の混在領域に分離する。分離された画面領域毎に処理強度を求める。入力画像データに対して、分離された画面領域毎に、求められた処理強度で所定の画像処理、例えばシャープネス処理などを行う。画像領域と文字領域とで同一の処理強度で画像処理が行われることによる画質の低下を回避できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関する。特に、本技術は、文字が含まれる可能性がある画像データの処理を行う画像処理装置等に関する。
【背景技術】
【０００２】
従来、例えば、テレビ受信機において、画像の鮮鋭度を高めるために画像データに対してシャープネス処理を行うことが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２７８３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、上述のシャープネス処理に関して、フレーム単位で均一な処理が行われていた。画像と文字とが混在するコンテンツの画像データの場合に均一な処理を行うと、画像の鮮鋭度は高まるが、文字の品位が低下する。このような問題は、その他の同様の画像処理、例えば、画像と文字とが混在するコンテンツの画像データにブロックノイズを除去するためにノイズリダクション処理を行う場合にも生じる。このノイズリダクション処理は、ブロックノイズを除去するために画像をぼかす処理であり、文字の品位が低下する。
【０００５】
本技術の目的は、画像と文字とが混在するコンテンツの画像データに対する画像処理を良好に行うことにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る帯域情報取得部と、
上記帯域情報取得部で得られた上記各ブロックの帯域情報に基づいて画面を複数種類の領域に分離する領域分離部と、
上記領域分離部で分離された画面領域毎に処理強度を求める処理強度演算部と、
上記入力画像データに対して、上記領域分離部で分離された画面領域毎に、上記処理強度演算部で求められた処理強度で所定の画像処理を行う画像処理部とを備える
画像処理装置にある。
【０００７】
本技術において、帯域情報取得部により、入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報が得られる。例えば、帯域情報取得部は、入力画像データに対してバンドパスフィルタ演算を行って得られた画素毎のバンドバス成分をブロック毎に積算することにより各ブロックの第１の帯域情報（バンドパス成分情報）を得、入力画像データに対してハイパスフィルタ演算を行って得られた画素毎のハイパス成分をブロック毎に積算することにより各ブロックの第２の帯域情報（ハイパス成分情報）を得る、ようにされる。
【０００８】
領域分離部により、帯域情報取得部で得られた各ブロックの帯域情報に基づいて、画面が複数種類の領域に分離される。複数種類の領域は、例えば、低品位の画像領域と、高品位の画像領域と、文字領域と、画像および文字の混在領域である。例えば、領域分離部は、各ブロックの帯域情報に基づいてそれぞれのブロックが複数種類の領域のいずれに属するかを判断し、さらに、この判断結果に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出して、画面を複数種類の領域に分離する、ようにされる。
【０００９】
処理強度演算部により、領域分離部で分離された画面領域毎に処理強度が求められる。例えば、画面領域の種類毎に固定の処理強度が求められる。この場合、例えば、低品位の画像領域の処理強度は高くされ、その他の画像領域の処理強度は低くされる。
【００１０】
画像処理部により、入力画像データに対して、領域分離部で分離された画面領域毎に、処理強度演算部で求められた処理強度で所定の画像処理が行われる。所定の画像処理は、例えば画像の鮮鋭度を高めるためのシャープネス処理、ＭＰＥＧのブロックノイズを除去するためのノイズリダクション処理などである。
【００１１】
このように本技術においては、ブロック毎の帯域情報に基づいて画面を複数種類の領域に分離し、分離された画面領域毎に処理強度を求めて画像処理を行うものである。そのため、画像と文字とが混在するコンテンツの画像データに対する画像処理を良好に行うことができる。
【００１２】
また、本技術においては、各ブロックの帯域情報に基づいてそれぞれのブロックが複数種類の領域のいずれに属するかを判断し、その判断結果に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出して、画面を複数種類の領域に分離するものである。そのため、例えば、画像領域に属すると判断されたブロックに囲まれた文字領域に属すると判断されたブロック、つまり孤立点を、矩形領域を抽出する際に排除でき、ブロック間のつなぎ目が目立つことを防止できる。
【００１３】
なお、本技術において、例えば、処理強度演算部は、低品位の画像領域および高品位の画像領域に関しては、ブロック毎に、上述の第１の帯域情報および第２の帯域情報の混合比率に対応した処理強度を求める、ようにされてもよい。これにより、画像領域に関しては、ブロック毎に、画像品位に応じた適切な処理強度を求めることででき、画像領域における画像処理を良好に行うことができる。
【００１４】
また、本技術において、例えば、入力画像データに基づいて、各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する動き／静止判断部をさらに備え、領域分離部は、各ブロックの帯域情報に基づいてそれぞれのブロックが複数種類の領域のいずれに属するかの判断結果と共に動き／静止判断部の判断結果に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出する、ようにされてもよい。
【００１５】
画像領域は動きがあることが多く、文字領域は動きがないことが多い。各ブロックが動き領域に含まれるか静止領域に含まれるかの判断結果をさらに用いることで、例えば、画像領域に属すると判断されたブロックに囲まれた文字領域に属すると判断されたブロック、つまり孤立点に関し、画像領域に属するものとの判断変更をより適切に行うことが可能となる。また、各ブロックが動き領域に含まれるか静止領域に含まれるかの判断結果をさらに用いることで、画像領域と、画像および文字の混在領域との矩形境界の決定をより適切に行うことが可能となる。つまり、各ブロックが動き領域に含まれるか静止領域に含まれるかの判断結果をさらに用いることで、矩形抽出の精度を高めることが可能となる。
【００１６】
また、本技術において、例えば、動き／静止判断部は、帯域情報取得部で取得されるブロック毎の帯域情報のフレーム差分に基づいて、各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する、ようにされてもよい。これにより、判断処理のための演算負荷を抑えることが可能となる。
【発明の効果】
【００１７】
本技術によれば、画像と文字とが混在するコンテンツの画像データに対する画像処理を良好に行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本技術の実施の形態としてのテレビ受信機の構成例を示すブロック図である。
【図２】テレビ受信機を構成する画像処理ブロック内の処理強度発生部の構成例を示すブロック図である。
【図３】画面の分割例を説明するための図である。
【図４】第１の帯域情報（バンドパス成分情報）、第２の帯域情報（ハイパス成分情報）による領域判断を説明するための図である。
【図５】低品位の画像領域と、高品位の画像領域と、文字領域と、画像および文字の混在領域のいずれに属するかを判断した第１のブロック判断結果と、動き領域、静止領域のいずれに属するかを判断した第２のブロック判断結果の一例を示す図である。
【図６】画像領域の各ブロックの処理強度に関して、第１の帯域情報（バンドパス成分情報）および第２の帯域情報（ハイパス成分情報）の混合比率に対応した処理強度とすることを説明するための図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２０】
＜１．実施の形態＞
［テレビ受信機の構成例］
図１は、実施の形態としてのテレビ受信機１０の構成例を示している。このテレビ受信機１０は、制御部１０１と、ユーザ操作部１０２を有している。また、テレビ受信機１０は、チューナ１１１と、外部入力インタフェース１１２と、デコードブロック１１３と、画像処理ブロック１１４と、表示パネル１１５を有している。
【００２１】
制御部１０１は、マイクロコンピュータ（マイコン）により構成されている。この制御部１０１は、テレビ受信機１０の各部の動作を制御する。ユーザ操作部１０２は、ユーザインタフェースを構成し、制御部１０１に接続されている。ユーザ操作部１０２は、テレビ受信機１０の図示しない筐体に配置されたキー、釦、ダイアル、あるいはリモートコントローラ等で構成される。
【００２２】
チューナ１１１は、ＢＳ放送、地上波デジタル放送等を受信する。このチューナ１１１には、図示しないアンテナで捕らえられた放送信号が入力される。このチューナ１１１は、放送信号から、ユーザの選局操作に基づいた所定番組のビデオデータストリームを取得する。外部入力インタフェース１１２は、セットトップボックス、ディスクレコーダなどの外部機器、あるいはインターネットなどのネットワークから、ビデオデータストリームを入力するインタフェースである。
【００２３】
デコードブロック１１３は、チューナ１１１で取得されたた、あるいは外部入力インタフェース１１２により入力されたビデオデータストリームに対して、選択的に、ＭＰＥＧ２、ＭＰＥＧ４−ＡＶＣなどのデコード処理を施して、画像データを生成する。画像処理ブロック１１４は、デコードブロック１１３で生成された画像データに対して、画像処理を行う。この画像処理は、例えば、ＩＰ変換処理、ＭＰＥＧのブロックノイズを除去するためのノイズリダクション処理、フレーム数を増加するハイフレームレート処理、画像の鮮鋭度を上げるためのシャープネス処理などである。表示パネル１１５は、画像処理ブロック１１４で処理された後の画像データによる画像を表示する。この表示パネル１１５は、例えば液晶表示パネルにより構成されている。
【００２４】
図１に示すテレビ受信機１０の動作を説明する。チューナ１１１では、ユーザの選局操作に基づいた所定番組のビデオデータストリームが取得され、このビデオデータストリームはデコードブロック１１３に供給される。また、セットトップボックス、ディスクレコーダなどの外部機器、あるいはインターネットなどのネットワークから外部入力インタフェース１１２に入力されたビデオデータストリームは、デコードブロック１１３に供給される。
【００２５】
デコードブロック１１３では、チューナ１１１で取得された画像データ、あるいは外部入力インタフェース１１２に入力されたビデオデータストリームに対して、選択的に、デコード処理が行われて、画像データが生成される。この画像データは、画像処理ブロック１１４に入力画像データＶinとして供給される。画像処理ブロック１１４では、詳細説明は省略するが、画像データに対して、ＩＰ変換処理、シャープネス処理などの種々の画像処理が施される。処理後の画像データは、表示パネル１１５に供給される。そして、表示パネル１１５には、この画像データによる画像が表示される。
【００２６】
［シャープネス処理］
次に、画像処理ブロック１１４における、画像の鮮鋭度を高めるためのシャープネス処理について説明する。画像処理ブロック１１４は、シャープネス処理に関連してシャープネス処理部１２１と、処理強度発生部１２２を有している。処理強度発生部１２２は、入力画像Ｖinに基づいて、画面を複数種類の領域に分離し、各画面領域に対応した処理強度ＰＦを発生する。シャープネス処理部１２１は、入力画像データＶinに対して、分離された画面領域毎に、処理強度発生部１２２で発生された処理強度ＰＦで、シャープネス処理を施す。この実施の形態で、複数種類の領域は、低品位の画像領域、高品位の画像領域、文字領域、画像と文字の混在領域である。
【００２７】
処理強度発生部１２２について説明する。図２は、処理強度発生部１２２の構成例を示している。処理強度発生部１２２は、帯域情報取得部２１０と、領域分離部２２０と、処理強度演算部２３０を有している。帯域情報取得部２１０は、入力画像データＶinに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る。この場合、図３に示すように、例えば、横が１９２０ピクセル、縦が１０８０ピクセルのフルＨＤの画面においては、この画面が２４０×１８０個のブロック（縦８ピクセル×横６ピクセル）に分割される。
【００２８】
帯域情報取得部２１０は、ＢＰＦ（Band Pass filter）演算部２１１、ＢＰＦ積算部２１２、ＨＰＦ（High Pass filter）演算部２１３およびＨＰＦ積算部２１４を有している。ＢＰＦ演算部２１１は、入力画像データＶinに対してバンドパスフィルタ演算を行って画素毎のバンドパス成分を抽出する。ＢＰＦ積算部２１２は、ＢＰＦ演算部２１１で抽出されたバンドパス成分をブロック毎に積算して、各ブロックの第１の帯域情報（バンドパス成分情報）ＢＩ１を得る。
【００２９】
また、ＨＰＦ演算部２１３は、入力画像データＶinに対してハイパスフィルタ演算を行って画素毎のハイパス成分を抽出する。ＨＰＦ積算部２１４は、ＨＰＦ演算部２１３で抽出されたハイパス成分をブロック毎に積算して、各ブロックの第２の帯域情報（ハイパス成分情報）ＢＩ２を得る。
【００３０】
領域分離部２２０は、帯域情報取得部２１０で得られた各ブロックの帯域情報（第１、第２の帯域情報ＢＩ１，ＢＩ２）に基づいて画面を複数種類の領域に分離する。この実施の形態においては、複数種類の領域は、上述したように、低品位の画像領域と、高品位の画像領域と、文字領域と、画像および文字の混在領域とされる。領域分離部２２０は、フレーム差分演算部２２１，２２２、領域判断部２２３および矩形領域抽出部２２４を有している。
【００３１】
フレーム差分演算部２２１は、帯域情報取得部２１０で取得された第１の帯域情報（バンドパス成分情報）ＢＩ１に基づいて、ブロック毎にフレーム差分ＦＤ１を求める。フレーム差分演算部２２２は、帯域情報取得部２１０で取得された第２の帯域情報（ハイパス成分情報）ＢＩ２に基づいて、ブロック毎にフレーム差分ＦＤ２を求める。
【００３２】
なお、フレーム差分演算部２２１，２２２は、第１、第２の帯域情報ＢＩ１，ＢＩ２を利用してフレーム差分ＦＤ１，ＦＤ２を求めている。このようにして求められたフレーム差分ＦＤ１，ＦＤ２を動き領域、静止領域の判断に使用する代わりに、入力画像データＶinに基づいて、ブロック毎に、フレーム差分絶対値和を求めて利用する構成とすることも考えられる。
【００３３】
領域判断部２２３は、帯域情報取得部２１０で取得された第１の帯域情報ＢＩ１および第２の帯域情報ＢＩ２に基づいて、それぞれのブロックが、低品位の画像領域、高品位の画像領域、文字領域、画像と文字の混在領域のいずれに属するかを判断する。領域判断部２２３は、この判断結果を第１のブロック判断結果ＢＪＲ１として出力する。領域判断部２２３は、図４に示すように、第１の帯域情報（ＢＰＦ積算結果）ＢＩ１が予め設定された閾値に対して小であるか大であるか、および第２の帯域情報（ＨＰＦ積算結果）ＢＩ２が予め設定された閾値に対して小であるか大であるかにより、判別を行う。
【００３４】
すなわち、領域判断部２２３は、第１の帯域情報ＢＩ１および第２の帯域情報ＢＩ２のいずれも小さいとき、該当ブロックは低品位の画像領域に属すると判断する。また、領域判断部２２３は、第１の帯域情報ＢＩ１が大きく、第２の帯域情報ＢＩ２が小さいとき、該当ブロックは高品位の画像領域に属すると判断する。また、領域判断部２２３は、第１の帯域情報ＢＩ１が小さく、第２の帯域情報ＢＩ２が大きいとき、該当ブロックは文字領域に属すると判断する。さらに、第１の帯域情報ＢＩ１および第２の帯域情報ＢＩ２のいずれも大きいとき、該当ブロックは高品位の画像および文字の混在領域に属すると判断する。
【００３５】
また、領域判断部２２３は、フレーム差分演算部２２１，２２２で求められたフレーム差分ＦＤ１，ＦＤ２に基づいて、それぞれのブロックが、動き領域に属するか、静止領域に属するかを判断する（図４参照）。領域判断部２２３は、この判断結果を第２のブロック判断結果ＢＪＲ２として出力する。領域判断部２２３は、例えば、フレーム差分ＦＤ１，ＦＤ２のいずれも予め設定された閾値より小さいブロックは静止領域に属すると判断し、その他のブロックは動き領域に属すると判断する。
【００３６】
矩形領域抽出部２２４は、領域判断部２２３から出力される第１、第２のブロック判断結果ＢＪＲ１，ＢＪＲ２に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出し、画面を複数種類の領域に分離する。そして、矩形領域抽出部２２４は、分離された画面領域の情報ＤＡＩを出力する。この実施の形態において、複数の種類は、上述したように、低品位の画像領域、高品位の画像領域、文字領域、画像と文字の混在領域の４種類の領域である。
【００３７】
矩形領域抽出部２２４は、基本的には、第１のブロック判断結果ＢＪＲ１に基づいて、矩形領域を抽出する。図５（ｂ）は、第１のブロック判断結果ＢＪＲ１の一例を示している。この例においては、図面を簡単にするため、低品位の画像領域および高品位の画像領域と判断されたブロックの双方を「１」で表している。また、この例においては、文字領域と判断されたブロックを「０」で表し、画像および文字の混在領域と判断されたブロックを「２」で表している。矩形領域抽出部２２４は、それぞれの領域と判断されたブロックを含むように、それぞれの領域の矩形抽出を行う。
【００３８】
矩形領域抽出部２２４は、第２のブロック判断結果ＢＪＲ２に基づいて、矩形領域抽出の精度を高める。図５（ａ）は、図５（ｂ）に示す第１のブロック判断結果ＢＪＲ１の一例に対応した、第２のブロック判断結果ＢＪＲ２の一例を示している。この例においては、静止領域と判断されたブロックを「０」で表し、動き領域と判断されたブロックを「１」で表している。
【００３９】
例えば、矩形領域抽出部２２４は、画像領域のブロックに囲まれた文字領域のブロック（孤立点）に関し、それが周囲ブロックと同様に動き領域と判断されているときには、画像領域に属するものとの判断変更を行うことで、孤立点を除去する。また、例えば、矩形領域抽出部２２４は、画像領域と、画像および文字の混在領域との矩形境界決定を行う際、画像および文字の混在領域のブロックであっても、動き領域と判断されているときには、当該ブロックを画像領域に属するものとの判断変更を行う。
【００４０】
処理強度演算部２３０は、領域分離部２２０、従って矩形領域抽出部２２４から出力される分離された画面領域の情報ＤＡＩに基づいて、分離された画面領域毎に、処理強度ＰＦを求める。この場合、例えば、文字領域と、画像および文字の混在領域に含まれる各ブロックの処理強度は共通に、例えば、画像領域に含まれる各ブロックの処理強度と比べて低くされる。
【００４１】
この場合、画像領域に含まれる各ブロックの処理強度は共通に、低品位の画像領域の処理強度は高くされ、高品位の画像領域の処理強度は低くされてもよい。この実施の形態においては、画像領域の各ブロックの処理強度に関しては、例えば、図６に示すような特性で、第１の帯域情報（バンドパス成分情報）ＢＩ１および第２の帯域情報（ハイパス成分情報）ＢＩ２の混合比率に対応した処理強度とされる。なお、この場合、文字領域のブロック（孤立点）が画像領域に変更されたブロックに関しては、例えば、周囲のブロックの混合比率の平均が用いられる。
【００４２】
この場合の混合比率は、以下の（１）式で表される。この（１）式において、αはブレンド率を示し、０〜１の間の値をとる。なお、（１）式において、閾値１、閾値２は、任意に設定することができる。
混合比率＝ＢＩ１×α＋ＢＩ２×（１−α） ・・・（１）
【００４３】
図２に示す処理強度発生部１２２の動作を簡単に説明する。入力画像データＶinは、帯域情報取得部２１０のＢＰＦ演算部２１１およびＨＰＦ演算部２１３に供給される。ＢＰＦ演算部２１１では、入力画像データＶinに対してバンドパスフィルタ演算が行われて画素毎のバンドパス成分が抽出される。この画素毎のバンドパス成分はＢＰＦ積算部２１２に供給される。ＢＰＦ積算部２１２では、バンドパス成分がブロック毎に積算されて、各ブロックの第１の帯域情報（バンドパス成分情報）ＢＩ１が得られる。
【００４４】
また、ＨＰＦ演算部２１３では、入力画像データＶinに対してハイパスフィルタ演算が行われて画素毎のハイパス成分が抽出される。この画素毎のハイパス成分はＨＰＦ積算部２１４に供給される。ＨＰＦ積算部２１４では、ハイパス成分がブロック毎に積算されて、各ブロックの第２の帯域情報（ハイパス成分情報）ＢＩ２が得られる。
【００４５】
帯域情報取得部２１０のＢＰＦ積算部２１２で得られた第１の帯域情報（バンドパス成分情報）ＢＩ１は、領域分離部２２０の領域判断部２２３およびフレーム差分演算部２２１に供給される。また、帯域情報取得部２１０のＨＰＦ積算部２１４で得られた第２の帯域情報（ハイパス成分情報）ＢＩ２は、領域分離部２２０の領域判断部２２３およびフレーム差分演算部２２２に供給される。
【００４６】
フレーム差分演算部２２１では、第１の帯域情報（バンドパス成分情報）ＢＩ１に基づいて、ブロック毎にフレーム差分ＦＤ１が求められる。また、フレーム差分演算部２２２では、第２の帯域情報（ハイパス成分情報）ＢＩ２に基づいて、ブロック毎にフレーム差分ＦＤ２が求められる。フレーム差分ＦＤ１，ＦＤ２は、領域判断部２２３に供給される。
【００４７】
領域判断部２２３では、第１の帯域情報ＢＩ１および第２の帯域情報ＢＩ２に基づいて、それぞれのブロックが、低品位の画像領域、高品位の画像領域、文字領域、画像と文字の混在領域のいずれに属するかが判断される。領域判断部２２３からは、この判断結果が第１のブロック判断結果ＢＪＲ１として出力される。また、領域判断部２２３では、フレーム差分ＦＤ１，ＦＤ２に基づいて、それぞれのブロックが、動き領域に属するか、静止領域に属するかが判断される。この領域判断部２２３からは、この判断結果が第２のブロック判断結果ＢＪＲ２として出力される。
【００４８】
領域判断部２２３から出力される第１、第２のブロック判断結果ＢＪＲ１，ＢＪＲ２は、矩形領域抽出部２２４に供給される。矩形領域抽出部２２４では、第１、第２のブロック判断結果ＢＪＲ１，ＢＪＲ２に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域が抽出され、画面が複数種類の領域に分離される。矩形領域抽出部２２４からは、この分離された画面領域の情報ＤＡＩが出力される。
【００４９】
矩形領域抽出部２２４から出力される分離された画面領域の情報ＤＡＩは、処理強度演算部２３０に供給される。この処理強度演算部２３０では、情報ＤＡＩに基づいて、分離された画面領域毎に、処理強度ＰＦが求められる。この処理強度ＰＦは、シャープネス処理部１２１（図１参照）に供給される。シャープネス処理部１２１では、入力画像データに対して、領域分離部２２０で分離された画面領域毎に、処理強度演算部２３０で求められた処理強度ＰＦで、シャープネス処理が行われる。
【００５０】
例えば、シャープネス処理部１２１では、文字領域と、画像および文字の混在領域に含まれる各ブロックのシャープネス処理の強度は共通とされ、画像領域に含まれる各ブロックのシャープネス処理の強度と比べて低くされる。また、例えば、シャープネス処理部１２１では、画像領域の各ブロックの処理強度に関しては、第１の帯域情報（バンドパス成分情報）ＢＩ１および第２の帯域情報（ハイパス成分情報）ＢＩ２の混合比率に対応した処理強度とされる。この場合、低品位の画像領域では処理強度は高くされ、高品位の画像領域では処理強度は低くされる。
【００５１】
上述したように、図１に示すテレビ受信機１０において、画像処理ブロック１１４のシャープネス処理では、ブロック毎の帯域情報に基づいて画面を複数種類の領域に分離し、分離された画面領域毎に処理強度を求めてシャープネス処理を行うものである。そのため、画像と文字とが混在するコンテンツの画像データに対する画像処理を良好に行うことができる。
【００５２】
また、図１に示すテレビ受信機１０において、画像処理ブロック１１４のシャープネス処理では、各ブロックの帯域情報に基づいてそれぞれのブロックが複数種類の領域のいずれに属するかを判断するものである。そして、その判断結果に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出して、画面を複数種類の領域に分離するものである。そのため、例えば、画像領域に属すると判断されたブロックに囲まれた文字領域に属すると判断されたブロック、つまり孤立点を、矩形領域を抽出する際に排除でき、ブロック間のつなぎ目が目立つことを防止できる。
【００５３】
また、図１に示すテレビ受信機１０において、画像処理ブロック１１４のシャープネス処理では、ブロック毎に、第１の帯域情報（バンドパス成分情報）および第２の帯域情報（ハイパス成分情報）の混合比率に対応した処理強度を求めるものである。そのため、画像領域に関しては、ブロック毎に、画像品位に応じた適切な処理強度を求めることででき、画像領域におけるシャープネス処理を良好に行うことができる。
【００５４】
また、図１に示すテレビ受信機１０において、画像処理ブロック１１４のシャープネス処理では、各ブロックが動き領域に含まれるか静止領域に含まれるかが判断される。そして、各ブロックの複数種類の領域のいずれに属するかの判断結果の他に、さらに各ブロックの動き／静止の判断結果が用いられて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出するものである。そのため、矩形抽出の精度を高めることができる。
【００５５】
また、図１に示すテレビ受信機１０において、画像処理ブロック１１４のシャープネス処理では、帯域情報取得部２１０で取得されるブロック毎の帯域情報のフレーム差分に基づいて、各ブロックが動き領域に含まれるか静止領域に含まれるかを判断するものである。そのため、判断処理のための演算負荷を抑えることが可能となる。
【００５６】
＜２．変形例＞
なお、上述実施の形態においては、入力画像データに基づいてブロック毎の処理強度を求めてシャープネス処理を行う例を示した。本技術が適用される画像処理はシャープネス処理に限定されるものではなく、その他の同様の処理、つまり画像領域と文字領域とで異なる処理強度で処理を行うべき画像処理に適用できる。例えば、シャープネス処理の他に、ＭＰＥＧのブロックノイズを除去するためのノイズリダクション処理などが考えられる。
【００５７】
また、本技術は、以下のような構成を取ることもできる。
（１）入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る帯域情報取得部と、
上記帯域情報取得部で得られた上記各ブロックの帯域情報に基づいて画面を複数種類の領域に分離する領域分離部と、
上記領域分離部で分離された画面領域毎に処理強度を求める処理強度演算部と、
上記入力画像データに対して、上記領域分離部で分離された画面領域毎に、上記処理強度演算部で求められた処理強度で所定の画像処理を行う画像処理部とを備える
画像処理装置。
（２）上記帯域情報取得部は、
上記入力画像データに対してバンドパスフィルタ演算を行って得られた画素毎のバンドパス成分をブロック毎に積算することにより上記各ブロックの第１の帯域情報を得、
上記入力画像データに対してハイパスフィルタ演算を行って得られた画素毎のハイパス成分をブロック毎に積算することにより上記各ブロックの第２の帯域情報を得る
前記（１）に記載の画像処理装置。
（３）上記領域分離部は、
上記各ブロックの帯域情報に基づいてそれぞれのブロックが上記複数種類の領域のいずれに属するかを判断し、さらに、該判断結果に基づいて、上記複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出して、画面を上記複数種類の領域に分離する
前記（１）または（２）に記載の画像処理装置。
（４）上記複数種類の領域は、低品位の画像領域と、高品位の画像領域と、文字領域と、画像および文字の混在領域である
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記帯域情報取得部は、
上記入力画像データに対してバンドパスフィルタ演算を行って得られた画素毎のバンドパス成分をブロック毎に積算することにより上記各ブロックの第１の帯域情報を得、
上記入力画像データに対してハイパスフィルタ演算を行って得られた画素毎のハイパス成分をブロック毎に積算することにより上記各ブロックの第２の帯域情報を得、
上記処理強度演算部は、
上記低品位の画像領域および上記高品位の画像領域に関しては、ブロック毎に、上記第１の帯域情報および上記第２の帯域情報の混合比率に対応した処理強度を求める
前記（４）に記載の画像処理装置。
（６）上記入力画像データに基づいて、上記各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する動き／静止判断部をさらに備え、
上記領域分離部は、上記各ブロックの帯域情報に基づいてそれぞれのブロックが上記複数種類の領域のいずれに属するかの判断結果と共に上記動き／静止判断部の判断結果に基づいて、上記複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出する
前記（３）に記載の画像処理装置。
（７）上記動き／静止判断部は、
上記帯域情報取得部で取得されるブロック毎の帯域情報のフレーム差分に基づいて、上記各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する
前記（６）に記載の画像処理装置。
（８）上記所定の画像処理は、シャープネス処理である
前記（２）から（７）のいずれかに記載の画像処理装置。
（９）入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る帯域情報取得ステップと、
上記帯域情報取得ステップで得られた上記各ブロックの帯域情報に基づいて画面を複数種類の領域に分離する領域分離ステップと、
上記領域分離ステップで分離された画面領域毎に処理強度を求める処理強度演算ステップと、
上記入力画像データに対して、上記領域分離ステップで分離された画面領域毎に、上記処理強度演算ステップで求められた処理強度で所定の画像処理を行う画像処理ステップとを備える
画像処理方法。
【符号の説明】
【００５８】
１０・・・テレビ受信機
１０１・・・制御部
１０２・・・ユーザ操作部
１１１・・・チューナ
１１２・・・外部入力インタフェース
１１３・・・デコーダブロック
１１４・・・画像処理ブロック
１１５・・・表示パネル
１２１・・・シャープネス処理部
１２２・・・処理強度発生部
２１０・・・帯域情報取得部
２１１・・・ＢＰＦ演算部
２１２・・・ＢＰＦ積算部
２１３・・・ＨＰＦ演算部
２１４・・・ＨＰＦ積算部
２２０・・・領域分離部
２２１，２２２・・・フレーム差分演算部
２２３・・・領域判断部
２２４・・・矩形領域抽出部
２３０・・・処理強度演算部
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関する。特に、本技術は、文字が含まれる可能性がある画像データの処理を行う画像処理装置等に関する。
【背景技術】
【０００２】
従来、例えば、テレビ受信機において、画像の鮮鋭度を高めるために画像データに対してシャープネス処理を行うことが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２７８３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、上述のシャープネス処理に関して、フレーム単位で均一な処理が行われていた。画像と文字とが混在するコンテンツの画像データの場合に均一な処理を行うと、画像の鮮鋭度は高まるが、文字の品位が低下する。このような問題は、その他の同様の画像処理、例えば、画像と文字とが混在するコンテンツの画像データにブロックノイズを除去するためにノイズリダクション処理を行う場合にも生じる。このノイズリダクション処理は、ブロックノイズを除去するために画像をぼかす処理であり、文字の品位が低下する。
【０００５】
本技術の目的は、画像と文字とが混在するコンテンツの画像データに対する画像処理を良好に行うことにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る帯域情報取得部と、
上記帯域情報取得部で得られた上記各ブロックの帯域情報に基づいて画面を複数種類の領域に分離する領域分離部と、
上記領域分離部で分離された画面領域毎に処理強度を求める処理強度演算部と、
上記入力画像データに対して、上記領域分離部で分離された画面領域毎に、上記処理強度演算部で求められた処理強度で所定の画像処理を行う画像処理部とを備える
画像処理装置にある。
【０００７】
本技術において、帯域情報取得部により、入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報が得られる。例えば、帯域情報取得部は、入力画像データに対してバンドパスフィルタ演算を行って得られた画素毎のバンドバス成分をブロック毎に積算することにより各ブロックの第１の帯域情報（バンドパス成分情報）を得、入力画像データに対してハイパスフィルタ演算を行って得られた画素毎のハイパス成分をブロック毎に積算することにより各ブロックの第２の帯域情報（ハイパス成分情報）を得る、ようにされる。
【０００８】
領域分離部により、帯域情報取得部で得られた各ブロックの帯域情報に基づいて、画面が複数種類の領域に分離される。複数種類の領域は、例えば、低品位の画像領域と、高品位の画像領域と、文字領域と、画像および文字の混在領域である。例えば、領域分離部は、各ブロックの帯域情報に基づいてそれぞれのブロックが複数種類の領域のいずれに属するかを判断し、さらに、この判断結果に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出して、画面を複数種類の領域に分離する、ようにされる。
【０００９】
処理強度演算部により、領域分離部で分離された画面領域毎に処理強度が求められる。例えば、画面領域の種類毎に固定の処理強度が求められる。この場合、例えば、低品位の画像領域の処理強度は高くされ、その他の画像領域の処理強度は低くされる。
【００１０】
画像処理部により、入力画像データに対して、領域分離部で分離された画面領域毎に、処理強度演算部で求められた処理強度で所定の画像処理が行われる。所定の画像処理は、例えば画像の鮮鋭度を高めるためのシャープネス処理、ＭＰＥＧのブロックノイズを除去するためのノイズリダクション処理などである。
【００１１】
このように本技術においては、ブロック毎の帯域情報に基づいて画面を複数種類の領域に分離し、分離された画面領域毎に処理強度を求めて画像処理を行うものである。そのため、画像と文字とが混在するコンテンツの画像データに対する画像処理を良好に行うことができる。
【００１２】
また、本技術においては、各ブロックの帯域情報に基づいてそれぞれのブロックが複数種類の領域のいずれに属するかを判断し、その判断結果に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出して、画面を複数種類の領域に分離するものである。そのため、例えば、画像領域に属すると判断されたブロックに囲まれた文字領域に属すると判断されたブロック、つまり孤立点を、矩形領域を抽出する際に排除でき、ブロック間のつなぎ目が目立つことを防止できる。
【００１３】
なお、本技術において、例えば、処理強度演算部は、低品位の画像領域および高品位の画像領域に関しては、ブロック毎に、上述の第１の帯域情報および第２の帯域情報の混合比率に対応した処理強度を求める、ようにされてもよい。これにより、画像領域に関しては、ブロック毎に、画像品位に応じた適切な処理強度を求めることででき、画像領域における画像処理を良好に行うことができる。
【００１４】
また、本技術において、例えば、入力画像データに基づいて、各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する動き／静止判断部をさらに備え、領域分離部は、各ブロックの帯域情報に基づいてそれぞれのブロックが複数種類の領域のいずれに属するかの判断結果と共に動き／静止判断部の判断結果に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出する、ようにされてもよい。
【００１５】
画像領域は動きがあることが多く、文字領域は動きがないことが多い。各ブロックが動き領域に含まれるか静止領域に含まれるかの判断結果をさらに用いることで、例えば、画像領域に属すると判断されたブロックに囲まれた文字領域に属すると判断されたブロック、つまり孤立点に関し、画像領域に属するものとの判断変更をより適切に行うことが可能となる。また、各ブロックが動き領域に含まれるか静止領域に含まれるかの判断結果をさらに用いることで、画像領域と、画像および文字の混在領域との矩形境界の決定をより適切に行うことが可能となる。つまり、各ブロックが動き領域に含まれるか静止領域に含まれるかの判断結果をさらに用いることで、矩形抽出の精度を高めることが可能となる。
【００１６】
また、本技術において、例えば、動き／静止判断部は、帯域情報取得部で取得されるブロック毎の帯域情報のフレーム差分に基づいて、各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する、ようにされてもよい。これにより、判断処理のための演算負荷を抑えることが可能となる。
【発明の効果】
【００１７】
本技術によれば、画像と文字とが混在するコンテンツの画像データに対する画像処理を良好に行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本技術の実施の形態としてのテレビ受信機の構成例を示すブロック図である。
【図２】テレビ受信機を構成する画像処理ブロック内の処理強度発生部の構成例を示すブロック図である。
【図３】画面の分割例を説明するための図である。
【図４】第１の帯域情報（バンドパス成分情報）、第２の帯域情報（ハイパス成分情報）による領域判断を説明するための図である。
【図５】低品位の画像領域と、高品位の画像領域と、文字領域と、画像および文字の混在領域のいずれに属するかを判断した第１のブロック判断結果と、動き領域、静止領域のいずれに属するかを判断した第２のブロック判断結果の一例を示す図である。
【図６】画像領域の各ブロックの処理強度に関して、第１の帯域情報（バンドパス成分情報）および第２の帯域情報（ハイパス成分情報）の混合比率に対応した処理強度とすることを説明するための図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２０】
＜１．実施の形態＞
［テレビ受信機の構成例］
図１は、実施の形態としてのテレビ受信機１０の構成例を示している。このテレビ受信機１０は、制御部１０１と、ユーザ操作部１０２を有している。また、テレビ受信機１０は、チューナ１１１と、外部入力インタフェース１１２と、デコードブロック１１３と、画像処理ブロック１１４と、表示パネル１１５を有している。
【００２１】
制御部１０１は、マイクロコンピュータ（マイコン）により構成されている。この制御部１０１は、テレビ受信機１０の各部の動作を制御する。ユーザ操作部１０２は、ユーザインタフェースを構成し、制御部１０１に接続されている。ユーザ操作部１０２は、テレビ受信機１０の図示しない筐体に配置されたキー、釦、ダイアル、あるいはリモートコントローラ等で構成される。
【００２２】
チューナ１１１は、ＢＳ放送、地上波デジタル放送等を受信する。このチューナ１１１には、図示しないアンテナで捕らえられた放送信号が入力される。このチューナ１１１は、放送信号から、ユーザの選局操作に基づいた所定番組のビデオデータストリームを取得する。外部入力インタフェース１１２は、セットトップボックス、ディスクレコーダなどの外部機器、あるいはインターネットなどのネットワークから、ビデオデータストリームを入力するインタフェースである。
【００２３】
デコードブロック１１３は、チューナ１１１で取得されたた、あるいは外部入力インタフェース１１２により入力されたビデオデータストリームに対して、選択的に、ＭＰＥＧ２、ＭＰＥＧ４−ＡＶＣなどのデコード処理を施して、画像データを生成する。画像処理ブロック１１４は、デコードブロック１１３で生成された画像データに対して、画像処理を行う。この画像処理は、例えば、ＩＰ変換処理、ＭＰＥＧのブロックノイズを除去するためのノイズリダクション処理、フレーム数を増加するハイフレームレート処理、画像の鮮鋭度を上げるためのシャープネス処理などである。表示パネル１１５は、画像処理ブロック１１４で処理された後の画像データによる画像を表示する。この表示パネル１１５は、例えば液晶表示パネルにより構成されている。
【００２４】
図１に示すテレビ受信機１０の動作を説明する。チューナ１１１では、ユーザの選局操作に基づいた所定番組のビデオデータストリームが取得され、このビデオデータストリームはデコードブロック１１３に供給される。また、セットトップボックス、ディスクレコーダなどの外部機器、あるいはインターネットなどのネットワークから外部入力インタフェース１１２に入力されたビデオデータストリームは、デコードブロック１１３に供給される。
【００２５】
デコードブロック１１３では、チューナ１１１で取得された画像データ、あるいは外部入力インタフェース１１２に入力されたビデオデータストリームに対して、選択的に、デコード処理が行われて、画像データが生成される。この画像データは、画像処理ブロック１１４に入力画像データＶinとして供給される。画像処理ブロック１１４では、詳細説明は省略するが、画像データに対して、ＩＰ変換処理、シャープネス処理などの種々の画像処理が施される。処理後の画像データは、表示パネル１１５に供給される。そして、表示パネル１１５には、この画像データによる画像が表示される。
【００２６】
［シャープネス処理］
次に、画像処理ブロック１１４における、画像の鮮鋭度を高めるためのシャープネス処理について説明する。画像処理ブロック１１４は、シャープネス処理に関連してシャープネス処理部１２１と、処理強度発生部１２２を有している。処理強度発生部１２２は、入力画像Ｖinに基づいて、画面を複数種類の領域に分離し、各画面領域に対応した処理強度ＰＦを発生する。シャープネス処理部１２１は、入力画像データＶinに対して、分離された画面領域毎に、処理強度発生部１２２で発生された処理強度ＰＦで、シャープネス処理を施す。この実施の形態で、複数種類の領域は、低品位の画像領域、高品位の画像領域、文字領域、画像と文字の混在領域である。
【００２７】
処理強度発生部１２２について説明する。図２は、処理強度発生部１２２の構成例を示している。処理強度発生部１２２は、帯域情報取得部２１０と、領域分離部２２０と、処理強度演算部２３０を有している。帯域情報取得部２１０は、入力画像データＶinに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る。この場合、図３に示すように、例えば、横が１９２０ピクセル、縦が１０８０ピクセルのフルＨＤの画面においては、この画面が２４０×１８０個のブロック（縦８ピクセル×横６ピクセル）に分割される。
【００２８】
帯域情報取得部２１０は、ＢＰＦ（Band Pass filter）演算部２１１、ＢＰＦ積算部２１２、ＨＰＦ（High Pass filter）演算部２１３およびＨＰＦ積算部２１４を有している。ＢＰＦ演算部２１１は、入力画像データＶinに対してバンドパスフィルタ演算を行って画素毎のバンドパス成分を抽出する。ＢＰＦ積算部２１２は、ＢＰＦ演算部２１１で抽出されたバンドパス成分をブロック毎に積算して、各ブロックの第１の帯域情報（バンドパス成分情報）ＢＩ１を得る。
【００２９】
また、ＨＰＦ演算部２１３は、入力画像データＶinに対してハイパスフィルタ演算を行って画素毎のハイパス成分を抽出する。ＨＰＦ積算部２１４は、ＨＰＦ演算部２１３で抽出されたハイパス成分をブロック毎に積算して、各ブロックの第２の帯域情報（ハイパス成分情報）ＢＩ２を得る。
【００３０】
領域分離部２２０は、帯域情報取得部２１０で得られた各ブロックの帯域情報（第１、第２の帯域情報ＢＩ１，ＢＩ２）に基づいて画面を複数種類の領域に分離する。この実施の形態においては、複数種類の領域は、上述したように、低品位の画像領域と、高品位の画像領域と、文字領域と、画像および文字の混在領域とされる。領域分離部２２０は、フレーム差分演算部２２１，２２２、領域判断部２２３および矩形領域抽出部２２４を有している。
【００３１】
フレーム差分演算部２２１は、帯域情報取得部２１０で取得された第１の帯域情報（バンドパス成分情報）ＢＩ１に基づいて、ブロック毎にフレーム差分ＦＤ１を求める。フレーム差分演算部２２２は、帯域情報取得部２１０で取得された第２の帯域情報（ハイパス成分情報）ＢＩ２に基づいて、ブロック毎にフレーム差分ＦＤ２を求める。
【００３２】
なお、フレーム差分演算部２２１，２２２は、第１、第２の帯域情報ＢＩ１，ＢＩ２を利用してフレーム差分ＦＤ１，ＦＤ２を求めている。このようにして求められたフレーム差分ＦＤ１，ＦＤ２を動き領域、静止領域の判断に使用する代わりに、入力画像データＶinに基づいて、ブロック毎に、フレーム差分絶対値和を求めて利用する構成とすることも考えられる。
【００３３】
領域判断部２２３は、帯域情報取得部２１０で取得された第１の帯域情報ＢＩ１および第２の帯域情報ＢＩ２に基づいて、それぞれのブロックが、低品位の画像領域、高品位の画像領域、文字領域、画像と文字の混在領域のいずれに属するかを判断する。領域判断部２２３は、この判断結果を第１のブロック判断結果ＢＪＲ１として出力する。領域判断部２２３は、図４に示すように、第１の帯域情報（ＢＰＦ積算結果）ＢＩ１が予め設定された閾値に対して小であるか大であるか、および第２の帯域情報（ＨＰＦ積算結果）ＢＩ２が予め設定された閾値に対して小であるか大であるかにより、判別を行う。
【００３４】
すなわち、領域判断部２２３は、第１の帯域情報ＢＩ１および第２の帯域情報ＢＩ２のいずれも小さいとき、該当ブロックは低品位の画像領域に属すると判断する。また、領域判断部２２３は、第１の帯域情報ＢＩ１が大きく、第２の帯域情報ＢＩ２が小さいとき、該当ブロックは高品位の画像領域に属すると判断する。また、領域判断部２２３は、第１の帯域情報ＢＩ１が小さく、第２の帯域情報ＢＩ２が大きいとき、該当ブロックは文字領域に属すると判断する。さらに、第１の帯域情報ＢＩ１および第２の帯域情報ＢＩ２のいずれも大きいとき、該当ブロックは高品位の画像および文字の混在領域に属すると判断する。
【００３５】
また、領域判断部２２３は、フレーム差分演算部２２１，２２２で求められたフレーム差分ＦＤ１，ＦＤ２に基づいて、それぞれのブロックが、動き領域に属するか、静止領域に属するかを判断する（図４参照）。領域判断部２２３は、この判断結果を第２のブロック判断結果ＢＪＲ２として出力する。領域判断部２２３は、例えば、フレーム差分ＦＤ１，ＦＤ２のいずれも予め設定された閾値より小さいブロックは静止領域に属すると判断し、その他のブロックは動き領域に属すると判断する。
【００３６】
矩形領域抽出部２２４は、領域判断部２２３から出力される第１、第２のブロック判断結果ＢＪＲ１，ＢＪＲ２に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出し、画面を複数種類の領域に分離する。そして、矩形領域抽出部２２４は、分離された画面領域の情報ＤＡＩを出力する。この実施の形態において、複数の種類は、上述したように、低品位の画像領域、高品位の画像領域、文字領域、画像と文字の混在領域の４種類の領域である。
【００３７】
矩形領域抽出部２２４は、基本的には、第１のブロック判断結果ＢＪＲ１に基づいて、矩形領域を抽出する。図５（ｂ）は、第１のブロック判断結果ＢＪＲ１の一例を示している。この例においては、図面を簡単にするため、低品位の画像領域および高品位の画像領域と判断されたブロックの双方を「１」で表している。また、この例においては、文字領域と判断されたブロックを「０」で表し、画像および文字の混在領域と判断されたブロックを「２」で表している。矩形領域抽出部２２４は、それぞれの領域と判断されたブロックを含むように、それぞれの領域の矩形抽出を行う。
【００３８】
矩形領域抽出部２２４は、第２のブロック判断結果ＢＪＲ２に基づいて、矩形領域抽出の精度を高める。図５（ａ）は、図５（ｂ）に示す第１のブロック判断結果ＢＪＲ１の一例に対応した、第２のブロック判断結果ＢＪＲ２の一例を示している。この例においては、静止領域と判断されたブロックを「０」で表し、動き領域と判断されたブロックを「１」で表している。
【００３９】
例えば、矩形領域抽出部２２４は、画像領域のブロックに囲まれた文字領域のブロック（孤立点）に関し、それが周囲ブロックと同様に動き領域と判断されているときには、画像領域に属するものとの判断変更を行うことで、孤立点を除去する。また、例えば、矩形領域抽出部２２４は、画像領域と、画像および文字の混在領域との矩形境界決定を行う際、画像および文字の混在領域のブロックであっても、動き領域と判断されているときには、当該ブロックを画像領域に属するものとの判断変更を行う。
【００４０】
処理強度演算部２３０は、領域分離部２２０、従って矩形領域抽出部２２４から出力される分離された画面領域の情報ＤＡＩに基づいて、分離された画面領域毎に、処理強度ＰＦを求める。この場合、例えば、文字領域と、画像および文字の混在領域に含まれる各ブロックの処理強度は共通に、例えば、画像領域に含まれる各ブロックの処理強度と比べて低くされる。
【００４１】
この場合、画像領域に含まれる各ブロックの処理強度は共通に、低品位の画像領域の処理強度は高くされ、高品位の画像領域の処理強度は低くされてもよい。この実施の形態においては、画像領域の各ブロックの処理強度に関しては、例えば、図６に示すような特性で、第１の帯域情報（バンドパス成分情報）ＢＩ１および第２の帯域情報（ハイパス成分情報）ＢＩ２の混合比率に対応した処理強度とされる。なお、この場合、文字領域のブロック（孤立点）が画像領域に変更されたブロックに関しては、例えば、周囲のブロックの混合比率の平均が用いられる。
【００４２】
この場合の混合比率は、以下の（１）式で表される。この（１）式において、αはブレンド率を示し、０〜１の間の値をとる。なお、（１）式において、閾値１、閾値２は、任意に設定することができる。
混合比率＝ＢＩ１×α＋ＢＩ２×（１−α） ・・・（１）
【００４３】
図２に示す処理強度発生部１２２の動作を簡単に説明する。入力画像データＶinは、帯域情報取得部２１０のＢＰＦ演算部２１１およびＨＰＦ演算部２１３に供給される。ＢＰＦ演算部２１１では、入力画像データＶinに対してバンドパスフィルタ演算が行われて画素毎のバンドパス成分が抽出される。この画素毎のバンドパス成分はＢＰＦ積算部２１２に供給される。ＢＰＦ積算部２１２では、バンドパス成分がブロック毎に積算されて、各ブロックの第１の帯域情報（バンドパス成分情報）ＢＩ１が得られる。
【００４４】
また、ＨＰＦ演算部２１３では、入力画像データＶinに対してハイパスフィルタ演算が行われて画素毎のハイパス成分が抽出される。この画素毎のハイパス成分はＨＰＦ積算部２１４に供給される。ＨＰＦ積算部２１４では、ハイパス成分がブロック毎に積算されて、各ブロックの第２の帯域情報（ハイパス成分情報）ＢＩ２が得られる。
【００４５】
帯域情報取得部２１０のＢＰＦ積算部２１２で得られた第１の帯域情報（バンドパス成分情報）ＢＩ１は、領域分離部２２０の領域判断部２２３およびフレーム差分演算部２２１に供給される。また、帯域情報取得部２１０のＨＰＦ積算部２１４で得られた第２の帯域情報（ハイパス成分情報）ＢＩ２は、領域分離部２２０の領域判断部２２３およびフレーム差分演算部２２２に供給される。
【００４６】
フレーム差分演算部２２１では、第１の帯域情報（バンドパス成分情報）ＢＩ１に基づいて、ブロック毎にフレーム差分ＦＤ１が求められる。また、フレーム差分演算部２２２では、第２の帯域情報（ハイパス成分情報）ＢＩ２に基づいて、ブロック毎にフレーム差分ＦＤ２が求められる。フレーム差分ＦＤ１，ＦＤ２は、領域判断部２２３に供給される。
【００４７】
領域判断部２２３では、第１の帯域情報ＢＩ１および第２の帯域情報ＢＩ２に基づいて、それぞれのブロックが、低品位の画像領域、高品位の画像領域、文字領域、画像と文字の混在領域のいずれに属するかが判断される。領域判断部２２３からは、この判断結果が第１のブロック判断結果ＢＪＲ１として出力される。また、領域判断部２２３では、フレーム差分ＦＤ１，ＦＤ２に基づいて、それぞれのブロックが、動き領域に属するか、静止領域に属するかが判断される。この領域判断部２２３からは、この判断結果が第２のブロック判断結果ＢＪＲ２として出力される。
【００４８】
領域判断部２２３から出力される第１、第２のブロック判断結果ＢＪＲ１，ＢＪＲ２は、矩形領域抽出部２２４に供給される。矩形領域抽出部２２４では、第１、第２のブロック判断結果ＢＪＲ１，ＢＪＲ２に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域が抽出され、画面が複数種類の領域に分離される。矩形領域抽出部２２４からは、この分離された画面領域の情報ＤＡＩが出力される。
【００４９】
矩形領域抽出部２２４から出力される分離された画面領域の情報ＤＡＩは、処理強度演算部２３０に供給される。この処理強度演算部２３０では、情報ＤＡＩに基づいて、分離された画面領域毎に、処理強度ＰＦが求められる。この処理強度ＰＦは、シャープネス処理部１２１（図１参照）に供給される。シャープネス処理部１２１では、入力画像データに対して、領域分離部２２０で分離された画面領域毎に、処理強度演算部２３０で求められた処理強度ＰＦで、シャープネス処理が行われる。
【００５０】
例えば、シャープネス処理部１２１では、文字領域と、画像および文字の混在領域に含まれる各ブロックのシャープネス処理の強度は共通とされ、画像領域に含まれる各ブロックのシャープネス処理の強度と比べて低くされる。また、例えば、シャープネス処理部１２１では、画像領域の各ブロックの処理強度に関しては、第１の帯域情報（バンドパス成分情報）ＢＩ１および第２の帯域情報（ハイパス成分情報）ＢＩ２の混合比率に対応した処理強度とされる。この場合、低品位の画像領域では処理強度は高くされ、高品位の画像領域では処理強度は低くされる。
【００５１】
上述したように、図１に示すテレビ受信機１０において、画像処理ブロック１１４のシャープネス処理では、ブロック毎の帯域情報に基づいて画面を複数種類の領域に分離し、分離された画面領域毎に処理強度を求めてシャープネス処理を行うものである。そのため、画像と文字とが混在するコンテンツの画像データに対する画像処理を良好に行うことができる。
【００５２】
また、図１に示すテレビ受信機１０において、画像処理ブロック１１４のシャープネス処理では、各ブロックの帯域情報に基づいてそれぞれのブロックが複数種類の領域のいずれに属するかを判断するものである。そして、その判断結果に基づいて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出して、画面を複数種類の領域に分離するものである。そのため、例えば、画像領域に属すると判断されたブロックに囲まれた文字領域に属すると判断されたブロック、つまり孤立点を、矩形領域を抽出する際に排除でき、ブロック間のつなぎ目が目立つことを防止できる。
【００５３】
また、図１に示すテレビ受信機１０において、画像処理ブロック１１４のシャープネス処理では、ブロック毎に、第１の帯域情報（バンドパス成分情報）および第２の帯域情報（ハイパス成分情報）の混合比率に対応した処理強度を求めるものである。そのため、画像領域に関しては、ブロック毎に、画像品位に応じた適切な処理強度を求めることででき、画像領域におけるシャープネス処理を良好に行うことができる。
【００５４】
また、図１に示すテレビ受信機１０において、画像処理ブロック１１４のシャープネス処理では、各ブロックが動き領域に含まれるか静止領域に含まれるかが判断される。そして、各ブロックの複数種類の領域のいずれに属するかの判断結果の他に、さらに各ブロックの動き／静止の判断結果が用いられて、複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出するものである。そのため、矩形抽出の精度を高めることができる。
【００５５】
また、図１に示すテレビ受信機１０において、画像処理ブロック１１４のシャープネス処理では、帯域情報取得部２１０で取得されるブロック毎の帯域情報のフレーム差分に基づいて、各ブロックが動き領域に含まれるか静止領域に含まれるかを判断するものである。そのため、判断処理のための演算負荷を抑えることが可能となる。
【００５６】
＜２．変形例＞
なお、上述実施の形態においては、入力画像データに基づいてブロック毎の処理強度を求めてシャープネス処理を行う例を示した。本技術が適用される画像処理はシャープネス処理に限定されるものではなく、その他の同様の処理、つまり画像領域と文字領域とで異なる処理強度で処理を行うべき画像処理に適用できる。例えば、シャープネス処理の他に、ＭＰＥＧのブロックノイズを除去するためのノイズリダクション処理などが考えられる。
【００５７】
また、本技術は、以下のような構成を取ることもできる。
（１）入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る帯域情報取得部と、
上記帯域情報取得部で得られた上記各ブロックの帯域情報に基づいて画面を複数種類の領域に分離する領域分離部と、
上記領域分離部で分離された画面領域毎に処理強度を求める処理強度演算部と、
上記入力画像データに対して、上記領域分離部で分離された画面領域毎に、上記処理強度演算部で求められた処理強度で所定の画像処理を行う画像処理部とを備える
画像処理装置。
（２）上記帯域情報取得部は、
上記入力画像データに対してバンドパスフィルタ演算を行って得られた画素毎のバンドパス成分をブロック毎に積算することにより上記各ブロックの第１の帯域情報を得、
上記入力画像データに対してハイパスフィルタ演算を行って得られた画素毎のハイパス成分をブロック毎に積算することにより上記各ブロックの第２の帯域情報を得る
前記（１）に記載の画像処理装置。
（３）上記領域分離部は、
上記各ブロックの帯域情報に基づいてそれぞれのブロックが上記複数種類の領域のいずれに属するかを判断し、さらに、該判断結果に基づいて、上記複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出して、画面を上記複数種類の領域に分離する
前記（１）または（２）に記載の画像処理装置。
（４）上記複数種類の領域は、低品位の画像領域と、高品位の画像領域と、文字領域と、画像および文字の混在領域である
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記帯域情報取得部は、
上記入力画像データに対してバンドパスフィルタ演算を行って得られた画素毎のバンドパス成分をブロック毎に積算することにより上記各ブロックの第１の帯域情報を得、
上記入力画像データに対してハイパスフィルタ演算を行って得られた画素毎のハイパス成分をブロック毎に積算することにより上記各ブロックの第２の帯域情報を得、
上記処理強度演算部は、
上記低品位の画像領域および上記高品位の画像領域に関しては、ブロック毎に、上記第１の帯域情報および上記第２の帯域情報の混合比率に対応した処理強度を求める
前記（４）に記載の画像処理装置。
（６）上記入力画像データに基づいて、上記各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する動き／静止判断部をさらに備え、
上記領域分離部は、上記各ブロックの帯域情報に基づいてそれぞれのブロックが上記複数種類の領域のいずれに属するかの判断結果と共に上記動き／静止判断部の判断結果に基づいて、上記複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出する
前記（３）に記載の画像処理装置。
（７）上記動き／静止判断部は、
上記帯域情報取得部で取得されるブロック毎の帯域情報のフレーム差分に基づいて、上記各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する
前記（６）に記載の画像処理装置。
（８）上記所定の画像処理は、シャープネス処理である
前記（２）から（７）のいずれかに記載の画像処理装置。
（９）入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る帯域情報取得ステップと、
上記帯域情報取得ステップで得られた上記各ブロックの帯域情報に基づいて画面を複数種類の領域に分離する領域分離ステップと、
上記領域分離ステップで分離された画面領域毎に処理強度を求める処理強度演算ステップと、
上記入力画像データに対して、上記領域分離ステップで分離された画面領域毎に、上記処理強度演算ステップで求められた処理強度で所定の画像処理を行う画像処理ステップとを備える
画像処理方法。
【符号の説明】
【００５８】
１０・・・テレビ受信機
１０１・・・制御部
１０２・・・ユーザ操作部
１１１・・・チューナ
１１２・・・外部入力インタフェース
１１３・・・デコーダブロック
１１４・・・画像処理ブロック
１１５・・・表示パネル
１２１・・・シャープネス処理部
１２２・・・処理強度発生部
２１０・・・帯域情報取得部
２１１・・・ＢＰＦ演算部
２１２・・・ＢＰＦ積算部
２１３・・・ＨＰＦ演算部
２１４・・・ＨＰＦ積算部
２２０・・・領域分離部
２２１，２２２・・・フレーム差分演算部
２２３・・・領域判断部
２２４・・・矩形領域抽出部
２３０・・・処理強度演算部
【特許請求の範囲】
【請求項１】
入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る帯域情報取得部と、
上記帯域情報取得部で得られた上記各ブロックの帯域情報に基づいて画面を複数種類の領域に分離する領域分離部と、
上記領域分離部で分離された画面領域毎に処理強度を求める処理強度演算部と、
上記入力画像データに対して、上記領域分離部で分離された画面領域毎に、上記処理強度演算部で求められた処理強度で所定の画像処理を行う画像処理部とを備える
画像処理装置。
【請求項２】
上記帯域情報取得部は、
上記入力画像データに対してバンドパスフィルタ演算を行って得られた画素毎のバンドパス成分をブロック毎に積算することにより上記各ブロックの第１の帯域情報を得、
上記入力画像データに対してハイパスフィルタ演算を行って得られた画素毎のハイパス成分をブロック毎に積算することにより上記各ブロックの第２の帯域情報を得る
請求項１に記載の画像処理装置。
【請求項３】
上記領域分離部は、
上記各ブロックの帯域情報に基づいてそれぞれのブロックが上記複数種類の領域のいずれに属するかを判断し、さらに、該判断結果に基づいて、上記複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出して、画面を上記複数種類の領域に分離する
請求項１に記載の画像処理装置。
【請求項４】
上記複数種類の領域は、低品位の画像領域と、高品位の画像領域と、文字領域と、画像および文字の混在領域である
請求項１に記載の画像処理装置。
【請求項５】
上記帯域情報取得部は、
上記入力画像データに対してバンドパスフィルタ演算を行って得られた画素毎のバンドパス成分をブロック毎に積算することにより上記各ブロックの第１の帯域情報を得、
上記入力画像データに対してハイパスフィルタ演算を行って得られた画素毎のハイパス成分をブロック毎に積算することにより上記各ブロックの第２の帯域情報を得、
上記処理強度演算部は、
上記低品位の画像領域および上記高品位の画像領域に関しては、ブロック毎に、上記第１の帯域情報および上記第２の帯域情報の混合比率に対応した処理強度を求める
請求項４に記載の画像処理装置。
【請求項６】
上記入力画像データに基づいて、上記各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する動き／静止判断部をさらに備え、
上記領域分離部は、上記各ブロックの帯域情報に基づいてそれぞれのブロックが上記複数種類の領域のいずれに属するかの判断結果と共に上記動き／静止判断部の判断結果に基づいて、上記複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出する
請求項３に記載の画像処理装置。
【請求項７】
上記動き／静止判断部は、
上記帯域情報取得部で取得されるブロック毎の帯域情報のフレーム差分に基づいて、上記各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する
請求項６に記載の画像処理装置。
【請求項８】
上記所定の画像処理は、シャープネス処理である
請求項１に記載の画像処理装置。
【請求項９】
入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る帯域情報取得ステップと、
上記帯域情報取得ステップで得られた上記各ブロックの帯域情報に基づいて画面を複数種類の領域に分離する領域分離ステップと、
上記領域分離ステップで分離された画面領域毎に処理強度を求める処理強度演算ステップと、
上記入力画像データに対して、上記領域分離ステップで分離された画面領域毎に、上記処理強度演算ステップで求められた処理強度で所定の画像処理を行う画像処理ステップとを備える
画像処理方法。
【請求項１】
入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る帯域情報取得部と、
上記帯域情報取得部で得られた上記各ブロックの帯域情報に基づいて画面を複数種類の領域に分離する領域分離部と、
上記領域分離部で分離された画面領域毎に処理強度を求める処理強度演算部と、
上記入力画像データに対して、上記領域分離部で分離された画面領域毎に、上記処理強度演算部で求められた処理強度で所定の画像処理を行う画像処理部とを備える
画像処理装置。
【請求項２】
上記帯域情報取得部は、
上記入力画像データに対してバンドパスフィルタ演算を行って得られた画素毎のバンドパス成分をブロック毎に積算することにより上記各ブロックの第１の帯域情報を得、
上記入力画像データに対してハイパスフィルタ演算を行って得られた画素毎のハイパス成分をブロック毎に積算することにより上記各ブロックの第２の帯域情報を得る
請求項１に記載の画像処理装置。
【請求項３】
上記領域分離部は、
上記各ブロックの帯域情報に基づいてそれぞれのブロックが上記複数種類の領域のいずれに属するかを判断し、さらに、該判断結果に基づいて、上記複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出して、画面を上記複数種類の領域に分離する
請求項１に記載の画像処理装置。
【請求項４】
上記複数種類の領域は、低品位の画像領域と、高品位の画像領域と、文字領域と、画像および文字の混在領域である
請求項１に記載の画像処理装置。
【請求項５】
上記帯域情報取得部は、
上記入力画像データに対してバンドパスフィルタ演算を行って得られた画素毎のバンドパス成分をブロック毎に積算することにより上記各ブロックの第１の帯域情報を得、
上記入力画像データに対してハイパスフィルタ演算を行って得られた画素毎のハイパス成分をブロック毎に積算することにより上記各ブロックの第２の帯域情報を得、
上記処理強度演算部は、
上記低品位の画像領域および上記高品位の画像領域に関しては、ブロック毎に、上記第１の帯域情報および上記第２の帯域情報の混合比率に対応した処理強度を求める
請求項４に記載の画像処理装置。
【請求項６】
上記入力画像データに基づいて、上記各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する動き／静止判断部をさらに備え、
上記領域分離部は、上記各ブロックの帯域情報に基づいてそれぞれのブロックが上記複数種類の領域のいずれに属するかの判断結果と共に上記動き／静止判断部の判断結果に基づいて、上記複数の種類の領域のそれぞれとして複数のブロックが含まれる矩形領域を抽出する
請求項３に記載の画像処理装置。
【請求項７】
上記動き／静止判断部は、
上記帯域情報取得部で取得されるブロック毎の帯域情報のフレーム差分に基づいて、上記各ブロックが動き領域に含まれるか静止領域に含まれるかを判断する
請求項６に記載の画像処理装置。
【請求項８】
上記所定の画像処理は、シャープネス処理である
請求項１に記載の画像処理装置。
【請求項９】
入力画像データに基づいて、画面が複数個のブロックに分割されて得られる各ブロックの帯域情報を得る帯域情報取得ステップと、
上記帯域情報取得ステップで得られた上記各ブロックの帯域情報に基づいて画面を複数種類の領域に分離する領域分離ステップと、
上記領域分離ステップで分離された画面領域毎に処理強度を求める処理強度演算ステップと、
上記入力画像データに対して、上記領域分離ステップで分離された画面領域毎に、上記処理強度演算ステップで求められた処理強度で所定の画像処理を行う画像処理ステップとを備える
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−２９９０４（Ｐ２０１３−２９９０４Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６３９１４（Ｐ２０１１−１６３９１４）
【出願日】平成２３年７月２７日（２０１１．７．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２７日（２０１１．７．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]