映像情報処理装置およびプログラム
【課題】 映像情報に含まれる粗い階調変化のみを選択的に滑らかにし、画質を向上させる。
【解決手段】 複数の画素からなる入力映像情報を平滑化して、平滑化映像情報を生成する平滑化部と、前記入力映像情報と前記平滑化映像情報との階調差を算出する減算部と、前記入力映像情報と前記平滑化映像情報とを前記階調差に応じた割合で混合して、混合映像情報を生成する混合部と、前記入力映像情報のそれぞれの画素および当該画素の周辺に位置する画素を含む周辺画素領域が、所定以上の階調変化を含まない低周波領域であるか否かを判定する判定部と、前記判定部が前記周辺画素領域を前記低周波領域であると判定した場合には前記混合映像情報を出力し、前記判定部が前記周辺画素領域を前記低周波領域でないと判定した場合には前記入力映像情報を出力する出力選択部と、を有する。
【解決手段】 複数の画素からなる入力映像情報を平滑化して、平滑化映像情報を生成する平滑化部と、前記入力映像情報と前記平滑化映像情報との階調差を算出する減算部と、前記入力映像情報と前記平滑化映像情報とを前記階調差に応じた割合で混合して、混合映像情報を生成する混合部と、前記入力映像情報のそれぞれの画素および当該画素の周辺に位置する画素を含む周辺画素領域が、所定以上の階調変化を含まない低周波領域であるか否かを判定する判定部と、前記判定部が前記周辺画素領域を前記低周波領域であると判定した場合には前記混合映像情報を出力し、前記判定部が前記周辺画素領域を前記低周波領域でないと判定した場合には前記入力映像情報を出力する出力選択部と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
近年、多チャンネル化や高精細化などが可能となるデジタルテレビ放送が多くの国で開始され、携帯電話などの移動体向けの放送が行われている国もある。例えば、ＩＳＤＢ−Ｔ（Integrated Services Digital Broadcasting - Terrestrial）方式を採用する日本の地上デジタルテレビジョン放送では、各チャンネルを１３セグメントに分割したうちの１セグメントを利用して、１セグメント放送（携帯電話・移動体端末向けの１セグメント部分受信サービス）が行われている。また、他の移動体向けデジタルテレビ放送としては、ＤＶＢ−Ｈ（Digital Video Broadcasting - Handheld）方式や、Ｔ−ＤＭＢ（Terrestrial - Digital Multimedia Broadcasting）方式などが知られている。
【０００３】
上記のような移動体向けデジタルテレビ放送は、携帯電話を用いて視聴されるほか、カーナビゲーション装置や、風呂場などに設置される小型のテレビなどを用いて視聴される。また、アナログ放送用のテレビやパーソナルコンピュータなどに受信部（チューナ）を接続して、視聴することもできる。例えば、特許文献１では、携帯電話などに搭載されている１セグメント放送用のチューナを利用して、より大きな表示画面で視聴することができるワンセグ映像表示方法・装置が開示されている。
【０００４】
このようにして、携帯電話などの小さな表示画面だけでなく、より大きな表示画面で移動体向けデジタルテレビ放送を視聴することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１１１５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような移動体向けデジタルテレビ放送では、Ｈ．２４６／ＭＰＥＧ−４ ＡＶＣのような映像圧縮技術が用いられ、通常の固定受信向けデジタルテレビ放送より情報ビットレートが低くなっている。
【０００７】
そのため、空や人の肌などの階調変化（グラデーション）を滑らかに表現することができず、グラデーションが粗い表現となってしまう。このような粗いグラデーションは、特に、画素変換などを用いて映像情報を拡大（アップスケーリング）し、より大きな表示画面で視聴する場合に顕著となる。また、アップスケーリングによって輪郭線がぼやけるのを防止する目的でエッジ強調処理を行う場合には、粗いグラデーションがさらに強調されてしまう。
【課題を解決するための手段】
【０００８】
前述した課題を解決する主たる本発明は、複数の画素からなる入力映像情報を平滑化して、平滑化映像情報を生成する平滑化部と、前記入力映像情報と前記平滑化映像情報との階調差を算出する減算部と、前記入力映像情報と前記平滑化映像情報とを前記階調差に応じた割合で混合して、混合映像情報を生成する混合部と、前記入力映像情報のそれぞれの画素および当該画素の周辺に位置する画素を含む周辺画素領域が、所定以上の階調変化を含まない低周波領域であるか否かを判定する判定部と、前記判定部が前記周辺画素領域を前記低周波領域であると判定した場合には前記混合映像情報を出力し、前記判定部が前記周辺画素領域を前記低周波領域でないと判定した場合には前記入力映像情報を出力する出力選択部と、を有することを特徴とする映像情報処理装置である。
【０００９】
本発明の他の特徴については、添付図面及び本明細書の記載により明らかとなる。
【発明の効果】
【００１０】
本発明によれば、映像情報に含まれる粗い階調変化のみを選択的に滑らかにし、画質を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態における映像情報処理装置の構成を示すブロック図である。
【図２】平滑化部１に一例として用いられる平均化フィルタ（移動平均フィルタ）を示す図である。
【図３】平滑化部１に一例として用いられる加重平均化フィルタ（ガウシアンフィルタ）を示す図である。
【図４】混合部３における階調差と混合比との関係の一例を示す模式図である。
【図５】本発明の第２実施形態における映像情報処理装置の構成を示すブロック図である。
【図６】エッジ強調部６に用いられる鮮鋭化フィルタの一例を示す図である。
【図７】エッジ強調部６に用いられる鮮鋭化フィルタの他の例を示す図である。
【図８】入力映像情報Ｖ０の画素位置と階調値との関係の一例を示す模式図である。
【図９】入力映像情報Ｖ０にエッジ強調処理を行った場合の画素位置と階調値との関係の一例を示す模式図である。
【図１０】出力映像情報Ｖ３の画素位置と階調値との関係の一例を示す模式図である。
【図１１】出力映像情報Ｖ４の画素位置と階調値との関係の一例を示す模式図である。
【図１２】入力映像情報Ｖ０によって表示される映像の一例である。
【図１３】出力映像情報Ｖ４によって表示される映像の一例である。
【図１４】平滑化部１、減算部２、混合部３、判定部４、および出力選択部５の機能をコンピュータに実現させるためのプログラムの動作を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。
【００１３】
＜第１実施形態＞
＝＝＝映像情報処理装置の構成＝＝＝
以下、図１を参照して、本発明の第１の実施形態における映像情報処理装置の構成について説明する。
【００１４】
図１に示されている映像情報処理装置は、平滑化部１、減算部２、混合部３、判定部４、および出力選択部（マルチプレクサ）５を含んで構成されている。当該映像情報処理装置には、例えば１セグメント放送の映像情報をアップスケーリングした入力映像情報Ｖ０が入力されている。
【００１５】
平滑化部１には、入力映像情報Ｖ０が入力され、平滑化部１からは、平滑化映像情報Ｖ１が出力されている。また、減算部２には、入力映像情報Ｖ０および平滑化映像情報Ｖ１が入力され、減算部２からは、階調差Ｄｖが出力されている。さらに、混合部３には、入力映像情報Ｖ０、平滑化映像情報Ｖ１、および階調差Ｄｖが入力され、混合部３からは、混合映像情報Ｖ２が出力されている。そして、判定部４には、入力映像情報Ｖ０が入力され、判定部４からは、判定結果Ｓｖが出力されている。
【００１６】
出力選択部５のデータ入力には、入力映像情報Ｖ０および混合映像情報Ｖ２が入力され、選択制御入力には、判定結果Ｓｖが入力されている。そして、出力選択部５からは、出力映像情報Ｖ３が出力されている。
【００１７】
＝＝＝映像情報処理装置の動作＝＝＝
次に、本実施形態における映像情報処理装置の動作について説明する。
【００１８】
映像情報処理装置の各部に入力、または各部から出力される映像情報は、例えばＭ行Ｎ列の行列状に配置された複数の画素で構成されている。以下の説明において、映像情報の各画素の位置をＰ（ｍ，ｎ）（１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）と表すこととする。また、各画素位置Ｐにおける要素（画素の階調値など）は、（Ｐ）または（ｍ，ｎ）を付けて表すこととする。例えば、入力映像情報Ｖ０の各画素位置Ｐにおける階調値は、Ｖ０（Ｐ）またはＶ０（ｍ，ｎ）と表される。
【００１９】
平滑化部１は、入力映像情報Ｖ０を平滑化して、平滑化映像情報Ｖ１を生成する。当該平滑化処理によって、入力映像情報Ｖ０に含まれる空や人の肌などの粗いグラデーション部分が平滑化される。
【００２０】
例えば、図２に示すような平均化フィルタ（移動平均フィルタ）を用いて、平滑化映像情報Ｖ１を生成することができる。ここで、図２の３×３（３行３列）サイズの平均化フィルタを用いる場合、フィルタ中央の画素（中心画素）の位置をＰとすると、平滑化映像情報Ｖ１の各中心画素位置Ｐにおける階調値Ｖ１（Ｐ）は、
Ｖ１（Ｐ）
＝［Ｖ０（ｍ−１，ｎ−１）＋Ｖ０（ｍ−１，ｎ）＋Ｖ０（ｍ−１，ｎ＋１）
＋Ｖ０（ ｍ ，ｎ−１）＋Ｖ０（ ｍ ，ｎ）＋Ｖ０（ ｍ ，ｎ＋１）
＋Ｖ０（ｍ＋１，ｎ−１）＋Ｖ０（ｍ＋１，ｎ）＋Ｖ０（ｍ＋１，ｎ＋１）］／９
となる。すなわち、階調値Ｖ１（Ｐ）は、入力映像情報Ｖ０の画素位置Ｐを中心とする３×３サイズの局所領域の階調値の移動平均となり、９個の画素に対する重みは、いずれも１／９で等しい。同様に、図２の５×５（５行５列）サイズの平均化フィルタを用いる場合、階調値Ｖ１（Ｐ）は、入力映像情報Ｖ０の画素位置Ｐを中心とする５×５サイズの局所領域の階調値の移動平均となり、２５個の画素に対する重みは、いずれも１／２５で等しい。
【００２１】
また、例えば、図３に示すような加重平均化フィルタを用いて、平滑化映像情報Ｖ１を生成することもできる。図３に示されているように、加重平均化フィルタは、各画素に対して異なる重み付けがなされており、階調値Ｖ１（Ｐ）は、入力映像情報Ｖ０の画素位置Ｐを中心とする局所領域の、当該重み付けがなされた階調値の移動平均となる。なお、図３に示されている加重平均化フィルタは、重み付けが中心画素位置Ｐからの距離のガウス関数に従うガウシアンフィルタである。
【００２２】
減算部２は、入力映像情報Ｖ０と平滑化映像情報Ｖ１との階調差Ｄｖ（＞０）を算出する。なお、各画素位置Ｐにおける階調差Ｄｖ（Ｐ）は、
Ｄｖ（Ｐ）＝｜Ｖ１（Ｐ）−Ｖ０（Ｐ）｜
と表すことができる。
【００２３】
混合部３は、入力映像情報Ｖ０と平滑化映像情報Ｖ１とを階調差Ｄｖに応じた割合で混合して、混合映像情報Ｖ２を生成する。なお、当該混合処理における平滑化映像情報Ｖ１の割合を混合比Ｒとすると、混合映像情報Ｖ２の各画素位置Ｐにおける階調値Ｖ２（Ｐ）は、
Ｖ２（Ｐ）＝Ｖ１（Ｐ）×Ｒ（Ｐ）＋Ｖ０（Ｐ）×［１−Ｒ（Ｐ）］
と表すことができる。
【００２４】
ここで、混合部３における階調差Ｄｖと混合比Ｒとの関係の一例を図４に示す。Ｄｖ＜Ｄｒｅｆ１（第１の基準値）の場合、混合部３は、Ｒ＝１となるように、すなわち、入力映像情報Ｖ０および平滑化映像情報Ｖ１の割合がそれぞれ０％および１００％となるように混合して、混合映像情報Ｖ２を生成する。また、Ｄｖ≧Ｄｒｅｆ２（第２の基準値）＞Ｄｒｅｆ１の場合、混合部３は、Ｒ＝０となるように、すなわち、入力映像情報Ｖ０および平滑化映像情報Ｖ１の割合がそれぞれ１００％および０％となるように混合して、混合映像情報Ｖ２を生成する。そして、Ｄｒｅｆ１≦Ｄｖ＜Ｄｒｅｆ２の場合、混合比Ｒは略線形に変化する。
【００２５】
前述したように、平滑化部１は、入力映像情報Ｖ０に含まれる粗いグラデーション部分を平滑化するが、空などの広いグラデーション部分を平滑化するためには、平均化フィルタや加重平均化フィルタのサイズを大きくすることが望ましい。しかしながら、平滑化部１は、入力映像情報Ｖ０全体に対して一様に平滑化処理を行うため、大きなサイズのフィルタを用いると、グラデーション部分以外の細部の情報（ディテール感）が失われてしまう。そのため、混合映像情報Ｖ２は、階調差Ｄｖが相対的に大きくなる細部ほど、平滑化映像情報Ｖ１の割合（混合比Ｒ）が小さくなっている。このようにして、混合部３は、細部の情報を保持しつつ、粗いグラデーション部分を平滑化した混合映像情報Ｖ２を生成している。
【００２６】
判定部４は、入力映像情報Ｖ０の各画素およびその周辺に位置する画素を含む周辺画素領域が、所定以上の階調変化を含まない低周波領域であるか否かを判定する。例えば、判定対象の画素（対象画素）の階調値と、対象画素に隣接する８個の画素（隣接画素）の階調値との差分（＞０）をそれぞれ算出し、いずれの差分も設定された閾値未満の場合に、対象画素および隣接画素を含む周辺画素領域を低周波領域であると判定する。また、例えば、周辺画素領域の階調値の最大値および最小値の差が閾値未満の場合に低周波領域であると判定してもよい。なお、各画素位置Ｐにおける判定結果Ｓｖ（Ｐ）は、判定部４が周辺画素領域を低周波領域であると判定した場合にはＳｖ（Ｐ）＝Ｌとなり、低周波領域でないと判定した場合にはＳｖ（Ｐ）＝Ｈとなるものとする。
【００２７】
出力選択部５は、判定部４の判定結果Ｓｖに応じて入力映像情報Ｖ０または混合映像情報Ｖ２の何れか一方を選択して、出力映像情報Ｖ３を生成する。より具体的には、出力映像情報Ｖ３の各画素位置Ｐにおける階調値Ｖ３（Ｐ）は、Ｓｖ（Ｐ）＝Ｌの場合にＶ３（Ｐ）＝Ｖ２（Ｐ）となり、Ｓｖ（Ｐ）＝Ｈの場合にＶ３（Ｐ）＝Ｖ０（Ｐ）となる。
【００２８】
このようにして、本実施形態の映像情報処理装置は、入力映像情報Ｖ０の周辺画素領域が低周波領域であるか否かの判定結果Ｓｖに応じて、入力映像情報Ｖ０または混合映像情報Ｖ２の何れか一方を選択して出力する。周辺画素領域が低周波領域でない場合、当該周辺画素領域は、所定以上の階調変化を含んでおり、グラデーション部分ではないため、映像情報処理装置は、入力映像情報Ｖ０の階調値をそのまま出力する。一方、周辺画素領域が低周波領域である場合、映像情報処理装置は、細部の情報を保持しつつ、粗いグラデーション部分を平滑化した混合映像情報Ｖ２の階調値を出力する。したがって、入力映像情報Ｖ０に含まれる粗いグラデーションのみを選択的に滑らかにし、画質を向上させることができる。
【００２９】
＜第２実施形態＞
＝＝＝映像情報処理装置の構成＝＝＝
以下、図５を参照して、本発明の第２の実施形態における映像情報処理装置の構成について説明する。
【００３０】
図５に示されている映像情報処理装置は、第１実施形態の映像情報処理装置に対して、エッジ強調部６をさらに含んで構成されている。また、エッジ強調部６には、出力選択部５の出力映像情報Ｖ３が入力され、エッジ強調部６からは、出力映像情報Ｖ４が出力されている。
【００３１】
＝＝＝映像情報処理装置の動作＝＝＝
次に、本実施形態における映像情報処理装置の動作について説明する。
【００３２】
本実施形態における映像情報処理装置の動作は、エッジ強調部６の動作を除いて、第１実施形態の映像情報処理装置の動作と同様である。
エッジ強調部６は、出力選択部５の出力映像情報Ｖ３のエッジを強調して、出力映像情報Ｖ４を生成する。当該エッジ強調処理によって、特にアップスケーリングされた映像情報が入力映像情報Ｖ０として入力されている場合に、ぼやけてしまった輪郭線がはっきりする。
【００３３】
例えば、図６に示すような鮮鋭化フィルタを用いて、出力映像情報Ｖ４を生成することができる。なお、図６に示されている鮮鋭化フィルタは、入力される出力映像情報Ｖ３から、行方向および列方向の２次微分に基づく３×３サイズのラプラシアンフィルタの出力を減算したものであり、出力映像情報Ｖ４の各中心画素位置Ｐにおける階調値Ｖ４（Ｐ）は、
Ｖ４（Ｐ）＝５×Ｖ３（ｍ，ｎ）
−［Ｖ３（ｍ，ｎ−１）＋Ｖ３（ｍ，ｎ＋１）
＋Ｖ３（ｍ−１，ｎ）＋Ｖ３（ｍ＋１，ｎ）］
となる。
【００３４】
また、例えば、図７に示すような鮮鋭化フィルタを用いて、出力映像情報Ｖ４を生成することもできる。なお、図７に示されている鮮鋭化フィルタは、入力される出力映像情報Ｖ３から、行方向、列方向、および斜め方向の２次微分に基づく３×３サイズのラプラシアンフィルタの出力を減算したものであり、出力映像情報Ｖ４の各中心画素位置Ｐにおける階調値Ｖ４（Ｐ）は、
Ｖ４（Ｐ）＝９×Ｖ３（ｍ，ｎ）
−［Ｖ３（ｍ，ｎ−１）＋Ｖ３（ｍ，ｎ＋１）
＋Ｖ３（ｍ−１，ｎ）＋Ｖ３（ｍ＋１，ｎ）］
＋Ｖ３（ｍ−１，ｎ−１）＋Ｖ３（ｍ＋１，ｎ＋１）
＋Ｖ３（ｍ−１，ｎ＋１）＋Ｖ３（ｍ＋１，ｎ−１）］
となる。
【００３５】
＝＝＝映像情報処理装置の動作の具体例＝＝＝
以下、図８ないし図１３を参照して、映像情報処理装置の動作の具体例について説明する。
【００３６】
図８は、入力映像情報Ｖ０の一例を示しており、横軸が平面上の画素位置Ｐの変位を、縦軸が画素位置Ｐにおける階調値Ｖ０（Ｐ）を、それぞれ示している。図８において、領域Ａは、粗いグラデーション部分を示しており、階調値Ｖ０（Ｐ）の変化が小さいため、判定部４によって低周波領域であると判定される。一方、領域Ｂは、エッジ部分を示しており、階調値Ｖ０（Ｐ）の変化が大きいため、判定部４によって低周波領域でないと判定される。
【００３７】
ここで、当該入力映像情報Ｖ０に直接エッジ強調処理を行った場合、エッジ部分である領域Ｂは、図９に示すように、階調値の変化が強調される。しかしながら、領域Ａのグラデーションは、滑らかに表現されていないため、当該エッジ強調処理によって領域Ａの階調値の変化も強調されてしまう。
【００３８】
一方、出力選択部５の出力映像情報Ｖ３は、図１０に示すように、低周波領域であると判定された領域Ａに対して、粗いグラデーション部分を平滑化した混合映像情報Ｖ２の階調値が出力される。また、低周波領域でないと判定された領域Ｂに対して、入力映像情報Ｖ０の階調値がそのまま出力される。
【００３９】
したがって、出力映像情報Ｖ３にエッジ強調処理を行った出力映像情報Ｖ４は、図１１に示すように、領域Ａのグラデーションが滑らかに表現され、領域Ｂのエッジが強調される。
【００４０】
このようにして、本実施形態の映像情報処理装置は、入力映像情報Ｖ０に含まれる粗いグラデーションのみを選択的に滑らかにするとともに、アップスケーリングによってぼやけてしまった輪郭線をはっきりさせ、画質を向上させることができる。一例として、本実施形態の映像情報処理装置は、図１２に示すような入力映像情報Ｖ０に対して、図１３に示すような出力映像情報Ｖ４を出力する。空のグラデーションを表現している領域Ｇは、入力映像情報Ｖ０では粗い表現となっているが、出力映像情報Ｖ４では滑らかに表現されている。一方、山の稜線を表現している領域Ｅは、平滑化処理によって細部の情報が失われることなく、エッジ強調処理が行われている。
【００４１】
＝＝＝プログラムの動作＝＝＝
上記実施形態の映像情報処理装置の各部の機能は、コンピュータによって実現することもできる。以下、図１４を参照して、当該コンピュータに、映像情報処理装置の各部に相当する機能を実現させるためのプログラムの動作について説明する。
【００４２】
プログラムの処理が開始されると（Ｓ１）、まず、入力映像情報Ｖ０が入力され（Ｓ２）、以下、Ｓ３からＳ８ＬまたはＳ８Ｈまでの処理を各画素位置Ｐ（ｍ，ｎ）に対して行う（ループ処理）。
【００４３】
ループ処理においては、まず、平均化フィルタなどを用いて入力映像情報Ｖ０（Ｐ）を平滑化して、平滑化映像情報Ｖ１（Ｐ）を生成する（Ｓ３）。
【００４４】
次に、入力映像情報Ｖ０（Ｐ）と平滑化映像情報Ｖ１（Ｐ）との階調差Ｄｖ（Ｐ）を算出する（Ｓ４）。
【００４５】
次に、例えば図４に示したように、階調差Ｄｖ（Ｐ）に応じて混合比Ｒ（Ｐ）を算出する（Ｓ５）。
【００４６】
次に、入力映像情報Ｖ０（Ｐ）と平滑化映像情報Ｖ１（Ｐ）とを混合比Ｒ（Ｐ）で混合して、混合映像情報Ｖ２（Ｐ）を生成する（Ｓ６）。
【００４７】
次に、前述したような方法によって、画素位置Ｐの周辺画素領域が低周波領域であるか否かを判定する（Ｓ７）。
【００４８】
Ｓ７において、周辺画素領域を低周波領域であると判定した場合（Ｓ７：Ｌ）には、出力映像情報Ｖ３（Ｐ）として混合映像情報Ｖ２（Ｐ）を出力する（Ｓ８Ｌ）。一方、Ｓ７において、周辺画素領域を低周波領域でないと判定した場合（Ｓ７：Ｈ）には、出力映像情報Ｖ３（Ｐ）として入力映像情報Ｖ０（Ｐ）を出力する（Ｓ８Ｈ）。
【００４９】
Ｓ３からＳ８ＬまたはＳ８Ｈまでのループ処理を各画素位置Ｐに対して行うことによって、出力映像情報Ｖ３全体を生成し、処理を終了する（Ｓ９）。なお、以上の処理は、フレーム単位など、入力映像情報Ｖ０が入力されるごとに行われる。また、第２実施形態の映像情報処理装置のように、生成された出力映像情報Ｖ３に対して、エッジ強調処理を行ってもよい。
【００５０】
前述したように、入力映像情報Ｖ０と平滑化映像情報Ｖ１とを階調差Ｄｖに応じた割合で混合して、混合映像情報Ｖ２を生成し、入力映像情報Ｖ０の周辺画素領域が低周波領域であるか否かの判定結果Ｓｖに応じて入力映像情報Ｖ０または混合映像情報Ｖ２の何れか一方を選択して、出力映像情報Ｖ３を生成することによって、入力映像情報Ｖ０に含まれる粗いグラデーションのみを選択的に滑らかにし、画質を向上させることができる。
【００５１】
また、さらに出力映像情報Ｖ３のエッジを強調して出力映像情報Ｖ４を生成することによって、入力映像情報Ｖ０に含まれる粗いグラデーションのみを選択的に滑らかにするとともに、輪郭線をはっきりさせ、画質を向上させることができる。
【００５２】
また、階調差Ｄｖが大きくなるほど平滑化映像情報Ｖ１の割合が小さくなるように混合映像情報Ｖ２を生成することによって、細部の情報を保持しつつ、粗いグラデーション部分を平滑化した混合映像情報Ｖ２を生成することができる。
【００５３】
また、１セグメント放送の映像情報をアップスケーリングした入力映像情報Ｖ０を映像情報処理装置に入力することによって、映像圧縮技術によって粗い表現となってしまったグラデーションを滑らかにしたり、アップスケーリングによってぼやけてしまった輪郭線をはっきりさせたりすることができる。
【００５４】
また、映像情報処理装置の各部に相当する機能をコンピュータに実現させるためのプログラムにおいて、入力映像情報Ｖ０（Ｐ）と平滑化映像情報Ｖ１（Ｐ）とを混合比Ｒ（Ｐ）で混合して、混合映像情報Ｖ２（Ｐ）を生成し、画素位置Ｐの周辺画素領域が低周波領域であるか否かの判定結果Ｓｖ（Ｐ）に応じて、入力映像情報Ｖ０（Ｐ）または混合映像情報Ｖ２（Ｐ）の何れか一方を出力映像情報Ｖ３（Ｐ）として出力するループ処理を各画素位置Ｐに対して行うことによって、入力映像情報Ｖ０に含まれる粗いグラデーションのみを選択的に滑らかにし、画質を向上させることができる。
【００５５】
なお、上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。
【００５６】
上記実施形態では、入力映像情報Ｖ０の一例として、１セグメント放送の映像情報の場合について説明したが、これに限定されるものではない。本発明の映像情報処理装置およびプログラムは、グラデーションを滑らかに表現することが困難な、圧縮されたデジタル映像情報に広く適用することができる。例えば、他の方式の移動体向けデジタルテレビ放送や、インターネットを介した動画配信サービスなどの映像情報にも適用することができる。
【００５７】
上記実施形態では、平滑化部１は、平均化フィルタや加重平均化フィルタを用いて平滑化映像情報Ｖ１を生成しているが、これに限定されるものではない。例えば、入力映像情報Ｖ０を２次元ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）して得られる空間周波数成分のうち高い周波数成分を小さくし、２次元ＩＦＦＴ（Inverse FFT：逆高速フーリエ変換）することによって、平滑化映像情報Ｖ１を生成することもできる。この場合、平滑化部１は、低い空間周波数成分を相対的に強調するＬＰＦ（Low-Pass Filter：低域通過フィルタ）として機能する。
【００５８】
上記第２実施形態では、エッジ強調部６は、鮮鋭化フィルタを用いて出力映像情報Ｖ４を生成しているが、これに限定されるものではない。例えば、入力される出力映像情報Ｖ３を２次元ＦＦＴして得られる空間周波数成分のうち低い周波数成分を小さくし、２次元ＩＦＦＴすることによって、出力映像情報Ｖ４を生成することもできる。この場合、エッジ強調部６は、高い空間周波数成分を相対的に強調するＨＰＦ（High-Pass Filter：高域通過フィルタ）として機能する。
【符号の説明】
【００５９】
１ 平滑化部
２ 減算部
３ 混合部
４ 判定部
５ 出力選択部（マルチプレクサ）
６ エッジ強調部
【技術分野】
【０００１】
本発明は、映像情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
近年、多チャンネル化や高精細化などが可能となるデジタルテレビ放送が多くの国で開始され、携帯電話などの移動体向けの放送が行われている国もある。例えば、ＩＳＤＢ−Ｔ（Integrated Services Digital Broadcasting - Terrestrial）方式を採用する日本の地上デジタルテレビジョン放送では、各チャンネルを１３セグメントに分割したうちの１セグメントを利用して、１セグメント放送（携帯電話・移動体端末向けの１セグメント部分受信サービス）が行われている。また、他の移動体向けデジタルテレビ放送としては、ＤＶＢ−Ｈ（Digital Video Broadcasting - Handheld）方式や、Ｔ−ＤＭＢ（Terrestrial - Digital Multimedia Broadcasting）方式などが知られている。
【０００３】
上記のような移動体向けデジタルテレビ放送は、携帯電話を用いて視聴されるほか、カーナビゲーション装置や、風呂場などに設置される小型のテレビなどを用いて視聴される。また、アナログ放送用のテレビやパーソナルコンピュータなどに受信部（チューナ）を接続して、視聴することもできる。例えば、特許文献１では、携帯電話などに搭載されている１セグメント放送用のチューナを利用して、より大きな表示画面で視聴することができるワンセグ映像表示方法・装置が開示されている。
【０００４】
このようにして、携帯電話などの小さな表示画面だけでなく、より大きな表示画面で移動体向けデジタルテレビ放送を視聴することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１１１５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような移動体向けデジタルテレビ放送では、Ｈ．２４６／ＭＰＥＧ−４ ＡＶＣのような映像圧縮技術が用いられ、通常の固定受信向けデジタルテレビ放送より情報ビットレートが低くなっている。
【０００７】
そのため、空や人の肌などの階調変化（グラデーション）を滑らかに表現することができず、グラデーションが粗い表現となってしまう。このような粗いグラデーションは、特に、画素変換などを用いて映像情報を拡大（アップスケーリング）し、より大きな表示画面で視聴する場合に顕著となる。また、アップスケーリングによって輪郭線がぼやけるのを防止する目的でエッジ強調処理を行う場合には、粗いグラデーションがさらに強調されてしまう。
【課題を解決するための手段】
【０００８】
前述した課題を解決する主たる本発明は、複数の画素からなる入力映像情報を平滑化して、平滑化映像情報を生成する平滑化部と、前記入力映像情報と前記平滑化映像情報との階調差を算出する減算部と、前記入力映像情報と前記平滑化映像情報とを前記階調差に応じた割合で混合して、混合映像情報を生成する混合部と、前記入力映像情報のそれぞれの画素および当該画素の周辺に位置する画素を含む周辺画素領域が、所定以上の階調変化を含まない低周波領域であるか否かを判定する判定部と、前記判定部が前記周辺画素領域を前記低周波領域であると判定した場合には前記混合映像情報を出力し、前記判定部が前記周辺画素領域を前記低周波領域でないと判定した場合には前記入力映像情報を出力する出力選択部と、を有することを特徴とする映像情報処理装置である。
【０００９】
本発明の他の特徴については、添付図面及び本明細書の記載により明らかとなる。
【発明の効果】
【００１０】
本発明によれば、映像情報に含まれる粗い階調変化のみを選択的に滑らかにし、画質を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態における映像情報処理装置の構成を示すブロック図である。
【図２】平滑化部１に一例として用いられる平均化フィルタ（移動平均フィルタ）を示す図である。
【図３】平滑化部１に一例として用いられる加重平均化フィルタ（ガウシアンフィルタ）を示す図である。
【図４】混合部３における階調差と混合比との関係の一例を示す模式図である。
【図５】本発明の第２実施形態における映像情報処理装置の構成を示すブロック図である。
【図６】エッジ強調部６に用いられる鮮鋭化フィルタの一例を示す図である。
【図７】エッジ強調部６に用いられる鮮鋭化フィルタの他の例を示す図である。
【図８】入力映像情報Ｖ０の画素位置と階調値との関係の一例を示す模式図である。
【図９】入力映像情報Ｖ０にエッジ強調処理を行った場合の画素位置と階調値との関係の一例を示す模式図である。
【図１０】出力映像情報Ｖ３の画素位置と階調値との関係の一例を示す模式図である。
【図１１】出力映像情報Ｖ４の画素位置と階調値との関係の一例を示す模式図である。
【図１２】入力映像情報Ｖ０によって表示される映像の一例である。
【図１３】出力映像情報Ｖ４によって表示される映像の一例である。
【図１４】平滑化部１、減算部２、混合部３、判定部４、および出力選択部５の機能をコンピュータに実現させるためのプログラムの動作を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。
【００１３】
＜第１実施形態＞
＝＝＝映像情報処理装置の構成＝＝＝
以下、図１を参照して、本発明の第１の実施形態における映像情報処理装置の構成について説明する。
【００１４】
図１に示されている映像情報処理装置は、平滑化部１、減算部２、混合部３、判定部４、および出力選択部（マルチプレクサ）５を含んで構成されている。当該映像情報処理装置には、例えば１セグメント放送の映像情報をアップスケーリングした入力映像情報Ｖ０が入力されている。
【００１５】
平滑化部１には、入力映像情報Ｖ０が入力され、平滑化部１からは、平滑化映像情報Ｖ１が出力されている。また、減算部２には、入力映像情報Ｖ０および平滑化映像情報Ｖ１が入力され、減算部２からは、階調差Ｄｖが出力されている。さらに、混合部３には、入力映像情報Ｖ０、平滑化映像情報Ｖ１、および階調差Ｄｖが入力され、混合部３からは、混合映像情報Ｖ２が出力されている。そして、判定部４には、入力映像情報Ｖ０が入力され、判定部４からは、判定結果Ｓｖが出力されている。
【００１６】
出力選択部５のデータ入力には、入力映像情報Ｖ０および混合映像情報Ｖ２が入力され、選択制御入力には、判定結果Ｓｖが入力されている。そして、出力選択部５からは、出力映像情報Ｖ３が出力されている。
【００１７】
＝＝＝映像情報処理装置の動作＝＝＝
次に、本実施形態における映像情報処理装置の動作について説明する。
【００１８】
映像情報処理装置の各部に入力、または各部から出力される映像情報は、例えばＭ行Ｎ列の行列状に配置された複数の画素で構成されている。以下の説明において、映像情報の各画素の位置をＰ（ｍ，ｎ）（１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）と表すこととする。また、各画素位置Ｐにおける要素（画素の階調値など）は、（Ｐ）または（ｍ，ｎ）を付けて表すこととする。例えば、入力映像情報Ｖ０の各画素位置Ｐにおける階調値は、Ｖ０（Ｐ）またはＶ０（ｍ，ｎ）と表される。
【００１９】
平滑化部１は、入力映像情報Ｖ０を平滑化して、平滑化映像情報Ｖ１を生成する。当該平滑化処理によって、入力映像情報Ｖ０に含まれる空や人の肌などの粗いグラデーション部分が平滑化される。
【００２０】
例えば、図２に示すような平均化フィルタ（移動平均フィルタ）を用いて、平滑化映像情報Ｖ１を生成することができる。ここで、図２の３×３（３行３列）サイズの平均化フィルタを用いる場合、フィルタ中央の画素（中心画素）の位置をＰとすると、平滑化映像情報Ｖ１の各中心画素位置Ｐにおける階調値Ｖ１（Ｐ）は、
Ｖ１（Ｐ）
＝［Ｖ０（ｍ−１，ｎ−１）＋Ｖ０（ｍ−１，ｎ）＋Ｖ０（ｍ−１，ｎ＋１）
＋Ｖ０（ ｍ ，ｎ−１）＋Ｖ０（ ｍ ，ｎ）＋Ｖ０（ ｍ ，ｎ＋１）
＋Ｖ０（ｍ＋１，ｎ−１）＋Ｖ０（ｍ＋１，ｎ）＋Ｖ０（ｍ＋１，ｎ＋１）］／９
となる。すなわち、階調値Ｖ１（Ｐ）は、入力映像情報Ｖ０の画素位置Ｐを中心とする３×３サイズの局所領域の階調値の移動平均となり、９個の画素に対する重みは、いずれも１／９で等しい。同様に、図２の５×５（５行５列）サイズの平均化フィルタを用いる場合、階調値Ｖ１（Ｐ）は、入力映像情報Ｖ０の画素位置Ｐを中心とする５×５サイズの局所領域の階調値の移動平均となり、２５個の画素に対する重みは、いずれも１／２５で等しい。
【００２１】
また、例えば、図３に示すような加重平均化フィルタを用いて、平滑化映像情報Ｖ１を生成することもできる。図３に示されているように、加重平均化フィルタは、各画素に対して異なる重み付けがなされており、階調値Ｖ１（Ｐ）は、入力映像情報Ｖ０の画素位置Ｐを中心とする局所領域の、当該重み付けがなされた階調値の移動平均となる。なお、図３に示されている加重平均化フィルタは、重み付けが中心画素位置Ｐからの距離のガウス関数に従うガウシアンフィルタである。
【００２２】
減算部２は、入力映像情報Ｖ０と平滑化映像情報Ｖ１との階調差Ｄｖ（＞０）を算出する。なお、各画素位置Ｐにおける階調差Ｄｖ（Ｐ）は、
Ｄｖ（Ｐ）＝｜Ｖ１（Ｐ）−Ｖ０（Ｐ）｜
と表すことができる。
【００２３】
混合部３は、入力映像情報Ｖ０と平滑化映像情報Ｖ１とを階調差Ｄｖに応じた割合で混合して、混合映像情報Ｖ２を生成する。なお、当該混合処理における平滑化映像情報Ｖ１の割合を混合比Ｒとすると、混合映像情報Ｖ２の各画素位置Ｐにおける階調値Ｖ２（Ｐ）は、
Ｖ２（Ｐ）＝Ｖ１（Ｐ）×Ｒ（Ｐ）＋Ｖ０（Ｐ）×［１−Ｒ（Ｐ）］
と表すことができる。
【００２４】
ここで、混合部３における階調差Ｄｖと混合比Ｒとの関係の一例を図４に示す。Ｄｖ＜Ｄｒｅｆ１（第１の基準値）の場合、混合部３は、Ｒ＝１となるように、すなわち、入力映像情報Ｖ０および平滑化映像情報Ｖ１の割合がそれぞれ０％および１００％となるように混合して、混合映像情報Ｖ２を生成する。また、Ｄｖ≧Ｄｒｅｆ２（第２の基準値）＞Ｄｒｅｆ１の場合、混合部３は、Ｒ＝０となるように、すなわち、入力映像情報Ｖ０および平滑化映像情報Ｖ１の割合がそれぞれ１００％および０％となるように混合して、混合映像情報Ｖ２を生成する。そして、Ｄｒｅｆ１≦Ｄｖ＜Ｄｒｅｆ２の場合、混合比Ｒは略線形に変化する。
【００２５】
前述したように、平滑化部１は、入力映像情報Ｖ０に含まれる粗いグラデーション部分を平滑化するが、空などの広いグラデーション部分を平滑化するためには、平均化フィルタや加重平均化フィルタのサイズを大きくすることが望ましい。しかしながら、平滑化部１は、入力映像情報Ｖ０全体に対して一様に平滑化処理を行うため、大きなサイズのフィルタを用いると、グラデーション部分以外の細部の情報（ディテール感）が失われてしまう。そのため、混合映像情報Ｖ２は、階調差Ｄｖが相対的に大きくなる細部ほど、平滑化映像情報Ｖ１の割合（混合比Ｒ）が小さくなっている。このようにして、混合部３は、細部の情報を保持しつつ、粗いグラデーション部分を平滑化した混合映像情報Ｖ２を生成している。
【００２６】
判定部４は、入力映像情報Ｖ０の各画素およびその周辺に位置する画素を含む周辺画素領域が、所定以上の階調変化を含まない低周波領域であるか否かを判定する。例えば、判定対象の画素（対象画素）の階調値と、対象画素に隣接する８個の画素（隣接画素）の階調値との差分（＞０）をそれぞれ算出し、いずれの差分も設定された閾値未満の場合に、対象画素および隣接画素を含む周辺画素領域を低周波領域であると判定する。また、例えば、周辺画素領域の階調値の最大値および最小値の差が閾値未満の場合に低周波領域であると判定してもよい。なお、各画素位置Ｐにおける判定結果Ｓｖ（Ｐ）は、判定部４が周辺画素領域を低周波領域であると判定した場合にはＳｖ（Ｐ）＝Ｌとなり、低周波領域でないと判定した場合にはＳｖ（Ｐ）＝Ｈとなるものとする。
【００２７】
出力選択部５は、判定部４の判定結果Ｓｖに応じて入力映像情報Ｖ０または混合映像情報Ｖ２の何れか一方を選択して、出力映像情報Ｖ３を生成する。より具体的には、出力映像情報Ｖ３の各画素位置Ｐにおける階調値Ｖ３（Ｐ）は、Ｓｖ（Ｐ）＝Ｌの場合にＶ３（Ｐ）＝Ｖ２（Ｐ）となり、Ｓｖ（Ｐ）＝Ｈの場合にＶ３（Ｐ）＝Ｖ０（Ｐ）となる。
【００２８】
このようにして、本実施形態の映像情報処理装置は、入力映像情報Ｖ０の周辺画素領域が低周波領域であるか否かの判定結果Ｓｖに応じて、入力映像情報Ｖ０または混合映像情報Ｖ２の何れか一方を選択して出力する。周辺画素領域が低周波領域でない場合、当該周辺画素領域は、所定以上の階調変化を含んでおり、グラデーション部分ではないため、映像情報処理装置は、入力映像情報Ｖ０の階調値をそのまま出力する。一方、周辺画素領域が低周波領域である場合、映像情報処理装置は、細部の情報を保持しつつ、粗いグラデーション部分を平滑化した混合映像情報Ｖ２の階調値を出力する。したがって、入力映像情報Ｖ０に含まれる粗いグラデーションのみを選択的に滑らかにし、画質を向上させることができる。
【００２９】
＜第２実施形態＞
＝＝＝映像情報処理装置の構成＝＝＝
以下、図５を参照して、本発明の第２の実施形態における映像情報処理装置の構成について説明する。
【００３０】
図５に示されている映像情報処理装置は、第１実施形態の映像情報処理装置に対して、エッジ強調部６をさらに含んで構成されている。また、エッジ強調部６には、出力選択部５の出力映像情報Ｖ３が入力され、エッジ強調部６からは、出力映像情報Ｖ４が出力されている。
【００３１】
＝＝＝映像情報処理装置の動作＝＝＝
次に、本実施形態における映像情報処理装置の動作について説明する。
【００３２】
本実施形態における映像情報処理装置の動作は、エッジ強調部６の動作を除いて、第１実施形態の映像情報処理装置の動作と同様である。
エッジ強調部６は、出力選択部５の出力映像情報Ｖ３のエッジを強調して、出力映像情報Ｖ４を生成する。当該エッジ強調処理によって、特にアップスケーリングされた映像情報が入力映像情報Ｖ０として入力されている場合に、ぼやけてしまった輪郭線がはっきりする。
【００３３】
例えば、図６に示すような鮮鋭化フィルタを用いて、出力映像情報Ｖ４を生成することができる。なお、図６に示されている鮮鋭化フィルタは、入力される出力映像情報Ｖ３から、行方向および列方向の２次微分に基づく３×３サイズのラプラシアンフィルタの出力を減算したものであり、出力映像情報Ｖ４の各中心画素位置Ｐにおける階調値Ｖ４（Ｐ）は、
Ｖ４（Ｐ）＝５×Ｖ３（ｍ，ｎ）
−［Ｖ３（ｍ，ｎ−１）＋Ｖ３（ｍ，ｎ＋１）
＋Ｖ３（ｍ−１，ｎ）＋Ｖ３（ｍ＋１，ｎ）］
となる。
【００３４】
また、例えば、図７に示すような鮮鋭化フィルタを用いて、出力映像情報Ｖ４を生成することもできる。なお、図７に示されている鮮鋭化フィルタは、入力される出力映像情報Ｖ３から、行方向、列方向、および斜め方向の２次微分に基づく３×３サイズのラプラシアンフィルタの出力を減算したものであり、出力映像情報Ｖ４の各中心画素位置Ｐにおける階調値Ｖ４（Ｐ）は、
Ｖ４（Ｐ）＝９×Ｖ３（ｍ，ｎ）
−［Ｖ３（ｍ，ｎ−１）＋Ｖ３（ｍ，ｎ＋１）
＋Ｖ３（ｍ−１，ｎ）＋Ｖ３（ｍ＋１，ｎ）］
＋Ｖ３（ｍ−１，ｎ−１）＋Ｖ３（ｍ＋１，ｎ＋１）
＋Ｖ３（ｍ−１，ｎ＋１）＋Ｖ３（ｍ＋１，ｎ−１）］
となる。
【００３５】
＝＝＝映像情報処理装置の動作の具体例＝＝＝
以下、図８ないし図１３を参照して、映像情報処理装置の動作の具体例について説明する。
【００３６】
図８は、入力映像情報Ｖ０の一例を示しており、横軸が平面上の画素位置Ｐの変位を、縦軸が画素位置Ｐにおける階調値Ｖ０（Ｐ）を、それぞれ示している。図８において、領域Ａは、粗いグラデーション部分を示しており、階調値Ｖ０（Ｐ）の変化が小さいため、判定部４によって低周波領域であると判定される。一方、領域Ｂは、エッジ部分を示しており、階調値Ｖ０（Ｐ）の変化が大きいため、判定部４によって低周波領域でないと判定される。
【００３７】
ここで、当該入力映像情報Ｖ０に直接エッジ強調処理を行った場合、エッジ部分である領域Ｂは、図９に示すように、階調値の変化が強調される。しかしながら、領域Ａのグラデーションは、滑らかに表現されていないため、当該エッジ強調処理によって領域Ａの階調値の変化も強調されてしまう。
【００３８】
一方、出力選択部５の出力映像情報Ｖ３は、図１０に示すように、低周波領域であると判定された領域Ａに対して、粗いグラデーション部分を平滑化した混合映像情報Ｖ２の階調値が出力される。また、低周波領域でないと判定された領域Ｂに対して、入力映像情報Ｖ０の階調値がそのまま出力される。
【００３９】
したがって、出力映像情報Ｖ３にエッジ強調処理を行った出力映像情報Ｖ４は、図１１に示すように、領域Ａのグラデーションが滑らかに表現され、領域Ｂのエッジが強調される。
【００４０】
このようにして、本実施形態の映像情報処理装置は、入力映像情報Ｖ０に含まれる粗いグラデーションのみを選択的に滑らかにするとともに、アップスケーリングによってぼやけてしまった輪郭線をはっきりさせ、画質を向上させることができる。一例として、本実施形態の映像情報処理装置は、図１２に示すような入力映像情報Ｖ０に対して、図１３に示すような出力映像情報Ｖ４を出力する。空のグラデーションを表現している領域Ｇは、入力映像情報Ｖ０では粗い表現となっているが、出力映像情報Ｖ４では滑らかに表現されている。一方、山の稜線を表現している領域Ｅは、平滑化処理によって細部の情報が失われることなく、エッジ強調処理が行われている。
【００４１】
＝＝＝プログラムの動作＝＝＝
上記実施形態の映像情報処理装置の各部の機能は、コンピュータによって実現することもできる。以下、図１４を参照して、当該コンピュータに、映像情報処理装置の各部に相当する機能を実現させるためのプログラムの動作について説明する。
【００４２】
プログラムの処理が開始されると（Ｓ１）、まず、入力映像情報Ｖ０が入力され（Ｓ２）、以下、Ｓ３からＳ８ＬまたはＳ８Ｈまでの処理を各画素位置Ｐ（ｍ，ｎ）に対して行う（ループ処理）。
【００４３】
ループ処理においては、まず、平均化フィルタなどを用いて入力映像情報Ｖ０（Ｐ）を平滑化して、平滑化映像情報Ｖ１（Ｐ）を生成する（Ｓ３）。
【００４４】
次に、入力映像情報Ｖ０（Ｐ）と平滑化映像情報Ｖ１（Ｐ）との階調差Ｄｖ（Ｐ）を算出する（Ｓ４）。
【００４５】
次に、例えば図４に示したように、階調差Ｄｖ（Ｐ）に応じて混合比Ｒ（Ｐ）を算出する（Ｓ５）。
【００４６】
次に、入力映像情報Ｖ０（Ｐ）と平滑化映像情報Ｖ１（Ｐ）とを混合比Ｒ（Ｐ）で混合して、混合映像情報Ｖ２（Ｐ）を生成する（Ｓ６）。
【００４７】
次に、前述したような方法によって、画素位置Ｐの周辺画素領域が低周波領域であるか否かを判定する（Ｓ７）。
【００４８】
Ｓ７において、周辺画素領域を低周波領域であると判定した場合（Ｓ７：Ｌ）には、出力映像情報Ｖ３（Ｐ）として混合映像情報Ｖ２（Ｐ）を出力する（Ｓ８Ｌ）。一方、Ｓ７において、周辺画素領域を低周波領域でないと判定した場合（Ｓ７：Ｈ）には、出力映像情報Ｖ３（Ｐ）として入力映像情報Ｖ０（Ｐ）を出力する（Ｓ８Ｈ）。
【００４９】
Ｓ３からＳ８ＬまたはＳ８Ｈまでのループ処理を各画素位置Ｐに対して行うことによって、出力映像情報Ｖ３全体を生成し、処理を終了する（Ｓ９）。なお、以上の処理は、フレーム単位など、入力映像情報Ｖ０が入力されるごとに行われる。また、第２実施形態の映像情報処理装置のように、生成された出力映像情報Ｖ３に対して、エッジ強調処理を行ってもよい。
【００５０】
前述したように、入力映像情報Ｖ０と平滑化映像情報Ｖ１とを階調差Ｄｖに応じた割合で混合して、混合映像情報Ｖ２を生成し、入力映像情報Ｖ０の周辺画素領域が低周波領域であるか否かの判定結果Ｓｖに応じて入力映像情報Ｖ０または混合映像情報Ｖ２の何れか一方を選択して、出力映像情報Ｖ３を生成することによって、入力映像情報Ｖ０に含まれる粗いグラデーションのみを選択的に滑らかにし、画質を向上させることができる。
【００５１】
また、さらに出力映像情報Ｖ３のエッジを強調して出力映像情報Ｖ４を生成することによって、入力映像情報Ｖ０に含まれる粗いグラデーションのみを選択的に滑らかにするとともに、輪郭線をはっきりさせ、画質を向上させることができる。
【００５２】
また、階調差Ｄｖが大きくなるほど平滑化映像情報Ｖ１の割合が小さくなるように混合映像情報Ｖ２を生成することによって、細部の情報を保持しつつ、粗いグラデーション部分を平滑化した混合映像情報Ｖ２を生成することができる。
【００５３】
また、１セグメント放送の映像情報をアップスケーリングした入力映像情報Ｖ０を映像情報処理装置に入力することによって、映像圧縮技術によって粗い表現となってしまったグラデーションを滑らかにしたり、アップスケーリングによってぼやけてしまった輪郭線をはっきりさせたりすることができる。
【００５４】
また、映像情報処理装置の各部に相当する機能をコンピュータに実現させるためのプログラムにおいて、入力映像情報Ｖ０（Ｐ）と平滑化映像情報Ｖ１（Ｐ）とを混合比Ｒ（Ｐ）で混合して、混合映像情報Ｖ２（Ｐ）を生成し、画素位置Ｐの周辺画素領域が低周波領域であるか否かの判定結果Ｓｖ（Ｐ）に応じて、入力映像情報Ｖ０（Ｐ）または混合映像情報Ｖ２（Ｐ）の何れか一方を出力映像情報Ｖ３（Ｐ）として出力するループ処理を各画素位置Ｐに対して行うことによって、入力映像情報Ｖ０に含まれる粗いグラデーションのみを選択的に滑らかにし、画質を向上させることができる。
【００５５】
なお、上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。
【００５６】
上記実施形態では、入力映像情報Ｖ０の一例として、１セグメント放送の映像情報の場合について説明したが、これに限定されるものではない。本発明の映像情報処理装置およびプログラムは、グラデーションを滑らかに表現することが困難な、圧縮されたデジタル映像情報に広く適用することができる。例えば、他の方式の移動体向けデジタルテレビ放送や、インターネットを介した動画配信サービスなどの映像情報にも適用することができる。
【００５７】
上記実施形態では、平滑化部１は、平均化フィルタや加重平均化フィルタを用いて平滑化映像情報Ｖ１を生成しているが、これに限定されるものではない。例えば、入力映像情報Ｖ０を２次元ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）して得られる空間周波数成分のうち高い周波数成分を小さくし、２次元ＩＦＦＴ（Inverse FFT：逆高速フーリエ変換）することによって、平滑化映像情報Ｖ１を生成することもできる。この場合、平滑化部１は、低い空間周波数成分を相対的に強調するＬＰＦ（Low-Pass Filter：低域通過フィルタ）として機能する。
【００５８】
上記第２実施形態では、エッジ強調部６は、鮮鋭化フィルタを用いて出力映像情報Ｖ４を生成しているが、これに限定されるものではない。例えば、入力される出力映像情報Ｖ３を２次元ＦＦＴして得られる空間周波数成分のうち低い周波数成分を小さくし、２次元ＩＦＦＴすることによって、出力映像情報Ｖ４を生成することもできる。この場合、エッジ強調部６は、高い空間周波数成分を相対的に強調するＨＰＦ（High-Pass Filter：高域通過フィルタ）として機能する。
【符号の説明】
【００５９】
１ 平滑化部
２ 減算部
３ 混合部
４ 判定部
５ 出力選択部（マルチプレクサ）
６ エッジ強調部
【特許請求の範囲】
【請求項１】
複数の画素からなる入力映像情報を平滑化して、平滑化映像情報を生成する平滑化部と、
前記入力映像情報と前記平滑化映像情報との階調差を算出する減算部と、
前記入力映像情報と前記平滑化映像情報とを前記階調差に応じた割合で混合して、混合映像情報を生成する混合部と、
前記入力映像情報のそれぞれの画素および当該画素の周辺に位置する画素を含む周辺画素領域が、所定以上の階調変化を含まない低周波領域であるか否かを判定する判定部と、
前記判定部が前記周辺画素領域を前記低周波領域であると判定した場合には前記混合映像情報を出力し、前記判定部が前記周辺画素領域を前記低周波領域でないと判定した場合には前記入力映像情報を出力する出力選択部と、
を有することを特徴とする映像情報処理装置。
【請求項２】
前記出力選択部から出力される映像情報のエッジを強調して出力するエッジ強調部をさらに有することを特徴とする請求項１に記載の映像情報処理装置。
【請求項３】
前記混合部は、
前記階調差が第１の基準値未満の場合には、前記入力映像情報の割合が０となるように前記混合映像情報を生成し、
前記階調差が前記第１の基準値より大きい第２の基準値以上の場合には、前記平滑化映像情報の割合が０となるように前記混合映像情報を生成し、
前記階調差が前記第１の基準値以上かつ前記第２の基準値未満の場合には、前記入力映像情報と前記平滑化映像情報との混合の割合が略線形に変化することを特徴とする請求項１または請求項２に記載の映像情報処理装置。
【請求項４】
前記入力映像情報は、１セグメント放送の映像情報を拡大した映像情報であることを特徴とする請求項１ないし請求項３の何れかに記載の映像情報処理装置。
【請求項５】
複数の画素からなる入力映像情報が入力されるコンピュータに、
前記入力映像情報を平滑化して、平滑化映像情報を生成する機能と、
前記入力映像情報と前記平滑化映像情報との階調差を算出する機能と、
前記入力映像情報と前記平滑化映像情報とを前記階調差に応じた割合で混合して、混合映像情報を生成する機能と、
前記入力映像情報のそれぞれの画素および当該画素の周辺に位置する画素を含む周辺画素領域が、所定以上の階調変化を含まない低周波領域であるか否かを判定する機能と、
前記周辺画素領域を前記低周波領域であると判定した場合には前記混合映像情報を出力し、前記周辺画素領域を前記低周波領域でないと判定した場合には前記入力映像情報を出力する機能と、
を実現させるためのプログラム。
【請求項１】
複数の画素からなる入力映像情報を平滑化して、平滑化映像情報を生成する平滑化部と、
前記入力映像情報と前記平滑化映像情報との階調差を算出する減算部と、
前記入力映像情報と前記平滑化映像情報とを前記階調差に応じた割合で混合して、混合映像情報を生成する混合部と、
前記入力映像情報のそれぞれの画素および当該画素の周辺に位置する画素を含む周辺画素領域が、所定以上の階調変化を含まない低周波領域であるか否かを判定する判定部と、
前記判定部が前記周辺画素領域を前記低周波領域であると判定した場合には前記混合映像情報を出力し、前記判定部が前記周辺画素領域を前記低周波領域でないと判定した場合には前記入力映像情報を出力する出力選択部と、
を有することを特徴とする映像情報処理装置。
【請求項２】
前記出力選択部から出力される映像情報のエッジを強調して出力するエッジ強調部をさらに有することを特徴とする請求項１に記載の映像情報処理装置。
【請求項３】
前記混合部は、
前記階調差が第１の基準値未満の場合には、前記入力映像情報の割合が０となるように前記混合映像情報を生成し、
前記階調差が前記第１の基準値より大きい第２の基準値以上の場合には、前記平滑化映像情報の割合が０となるように前記混合映像情報を生成し、
前記階調差が前記第１の基準値以上かつ前記第２の基準値未満の場合には、前記入力映像情報と前記平滑化映像情報との混合の割合が略線形に変化することを特徴とする請求項１または請求項２に記載の映像情報処理装置。
【請求項４】
前記入力映像情報は、１セグメント放送の映像情報を拡大した映像情報であることを特徴とする請求項１ないし請求項３の何れかに記載の映像情報処理装置。
【請求項５】
複数の画素からなる入力映像情報が入力されるコンピュータに、
前記入力映像情報を平滑化して、平滑化映像情報を生成する機能と、
前記入力映像情報と前記平滑化映像情報との階調差を算出する機能と、
前記入力映像情報と前記平滑化映像情報とを前記階調差に応じた割合で混合して、混合映像情報を生成する機能と、
前記入力映像情報のそれぞれの画素および当該画素の周辺に位置する画素を含む周辺画素領域が、所定以上の階調変化を含まない低周波領域であるか否かを判定する機能と、
前記周辺画素領域を前記低周波領域であると判定した場合には前記混合映像情報を出力し、前記周辺画素領域を前記低周波領域でないと判定した場合には前記入力映像情報を出力する機能と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１２】
【図１３】
【公開番号】特開２０１１−３５７７６（Ｐ２０１１−３５７７６Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１８１７１０（Ｐ２００９−１８１７１０）
【出願日】平成２１年８月４日（２００９．８．４）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（５０６２２７８８４）三洋半導体株式会社 (1,155)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年８月４日（２００９．８．４）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（５０６２２７８８４）三洋半導体株式会社 (1,155)
【Ｆターム（参考）】
[ Back to top ]