説明

映像再生装置、及び映像記録再生装置

【課題】 画像データが記録メディアにデータ圧縮されて記録されたことにより、画像再生信号が高周波数成分を十分に含んでいない場合でも十分に画像の強調処理を行う。
【解決手段】 記録メディア3に記録された画像データをアクセス手段12により再生し、伸張処理部19により伸張処理を行い画像再生信号を得、信号処理手段11において、この画像再生信号の特定の周波数帯域近傍の成分からなる第1の中間画像を生成し、この第1の中間画像に非線形処理を施して高周波数成分を生成し、この高周波数成分を前記第1の中間画像に加算して第2の中間画像を生成し、前記画像再生信号に前記第2の中間画像を加算して出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、記録された映像信号を再生する映像再生装置、または入力された映像信号を記録・再生する映像記録再生装置に関するものであり、特に、映像信号の高周波成分が劣化している際に、高周波数成分の生成および加算をすることにより映像の強調処理を行い、解像感の高い映像信号出力を得るものである。
【背景技術】
【0002】
一般に映像信号を記録媒体に記録する際に、記録容量の制限からデータ圧縮が行われるが、このデータ圧縮に伴い高周波数成分が損なわれるため、記録媒体から再生された映像信号に対し適宜信号処理を施し、解像感の高い映像信号を得ることが行われている。
【0003】
例えば特許文献1に記載された画像処理装置においては、画像(映像信号)を多重解像度空間に変換し、多重解像度に変換された細部画像に対して、所望とする周波数帯域の細部画像に対する強調係数をその所望とする周波数帯域よりも低周波数帯域の細部画像の信号に基づいて設定することにより、所望とする周波数帯域を強調している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−44651
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、多重解像度に変換された細部画像に対して、所望とする周波数帯域の細部画像に対する強調係数を適宜設定する画像処理装置では、入力画像が信号処理に伴う高周波数のノイズ成分を含む場合には強調処理が不適切あるいは不十分となり、適正な画質の出力画像を得ることが不可能であった。
【0006】
例えば、入力画像として拡大処理を受けた画像が入力される場合、入力画像の周波数スペクトルの高周波数成分側には、拡大処理前の画像の周波数スペクトルの一部が折り返した成分(折り返し成分)が現れる。したがって単純に高周波数成分を強調するとこの折り返し成分を強調してしまい、不適切な処理となる。また、周波数帯域を限定し、折り返し成分を含まない周波数帯域のみを強調すると、周波数スペクトルで考えた場合、高周波数成分側の強調を避けることになり、結果的に不十分な強調処理となってしまう。
【0007】
また、入力画像としてノイズ処理を受けた画像が入力される場合、高周波数成分側の周波数スペクトルはノイズ処理によって失われている。したがって高周波数成分を取り出そうとしても、取り出すことができず、十分に画像の強調処理を行えないことがある。
【0008】
本発明は上述のような問題点を解消するためになされたもので、映像信号が高周波数成分を十分に含んでいない場合でも十分に画像の強調処理を行うことにより解像感の高い映像信号を得ることができる映像再生装置および映像記録再生装置を提供するものである。
【課題を解決するための手段】
【0009】
本発明に係わる映像再生装置および映像記録再生装置は、記録メディアに記録された画像データを、アクセス手段を介して再生した後、伸張処理手段により伸張処理を行って画像再生信号を得、信号処理手段により前記画像再生信号に解像感強調処理を行った映像出力信号を出力するものであって、前記信号処理手段が、前記画像再生信号を画像入力信号とし、前記画像入力信号の特定の周波数帯域近傍の成分を取り出して第1の中間画像を生成する中間画像生成手段と、前記第1の中間画像に非線形処理を施して生成した高周波数成分を前記第1の中間画像に加算した第2の中間画像を生成する中間画像処理手段と、前記画像入力信号と前記第2の中間画像を加算して前記映像出力信号を生成する加算手段とを有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、中間画像生成手段において、入力画像の特定の周波数帯域近傍の成分を取り出した第1の中間画像を生成し、前記第1の中間画像をもとに第2の中間画像を生成する中間画像処理手段において、前記第1の中間画像に非線形処理を施して高周波数成分を生成し、この高周波数成分を画像再生信号に加算するようにしたので、画像データが記録メディアにデータ圧縮されて記録されたことにより、画像再生信号が高周波数成分を十分に含んでいない場合でも十分に画像の強調処理を行うことができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態1による映像記録再生装置の構成図である。
【図2】信号処理手段11の構成図である。
【図3】水平方向非線形処理手段112Ahの構成図である。
【図4】垂直方向非線形処理手段112Avの構成図である。
【図5】本発明の実施の形態1による映像記録再生装置の別の構成図である。
【図6】拡大処理手段13の構成図である。
【図7】拡大処理手段13a,13bの動作説明図である。
【図8】拡大処理手段13a,13bの動作説明図である。
【図9】中間画像生成手段111の動作説明図である。
【図10】中間画像処理手段112の動作説明図である。
【図11】ステップエッジとステップエッジをサンプリング間隔S1でサンプリングした信号の説明図である。
【図12】ステップエッジとステップエッジをサンプリング間隔S2でサンプリングした信号の説明図である。
【図13】中間画像生成手段111および中間画像処理手段112の動作説明図である。
【図14】本発明の実施の形態1による映像記録再生装置の別の構成図である。
【図15】本発明の実施の形態1による映像記録再生装置の別の構成図である。
【図16】本発明の実施の形態1による映像記録再生装置の別の構成図である。
【発明を実施するための形態】
【0012】
実施の形態1.
図1は本発明の実施の形態1による映像記録再生装置の構成を表す図である。
【0013】
本発明の映像記録再生装置は、入力端子2aから入力される映像信号を圧縮手段18により、例えば、MPEG−2などの方式で画像圧縮した信号をアクセス手段12へ入力する。アクセス手段12においては、例えば光ディスクなどの記録メディア3へのデータの書き込みや読み出しなどをおこなう。記録メディア3からの読み出しデータである映像信号について、伸張処理部19により画像圧縮されたデータの伸張をおこなった後、上記処理を行った信号を信号処理手段11により信号処理をおこない、出力端子2bから映像信号が出力される。伸張処理部19は、例えばMPEG−2などの高能率の非可逆圧縮方式の伸張回路である。
【0014】
図2は、図1における信号処理手段11の構成を表す図である。信号処理手段11は入力信号DIN11から特定の周波数帯域近傍の成分を取り出した中間画像D111を生成する中間画像生成手段111、画像D111に後述する処理を行った中間画像D112を生成する中間画像処理手段112、入力信号DIN11と中間画像D112を加算する加算手段113からなり、加算手段113にて入力信号DIN11と中間画像D112を加算した結果が出力信号DOUT11として出力される。
【0015】
中間画像生成手段111は入力信号DIN11から高周波数成分のみを取り出した画像D111Aを生成する高周波数成分画像生成手段111A、画像D111Aの低周波数成分のみを取り出した画像D111Bを生成する低周波数成分画像生成手段111Bからなる。中間画像生成手段111からは画像D111Bが中間画像D111として出力される。
【0016】
中間画像処理手段112は中間画像D111に対し、後述する非線形処理を行った画像D112Aを出力する非線形処理手段112A、画像D112Aの高周波数成分のみを取り出した画像D112Bを出力する高周波数成分画像生成手段112B、中間画像D111と画像D112Bを加算した画像D112Cを出力する加算手段112Cからなる。中間画像処理手段112からは画像D112Cが中間画像D112として出力される。
【0017】
以下、本発明の実施の形態1による映像記録再生装置の詳細な動作について説明を行う。
【0018】
圧縮され記録メディア3に記録された信号を、アクセス手段12を介して伸張処理手段19に入力し、伸張処理をおこなう場合、記録メディア3に記録されたデータが高い圧縮率で圧縮されているほど高周波成分が劣化しているが、この劣化を補うよう信号処理手段11において高周波数成分を加算することで、記録済みの映像信号について画像の解像感を高めるような再生が可能になる。
【0019】
信号処理手段11は、中間画像生成手段111により入力信号DIN11から特定の周波数帯域近傍の成分を取り出した中間画像D111を生成し、中間画像処理手段112により画像D111に後述する処理を行った中間画像D112を生成し、加算手段113により入力信号DIN11に中間画像D112を加算するものである。
【0020】
中間画像生成手段111の詳細な動作について説明する。
【0021】
中間画像生成手段111は、高周波数成分画像生成手段111Aにおいて、入力画像DIN11の高周波数成分のみを取り出した画像D111Aを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。なお、高周波数成分の取り出しは画像の水平方向、垂直方向それぞれについて行う。すなわち高周波数成分画像生成手段111Aは、入力画像DIN11に対し、水平方向のハイパスフィルタ処理を行って水平方向についてのみ高周波数成分を取り出した画像D111Ahを生成する水平方向高周波数成分画像生成手段111Ahと、垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ高周波数成分を取り出した画像D111Avを生成する垂直方向高周波数成分画像生成手段111Avからなり、画像D111Aは画像D111Ahと画像D111Avからなる。
【0022】
次に、中間画像生成手段111は、低周波数成分画像生成手段111Bにおいて、画像D111Aの低周波数成分のみを取り出した画像D111Bを生成する。低周波数成分の取り出しは、ローパスフィルタ処理を行うことで可能である。なお、低周波数成分の取り出しは水平方向、垂直方向それぞれについて行う。すなわち低周波数成分画像生成手段111Bは、画像D111Ahに対し水平方向のローパスフィルタ処理を行った画像D111Bhを生成する水平方向低周波数成分画像生成手段111Bと、画像D111Avに対し垂直方向のローパスフィルタ処理を行った画像D111Bvを生成する垂直方向低周波数成分画像生成手段111Bvからなり、画像D111Bは画像D111Bhと画像D111Bvからなる。そして、中間画像生成手段111からは、画像D111Bが中間画像D111として出力される。なお、中間画像D111は、画像D111Bhに相当する画像D111h、画像D111Bvに相当する画像D111vからなる。
【0023】
次に、中間画像処理手段112の詳細な動作について説明する。
【0024】
まず、中間画像処理手段112は、非線形処理手段112Aにおいて、中間画像D111に対して後述する非線形処理を行った画像D112Aを生成する。非線形処理は、水平方向、垂直方向それぞれについて行う。すなわち非線形処理手段112Aは、画像D111Bhに対して後述する非線形処理を行って画像D112Ahを生成する水平方向非線形処理手段112Ahと、画像D111Bvに対して後述する非線形処理を行って画像D112Avを生成する垂直方向非線形処理手段112Avからなり、画像D112Aは画像D112Ahと画像D112Avからなる。
【0025】
非線形処理手段112Aの動作についてさらに詳しく説明する。非線形処理手段112Aは同様の構成からなる水平方向非線形処理手段112Ah、垂直方向非線形処理手段112Avを備える。ここで、水平方向非線形処理手段112Ahは水平方向の処理を行い、垂直方向非線形処理手段112Avは垂直方向の処理を行う。
【0026】
図3は水平方向非線形処理手段112Ahの構成を表す図である。水平方向非線形処理手段112Ahはゼロクロス判定手段112Ah1、信号増幅手段112Ah2を備える。なお、非線形処理手段112Ahには、画像D111hが入力画像DIN112Ah1として入力される。
【0027】
ゼロクロス判定手段112Ah1は入力画像DIN112Ah1における画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号D112Ah1によってゼロクロス点の前後にある画素の位置を信号増幅手段112Ah2に伝達する。例えばゼロクロス点の左右に位置する画素がゼロクロス点の前後に位置する画素として認識される。
【0028】
信号増幅手段112Ah2は信号D112Ah1をもとにゼロクロス点の前後にある画素を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた(絶対値を大きくした)非線形処理画像D112Ah2を生成する。すなわち、ゼロクロス点前後にある画素の画素値に対しては増幅率を1より大きな値とし、それ以外の画素の画素値に対しての増幅率は1とする。
【0029】
そして水平方向非線形処理手段112Ahからは画像D112Ahとして非線形処理画像D112Ah2が出力される。
【0030】
図4は垂直方向非線形処理手段112Avの構成を表す図である。垂直方向非線形処理手段112Avはゼロクロス判定手段112Av1、信号増幅手段112Av2を備える。なお、非線形処理手段112Avには、画像D111vが入力画像DIN112Av1として入力される。
【0031】
ゼロクロス判定手段112Av1は入力画像DIN112Av1における画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号D112Av1によってゼロクロス点の前後にある画素の位置を信号増幅手段112Av2に伝達する。例えばゼロクロス点の上下に位置する画素がゼロクロス点の前後に位置する画素として認識される。
【0032】
信号増幅手段112Av2は信号D112Av2をもとにゼロクロス点の前後にある画素を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた(絶対値を大きくした)非線形処理画像D112Av2を生成する。すなわち、ゼロクロス点前後にある画素の画素値に対しては増幅率を1より大きな値とし、それ以外の画素の画素値に対しての増幅率は1とする。
【0033】
そして垂直方向非線形処理手段112Avからは画像D112Avとして非線形処理画像D112Av2が出力される。
【0034】
以上が非線形処理手段112Aの動作である。
【0035】
次に、中間画像処理手段112は、高周波数成分画像生成手段112Bにおいて、画像D112Aの高周波数成分のみを取り出した画像D112Bを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。なお、高周波数成分の取り出しは画像の水平方向、垂直方向それぞれについて行う。すなわち高周波数成分画像生成手段112Bは、画像D112Ahに対し水平方向のハイパスフィルタ処理を行った画像D112Bhを生成する水平方向高周波数成分画像生成手段112Bhと、画像D112Avに対し垂直方向のハイパスフィルタ処理を行った画像D112Bvを生成する垂直方向高周波数成分画像生成手段112Bvからなり、画像D112Bは画像D112Bhと画像D112Bvからなる。
【0036】
次に加重加算手段112Cは、中間画像D111と画像D112Bを加算して画像D112Cを生成する。なお、中間画像D111は画像D111hおよび画像D111vからなっており、画像D112Bは画像D112Bhおよび画像D112Bvからなっているので、中間画像D111と画像D112Bを加算することは、画像D111h、D111v、D112Bh、D112Bvの全てを加算することを意味する。そして中間画像処理手段112からは、画像D112Cが中間画像D112として出力される。
【0037】
ここで、加算手段112Cでの加算処理は単純加算に限らず重み付け加算を用いてもよい。すなわち、画像D111h、D111v、D112Bh、D112Bvの各々をそれぞれ異なる増幅率で増幅してから加算してもよい。
【0038】
加算手段113の動作について説明する。加算手段113は入力画像DIN11と中間画像D112を加算した出力画像DOUT11を生成する。そして出力画像DOUT11が出力画像として出力される。
【0039】
以下、本発明における映像記録再生装置における信号処理手段11の動作について説明するにあたり、図5に示すように、信号処理手段11の前段に拡大処理部13を設けた場合を例として用いる。これにより本出願の構成にある伸張回路19により伸張し再生する際に失われた高周波成分を補う強調処理の方法の説明も兼ねると考える。なお、以下の説明では特に断らない限り、Fnという記号は入力画像DINのナイキスト周波数を表す。
【0040】
本発明における信号処理手段11は、入力画像DIN11に対し、先に説明した処理を行った画像DOUT11を出力する。
【0041】
図6は、説明のため信号処理手段11の前段に設ける拡大処理部13の構成および動作を表す図であり、拡大処理部13は水平方向ゼロ挿入手段131、水平方向低周波数成分通過手段132、垂直方向ゼロ挿入手段133、垂直方向低周波数成分通過手段134からなる。水平方向ゼロ挿入手段131は入力信号DORGの水平方向に関して画素値0を持つ画素を適宜挿入した画像D131を生成する。水平方向低周波数成分通過手段132はローパスフィルタ処理により画像D131の低周波数成分のみを取り出した画像D132を生成する。垂直方向ゼロ挿入手段133は画像D132の垂直方向に関して画素値0を持つ画素を適宜挿入した画像D133を生成する。垂直方向低周波数成分通過手段134は画像D133の低周波数成分のみを取り出した画像D134を生成する。そして画像D134が原画DORGを水平方向、垂直方向とも2倍した画像として、拡大処理部13から出力される。
【0042】
図7は拡大処理部13における動作を詳しく説明するための図であり、図7(A)は原画DORGに、図7(B)は画像D131に、図7(C)は画像D132に、図7(D)は画像D133に、図7(E)は画像D134に対応する。なお、図7(A)〜(E)の四角は画素を表し、その中に書かれた記号あるいは数値は各画素の画素値を表す。
【0043】
ここから
水平方向ゼロ挿入手段131は図7(A)に示す原画DORGに対して、水平方向の1画素につき1個、画素値0をもった画素を挿入し、図7(B)に示す画像D131を生成する。水平方向低周波数成分通過手段132は図7(B)に示す画像D131に対して、ローパスフィルタ処理を施し、図7(C)に示す画像D132を生成する。垂直方向ゼロ挿入手段133は図7(C)に示す画像D132に対して、垂直方向の1画素につき1個、画素値0をもった画素を挿入し、図7(D)に示す画像D133を生成する。垂直方向低周波数成分通過手段134は図7(D)に示す画像D133に対して、ローパスフィルタ処理を施し、図7(E)に示す画像D134を生成する。以上の処理により原画DORGを水平方向、垂直方向とも2倍に拡大した画像D134が生成される。
【0044】
図8は拡大処理部13による処理の作用を周波数空間上で表したものであり、図8(A)は原画DORGの周波数スペクトル、図8(B)は水平方向周波数成分通過手段132の周波数応答を表している。なお、図8において横軸は水平方向の空間周波数を表す周波数軸であり、縦軸は周波数スペクトルもしくは周波数応答の強度を表している。なお原画DORGの画素数は入力画像DIN11の半分となっており、言い換えると原画DORGのサンプリング間隔は入力画像DINのサンプリング間隔の2倍になっている。したがって原画DORGのナイキスト周波数は入力画像DIN11のナイキスト周波数の半分すなわち、Fn/2となる。
【0045】
なお、図8では表記を簡素にするため、1本の周波数軸しか用いていない。しかしながら、通常、画像データは2次元平面状に並んだ画素配列上に与えられた画素値からなり、その周波数スペクトルも水平方向の周波数軸および垂直方向の周波数軸で張られる平面上に与えられるものである。したがって原画DORG等の周波数スペクトル等を正確に表すためには、水平方向の周波数軸および垂直方向の周波数軸の両方を記載する必要がある。しかしながらその周波数スペクトルの形状は通常、周波数軸上の原点を中心に等方的に広がったものであり、周波数軸1本で張られる空間上での周波数スペクトルを示しさえすれば、そこから周波数軸2本で張られる空間へ拡張して考察することは当業者にとって容易である。したがって以降の説明でも特に断らない限り、周波数空間上での説明は、1本の周波数軸で張られる空間を用いて行う。
【0046】
まず、原画DORGの周波数スペクトルについて説明する。通常、自然画像が原画DORGとして入力されるがそのスペクトル強度は周波数空間の原点周辺に集中している。したがって原画DORGの周波数スペクトルは図8(A)のように表すスペクトルSPOのようになる。
【0047】
画像D132の周波数スペクトルについて説明する。画像D131に対し、ローパスフィルタ処理を行うことで、画像D132が得られる。したがって画像D132の周波数スペクトルは画像D132に示すように、スペクトルSPOの強度がある程度落ちたスペクトルSP1からなる。なお一般に、ローパスフィルタの周波数応答は周波数が高くなるほど低くなる。従って、スペクトルSP1の強度をスペクトルSPOと比較すると、水平方向低周波数成分通過手段132によって、高周波数成分側、すなわち周波数が±Fn/2近傍でのスペクトル強度が減少したものとなる。
【0048】
また、画像拡大手段13による処理のうち、垂直方向ゼロ挿入手段133および垂直方向低周波数成分通過手段134による処理について、その周波数空間上での作用についての説明は省略するが、その処理の内容から、垂直方向の空間周波数を表す軸方向に対して、図11を用いて説明した内容と同様の作用があることは容易に理解できる。すなわち、画像D134の周波数スペクトルは、図8(B)に示した周波数スペクトルが2次元上に広がったものとなる。
【0049】
以下、本発明における映像記録装置の作用、効果について説明する。
【0050】
図9(A)〜(E)は入力画像DIN11として原画DORGを拡大して得られた画像D134が入力された場合の、入力画像DIN11から中間画像D111を生成する際の作用、効果を模式的に表した図であり、図9(A)は入力画像DIN11の周波数スペクトルを、図9(B)は高周波数成分画像生成手段111Aの周波数応答を、図9(C)は低周波数成分画像生成手段111Bの周波数応答を、図9(D)は中間画像生成手段111の周波数応答を、図9(E)は中間画像D111の周波数スペクトルを表す。なお、図9においても図8同様の理由で周波数軸は1本しか用いていない。
【0051】
さらに図9では、空間周波数が0以上となる範囲でのみ周波数スペクトルあるいは周波数応答の強度を表しているが、以下の説明での周波数スペクトルあるいは周波数応答は、周波数軸上の原点を中心に対称的な形状となる。したがって説明に用いる図は、空間周波数が0以上となる範囲のみを示したもので十分である。
【0052】
まず、入力画像DIN11の周波数スペクトルについて説明する。画像D134が入力画像DIN11として入力されるので、入力画像DIN11の周波数スペクトルは図9(A)に示すように、周波数スペクトルは図8(B)で説明したものと同じ形状となり、原画DORGのスペクトルSPOの強度がある程度落ちたスペクトルSP1と折り返し成分となるスペクトルSP2からなる。
【0053】
次に、高周波数成分画像生成手段111Aの周波数応答について説明する。高周波数成分画像生成手段111Aはハイパスフィルタにより構成されているので、その周波数応答は図9(B)に示すように周波数が低くなるほど低くなる。
【0054】
次に、低周波数成分画像生成手段111Bの周波数応答について説明する。低周波数成分画像生成手段111Bはローパスフィルタにより構成されているので、その周波数応答は図9(C)に示すように周波数が高くなるほど低くなる。
【0055】
次に、中間画像生成手段111の周波数応答について説明する。入力画像DIN11が持つ周波数成分のうち、図9(D)に示された低周波数成分側の領域RL1の周波数成分については、中間画像生成手段111内の高周波数成分画像生成手段111Aで弱められる。一方、図9(D)に示された高周波数成分側の領域RH1の周波数成分については、中間画像生成手段111内の低周波数成分画像生成手段111Bで弱められる。したがって、中間画像生成手段111の周波数応答は、図9(D)に示すように、低周波数成分側の領域RL1と高周波数成分側の領域RH1によって帯域を制限された中間の領域RM1にピークを持ったものとなる。
【0056】
次に、中間画像D111の周波数スペクトルについて説明する。図9(A)に示す周波数スペクトルを持つ入力画像DIN11が、図9(D)に示した周波数応答を持つ中間画像生成手段111を通過することで、中間画像D111が得られる。そして中間画像生成手段111の周波数応答は、低周波数成分側の領域RL1と高周波数成分側の領域RH1によって帯域制限された中間の領域RM1にピークを持ったものなので、中間画像D111の周波数スペクトルは、入力画像DIN11の周波数スペクトルのうち、低周波数成分側の領域RL1と高周波数成分側の領域RH1に含まれる部分の強度が弱くなったものとなる。従って中間画像D111は入力画像DIN11の持つ高周波数成分から折り返し成分となるスペクトルSP1を取り除いたものとなる。すなわち中間画像生成手段111には、入力画像DIN11のもつ高周波数成分から折り返し成分となるスペクトルSP1を取り除いた中間画像D111を生成するという効果がある。
【0057】
図10(A)〜(C)は中間画像処理手段112の作用、効果を表した図であり、図10(A)は非線形処理画像D112Aの周波数スペクトルを、図10(B)は高周波数成分画像112Bの周波数応答を、図10(C)は画像D112Bの周波数スペクトルを表す。なお、図10では、図9と同様の理由で、空間周波数が0以上となる範囲でのみ周波数スペクトルあるいは周波数応答の強度を表している。
【0058】
後述するように非線形処理画像D112Aでは、高周波数成分側の領域RH2に相当する高周波数成分が生成される。図10(A)はその様子を模式的に表した図である。画像D112Bは非線形処理画像D112Aが高周波数成分画像生成手段112Bを通過することで生成される。高周波数成分画像生成手段112Bはハイパスフィルタで構成されており、その周波数応答は図10(B)に示すように周波数が高くなるほど高いものとなる。従って画像D112Bの周波数スペクトルは図10(C)に示すように非線形処理画像D112Aの周波数スペクトルから低周波数成分側の領域RL2に相当する成分を取り除いたものとなる。言い換えると、非線形処理手段112Aには高周波数成分側の領域RH2に相当する高周波数成分を生成する効果があり、高周波数成分画像生成手段112Bには非線形処理手段112Aで生成された高周波数成分のみを取り出す効果がある。
【0059】
上記の作用、効果について、サンプリング間隔の長さが2倍の場合を、上記のように高周波成分が劣化し、画像がぼやけた場合とみなして、これを例に用いて詳しく説明する。
【0060】
図11、図12はステップエッジをサンプリングした際に得られる信号について表した図である。図11(A)はステップエッジとサンプリング間隔S1を表しており、図11(B)はステップエッジをサンプリング間隔S1でサンプリングした際に得られる信号を表しており、図11(C)は図11(B)に表された信号の高周波数成分を表している。一方、図12(A)はステップエッジとサンプリング間隔S1より間隔の広いサンプリング間隔S2を表しており、図12(B)はステップエッジをサンプリング間隔S2でサンプリングした際に得られる信号を表しており、図12(C)は図12(B)に表された信号の高周波数成分を表している。なお、以下の説明ではサンプリング間隔S2の長さはサンプリング間隔S1の長さの2倍であるとする。
【0061】
図11(C)、図12(C)に表されるようにステップエッジの中央は高周波数成分を表した信号においてゼロクロス点Zとして現れる。また、高周波数成分を表した信号のゼロクロス点Zの近傍での傾きは、サンプリング間隔が短いほど急になり、かつゼロクロス点Z近傍での局所的な最大値、最小値を与える点の位置も、サンプリング間隔が短いほどゼロクロス点Zに近づく。
【0062】
すなわち、サンプリング間隔が変わっても、エッジ近傍において高周波数成分を表す信号のゼロクロス点の位置は変化しないが、サンプリング間隔が小さくなるほど(あるいは解像度が上がるほど)エッジ近傍での高周波数成分の傾きは急になり、局所的な最大値、最小値を与える点の位置はゼロクロス点に近づく。
【0063】
図13はステップエッジをサンプリング間隔S1でサンプリングした信号が2倍に拡大された後、本発明における映像記録装置に入力された際の作用、効果を表す図であり、特に中間画像生成手段111および中間画像処理手段112の作用、効果を表している。なお、先に述べた通り、中間画像生成手段111および中間画像処理手段112内部の処理は水平方向、垂直方向のそれぞれについて行われるのでその処理は一次元的に行われる。したがって図13では一次元信号を用いて処理の内容を表している。
【0064】
図13(A)は、図12(B)同様ステップエッジをサンプリング間隔S2でサンプリングした信号である。図13(B)は、図13(A)に表した信号を2倍に拡大した信号である。すなわち、原画DORGに図13(A)に示すようなエッジが含まれる場合、入力画像DIN11として図13(B)に示すような信号が入力される。なお、信号を2倍に拡大するとサンプリング間隔は拡大前の半分になるため、図13(B)に表した信号のサンプリング間隔は図11中のサンプリング間隔S1と同じになる。また、図13(A)において座標P3で表される位置はエッジ信号の低輝度側の境界部分であり、座標P4で表される位置はエッジ信号の高輝度側の境界である。
【0065】
図13(C)は図13(B)に表した信号の高周波数成分を表した信号、すなわち高周波数成分画像生成手段111Aから出力される画像D111Aに相当する信号である。なお、画像D111Aは、入力画像DINの高周波数成分を取り出したものなので、その中には折り返し成分も含まれている。
【0066】
図13(D)は図13(C)に表した信号の低周波数成分を表した信号、すなわち低周波数成分画像生成手段111Bから出力される画像D111Bに相当する信号である。なお先に述べたとおり画像D111Bが中間画像D111として出力されるので、図13(D)は中間画像D111にも相当する。図13(D)に示すとおり、中間画像D111においてゼロクロス点Z近傍の局所的な最小値は座標P3に、局所的な最大値は座標P4に表れ、その様子は図12(C)に示した、ステップエッジをサンプリング間隔S2でサンプリングした信号から取り出した高周波数成分と一致する。
【0067】
図13(E)は、図13(D)に表した信号に対する非線形処理手段112Aに入力された際の出力信号、すなわち、中間画像D111が入力された場合に非線形処理手段112Aから出力される画像D112Aを表している。非線形処理手段112Aではゼロクロス点Zの前後の座標P1、P2の信号値が増幅される。したがって、画像D112Aは図13(E)に示すように座標P1、P2での信号値の大きさが他の値に比べ大きくなり、ゼロクロス点Z近傍で、局所的な最小値の現れる位置が座標P3からよりゼロクロス点Zに近い座標P1に、局所的な最大値の現れる位置が座標P4からよりゼロクロス点Zに近い座標P1へと変化する。これは非線形処理手段112Aにおける、ゼロクロス点Z前後の画素の値を増幅するという非線形処理によって、高周波数成分が生成されたことを意味する。このように画素ごとに適応的に増幅率を変える、あるいは画素に応じて処理の内容を適宜変えることで、高周波数成分を生成することが可能になる。すなわち非線形処理手段112Aには、中間画像D111には含まれない高周波数成分、すわなち、図10(A)に示した高周波数成分側の領域RH2に相当する高周波数成分を生成する効果がある。
【0068】
図13(F)は図13(E)に表した信号の高周波数成分を表した信号、すなわち高周波数成分画像生成手段112Bから出力される画像D112Bに相当する信号である。図13(F)に示すとおり、画像D112Bにおいてゼロクロス点Z近傍の局所的な最小値は座標P1に、最大値は座標P2に表れ、その様子は図11(C)に示した、ステップエッジをサンプリング間隔S1でサンプリングした信号から取り出した高周波数成分と一致する。これは非線形処理手段112Aにおいて生成された高周波数成分が高周波数成分画像生成手段112Bによって取り出され、画像D112Bとして出力されることを意味する。また、取り出された画像D112Bはサンプリング間隔S1に対応した周波数成分を含む信号であるといえる。言い換えると、高周波数成分画像生成手段112Bには非線形処理手段112Aで生成された高周波数成分のみを取り出す効果がある。
【0069】
加算手段112Cでは中間画像D111と画像D112Bを加算し画像D112Cを生成する。先に述べたとおり中間画像D111は入力画像DIN11の持つ高周波数成分から折り返し成分を取り除いたものであり、図9(E)に示すように原画DORGのナイキスト周波数近傍の高周波数成分に対応している。図8(C)で説明したとおり、原画DORGのナイキスト周波数近傍のスペクトル強度は画像拡大手段13での拡大処理によって弱められているので、中間画像D111を加算することで、拡大処理によって弱められたスペクトル強度を補うことができる。一方、画像D112Bはサンプリング間隔S1に対応した高周波数成分である。したがって画像D112Cを加算することで原画DORGのナイキスト周波数以上の帯域の高周波数成分を与えることがでるので、画像の解像感を増すことができる。したがって中間画像D111と画像D112Bを加算した画像D112Cを入力画像DINに加算することで、折り返し成分を強調することなく高周波数成分を加算することが可能となり、画像の解像感を高めることが可能となる。
【0070】
加算手段113では画像D112Cが中間画像D112として入力画像DIN11に加算される。したがって、折り返し成分に起因するオーバーシュートやジャギーあるいはリンギング等の増加を抑えつつ高周波数成分を加算し、画像の解像感を高めることができる。
【0071】
さらに、本発明における映像記録装置では、中間画像生成手段111および中間画像処理手段112において、画像の水平方向に関する処理、垂直方向に関する処理を並列に行っているので、画像の水平方向のみ、あるいは垂直方向のみに限らず任意の方向に関して上記の効果を得ることができる。
【0072】
また、本発明における映像記録装置では周波数空間で考えて原点からFnに渡る周波数帯域のうち、原画DORGのナイキスト周波数±Fn/2近傍(あるいは特定の周波数帯域)に入力画像DINが持っている成分をもとに、ナイキスト周波数±Fn近傍の高周波数成分に対応した画像D112Bを生成している。したがってなんらかの理由で、入力画像DIN11において、ナイキスト周波数±Fn近傍の周波数成分が失われていたとしても、画像D112Bにより、ナイキスト周波数±Fn近傍の周波数成分を与えることが可能になる。
【0073】
なお、特定の周波数帯域として用いる箇所は、±Fn/2近傍に限定されるものではない。すなわち高周波数成分画像生成手段111Aおよび低周波数成分画像生成手段111Bの周波数応答を適宜変更することで、利用する周波数帯域を変更することができる。
【0074】
上記の説明では、本出願の構成にあるように、データの伝送・蓄積などのために原信号のデータ量の削減をおこなう目的での画像圧縮方式に非可逆圧縮を用いている場合、記録メディアに記録されたデータを伸張回路19により伸張し再生する際には、圧縮率が大きいほど高周波成分が失われ、画像がぼやけるため、画像の拡大処理をおこなった場合のエッジ部分を、画像がぼやけた場合のなまったエッジ部分に見立て、例としてあげたものであり、このような劣化が生じた場合でも、上記の通り、本回路では失われた成分を補うような強調処理をおこなうことが可能である。また、強調処理を再生信号に対して行う構成により、他の映像記録再生装置で記録された映像メディアについても、十分な強調処理を行うことが可能である。
【0075】
上記の説明では、映像記録再生装置について説明したが同様な構成で映像記録をおこなわない映像再生装置において、同様の強調処理をおこなうようにしてもよい。
【0076】
また、上記説明では、アクセス手段12からの出力信号について映像の強調処理を行う構成としていたが、図14のように、アクセス手段12に入力する信号に、図1における信号処理部11に対応する信号処理部17により、記録メディアに記録する信号に対し、上記説明において再生信号に対して行った処理と同様の処理を行う構成とし、記録信号について強調処理を行うものとすることにより、画像圧縮ならびに伸張処理の過程で失われる高周波数成分について、事前により強く強調処理をおこなっておくことにより、伸張処理後に高周波数成分がなまった場合でも失われる成分をより少なくすることが可能である。
【0077】
また、上記説明では、アクセス手段12からの出力信号であり、画像圧縮された信号について映像の強調処理を行う構成としていたが、図15のように、画像圧縮されていない信号が入力され、記録メディアに書き込みや読み出しをされることなく、モニターなどの映像表示装置に出力される信号に対し、信号処理部11により強調処理を行うものとしてもよい。当然、画像圧縮された信号を外部において伸張をおこなった場合でも、強調処理により外部での画像圧縮伸張により失われた成分を補う効果が期待できる。また、図16のように、アクセス手段に入力する信号ならびにアクセス手段からの出力信号のそれぞれについて信号処理部を有する構成とすることで、記録メディアへの書き込み信号ならびに記録メディアからの読み出し信号のどちらに対しても映像の強調処理を行う構成としてもよい。
【符号の説明】
【0078】
1 映像記録再生装置、 2a 入力端子、 2b 出力端子、 3 記録メディア、
11 信号処理手段、12 アクセス手段、13 拡大処理手段、18 圧縮処理手段、19 伸張処理手段、111 中間画像生成手段、112 中間画像処理手段、113 加算手段。

【特許請求の範囲】
【請求項1】
記録メディアに記録された画像データを、アクセス手段を介して再生した後、伸張処理手段により伸張処理を行って画像再生信号を得、信号処理手段により前記画像再生信号に解像感強調処理を行った映像出力信号を出力する映像再生装置であって、
前記信号処理手段が、前記画像再生信号を画像入力信号とし、
前記画像入力信号の特定の周波数帯域近傍の成分を取り出して第1の中間画像を生成する中間画像生成手段と、
前記第1の中間画像に非線形処理を施して生成した高周波数成分を前記第1の中間画像に加算した第2の中間画像を生成する中間画像処理手段と、
前記画像入力信号と前記第2の中間画像を加算して前記映像出力信号を生成する加算手段と
を有することを特徴とする映像再生装置。
【請求項2】
前記中間画像生成手段は、
前記画像入力信号の高周波数成分のみを取り出して第1の高周波数成分画像を生成する第1の高周波数成分画像生成手段と、
前記第1の高周波数成分画像の低周波数成分のみを取り出して前記第1の中間画像を生成する低周波数成分画像生成手段と
を有することを特徴とする請求項1記載の映像再生装置。
【請求項3】
前記中間画像処理手段は、
前記第1の中間画像のゼロクロス点の隣の各画素値を1より大きい増幅率で増幅した非線形処理画像を生成する非線形処理手段と
前記非線形処理画像の高周波数成分のみを取り出した第2の高周波数成分画像を生成する第2の高周波数成分画像生成手段と、
前記第1の中間画像と前記第2の高周波数成分画像を加算する加重加算手段と
を有することを特徴とする請求項1記載の映像再生装置。
【請求項4】
前記第1の高周波数成分画像生成手段は、
前記画像入力信号の各画素の水平方向近傍に存在する画素を用いて高周波数成分を取り出した第1の水平方向高周波数成分画像を生成する第1の水平方向高周波数成分画像生成手段と、
前記画像入力信号の各画素の垂直方向近傍に存在する画素を用いて高周波数成分を取り出した第1の垂直方向高周波数成分画像を生成する第1の垂直方向高周波数成分画像生成手段を有し、
前記低周波数成分画像生成手段は、
前記第1の水平方向高周波数成分画像の低周波数成分のみを取り出した第1の水平方向中間画像を生成する水平方向低周波数成分画像生成手段と、
前記第1の垂直方向高周波数成分画像の低周波数成分のみを取り出した第1の垂直方向中間画像を生成する垂直方向低周波数成分画像生成手段と
を有することを特徴とする請求項2記載の映像再生装置。
【請求項5】
前記非線形処理手段は、
前記第1の水平方向中間画像のゼロクロス点の隣の各画素値を1より大きい増幅率で増幅した水平方向非線形処理画像を生成する水平方向非線形処理手段と、
前記第1の垂直方向中間画像のゼロクロス点の隣の各画素値を1より大きい増幅率で増幅した垂直方向非線形処理画像を生成する垂直方向非線形処理手段を有し、
前記第2の高周波数成分画像生成手段は、
前記水平方向非線形処理画像の高周波数成分のみを取り出した第2の水平方向高周波数成分画像を生成する第2の水平方向高周波数成分画像生成手段と、
前記垂直方向非線形処理画像の高周波数成分のみを取り出した第2の垂直方向高周波数成分画像を生成する第2の垂直方向高周波数成分画像生成手段と
を有することを特徴とする請求項3記載の映像再生装置。
【請求項6】
前記水平方向非線形処理手段は、
前記第1の水平方向中間画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス点判定手段と
前記水平方向ゼロクロス点判定手段の判定結果に応じて前記第1の水平方向中間画像の各画素に対する増幅率を決定する水平方向信号増幅手段を有し、
前記垂直方向非線形処理手段は、
前記第1の垂直方向中間画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス点判定手段と、
前記垂直方向ゼロクロス点判定手段の判定結果に応じて前記第1の垂直方向中間画像の各画素に対する増幅率を決定する垂直方向信号増幅手段と
を有することを特徴とする請求項5記載の映像再生装置。
【請求項7】
記録メディアに記録された画像データを、アクセス手段を介して再生した後、伸張処理手段により伸張処理を行って画像再生信号を得、信号処理手段により前記画像再生信号に解像感強調処理を行った映像信号を記録または再生することを特徴とする映像記録再生装置であって、
前記信号処理手段が、前記画像再生信号を画像入力信号とし、
前記画像入力信号の特定の周波数帯域近傍の成分を取り出して第1の中間画像を生成する中間画像生成手段と、
前記第1の中間画像に非線形処理を施して生成した高周波数成分を加算した第2の中間画像を生成する中間画像処理手段と、
前記画像入力信号と前記第2の中間画像を加算して前記映像出力信号を生成する加算手段と
を有することを特徴とする映像記録再生装置。
【請求項8】
前記中間画像生成手段は、
前記画像入力信号の高周波数成分のみを取り出して第1の高周波数成分画像を生成する第1の高周波数成分画像生成手段と、
前記第1の高周波数成分画像の低周波数成分のみを取り出して前記第1の中間画像を生成する低周波数成分画像生成手段と
を有することを特徴とする請求項7記載の映像記録再生装置。
【請求項9】
前記中間画像処理手段は、
前記第1の中間画像のゼロクロス点の隣の各画素値を1より大きい増幅率で増幅した非線形処理画像を生成する非線形処理手段と
前記非線形処理画像の高周波数成分のみを取り出した第2の高周波数成分画像を生成する第2の高周波数成分画像生成手段と、
前記第1の中間画像と前記第2の高周波数成分画像を加算する加重加算手段と
を有することを特徴とする請求項7記載の映像記録再生装置。
【請求項10】
前記第1の高周波数成分画像生成手段は、
前記画像入力信号の各画素の水平方向近傍に存在する画素を用いて高周波数成分を取り出した第1の水平方向高周波数成分画像を生成する第1の水平方向高周波数成分画像生成手段と、
前記画像入力信号の各画素の垂直方向近傍に存在する画素を用いて高周波数成分を取り出した第1の垂直方向高周波数成分画像を生成する第1の垂直方向高周波数成分画像生成手段を有し、
前記低周波数成分画像生成手段は、
前記第1の水平方向高周波数成分画像の低周波数成分のみを取り出した第1の水平方向中間画像を生成する水平方向低周波数成分画像生成手段と、
前記第1の垂直方向高周波数成分画像の低周波数成分のみを取り出した第1の垂直方向中間画像を生成する垂直方向低周波数成分画像生成手段と
を有することを特徴とする請求項8記載の映像記録再生装置。
【請求項11】
前記非線形処理手段は、
前記第1の水平方向中間画像のゼロクロス点の隣の各画素値を1より大きい増幅率で増幅した水平方向非線形処理画像を生成する水平方向非線形処理手段と、
前記第1の垂直方向中間画像のゼロクロス点の隣の各画素値を1より大きい増幅率で増幅した垂直方向非線形処理画像を生成する垂直方向非線形処理手段を有し、
前記第2の高周波数成分画像生成手段は、
前記水平方向非線形処理画像の高周波数成分のみを取り出した第2の水平方向高周波数成分画像を生成する第2の水平方向高周波数成分画像生成手段と、
前記垂直方向非線形処理画像の高周波数成分のみを取り出した第2の垂直方向高周波数成分画像を生成する第2の垂直方向高周波数成分画像生成手段と
を有することを特徴とする請求項9記載の映像記録再生装置。
【請求項12】
前記水平方向非線形処理手段は、
前記第1の水平方向中間画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス点判定手段と
前記水平方向ゼロクロス点判定手段の判定結果に応じて前記第1の水平方向中間画像の各画素に対する増幅率を決定する水平方向信号増幅手段を有し、
前記垂直方向非線形処理手段は、
前記第1の垂直方向中間画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス点判定手段と、
前記垂直方向ゼロクロス点判定手段の判定結果に応じて前記第1の垂直方向中間画像の各画素に対する増幅率を決定する垂直方向信号増幅手段と
を有することを特徴とする請求項11記載の映像記録再生装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2011−34396(P2011−34396A)
【公開日】平成23年2月17日(2011.2.17)
【国際特許分類】
【出願番号】特願2009−180689(P2009−180689)
【出願日】平成21年8月3日(2009.8.3)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】