説明

再生装置

【課題】アップコンバート時にフィルムグレインまで拡大してしまうこと。
【解決手段】アップコンバータ5は、映像信号におけるフレーム画像に対し、アップコンバートを施す。フィルムグレイン検出回路6は、映像信号のフィルムグレインを検出し、周波数変換機7は、フィルムグレインの空間周波数を高域に変換する。こうして生成がなされたフレーム画像には、変換が施されたフレーム画像の解像度(縦1920画素×横1080ライン)と、同一の解像度でフィルムグレインが分布しており、個々のフィルムグレインは、変換前の映像信号に含まれていたフィルムグレインの特性(波高値、出現頻度、周波数)を、擬似化した特性をもつ。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像信号の解像度変換技術の技術分野に属する発明である。
【背景技術】
【0002】
解像度変換技術とは、記録媒体や放送波から供給される映像信号に対して、変換処理を施し、より高解像度の映像信号を得て、テレビに出力する技術であり、近年のハイビジョンテレビの普及に伴って、その重要度が、一層増している。
【0003】
例えば、元の映像が横720画素縦480ラインのSD画像であるなら、これに対して解像度変換を施すことで、横1920画素縦1080ラインのHD画像を得ることができる。このように、元の映像信号を、より高い解像度の映像信号に変換する技術を、“アップコンバート”という。その逆を、“ダウンコンバート”という。解像度変換技術の先行技術には、以下の特許文献に記載されているものが知られている。
【0004】
特許文献1に記載されている先行技術は、標準テレビ信号に準じた縦480ライン(走査線数525本)の映像信号を対象にして、解像度変換を実行するというものである。
【0005】
更に、統計的手法を用いて解像感を増す解像度変換の手法(非特許文献1参照)や、複数フレームの映像信号より解像度変換する手法(非特許文献2参照)等も多く提案されている。
【特許文献1】特開平2−189086号公報(第1図)
【非特許文献1】統計的手法を用いた画像の高解像度化に関する研究(長野県情報技術試験場研究報告No.18)
【非特許文献2】マルチフレームを用いた画像の高解像度化(長野県情報技術試験場研究報告No.19)
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、大画面のハイビジョンテレビが普及している今日において、上述したような解像度変換の技術分野では、フィルムグレインの再現が重要視されている。“フィルムグレイン”とは、フィルムを現像することで映像内に現れる銀塩粒子の像である。一般にフィルムの現像は、銀塩をフィルムに塗布して、感光することでなされる。そうすると現像後の映像には、この塗布の斑(まだら)や、銀塩の粒子の像が出現することになる。映画館での視聴を再現するため、DVDの収録にあたっては、かかるフィルムグレインが映像内に現れるように、映像が記録される。
【0007】
上述したアップコンバートにあたって、フィルムグレインがどのように表現されるかを検討すると、HD画像は、上述したような高解像度で映像が表現されるので、フィルムグレインは、この解像度の1画素とか、2画素とか、少ない画素数で表現されるべきである。このように少ない画素数で、フィルムグレインが出現すれば、高解像度で映像が表現されているとの実感が湧くからである。しかし上述したアップコンバートで、フィルムグレインを表現しようとすると、SD画像において、1画素、2画素で表現されているフィルムグレインが、アップコンバート後のHD画像では、縦2画素×横3画素等、複数画素の集まりとして表現されることになる。このようにフィルムグレインが複数画素で表現されれば、ユーザは、大きなフィルムグレインがHD画像上に出現しているように感じ、映像が高解像度になったとの実感が湧かない。このようにアップコンバートにより、フィルムグレインが多くの画素で表現されれば、映像全体に対するフィルムグレインの比率がアップコンバート前とで変化せず、アップコンバートにより高解像度になったとの実感が湧かないという問題がある。
【0008】
本発明の目的は、アップコンバートにより画像が高解像度になったとの実感を、ユーザに抱かせることができる再生装置を提供することである。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明にかかる再生装置は、映像信号におけるフレーム画像の水平、垂直の両方もしくはどちらか一方の画素数を増やす解像度変換を行う解像度変換手段と、前記映像信号から所定の周波数領域を抽出し、その抽出した周波数領域の映像信号の変化の状態を判定し、その判定結果を判定信号として出力する判定手段と、前記判定信号に応じて、前記解像度変換手段において解像度を変換された映像信号の一部の空間周波数を大きくする空間周波数変換手段と、を備えることを特徴としている。
【発明の効果】
【0010】
上述した本発明にかかる再生装置において、変換手段は、解像度変換が施された映像信号に対して、変換後の解像度に応じたフィルムグレイン成分の周波数を変換するので、アップコンバート後のHD画像には、縦1080ライン×横1920画素という解像度において、1画素、2画素という単位で、フィルムグレインが出現するように見える。縦1080ライン×横1920画素という画像全体の解像度に対し、1画素、2画素という単位で、フィルムグレインが出現すれば、画像全体に対するフィルムグレインの大きさの比率が小さくなり、ユーザは、再生装置におけるアップコンバート機能にて、高解像度の映像が再生されているとの実感を抱くことができる。
【0011】
また変換後の画像には、変換後の解像度に応じた解像度分布で、フィルムグレインが出現するので、フィルムグレインの仕方が、不自然になることはない。加えて、出現するフィルムグレインの量が、過剰になることもない。
【発明を実施するための最良の形態】
【0012】
(第1実施形態)
以下、本発明にかかる再生装置の実施形態について説明する。本発明に係る再生装置は、図1における内部構成図に基づき、工業的に生産することができる。
【0013】
図1は、第1実施形態に於ける再生装置の内部構成を示す図である。本図において、再生装置は、光ディスク1、光ピックアップ2、モーター3、映像復調回路4、アップコンバータ5、フィルムグレイン検出回路6、周波数変換回路7、ディジタル変調回路8、端子9から構成される。
【0014】
図11は、第1実施形態に係る再生装置の構成要素から出力される映像信号が、どのように変化するかを示すタイミングチャートである。以降、再生装置の構成要素の説明については、このタイミングチャートを併用するものとする。
【0015】
1.光ディスク1
光ディスク1には、映像信号が記録されている。光ディスク1に記録されている映像信号はMPEG2方式(ITU−T勧告H.262/ISO/IEC13818−2)で圧縮されている。
【0016】
2.光ピックアップ2
光ピックアップ2は、光ディスク1に記録された信号を電気的信号に変換する。光ピックアップ2の出力は映像復調回路4で復調され、映像信号と再生に必要な同期信号として出力される。
【0017】
3.モーター3
モーター3は、光ディスク1を再生に適した速度で回転させる。
【0018】
4.映像復調回路4
映像復調回路4は、光ピックアップ2の出力から誤り訂正などを行ない、元の映像信号を復調する。この復調により得た映像信号をフィルムグレイン検出回路6とアップコンバータ5とに入力する。後述するが、本再生装置は、HDMI伝送路を通じて非圧縮のフレーム画像をテレビに送信するものなので、MPEG2符号化方式で符号化されたフレーム画像に対する復号処理を行い、フレーム画像を構成する映像信号を得て出力する。このことから、MPEG2符号化方式で符号化されたフレーム画像に対する復号に必要なデマルチプレクサやビデオデコーダは、映像復調回路4内に実装されているものとする。
【0019】
5.アップコンバータ5
アップコンバータ5は、映像復調回路4の出力をより解像度の高い映像信号に変換する。
【0020】
具体的にいうと、縦1080ライン横1920画素の解像度を持つよう、変換を行う。図11の第1段目は、アップコンバート前の映像信号を示し、第2段目は、アップコンバート後の映像信号を示す。第1段目を第2段目と対比すると、第2段目では、グリッドの間隔が密になっている。これはアップコンバータ7によるアップコンバートにより、画像が多くの画素数で表現されていることを示す。
【0021】
6フィルムグレイン検出回路6
フィルムグレイン検出回路6は、元の映像信号に含まれているフィルムグレインの検出を行う。ここでは、映像信号は元々フィルムで撮像された映像を電気映像に変換されたものをいい、映像におけるフィルムグレインとは、フィルム上の銀塩の粒子による小振幅信号のことである。映像信号の成分には、揮度成分領域、色差成分領域があり、これらの領域に存在する微小振幅の成分が、フィルムグレインにあたる。フィルムグレイン検出回路7は、これら領域内の微小振幅信号の振幅の測定を行い、かかる振幅をフィルムグレインとして検知する。
【0022】
7周波数変換器7
周波数変換器7は、フィルムグレイン検出回路6が検出している期間だけ、アップコンバータ5の出力周波数を高域へ変換して出力する。図11の第2段目は、アップコンバータ5の出力を示し、第3段目は、フィルムグレイン検出回路6の出力を示す。第4段目は、フィルムグレイン検出回路6の出力が“1”即ちフィルムグレインを検出している期間だけ、アップコンバータ5の出力の周波数が高域に変換された周波数変換回路7の出力示す。
【0023】
8.ディジタル変調回路8
ディジタル変調回路8は、周波数変換器7の出力を変調し、伝送に適した形式に変換する。この様にして得られた周波数変換器7の出力は、ディジタル変調回路8ではHDMI形式のディジタル映像信号変調がかけられ、端子9より、図示されないモニタに映像信号が出力され出画される。
【0024】
9.端子9
端子12は、HDMI規格(HDMI:High Definition Multimedia
Interface)に準拠した端子であり、その中にはディジタル変調された映像信号伝送路と共に、VESA/E−DDC及びEIA/CEA 861−B両規格で規定される相互通信用のシリアル伝送路が含まれている。
【0025】
図2は、第1実施形態に於ける入力画像と出力画像の画素数を示す図である。この図に示すように、第1実施例における再生装置の実施形態においては、入力画像即ちディスク1に記録されている映像信号は縦480ライン、横720画素の標準映像信号であり、それが、アップコンバータ5により縦1080ライン、横1920画素のハイビジョン映像に変換されて出力されるものである。
【0026】
<アップコンバータ5の詳細>
以降、図3を参照しながらアップコンバータ5の詳細について説明する。図3は、第1実施形態に於ける再生装置のアップコンバータ5の内部構成を示す図である。本図に示すように、アップコンバータ5は、8ラインメモリ10、垂直ポリフェーズフィルタ11、水平ポリフェーズフィルタ12、ディレイメモリ13から構成される。
【0027】
詳細その1.8ラインメモリ10
8ラインメモリ10は、ラインメモリを8本内蔵している。これらのラインメモリは直列に接続され、各ラインメモリは、映像復調回路4から入力される映像信号の1水平ライン数に該当する。また各ラインメモリの出力は、垂直ポリフェーズフィルタ11に入力される。
【0028】
詳細その2.垂直ポリフェーズフィルタ11
垂直ポリフェーズフィルタ11は、映像信号の1水平ライン遅延映像信号、2水平ライン遅延映像信号、3水平ライン遅延映像信号、4水平ライン遅延映像信号、5水平ライン遅延映像信号、6水平ライン遅延映像信号、7水平ライン遅延映像信号、8水平ライン遅延映像信号という8つの映像信号を入力して、これらの8つ映像信号に対して垂直補間を施し、元の映像信号の垂直480ラインを1080ラインに解像度変換し、水平ポリフェーズフィルタ17に出力する。図4(a)は、垂直ポリフェーズフィルタ11による変換前後のフレーム画像を示す図である。図に示すように、元の映像信号の縦480ライン横720画素の映像信号が、縦1080ライン横720画素の高解像度映像信号に解像度変換される。ここで1つのラインを、前後8本のラインに基づき生成するのは、ライン間の相関性を利用して、元の映像にないラインを生成するためである。
【0029】
詳細その3.水平ポリフェーズフィルタ12
水平ポリフェーズフィルタ12は内部に8タップポリフェーズフィルタを持ち、水平補間を行い、元の映像信号の水平720画素を1920画素に解像度変換し、ディレイメモリ13に出力する。図4(b)は、水平ポリフェーズフィルタ12による変換前後のフレーム画像を示す図である。図に示すように、元の映像信号の縦1080ライン横720画素の映像信号が、縦1080ライン横1920画素の高解像度映像信号に解像度変換される。
【0030】
詳細その4.ディレイメモリ13
ディレイメモリ13は、水平ポリフェーズフィルタ12からの出力に対して、一定時間の遅延を与える。この遅延にあたって、解像度変換がなされた映像信号入力から出力までの遅延が丁度1フレームになるようにする。かかる遅延において、出力映像の垂直同期信号を周波数変換回路7に出力する。
【0031】
以上で、アップコンバータ5についての説明を終える。
【0032】
<フィルムグレイン検出回路6の詳細>
図5を参照しながら、フィルムグレイン検出回路6の内部構成について説明する。図5は、第1実施形態に於けるフィルムグレイン検出回路6の内部構成を示す図である。本図に示すように、フィルムグレイン検出回路6は、バンドパスフィルタ14、リミッタ15から構成される。図8は、フィルムグレイン検出回路6に対する入力信号と、各構成要素からの出力信号とを対比して示すタイミングチャートである。以降のノイズ検出回路5の説明には、このタイミングチャートを併用するものとする。他に併用する図面としては、図5、図6がある。
【0033】
詳細その1.バンドパスフィルタ14
バンドパスフィルタ14には、映像復調回路4で復調された映像信号が入力される。図6は、第1実施形態に於ける再生装置のバンドパスフィルタの特性を示す図である。横軸は周波数軸であり、縦軸は各周波数におけるゲインを示す。バンドパスフィルタ14は入力された映像信号の中域のみを通過させる特性をもつ。これは主に元の映像信号成分中のフィルムグレインが分布している成分に一致しており、その成分のみ通過させるようにしているものである。バンドパスフィルタ14を通過した映像信号はリミッタ15に入力される。
【0034】
図8の第1段目、第2段目は、バンドパスフィルタ13への入力となる映像信号と、かかる入力時におけるバンドパスフィルタ14の出力とを対比して示す。第1段目において、期間k1、期間k2上に存在する凸部i1,i2,i3,i4,i5・・・は、フィルムグレインである。バンドパスフィルタ14を経由することで、これらのフィルムグレインと、期間k1から期間k2への変化部分k3とが、バンドパスフィルタ13の出力信号に出現していることがわかる。
【0035】
詳細その2.リミッタ14
リミッタ14は、映像信号における特定振幅信号成分がある時のみ“1を出力”し、それ以外では”0”を出力する。これは、フィルムグレインは主に振幅が微少だからである。図7は、第1実施形態に於ける再生装置のリミッタの特性を示す図である。横軸はバンドパスフィルタ14の出力であり、振幅値にて表現されている。縦軸は、バンドパスフィルタ13の各出力に対するリミッタ14の出力を示す。
【0036】
即ち、リミッタ14の出力が“1”の期間は、元の映像信号に含まれるフィルムグレインからなる特定振幅信号成分が抽出されている事になり、この様にして得られたフィルムグレイン検出回路6の出力は周波数変換回路7に入力される。図8の第2段目、第3段目は、リミッタ14に対する入力信号と、出力信号とを対比して示す。ここで第2段目の特定振幅成分が図7で示されるリミット値以下の場合のみ、“1”がリミッタ出力となり第3段目に示すように、フィルムグレイン検出回路5から出力される。
【0037】
以上で、フィルムグレイン検出回路6の詳細について、説明を終える
<周波数変換器7の詳細>
以降、図9を参照しながら、周波数変換器7の詳細について説明する。図9は、第1実施形態に於ける周波数変換器7の内部構成を示す図である。周波数変換器7は、ディレイ16、加算器17、1/2アンプ18、第1のディレイ群19、第2のディレイ群20、スイッチ制御回路21、スイッチ22から構成され、“周波数変換機入力”、“フィルムグレイン検出信号入力”、“周波数変換機出力”を有する。“周波数変換機入力”とは、アップコンバータ5が出力した映像信号である。“フィルムグレイン検出信号入力”とは、フィルムグレイン検出回路6が出力した信号のことである。この周波数変換器7は、いわば、元の映像信号におけるフィルムグレイン信号成分の空間周波数を変換する役割を果たす。図10は、周波数変換器7に対する入力信号と、各構成要素からの出力信号とを対比して示すタイミングチャートである。以降の周波数変換器7の説明には、このタイミングチャートと図9を併用するものとする。
【0038】
詳細その1.ディレイ16、加算器17、1/2アンプ18
ディレイ16は入力された映像信号を1ピクセルクロック分だけの遅延を与える。加算器17はディレイ16の入力及び、出力の和を求め、それを1/2アンプ18に入力する。1/2アンプ18は、加算器17の出力を1/2にする。即ち1/2アンプ18は、周波数変換機入力と、ディレイ16の出力、即ち1ピクセル前の周波数変換機入力の平均値、言い換えれば隣接画素の平均値を求める。
【0039】
詳細その2.第1のディレイ群19
第1のディレイ群19は、1/2アンプ18で求められた、隣接画素の平均値をピクセルクロックに従って遅延を与え、それぞれの遅延出力をスイッチ22に供給する。
【0040】
詳細その2.第2のディレイ群20
第2のディレイ群19は、周波数変換機入力をピクセルクロックに従って遅延を与え、それぞれの遅延出力をスイッチ22に供給する。
【0041】
詳細その3、スイッチ制御回路21とスイッチ22
スイッチ制御回路21は、図10の最上段に示すフィルムグレイン検出信号に応じて、映像信号のサンプルを間引く様スイッチ22を制御する。
【0042】
即ち図10の第2段目に示す様に、S2、S3,S4,S5、S6とあるフィルムグレイン検出している期間の映像サンプルを、図10第3段目に示す様に、S3を間引いて代わりにS2を1サンプル移動させ、第2段目S2のあったサンプル位置には、S1とS2の平均値、即ち(S1+S2)/2の値を挿入する。また、図10第2段目のS5を間引いて代わりにS6を1サンプル移動させ、第2段目S6のあったサンプル位置にはS5とS6と平均値、即ち(S6+S7)/2の値を挿入する。これにより、図10第3段目にある周波数変換器出力は、第2段目にある周波数変換器入力信号の周波数が高域に変化した信号が得られる。スイッチ制御回路21は、フィルムグレイン検出信号に応じて、スイッチ22に入力されている第1のディレイ群19の各ディレイ段出力及び第2のディレイ群20の各ディレイ段出力を選択する事により、この動作を実現する。フィルムグレインを検出していない場合には、スイッチ制御回路21は、周波数右辺喚起入力をそのまま周波数変換機出力として出力する様、スイッチ22を制御する。
【0043】
以上で、周波数変換機7の詳細について、説明を終える。
【0044】
<周波数変換機7を通過した映像信号>
以上に述べた再生装置によって、どのような映像信号が、モニタに送り出されるかを、図11を参照しながら説明する。
【0045】
図11は、第1実施形態に係る再生装置の構成要素から出力される映像信号が、どのように変化するかを示すタイミングチャートである。
【0046】
前述した様に、図11の第1段目は、アップコンバート前の映像信号を示し、第2段目は、アップコンバート後の映像信号を示す。第1段目を第2段目と対比すると、両者は波形的には何の変化も無い事が判る。第3段目は、フィルムグレイン検出回路6がフィルムグレインを検出している期間を示しており、第4段目に示す様に、周波数変換器出力では、フィルムグレインが検出されている期間における微細信号の周波数が高域変換されている事が判る。
【0047】
<まとめ>
フィルムグレインが存在するSD画像に対し、アップコンバートを行う場合と、SD画像からノイズを除去して、擬似ノイズ信号を加算する場合とで、映像の内容がどのように変化するかについて述べる。
【0048】
図12(a)は、フィルムグレインが存在するSD画像に対し、アップコンバートを行う場合において、SD画像がどのように変化するかを対比して示す。本図の左側がアップコンバート前のSD画像であり、右側がアップコンバート後のHD画像である。左側において、1画素で表現されていたフィルムグレインは、右側において、縦2画素×横2画素という複数の画素で表現されていることがわかる。
【0049】
図12(b)は(a)に示したアップコンバート前のSD画像と、アップコンバート後のHD画像とを同じ大きさのTVで表示した場合の表示例を示す。本図の左側がSD画像であり、右側がHD画像である。左側において、1画素で表現されていたフィルムグレインは、右側において、縦2画素×横2画素という複数の画素で表現されているため、画像全体に対するフィルムグレインの大きさの比率は変わらず、アップコンバートにより高精細になったとの実感がユーザに湧かない。
【0050】
図13(a)は、SD画像からフィルムグレインが周波数変換された場合において、SD画像がどのように変化するかを対比して示す。本図の左側がアップコンバート前のSD画像であり、右側がアップコンバート後のHD画像である。左側において、1画素で表現されていたフィルムグレインの代わりに、このフィルムグレインが周波数変換された信号が表示されているので、右側のHD画像には、より細かくなったフィルムグレインが表示されていることがわかる。
【0051】
図13(b)は(a)に示したアップコンバート前のSD画像と、アップコンバート後のHD画像とを同じ大きさのTVで表示した場合の表示例を示す。本図の左側がSD画像であり、右側がHD画像である。左側において、1画素で表現されていたフィルムグレインの代わりに、右側において、より小さく表示されるフィルムグレインが存在するので、画像全体に対するフィルムグレインの大きさの比率が小さくなり、アップコンバートにより高精細になったとの実感がユーザに湧く。
【0052】
以上のように本実施形態によれば、映像信号を高解像度に変換するアップコンバータの出力に、フィルムグレインを検出し、その周波数成分を変換する構成としたので、回路規模の簡略化が実現される。また、高解像度の周波数分布を有するフィルムグレインに変換することで、アップコンバート後の映像信号の高精細感を増すという利点がある。
【0053】
(第2実施形態)
第1施形態では、映像信号の入力源が光ディスク1であると説明したが、本実施形態は、映像信号の入力源が放送波である場合の改良である。図14は、第2実施形態に於ける再生装置の内部構成を示す図である。本図を図1の内部構成と比較すると、光ディスク1、光ピックアップ部2、モーター3がアンテナ31、チューナー32に置き換えられている。映像復調回路4は、第1実施形態と同一であるものの、アップコンバータ5、フィルムグレイン検出回路6、周波数変換器7は、第2のアップコンバータ33、第2のフィルムグレイン検出回路34、第2の周波数変換器35に置き換えている。
【0054】
1.受信アンテナ31
受信アンテナ31は、放送を受信し電気信号に変換する。受信アンテナ31によって受信されている映像信号はMPEG2方式(ITU−T勧告H.262/ISO/IEC13818−2)で圧縮されている。
【0055】
2.チューナ32
チューナー32は、受信アンテナ出力より、所望とする放送を選択する。図において、受信アンテナ31で受信に記録された信号はチューナー32で選局され、映像復調回路4で復調され、映像信号として出力される。こうして復調された元の映像信号は第2のフィルムグレイン検出回路34と第2のアップコンバータ33に入力される。
【0056】
図15は、第2実施形態に於ける入力画像と出力画像の画素数を示す図である。この図に示すように、第2実施例における再生装置の実施形態においては、入力画像即ち放送されている映像信号は縦480ライン、横720画素の標準映像信号であり、それが、アップコンバータ5により縦720ライン、横1280画素のハイビジョン映像に変換されて出力されるものである。
【0057】
5.第2のアップコンバータ33
第2のアップコンバータ33は、映像復調回路4の出力をより解像度の高い映像信号に変換する。具体的にいうと、縦720ライン横1280画素の解像度を持つよう、変換を行う。
【0058】
図21は第2実施形態に於ける第2の周波数変換回路35の動作示すタイミングチャートである。図の第1段目は、アップコンバート前の映像信号を示し、第2段目は、アップコンバート後の映像信号を示す。第1段目を第2段目と対比すると、第2段目では、グリッドの間隔が密になっている。これはアップコンバータ7によるアップコンバートにより、画像が多くの画素数で表現されていることを示す。
【0059】
6.第2のフィルムグレイン検出回路34
第2のフィルムグレイン検出回路34は、元の映像信号に含まれているフィルムグレインの検出を行う。ここでは、映像信号は元々フィルムで撮像された映像を電気映像に変換されたものをいい、映像におけるフィルムグレインとは、フィルム上の銀塩の粒子による小振幅信号のことである。映像信号の成分には、揮度成分領域、色差成分領域があり、これらの領域に存在する微小振幅の成分が、フィルムグレインにあたる。フィルムグレインが元来、フレーム毎に独立した信号成分であるので、第2のフィルムグレイン検出回路34は、フレームに非相関な映像信号成分のうち、これら領域内の特定周波数線分中の微小振幅信号の振幅の測定を行い、かかる振幅をフィルムグレインとして検知する。
【0060】
7.第2の周波数変換器35
第2の周波数変換器35は、第2のフィルムグレイン検出回路34が検出している期間だけ、第2のアップコンバータ33の出力の周波数へ高域変換して出力する。図21の第2段目は、第2のアップコンバータ33の出力を示し、図22の第4段目は、フィルムグレイン検出回路6の出力を示す。図22第5段目は、第2のフィルムグレイン検出回路34の出力が“1”即ち検出している期間だけ、第2のアップコンバータ33の出力の周波数が高域に変換された第2の周波数変換器35の出力を示す。
【0061】
以上が第2実施形態に係る再生装置についての説明である。続いて、第2実施形態に係る第2のアップコンバータ33の詳細について、図16、図17を参照しながら説明する。
【0062】
<第2のアップコンバータ33の詳細>
図16は、第2実施形態に於ける再生装置の第2のアップコンバータ33の内部構成を示す図である。
【0063】
本図に示すように、第2のアップコンバータ33は、8ラインメモリ16、第2の垂直ポリフェーズフィルタ36、第2の水平ポリフェーズフィルタ37、第2のディレイメモリ38から構成される。
【0064】
詳細その1.8ラインメモリ16
8ラインメモリ16は、ラインメモリを8本内蔵している。これらのラインメモリは直列に接続され、各ラインメモリは、映像復調回路4から入力される映像信号の1水平ライン数に該当する。また各ラインメモリの出力は、第2の垂直ポリフェーズフィルタ36に入力される。
【0065】
詳細その2.第2の垂直ポリフェーズフィルタ36
第2の垂直ポリフェーズフィルタ36は、映像信号の1水平ライン遅延映像信号、2水平ライン遅延映像信号、3水平ライン遅延映像信号、4水平ライン遅延映像信号、5水平ライン遅延映像信号、6水平ライン遅延映像信号、7水平ライン遅延映像信号、8水平ライン遅延映像信号という8つの映像信号を入力して、これらの8つ映像信号に対して垂直補間を施し、元の映像信号の垂直480ラインを720ラインに解像度変換し、第2の水平ポリフェーズフィルタ37に出力する。図17(a)は、第2の垂直ポリフェーズフィルタ36による変換前後のフレーム画像を示す図である。図に示すように、元の映像信号の縦480ライン横720画素の映像信号が、縦720ライン横720画素の高解像度映像信号に解像度変換される。ここで1つのラインを、前後8本のラインに基づき生成するのは、ライン間の相関性を利用して、元の映像にないラインを生成するためである。
【0066】
詳細その3.第2の水平ポリフェーズフィルタ37
第2の水平ポリフェーズフィルタ37は内部に8タップポリフェーズフィルタを持ち、水平補間を行い、元の映像信号の水平720画素を1280画素に解像度変換し、第2のディレイメモリ38に出力する。図17(b)は、第2の水平ポリフェーズフィルタ37による変換前後のフレーム画像を示す図である。図に示すように、元の映像信号の縦720ライン横720画素の映像信号が、縦720ライン横1280画素の高解像度映像信号に解像度変換される。
【0067】
詳細その4.第2のディレイメモリ38
第2のディレイメモリ38は、第2の水平ポリフェーズフィルタ37からの出力に対して、一定時間の遅延を与える。この遅延にあたって、解像度変換がなされた映像信号入力から出力までの遅延が丁度1フレームになるようにする。かかる遅延において、出力映像を第2の周波数変換器35に出力する。
【0068】
図21の第1段目は、アップコンバート前の映像信号を示し、第2段目は、アップコンバート後の映像信号を示す。第1段目を第2段目と対比すると、第2段目では、グリッドの間隔が密になっている。これはアップコンバータ7によるアップコンバートにより、画像が多くの画素数で表現されていることを示す。また、第2段目において、期間k1、期間k2のそれぞれには、微小振幅成分が存在する。これは、フィルムグレインがそのまま、アップコンバートがなされていることを意味する。
【0069】
以上が第2実施形態に係る第2のアップコンバータ33の詳細説明である。以下、第2実施形態に係る第2のフィルムグレイン検出回路34について、図18、図19を参照しながら説明する。
【0070】
<第2のフィルムグレイン検出回路34の詳細>
図18は、本発明の第2実施形態に於けるフィルムグレイン検出回路34の内部構成を示す図である。本図における“映像信号入力”とは、映像復調回路4で復調された映像信号のことをいう。本図においてバンドパスフィルタ13、リミッタ14は第1実施形態に示したものと同一である。本図におけるフィルムグレイン検出回路34には、バンドパスフィルタ13の前段に、フレームメモリ39、減算器40が存在しており、上述したバンドパスフィルタ13は、この減算器40からの出力を、入力としている。
【0071】
このフィルムグレイン検出回路34の特徴は、第1実施形態に示したように、映像復調回路4で復調された映像信号から直接、特定周波数領域を取り出すのではなく、映像復調回路4で復調された映像信号のフレーム間の差分信号から特定周波数領域を取り出す点である。
【0072】
詳細その1.フレームメモリ39
フレームメモリ39は、入力信号を1フレーム分蓄えて出力する。
【0073】
詳細その2.減算器40
減算器40は、映像信号入力とフレームメモリ39の出力の差を求める。これによりバンドパスフィルタ13には、元の映像信号と、1フレーム遅延した信号との差分の映像信号が入力される。このようにして、映像信号とその1フレーム前の映像信号との差分が、バンドパスフィルタ13による特定周波数成分抽出の対象となる。
【0074】
リミッタ14は、元の映像信号のうち、微小振幅信号成分のみを抽出することになり、この様にして得られた第2のフィルムグレイン検出回路34の出力信号は第2の周波数変換器35に入力されることになる。
【0075】
以上が第2のフィルムグレイン検出回路34についての説明である。続いて、第2の周波数変換器35の詳細について、図20、図21、図22を参照しながら説明する。
【0076】
<第2の周波数変換器35の詳細>
図20は、第2実施形態に於ける第2の周波数変換回路35の内部構成を示す図である。第2の周波数変換器35は、ローパスフィルタ41、ハイパスフィルタ42、振幅正規化回路43、乗算器44、第2の加算器45、第2のスイッチ46から構成され、“周波数変換機入力”、“フィルムグレイン検出信号入力”、“周波数変換機出力”を有する。“周波数変換機入力”とは、第2のアップコンバータ33が出力した映像信号である。“フィルムグレイン検出信号入力”とは、第2のフィルムグレイン検出回路34が出力した信号のことである。この第2の周波数変換器35は、いわば、元の映像信号におけるフィルムグレイン信号成分の空間周波数を変換する役割を果たす。図21は、第2実施形態に於ける第2の周波数変換回路35の動作示すタイミングチャートであり、図22は第2実施形態に於ける第2のフィルムグレイン検出回路34と、第2の周波数変換回路35の出力信号とを対比して示すタイミングチャートである。以降の周波数変換器7の説明には、これらのタイミングチャートと図20を併用するものとする。
【0077】
詳細その1.ローパスフィルタ41
ローパスフィルタ41は入力された映像信号から低域成分のみ通過させる働きをする。
【0078】
図21において、第2段目の入力に対して、第3段目に示す信号を出力する。
【0079】
詳細その2.ハイパスフィルタ42
ハイパスフィルタ42は入力された映像信号から高域成分のみ通過させる働きをする。
【0080】
図21において、第2段目の入力に対して、第4段目に示す信号を出力する。
【0081】
詳細その3.振幅正規化回路43
振幅正規化回路43はハイパスフィルタ42の出力信号の絶対値を取り、さらに、そのピーク値が全て1となるようにゲインを与える回路である。
【0082】
図21において、第4段目のハイパスフィルタ42からの入力に対して、第5段目に示す信号を出力する。
【0083】
詳細その4、乗算器44
乗算器44は、ハイパスフィルタ42の出力に、振幅正規化回路43の信号を乗算する、可変ゲインアンプとしての動作をする回路である。前述した様に、振幅正規化回路43では、ハイパスフィルタ42の通過信号の絶対値が取られ、かつピークが1に正規化された信号が得られているため、乗算器44は、ハイパスフィルタ42の出力の各ピーク点ではゲイン1を、ピーク点以外の部分においては1以下のゲインを与える可変ゲインアンプとなる。
【0084】
従って、図21において、第4段目のハイパスフィルタ42からの入力に対して、第5段目に示す信号を乗算し、図22の第1段目に示す信号を出力する。
【0085】
詳細その5、第2の加算器45
第2の加算器45はローパスフィルタ41の出力と乗算器44の出力を加算する。その出力は図22の3段目に示すようになり、図21の2段目に示される第2のアップコンバータ33の出力と比較すると、微細高周波成分のみ周波数が高域に変換された信号波形となる。
【0086】
詳細その6、第2のスイッチ46
第2のスイッチ46は、第2のフィルムグレイン検出回路34が、フィルムグレインを検出していない場合には周波数変換機入力をそのまま周波数変換機出力として出力し、第2のフィルムグレイン検出回路34が、フィルムグレインを検出している場合には、第2の加算器45の出力を周波数変換機出力として出力する。従って、その出力は、図22の5段目に示す様になる。
【0087】
以上で、第2の周波数変換機35の詳細について、説明を終える。
【0088】
以上に述べた再生装置によって、どのような映像信号が、モニタに送り出されるかを、再度図21、図22を参照しながら説明する。
【0089】
前述した様に、図21の第1段目は、アップコンバート前の映像信号を示し、第2段目は、アップコンバート後の映像信号を示す。第1段目を第2段目と対比すると、両者は波形的には何の変化も無い事が判る。図22第4段目は、フィルムグレイン検出回路6がフィルムグレインを検出している期間を示しており、図22第5段目に示す様に、周波数変換器出力では、フィルムグレインが検出されている期間における微細信号を周波数が高域変換されている事が判る。
【0090】
<まとめ>
フィルムグレインが存在するSD画像に対し、アップコンバートを行う場合と、SD画像かのフィルムグレインの空間周波数を高域に変換する場合とで、映像の内容がどのように変化するかについて述べる。
【0091】
図23(a)は、フィルムグレインが存在するSD画像に対し、アップコンバートを行う場合において、SD画像がどのように変化するかを対比して示す。本図の左側がアップコンバート前のSD画像であり、右側がアップコンバート後のHD画像である。左側において、1画素で表現されていたフィルムグレインは、右側において、縦2画素×横2画素という複数の画素で表現されていることがわかる。
【0092】
図23(b)は(a)に示したアップコンバート前のSD画像と、アップコンバート後のHD画像とを同じ大きさのTVで表示した場合の表示例を示す。本図の左側がSD画像であり、右側がHD画像である。左側において、1画素で表現されていたフィルムグレインは、右側において、縦2画素×横2画素という複数の画素で表現されているため、画像全体に対するフィルムグレインの大きさの比率は変わらず、アップコンバートにより高精細になったとの実感がユーザに湧かない。
【0093】
図24(a)は、SD画像からフィルムグレインが周波数変換された場合において、SD画像がどのように変化するかを対比して示す。本図の左側がアップコンバート前のSD画像であり、右側がアップコンバート後のHD画像である。左側において、1画素で表現されていたフィルムグレインの代わりに、このフィルムグレインが周波数変換された信号が表示されているので、右側のHD画像には、より細かくなったフィルムグレインが表示されていることがわかる。
【0094】
図24(b)は(a)に示したアップコンバート前のSD画像と、アップコンバート後のHD画像とを同じ大きさのTVで表示した場合の表示例を示す。本図の左側がSD画像であり、右側がHD画像である。左側において、1画素で表現されていたフィルムグレインの代わりに、右側において、より小さく表示されるフィルムグレインが存在するので、画像全体に対するフィルムグレインの大きさの比率が小さくなり、アップコンバートにより高精細になったとの実感がユーザに湧く。
【0095】
以上のように本実施形態によれば、映像信号を高解像度に変換するアップコンバータの出力に、フィルムグレインを検出し、その周波数成分を変換する構成としたので、回路規模の簡略化が実現される。また、高解像度の周波数分布を有するフィルムグレインに変換することで、アップコンバート後の映像信号の高精細感を増すという利点がある。
【0096】
(第3実施形態)
以降、第3実施形態に係る再生装置の内部構成について説明する。図25は、第3実施形態に係る再生装置の内部構成を示す図である。本図は、図1に示した第1実施形態に係る再生装置の内部構成をベースにしている。この図1に比較して、どこが違うかというと、第3実施形態に係る再生装置は、第1実施形態に示したフィルムグレイン検出回路6、周波数変換器7が、第3のフィルムグレイン検出回路51、第3の周波数変換器52に置き換えられている点と、GUI発生部53と、制御部54、リモコン55、第3のスイッチ56が追加されている点が異なる。これら以外の構成要素、つまり光ディスク1、光ピックアップ部2、映像復調回路4、アップコンバータ7、ディジタル変調回路11、端子12は第1実施形態に示したものと同じである。以下、これらの改良点について説明する。
【0097】
<第3のフィルムグレイン検出回路51の詳細>
本発明の第1実施形態に於けるフィルムグレイン検出回路6では、映像復調回路4の出力よりフィルムグレインを検出していたが、本実施例に於ける第3のフィルムグレイン検出回路51はアップコンバータ7の出力よりフィルムグレインを検出する点が異なる。
【0098】
図26を参照しながら、第3のフィルムグレイン検出回路5の1内部構成について説明する。図26は、第3実施形態に於ける第3のフィルムグレイン検出回路51の内部構成を示す図である。本図に示すように、第3のフィルムグレイン検出回路51は、第2のバンドパスフィルタ57、リミッタ14から構成される。図28は、第3のフィルムグレイン検出回路51に対する入力信号と、各構成要素からの出力信号とを対比して示すタイミングチャートである。以降の第3のフィルムグレイン検出回路51の説明には、このタイミングチャートを併用するものとする。
【0099】
詳細その1.バンドパスフィルタ14
第2のバンドパスフィルタ57には、アップコンバータ7で復調された映像信号が入力される。本発明の第1実施形態に於けるフィルムグレイン検出回路6では、映像復調回路4の出力よりフィルムグレインを検出していたが、本実施例に於ける第3のフィルムグレイン検出回路51はアップコンバータ7の出力よりフィルムグレインを検出するためバンドパスフィルタの通過帯域をアップコンバータの拡大率に応じて変更している。第2のババンドパスフィルタ57を通過した映像信号はリミッタ15に入力される。
【0100】
図28の第2段目、第3段目は、第2のバンドパスフィルタ57への入力となる映像信号と、かかる入力時における第2のバンドパスフィルタ57の出力とを対比して示す。第2段目において、期間k1、期間k2上に存在する凸部i1,i2,i3,i4,i5・・・は、フィルムグレインである。第2のバンドパスフィルタ57を経由することで、これらのフィルムグレインと、期間k1から期間k2への変化部分k3とが、第2のバンドパスフィルタ57の出力信号に出現していることがわかる。
【0101】
詳細その2.リミッタ14
リミッタ14は、本発明の第1実施形態に於けるリミッタと同等の動作をする。
【0102】
以上が第3のフィルムグレイン検出回路51についての説明である。続いて、第3の周波数変換回路52について図27、図28、図29を参照しながら用説明する。
【0103】
<第2の周波数変換器35の詳細>
図27は、第3実施形態に於ける第3の周波数変換回路52の内部構成を示す図である。
【0104】
第3の周波数変換回路52は、第2実施形態に於ける第2の周波数変換回路35をベースにしたものであり、第2の周波数変換回路35に比べると、第3の周波数変換器52は、ローパスフィルタ41、ハイパスフィルタ42、乗算器44、第2の加算器45、第2のスイッチ46は、第2の周波数変換回路35と同等であり、振幅正規化回路43が高周波発生回路57に置き換えられている。また、第3の周波数変換器52は、第2の周波数変換回路35と同様に“周波数変換機入力”、“フィルムグレイン検出信号入力”、“周波数変換機出力”を有する。“周波数変換機入力”とは、アップコンバータ7が出力した映像信号である。“フィルムグレイン検出信号入力”とは、第3のフィルムグレイン検出回路51が出力した信号のことである。この第3の周波数変換器52は、いわば、元の映像信号におけるフィルムグレイン信号成分の空間周波数を変換する役割を果たす。
【0105】
図29は、第3実施形態に於ける第3の周波数変換回路52の動作示すタイミングチャートであり、図30は、第3実施形態に於ける第3のフィルムグレイン検出回路51と、第3の周波数変換回路52の出力信号とを対比して示すタイミングチャートである。以降の周波数変換器7の説明には、これらのタイミングチャートと図27を併用するものとする。
【0106】
詳細その1.ローパスフィルタ41
ローパスフィルタ41は入力された映像信号から低域成分のみ通過させる働きをする。
【0107】
図29において、第2段目の入力に対して、第3段目に示す信号を出力する。
【0108】
詳細その2.ハイパスフィルタ42
ハイパスフィルタ42は入力された映像信号から高域成分のみ通過させる働きをする。
【0109】
図29において、第2段目の入力に対して、第4段目に示す信号を出力する。
【0110】
詳細その3.高周波発生回路58
高周波発生回路58はピーク値が1、ボトム値0となる高周波信号を発生する回路である。図29において、第5段目に示す信号を出力する。
【0111】
詳細その4、乗算器44
乗算器44は、ハイパスフィルタ42の出力に高周波発生回路58の信号を乗算し出力する、可変ゲインアンプとしての動作をする回路である。前述した様に、高周波発生回路58では、ピーク値が1、ボトム値0となる高周波信号が発生されているため、乗算器44では、ハイパスフィルタ42の出力に高周波が変調された信号が与えられることになる。
【0112】
従って、図29において、第4段目のハイパスフィルタ42からの入力に対して、第5段目に示す高周波発生回路58の信号を乗算し、図30の第1段目に示す信号を出力する。
【0113】
詳細その5、第2の加算器45
第2の加算器45はローパスフィルタ41の出力と乗算器44の出力を加算する。その出力は図30の3段目に示すようになり、図29の2段目に示されるアップコンバータ7の出力と比較すると、微細高周波成分のみ周波数が高域に変換された信号波形となる。
【0114】
詳細その6、第2のスイッチ46
第2のスイッチ46は、第3のフィルムグレイン検出回路51が、フィルムグレインを検出していない場合には周波数変換機入力をそのまま周波数変換機出力として出力し、第3のフィルムグレイン検出回路51が、フィルムグレインを検出している場合には、第2の加算器45の出力を周波数変換機出力として出力する。従って、その出力は、図30の5段目に示す様になる。
【0115】
以上で、第3の周波数変換器52の詳細について、説明を終える。
【0116】
以上に述べた再生装置によって、どのような映像信号が、モニタに送り出されるかを、再度図29、図30を参照しながら説明する。
【0117】
前述した様に、図29の第1段目は、アップコンバート前の映像信号を示し、第2段目は、アップコンバート後の映像信号を示す。第1段目を第2段目と対比すると、両者は波形的には何の変化も無い事が判る。図29第4段目は、第3のフィルムグレイン検出回路51がフィルムグレインを検出している期間を示しており、図29第5段目に示す様に、第3の周波数変換器52の出力では、フィルムグレインが検出されている期間における微細信号を周波数が高域変換されている事が判る。
【0118】
<まとめ>
フィルムグレインが存在するSD画像に対し、アップコンバートを行う場合と、SD画像のフィルムグレインの空間周波数を高域に変換する場合とで、映像の内容がどのように変化するかについて述べる。
【0119】
図31(a)は、フィルムグレインが存在するSD画像に対し、アップコンバートを行う場合において、SD画像がどのように変化するかを対比して示す。本図の左側がアップコンバート前のSD画像であり、右側がアップコンバート後のHD画像である。左側において、1画素で表現されていたフィルムグレインは、右側において、縦2画素×横2画素という複数の画素で表現されていることがわかる。
【0120】
図31(b)は(a)に示したアップコンバート前のSD画像と、アップコンバート後のHD画像とを同じ大きさのTVで表示した場合の表示例を示す。本図の左側がSD画像であり、右側がHD画像である。左側において、1画素で表現されていたフィルムグレインは、右側において、縦2画素×横2画素という複数の画素で表現されているため、画像全体に対するフィルムグレインの大きさの比率は変わらず、アップコンバートにより高精細になったとの実感がユーザに湧かない。
【0121】
図32(a)は、SD画像からフィルムグレインが周波数変換された場合において、SD画像がどのように変化するかを対比して示す。本図の左側がアップコンバート前のSD画像であり、右側がアップコンバート後のHD画像である。左側において、1画素で表現されていたフィルムグレインの代わりに、このフィルムグレインが周波数変換された信号が表示されているので、右側のHD画像には、より細かくなったフィルムグレインが表示されていることがわかる。
【0122】
図32(b)は(a)に示したアップコンバート前のSD画像と、アップコンバート後のHD画像とを同じ大きさのTVで表示した場合の表示例を示す。本図の左側がSD画像であり、右側がHD画像である。左側において、1画素で表現されていたフィルムグレインの代わりに、右側において、より小さく表示されるフィルムグレインが存在するので、画像全体に対するフィルムグレインの大きさの比率が小さくなり、アップコンバートにより高精細になったとの実感がユーザに湧く。
【0123】
更に、本実施形態に係る再生装置では、このフィルムグレインの周波数変換機能の作動、非作動を設定できる機能を持つ。これは、アニメーション等の人工的な映像においては、元々フィルムグレインが含まれていない場合があり、その様な場合に、映像信号の微細成分を万一第3のフィルムグレイン検出回路51が誤ってフィルムグレインと判断すると映像信号を劣化させる恐れがあるので、ユーザーに作動、非作動を選択させる為である。
【0124】
その為に、本実施形態に係る再生装置では、GUI発生部53、制御部54、リモコン55、第3のスイッチ56を有している。
【0125】
本実施形態に係る再生装置の使用者は、このフィルムグレインの周波数変換機能を作動、非作動を設定する為に、リモコン55に配置されている図示されないボタンにより、再生装置を機能設定モードに入れる。機能設定モードにおいては、制御部54は、第3のスイッチ56をGUI発生部53に設定する。GUI発生部53は、図33に示されるセットアップメニュー映像を発生し、この画面を用いる事によって使用者は、フィルムグレインの周波数変換機能を作動、非作動を設定する事ができる。すなわち、リモコン55に配置されている図示されない左右カーソルボタンにより、図33に示されるセットアップメニュー画面内にある、標準モード、シネマモードのどちらにハイライトさせ、それによって設定させた内容を制御部54が記憶する。次に使用者は、モコン55に配置されている図示されない再生開始ボタンにより再生装置に再生の開始を通知する。制御部54は再生中に、機能設定モードにおいて記憶した、作動、非作動の情報により、作動時には第3のスイッチ56の入力を第3の周波数変換装置52側に、非作動時には第3のスイッチ56の入力をアップコンバータ7側に設定する事によって、使用者の意図どおり、フィルムグレインの周波数変換機能を作動か非作動かに制御することができるものである。
【0126】
以上のように本実施形態によれば、映像信号を高解像度に変換するアップコンバータの出力に、フィルムグレインを検出し、その周波数成分を変換する構成としたので、回路規模の簡略化が実現される。また、高解像度の周波数分布を有するフィルムグレインに変換することで、アップコンバート後の映像信号の高精細感を増すという利点があり、また、その機能の作動、非作動を使用者に選択せしめる事ができる。
【0127】
なお、本実施の形態においては、映像信号から所定の周波数領域を抽出し、その抽出した周波数領域の映像信号の変化の状態を判定し、その判定結果を判定信号としたが、第2実施形態のように、映像信号のフレーム間の相関を判定し、その判定した相関に基づき映像信号の変化の状態を判定し、その判定結果を判定信号としても良い。
【0128】
(備考)
以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。
【0129】
(画像の解像度)
第1実施形態及び第3実施形態では、元の映像信号の縦480ライン横720画素の映像信号が、縦1080ライン横1920画素の高解像度映像信号に解像度変換されるとし、また、本発明の第2実施形態では、元の映像信号の縦480ライン横720画素の映像信号が、縦720ライン横1280画素の高解像度映像信号に解像度変換されるものとしたが、これは、解像度変換手段が映像信号をより高解像度の映像信号に変換するという条件の元で、他の画素構造の元の映像信号においても本発明の効果を発揮する事ができる。即ち、元の映像信号が576ライン横720画素の画像を720ライン横1280画素に変換する場合や、元の映像信号が576ライン横720画素の画像を1080ライン横1920画素に変換する場合や、元の映像信号が720ライン横1280画素の画像を1080ライン横1920画素に変換する場合や、または、元の映像信号が1080ライン横1920画素の映像をより大きな例えば2160ライン横4090画素等に変換する場合
(ストリーム情報との関連)
第3の実施形態に係る再生装置では、このフィルムグレインの周波数変換機能を作動、非作動を設定を使用者が選択できる構成をとったが、これは、MPEGストリームに存在が許されている付帯情報に基づいて周波数変換機能の作動、非作動を決定する事もできる。
【0130】
例えば、MPEGストリームの属性がProgressiveの場合はストリームがフィルム由来のものであるとし作動させ、ストリーム属性がInterlaceの場合にはストリームがビデオ由来であるものとし非作動とする事もできる。
【0131】
(フィルムグレインの測定対象)
フィルムグレインの検出は、第1実施形態から第3実施形態において輝度信号の全振幅領域においてフィルムグレインを測定したが、特に、輝度信号における全振幅領域のフィルムグレインを測定せず特定輝度領域のフィルムグレインを測定する事によっても本発明の効果を達成する事ができ、また輝度信号でなく色信号をフィルムグレイン被測定信号として用いても同様に本発明の効果を発揮する事ができる。
【0132】
(記録装置への発展)
第1実施形態から第3実施形態に示したような構成要素を、記録装置に設けることで、記録装置が光ディスクに、映像信号を記録する際、上述したようなアップコンバートと共に、フィルムグレインの空間周波数の高域変換を行い、この高域変換された映像信号を光ディスクに記録してもよい。特にSD画像を入力して、BD−REやHD−DVD等、HD画像の記録を前提にした光ディスクに記録する際、有利となる。また、このように光ディスクへの記録時に、フィルムグレインの空間周波数の高域変換しておけば、フィルムグレインの空間周波数の高域変換の発生を前提にしていない再生装置にて、映像信号が再生される際にも、高精細感をかもしだすことができる。
【0133】
また、オーサリングの現場において用いられるアップコンバータで上述したようなフィルムグレインの空間周波数の高域変換を行われた映像信号を、光ディスクの原盤に記録して、読出専用型光ディスクを量産してもよい。
【0134】
(システムLSI化)
本発明は、アップコンバータ5と、その周辺回路(フィルムグレイン検出回路5、周波数変換機6)とを本質的部分とする。再生装置のうち、かかる本質的部分を抜き出して、システムLSIとして構成してもよい。
【0135】
システムLSIとは、高密度基板上にベアチップを実装し、パッケージングしたものをいう。複数個のベアチップを高密度基板上に実装し、パッケージングすることにより、あたかも1つのLSIのような外形構造を複数個のベアチップに持たせたものも、システムLSIに含まれる(このようなシステムLSIは、マルチチップモジュールと呼ばれる。)。
【0136】
ここでパッケージの種別に着目するとシステムLSIには、QFP(クッド フラッド アレイ)、PGA(ピン グリッド アレイ)という種別がある。QFPは、パッケージの四側面にピンが取り付けられたシステムLSIである。PGAは、底面全体に、多くのピンが取り付けられたシステムLSIである。
【0137】
これらのピンは、他の回路とのインターフェイスとしての役割を担っている。システムLSIにおけるピンには、こうしたインターフェイスの役割が存在するので、システムLSIにおけるこれらのピンに、他の回路を接続することにより、システムLSIは、再生装置の中核としての役割を果たす。
【0138】
かかるシステムLSIは、再生装置は勿論のこと、TVやゲーム、パソコン、ワンセグ携帯等、映像再生を扱う様々な機器に組込みが可能であり、本発明の用途を多いに広げることができる。
【0139】
具体的な生産手順の詳細は以下のものになる。まず各実施形態に示した構成図を基に、システムLSIとすべき部分の回路図を作成し、回路素子やIC,LSIを用いて、構成図における構成要素を具現化する。
【0140】
そうして、各構成要素を具現化してゆけば、回路素子やIC,LSI間を接続するバスやその周辺回路、外部とのインターフェイス等を規定する。更には、接続線、電源ライン、グランドライン、クロック信号線等も規定してゆく。この規定にあたって、LSIのスペックを考慮して各構成要素の動作タイミングを調整したり、各構成要素に必要なバンド幅を保証する等の調整を加えながら、回路図を完成させてゆく。
【0141】
回路図が完成すれば、実装設計を行う。実装設計とは、回路設計によって作成された回路図上の部品(回路素子やIC,LSI)を基板上のどこへ配置するか、あるいは、回路図上の接続線を、基板上にどのように配線するかを決定する基板レイアウトの作成作業である。
【0142】
ここで実装設計は、自動配置と、自動配線とからなる。
【0143】
CAD装置を利用する場合、この自動配置は、“重心法”と呼ばれる専用のアルゴリズムを用いて実現することができる。自動配線は、回路図上の部品のピン同士を接続するような接続線を、金属箔やビアを用いて規定する。CAD装置を利用する場合、この配線処理は、“メーズ法”“ラインサーチ法”と呼ばれる専用のアルゴリズムを用いて実現することができる。
【0144】
こうして実装設計が行われ、基板上のレイアウトが確定すれば、実装設計結果をCAMデータに変換して、NC工作機械等の設備に出力する。NC工作機械は、このCAMデータを基に、SoC実装やSiP実装を行う。SoC(System on chip)実装とは、1チップ上に複数の回路を焼き付ける技術である。SiP(System in Package)実装とは、複数チップを樹脂等で1パッケージにする技術である。以上の過程を経て、本発明に係るシステムLSIは、各実施形態に示した再生装置の内部構成図を基に作ることができる。
【0145】
尚、上述のようにして生成される集積回路は、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0146】
さらに、各再生装置の構成要素の一部又は全てを1つのチップとして構成してもよい。集積回路化は、上述したSoC実装,SiP実装に限るものではなく、専用回路又は汎用プロセスで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field
Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なシリコンフィギュラブル・プロセッサを利用することが考えられる。更には、半導体技術の進歩又は派生する技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積回路化を行っても良い。例えば、バイオ技術の適用などが可能性としてありうる。
【0147】
(アーキテクチャ)
本発明にかかるシステムLSIは、再生装置への組込みを想定しているので、システムLSIは、Uniphierアーキテクチャに準拠させるのが望ましい。
【0148】
Uniphierアーキテクチャに準拠したシステムLSIは、以下の回路ブロックから構成される。
【0149】
・データ並列プロセッサDPP
これは、複数の要素プロセッサが同一動作するSIMD型プロセッサであり、各要素プロセッサに内蔵されている演算器を、1つの命令で同時動作させることで、ピクチャを構成する複数画素に対するデコード処理の並列化を図る。
【0150】
・命令並列プロセッサIPP
これは、命令RAM、命令キャッシュ、データRAM、データキャッシュからなる「Local Memory Contoroller」、命令フェッチ部、デコーダ、実行ユニット、レジスタファイルからなる「Processing Unit部」、複数アプリケーションの並列実行をProcessing Unit部に行わせる「Virtual Multi Processor Unit部」で構成される。
【0151】
・CPUブロック
これは、ARMコア、外部バスインターフェイス(Bus Control Unit:BCU)、DMAコントローラ、タイマー、ベクタ割込コントローラといった周辺回路、UART、GPIO(General Purpose Input Output)、同期シリアルインターフェイスなどの周辺インターフェイスで構成される。先に述べたコントローラは、このCPUブロックとしてシステムLSIに実装される。
【0152】
・ストリームI/Oブロック
これは、USBインターフェイスやATA Packetインターフェイスを介して、外部バス上に接続されたドライブ装置、ハード光ディスクドライブ装置、SDメモリカードドライブ装置とのデータ入出力を行う。
【0153】
・AVI/Oブロック
これは、オーディオ入出力、ビデオ入出力、OSDコントローラで構成され、テレビ、AVアンプとのデータ入出力を行う。
【0154】
・メモリ制御ブロック
これは、外部バスを介して接続されたSD−RAMの読み書きを実現するブロックであり、各ブロック間の内部接続を制御する内部バス接続部、システムLSI外部に接続されたSD−RAMとのデータ転送を行うアクセス制御部、各ブロックからのSD−RAMのアクセス要求を調整するアクセススケジュール部からなる。
【0155】
かかるアーキテクチャに準拠したシステムLSIの製造にあたっては、IPPやDPP等の回路ブロック毎にレイアウト設計を行い、各回路ブロックの性能を先に最適化した上で、各ブロックを組み上げ、1チップレイアウトを完成させるというボトムアップ式のレイアウト手法を採用するのが望ましい。
【0156】
なお、第2実施形態で説明した第2の周波数変換回路35は、第1実施形態または第3実施形態に適用可能である。すなわち、第1実施形態の周波数変換回路7を第2の周波数変換回路35に置き換えてもよいし、第3実施形態の第3の周波数変換器52を第2の周波数変換回路35に置き換えてもよい。
【産業上の利用可能性】
【0157】
本発明に係る再生装置は、上記実施形態に内部構成が開示されており、この内部構成に基づき量産することが明らかなので、資質において工業上利用することができる。このことから本発明に係る再生装置は、DVD±Rプレーヤ、DVD±Rレコーダ、ハード光ディスクレコーダ、放送受像機あるいは半導体メモリを用いたビデオレコーダなどの製品分野の開発に適用する事ができる。
【図面の簡単な説明】
【0158】
【図1】第1実施形態に於ける再生装置の内部構成を示す図
【図2】第1実施形態に於ける入力画像と出力画像の画素数を示す図
【図3】第1実施形態に於けるアップコンバータ5の内部構成を示す図
【図4】第1実施形態に於ける(a)垂直ポリフェーズフィルタ16による変換前後のフレーム画像を示す図(b)水平ポリフェーズフィルタ17による変換前後のフレーム画像を示す図
【図5】第1実施形態に於けるフィルムグレイン検出回路6の内部構成を示す図
【図6】第1実施形態に於けるバンドパスフィルタ14の特性を示す図
【図7】第1実施形態に於けるリミッタ15の特性を示す図
【図8】第1実施形態に於けるフィルムグレイン検出回路6に対する入力信号と、各構成要素からの出力信号とを対比して示すタイミングチャート
【図9】第1実施形態に於ける周波数変換回路7の内部構成を示す図
【図10】第1実施形態に於ける周波数変換回路7の動作示すタイミングチャート
【図11】第1実施形態に係る再生装置の構成要素から出力される映像信号が、どのように変化するかを示すタイミングチャート
【図12】(a)フィルムグレインが存在するSD画像に対し、アップコンバートを行う場合において、画像の内容がどのように変化するかを対比して示す図(b)(a)に示したアップコンバート前のSD画像と、アップコンバート後のHD画像とを同じ大きさのTVで表示した場合の表示例を示す図
【図13】(a)SD画像からアップコンバート後にフィルムグレイン成分を周波数変換した場合において、SD画像の内容がどのように変化するかを対比して示す図(b)(a)に示したアップコンバート前のSD画像と、アップコンバート後にフィルムグレイン成分を周波数変換した場合のHD画像とを同じ大きさのTVで表示した場合の表示例を示す図
【図14】第2実施形態に於ける再生装置の内部構成を示す図
【図15】第2実施形態に於ける入力画像と出力画像の画素数を示す図
【図16】第2実施形態に於ける第2のアップコンバータ33の内部構成を示す図
【図17】第2実施形態に於ける(a)第2の垂直ポリフェーズフィルタ36による変換前後のフレーム画像を示す図(b)第2の水平ポリフェーズフィルタ37による変換前後のフレーム画像を示す図
【図18】第2実施形態に於ける第2のフィルムグレイン検出回路34の内部構成を示す図
【図19】第2実施形態に於ける第2のフィルムグレイン検出回路34に対する入力信号と、各構成要素からの出力信号とを対比して示すタイミングチャート
【図20】第2実施形態に於ける第2の周波数変換回路35の内部構成を示す図
【図21】第2実施形態に於ける第2の周波数変換回路35の動作示すタイミングチャート
【図22】第2実施形態に於ける第2のフィルムグレイン検出回路34と、第2の周波数変換回路35の出力信号とを対比して示すタイミングチャート
【図23】(a)フィルムグレインが存在するSD画像に対し、アップコンバートを行う場合において、画像の内容がどのように変化するかを対比して示す図(b)(a)に示したアップコンバート前のSD画像と、アップコンバート後のHD画像とを同じ大きさのTVで表示した場合の表示例を示す図
【図24】(a)SD画像からアップコンバート後にフィルムグレイン成分を周波数変換した場合において、SD画像の内容がどのように変化するかを対比して示す図(b)(a)に示したアップコンバート前のSD画像と、アップコンバート後にフィルムグレイン成分を周波数変換した場合のHD画像とを同じ大きさのTVで表示した場合の表示例を示す図
【図25】第3実施形態に於ける再生装置の内部構成を示す図
【図26】第3実施形態に於ける第2のアップコンバータ7の内部構成を示す図
【図27】第3実施形態に於ける第3の周波数変換回路52の内部構成の内部構成を示す図
【図28】第3実施形態に於ける第3のフィルムグレイン検出回路51に対する入力信号と、各構成要素からの出力信号とを対比して示すタイミングチャート
【図29】第3実施形態に於ける第3の周波数変換回路52の動作示すタイミングチャート
【図30】第3実施形態に於ける第3のフィルムグレイン検出回路51と、第3の周波数変換回路52の出力信号とを対比して示すタイミングチャート
【図31】(a)フィルムグレインが存在するSD画像に対し、アップコンバートを行う場合において、画像の内容がどのように変化するかを対比して示す図(b)(a)に示したアップコンバート前のSD画像と、アップコンバート後のHD画像とを同じ大きさのTVで表示した場合の表示例を示す図
【図32】(a)SD画像からアップコンバート後にフィルムグレイン成分を周波数変換した場合において、SD画像の内容がどのように変化するかを対比して示す図(b)(a)に示したアップコンバート前のSD画像と、アップコンバート後にフィルムグレイン成分を周波数変換した場合のHD画像とを同じ大きさのTVで表示した場合の表示例を示す図
【図33】セットアップメニューの一例を示す図
【符号の説明】
【0159】
1 光ディスク
2 光ピックアップ
3 モーター
4 映像復調回路
5 アップコンバータ
6 周波数変換器
7 アップコンバータ
8 ディジタル変調回路
9 端子
10 8ラインメモリ
11 垂直ポリフェーズフィルタ
12 水平ポリフェーズフィルタ
13 ディレイメモリ
14 バンドパスフィルタ
15 リミッタ
16 ディレイ
17 加算器
18 1/2アンプ
19 第1のディレイ群
20 第2のディレイ群
21 スイッチ制御回路
22 スイッチ
31 受信アンテナ
32 チューナー
33 第2のアップコンバータ
34 第2のフィルムグレイン検出回路
35 第2の周波数変換器
36 第2の垂直ポリフェーズフィルタ
37 第2の水平ポリフェーズフィルタ
38 第2のディレイメモリ
39 フレームメモリ
40 減算器
41 ローパスフィルタ
42 ハイパスフィルタ
43 振幅正規化回路
44 乗算器
45 第2の加算器
46 第2のスイッチ
51 第3のフィルムグレイン検出回路
52 第3の周波数変換回路
53 GUI制御部
54 制御部
55 リモコン
56 第3のスイッチ
57 第2のバンドパスフィルタ
58 高周波生回路

【特許請求の範囲】
【請求項1】
映像信号におけるフレーム画像の水平、垂直の両方もしくはどちらか一方の画素数を増やす解像度変換を行う解像度変換手段と、
前記映像信号から所定の周波数領域を抽出し、その抽出した周波数領域の映像信号の変化の状態を判定し、その判定結果を判定信号として出力する判定手段と、
前記判定信号に応じて、前記解像度変換手段において解像度を変換された映像信号の一部の空間周波数を大きくする空間周波数変換手段と、
を備える、再生装置。
【請求項2】
前記判定信号は、
その抽出した周波数領域の映像信号の変化量が第1の値であるか、もしくはその第1の値より小さい第2の値であるかを示す情報を含んでおり、
前記空間周波数変換手段は、
前記判定信号が第2の値を示す場合には、前記解像度変換手段において解像度を変換された映像信号の空間周波数を大きくする
請求項1に記載の再生装置。
【請求項3】
映像信号におけるフレーム画像の水平、垂直の両方もしくはどちらか一方の画素数を増やす解像度変換を行う解像度変換手段と、
前記映像信号のフレーム間の相関を判定し、その判定した相関に基づき映像信号の変化の状態を判定し、その判定結果を判定信号として出力する判定手段と、
前記判定信号に応じて、前記解像度変換手段において解像度を変換された映像信号の一部の空間周波数を大きくする空間周波数変換手段と、
を備える、再生装置。
【請求項4】
映像信号におけるフレーム画像の水平、垂直の両方もしくはどちらか一方の画素数を増やす解像度変換を行う解像度変換手段と、
前記解像度変換手段において解像度を変換された映像信号のフレーム間の相関を判定し、その判定した相関に基づき映像信号の変化の状態を判定し、その判定結果を判定信号として出力する判定手段と、
前記判定信号に応じて、前記解像度変換手段において解像度を変換された映像信号の一部の空間周波数を大きくする空間周波数変換手段と、
を備える、再生装置。
【請求項5】
前記判定信号は、
その判定した相関を示す値が第1の値であるか、その第1の値より相関が強いことを示す第2の値であるか、その第2の値より相関が強いことを示す第3の値であるかを示す情報を含んでおり、
前記空間周波数変換手段は、
前記判定信号が第2の値を示す場合には、前記解像度変換手段において解像度を変換された映像信号の空間周波数を大きくする
請求項3または4のいずれかに記載の再生装置。
【請求項6】
映像信号におけるフレーム画像の水平、垂直の両方もしくはどちらか一方の画素数を増やす解像度変換を行う解像度変換手段と、
前記解像度変換手段において解像度を変換された映像信号から所定の周波数領域を抽出し、その抽出した周波数領域の映像信号の変化の状態を判定し、その判定結果を判定信号として出力する判定手段と、
前記判定信号に応じて、前記解像度変換手段において解像度を変換された映像信号の一部の空間周波数を大きくする空間周波数変換手段と、
を備える、再生装置。
【請求項7】
前記判定信号は、
前記解像度変換手段が解像度を変更した映像信号の変化量が第1の値であるか、もしくはその第1の値より小さい第2の値であるかを示す情報を含んでおり、
前記空間周波数変換手段は、
前記判定信号が第2の値を示す場合には、前記解像度変換手段において解像度を変換された映像信号の空間周波数を大きくする
請求項6に記載の再生装置。
【請求項8】
前記空間周波数変換手段は、
前記解像度変換手段における拡大率に基づき、抽出する周波数領域を変更することを特徴とする、
請求項6または7に記載の再生装置。
【請求項9】
前記空間周波数変換手段は、
解像度を変更された映像信号が入力されるローパスフィルタと、
解像度を変更された映像信号が入力されるハイパスフィルタと、
前記ハイパスフィルタの出力の絶対値を取り、さらにそのピーク値が1となるように変換して振幅正規化手段と、
前記ハイパスフィルタの出力と前記振幅正規化手段の出力とを乗算する乗算手段と、
前記ハイパスフィルタの出力と前記乗算手段の出力とを加算する加算手段と、
を備え、
映像信号の一部の空間周波数を大きくする場合は、前記加算手段の出力を前記空間周波数変換手段の出力とする一方、
映像信号の一部の空間周波数を大きくしない場合は、前記空間周波数変換手段に入力された映像信号をそのまま出力する、
ことを特徴とする請求項1乃至8のいずれかに記載の再生装置。
【請求項10】
前記空間周波数変換手段は、
映像信号が入力されるローパスフィルタと、
映像信号が入力されるハイパスフィルタと、
所定の周波数の信号であって、ピーク値が1でありボトム値が0である信号を発生する信号発生手段と、
前記ハイパスフィルタの出力と信号発生手段の出力とを乗算する乗算手段と、
前記ハイパスフィルタの出力と前記乗算手段の出力とを加算する加算手段と、
を備え、
映像信号の一部の空間周波数を大きくする場合は、前記加算手段の出力を前記空間周波数変換手段の出力とする一方、
映像信号の一部の空間周波数を大きくしない場合は、前記空間周波数変換手段に入力された映像信号をそのまま出力する、
ことを特徴とする
ことを特徴とする請求項1乃至8のいずれかに記載の再生装置。
【請求項11】
映像信号の空間周波数の変換を実行するモードである第1のモードと映像信号の空間周波数の変換を実行しないモードである第2のモードのいずれかの選択をユーザから受け付ける受付手段をさらに備えており、
前記受付手段の受け付けたモードに基づいて、映像信号の空間周波数の変換の要否を決定することを特徴とする請求項1乃至10のいずれかに記載の再生装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate


【公開番号】特開2012−44233(P2012−44233A)
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願番号】特願2008−316368(P2008−316368)
【出願日】平成20年12月12日(2008.12.12)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】