説明

映像処理装置

【課題】映像信号にOSD映像信号を重畳したとしても、重畳後の映像信号およびOSD映像信号の周波数特性の劣化や諧調の劣化を抑制する。
【解決手段】グラフィックス画像の映像信号は、画素ごとに、色情報および透過情報を有している。映像処理装置は、映像を表す4:2:0フォーマットの映像信号を受け取り、4:2:2または4:4:4フォーマットの映像信号に変換するフィルタ処理部と、透過情報に応じて、映像にグラフィックス画像が重畳されるか否かを判定する判定部と、グラフィックス画像の色差信号をフィルタ処理部で変換された映像信号の色差信号に合成する合成部と、合成された色差信号をスケーリング処理するスケーリング部とを備えている。フィルタ処理部およびスケーリング部は、判定結果に応じて4:2:0フォーマットの映像信号の色差信号の画素データおよび位置情報を保持する処理と保持しない処理とを切り替える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディジタル放送の視聴、記録および/または再生に関連する映像処理技術に関する。また本発明は、BDやDVDなどのディジタル記録メディアに記録された動画像を再生する機器に用いられる映像処理技術に関する。
【背景技術】
【0002】
ディジタル放送の番組やBD、DVDなどに記録されたコンテンツを再生すると、字幕やテロップなど(以下本願明細書において「字幕」を例に挙げる。)が映像と同時に表示されることがある。このとき、映像機器は、映像信号の上に字幕のグラフィックスを重畳する出画イメージを生成している。
【0003】
ディジタル放送の番組や、BD、DVDに記録されているコンテンツの映像信号は、たとえば4:2:0サンプリングされた後、MPEG規格にしたがって圧縮符号化されている。
【0004】
この「4:2:0サンプリング」とは、輝度信号(Y)に対し、色差信号(Cb信号およびCr信号)を、映像の水平方向(走査線上)にも垂直方向にも1/2の割合で取得することをいう。たとえば縦2画素横2画素の4画素に着目すると、輝度信号(Y)は4画素の各々について生成され、色差信号(Cb信号またはCr信号)は4画素を代表する同じ1画素として生成される。4:2:0サンプリングされた映像信号は「4:2:0フォーマットの映像信号」とも呼ばれる。
【0005】
再生装置は、圧縮符号化された映像信号を復調し、字幕のグラフィックスデータをOSD(On Screen Display)プレーンの映像信号(OSD映像信号)として生成した後、映像信号とOSD映像信号の透過情報に従って合成を行い、描画している。この合成処理は、映像の色差信号に垂直フィルタ処理を行い、映像の輝度信号と位相(「垂直位相」または「サンプリング位相」とも言う。)が等しい色差信号(4:2:2または4:4:4フォーマットの信号)に変換した後に行われる(たとえば特許文献1参照)。
【0006】
たとえば図6(a)〜(d)は、合成後の色差信号に関する従来の映像処理の一例を示す。この例は、水平走査線1080本のインタレース映像(1080i映像)を、水平走査線720本のプログレッシブ映像(720p映像)に変換して出力する例を示している。1080i映像は、4:2:0フォーマットであるとする。ただし以下の説明では輝度信号には言及しない。以下では映像信号が画素単位で処理されていることを明確化するため、色差信号の各画素が持つ値を「色差データ」と表現する。
【0007】
図6(a)は、1080i映像のトップフィールドおよびボトムフィールドを示している。トップフィールドの色差データ(●)はたとえばCb信号を構成し、ボトムフィールドの色差データ(○)はたとえばCr信号を構成する。
【0008】
図6(b)は、図6(a)のトップフィールドおよびボトムフィールドの色差信号に垂直フィルタ処理を施すことによって得られた、4:2:2フォーマットの映像信号を示す。たとえば図6(a)の色差データ(●)と図6(b)の色差データ(●)とを結ぶ矢印は、図6(b)の各フィールドの色差データが、図6(a)のどの色差データを用いて生成されるかを示している。垂直フィルタ処理により、各フィールドの色差信号の情報量が2倍に増加している。
【0009】
垂直フィルタ処理を行う理由は、輝度信号の画素数と色差信号の画素数とを整合させておくことにより、後に行われるIP変換処理が容易になるためである。図6(c)は、IP変換処理後の色差信号を表す。IP変換処理により、トップフィールドおよびボトムフィールドの色差データが統合されて1枚のフレームの色差データが得られている。すなわち、IP変換処理により、プログレッシブ方式のフレームの色差信号(1080p)が生成されている。この後、走査線の数を720本に変換するスケーリング処理(垂直フィルタ処理)が行われる。
【0010】
図6(d)は、スケーリング処理後のフレームの色差信号(720p)を示す。図6(c)の色差データと図6(d)の色差データとを結ぶ矢印は、図6(d)のフレームの各走査線の色差データが、図6(c)のどの色差データを用いて生成されるかを示している。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特表平10−501942号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
従来の映像処理によれば、復調された映像の色差信号はOSD合成の前に垂直フィルタ処理を施されて4:2:2信号に変換される。さらに、変換後の色差信号にも、OSD合成後に出力解像度へのスケーリング処理として垂直フィルタ処理が施される。いずれの処理も、複数の色差データを利用して1つの色差データを生成する処理を含むため、その処理ごとに信号の周波数特性が劣化する。そのため、2度に分けてフィルタ処理を施すと、1度にフィルタ処理を施した場合に比べて、信号の周波数特性が劣化する。表示装置の性能が飛躍的に向上した現在においては、信号の周波数特性の劣化は、画質(たとえば諧調)の劣化として知覚される。
【0013】
本発明は、上記課題に鑑みてなされたものであり、その目的は、映像信号にOSD映像信号を重畳したとしても、重畳後の映像信号およびOSD映像信号の周波数特性の劣化や諧調の劣化を抑制することにある。
【課題を解決するための手段】
【0014】
本発明による映像処理装置は、映像にグラフィックス画像を重畳する映像処理装置であって、前記グラフィックス画像の映像信号は、画素ごとに、色情報および透明度に関する透過情報を有しており、前記映像を表す4:2:0フォーマットの映像信号を受け取り、4:2:2または4:4:4フォーマットの映像信号に変換するフィルタ処理部と、前記グラフィックス画像の映像信号を受け取り、前記透過情報に応じて、映像に前記グラフィックス画像が重畳されるか否かを判定する判定部と、前記グラフィックス画像の色差信号を、前記フィルタ処理部で変換された映像信号の色差信号に重畳し、合成色差信号として出力する合成部と、前記合成色差信号をスケーリング処理するスケーリング部とを備え、前記判定部によって前記映像に前記グラフィックス画像が重畳されないと判定されたか、または、重畳されると判定されたかに応じて、前記フィルタ処理部および前記スケーリング部は、前記4:2:0フォーマットの映像信号の色差信号の画素データおよび位置情報を保持する処理と保持しない処理とを切り替える。
【0015】
前記判定部によって前記映像に前記グラフィックス画像が重畳されないと判定されたときは、前記フィルタ処理部は、前記4:2:0フォーマットの映像信号の色差信号の画素データおよび位置情報が保持されるよう、前記4:2:0フォーマットの映像信号を前記4:2:2または4:4:4フォーマットの映像信号に変換し、かつ、前記スケーリング部は、前記フィルタ処理部によって変換された後の映像信号から得られた前記合成色差信号の画素データを抽出し、前記位置情報に基づいて前記合成色差信号をスケーリング処理し、前記判定部によって前記映像に前記グラフィックス画像が重畳されると判定されたときは、前記フィルタ処理部は、前記4:2:0フォーマットの映像信号の色差信号の画素データおよび位置情報が保持されないよう、前記4:2:0フォーマットの映像信号を前記4:2:2フォーマットまたは4:4:4フォーマットの映像信号に変換し、かつ、前記スケーリング部は、前記合成色差信号を4:2:2または4:4:4フォーマットのままでスケーリング処理してもよい。
【0016】
前記判定部は、前記透過情報によって示される透明度が予め定められた第1の閾値以上であるときは、前記映像に前記グラフィックス画像が重畳されないと判定してもよい。
【0017】
前記判定部は、前記透過情報によって示される透明度が予め定められた第1の閾値未満であり、かつ、前記影像の色差と前記グラフィックス画像の色差との差が予め定められた第2の閾値以下のときは、前記映像に前記グラフィックス画像が重畳されないと判定してもよい。
【0018】
前記判定部は、前記透過情報によって示される透明度が予め定められた第1の閾値未満であり、かつ、前記影像の色差と前記グラフィックス画像の色差との差が予め定められた第2の閾値より大きいときは、前記映像に前記グラフィックス画像が重畳されると判定してもよい。
【0019】
前記判定部は、前記画素ごとの透過情報に応じて、前記映像に前記グラフィックス画像が重畳されるか否かを画素ごとに判定し、前記フィルタ処理部および前記スケーリング部は、前記画素ごとの判定結果に応じて処理を切り替えてもよい。
【0020】
前記判定部は、前記透過情報によって示される透明度が予め定められた第3の閾値を超える画素の数を、予め定められた期間にわたってカウントし、カウント値が第4の閾値以上のときは前記映像に前記グラフィックス画像が重畳されないと判定し、前記カウント値が第4の閾値未満のときは前記映像に前記グラフィックス画像が重畳されると判定してもよい。
【発明の効果】
【0021】
本発明によれば、OSDが透過している映像信号では、4:2:0フォーマットの状態から直接スケーリングされるため、周波数特性の劣化が少ない鮮明な映像が得られる。また、OSDが重畳された映像信号の処理は、透過判定結果に応じて4:2:2フォーマット処理に切り替えられるため、OSDの垂直解像度劣化を軽減することができる。
【図面の簡単な説明】
【0022】
【図1】本発明の実施形態によるレコーダ100のブロック図である。
【図2】映像処理部105の詳細な機能ブロックの構成を示す図である。
【図3】(a)〜(c)は、フィルタ処理部207の入出力処理の一例を示す図である。
【図4】透明度判定部211の処理手順を示すフローチャートである。
【図5】実施形態2にかかる透明度判定部211の処理手順を示す図である。
【図6】(a)〜(d)は、合成後の色差信号に関する従来の映像処理の一例を示す図である。
【発明を実施するための形態】
【0023】
以下、添付の図面を参照しながら、本発明による映像処理装置の実施形態を説明する。以下の説明では、映像処理装置はディジタル放送の記録機能を有するレコーダであるとする。レコーダにはディスクドライブ部が設けられており、ディスクドライブ部はディジタル放送の記録および記録されたディジタル放送の再生に利用される。ディスクドライブ部にはたとえばブルーレイディスク(BD)を装着可能であり、ブルーレイディスクに記録されたコンテンツの再生も可能である。なお、本願発明はレコーダとして実施される意外にも、たとえば後述の処理を行う再生装置(プレーヤ)、テレビ、テレビ受信機能を有する携帯電話、PCなどとしても実施され得る。
【0024】
(実施の形態1)
本実施形態によるレコーダは、4:2:0フォーマットの映像信号を輝度信号および色差信号に分解してそれぞれを処理する。このとき、映像にOSD(On Screen Display)が重畳されるか否かによって、色差信号の処理方法を変更する。具体的には、OSDが重畳されている映像については、色差信号を4:2:0フォーマットから直接スケーリングして出力する。この結果、周波数特性の劣化が少ない鮮明な映像が得られる。一方、OSDが重畳された場合であって、映像の色差とOSDの色差との間に一定以上の差が存在する場合には、色差信号を4:2:2フォーマットに変換し、変換後の色差信号をスケーリングして出力する。4:2:0フォーマットで処理すると通常は4:4:4フォーマットのOSDの色情報が大幅に削減されるが、4:2:2フォーマットに変換しているため、OSDの垂直解像度劣化を軽減することができる。
【0025】
図1は本実施形態によるレコーダ100のブロック図である。
【0026】
レコーダ100は、ディスクドライブ部102と、アンテナ103と、チューナ104と、映像処理部105と、出力部106とを備えている。
【0027】
ディスクドライブ部102はディスク101に格納された情報を再生して,映像信号や字幕のグラフィックスデータなどのディジタル信号を出力する。ディスク101は映像信号やグラフィックスデータが記録されたディスク(たとえばBD)である。なお、ディスクはレコーダ100から取り外し可能であり、レコーダ100の構成要素ではない。
【0028】
アンテナ103は放送波を受信する。チューナ104は、アンテナ103で受信した放送波に含まれる放送データのディジタル信号を出力する。映像処理部105は、入力されるディジタル信号を選択・復調し、ベースバンドの映像信号に変換する。映像処理部105は、好ましくは1つのチップ回路で実現される。出力部106は、映像処理部105から出力されたベースバンドの映像信号を、例えばHDMI規格の信号などに変換し、その変換した信号を出力する。
【0029】
以下、図2を用いて映像処理部105の詳細を説明する。なお、本実施形態においては、映像処理部105に入力される映像信号は4:2:0フォーマットの映像信号であるとして説明する。4:2:0フォーマットは、本願明細書の背景技術の欄においてすでに詳細に説明したとおりである。
【0030】
図2は、映像処理部105の詳細な機能ブロックの構成を示す。映像処理部105は、ストリーム制御部201と、ビデオデコーダ202と、グラフィック処理部203と、メモリ204と、RGB−YUV変換部205と、輝度信号合成部206と、フィルタ処理部207と、色差信号合成部210と、透明度判定部211と、第3のスケーリング部212と、スケーリング処理部215とを有している。
【0031】
ストリーム制御部201は、入力されたディジタル信号のうち、再生する信号を選択する。ここで再生する信号を選択するとは、例えば、ディスクドライブ部102からの入力を再生するか、もしくは、チューナ104からの入力を再生するかを選択することである。その後、選択された信号に対応する映像信号はビデオデコーダ202へ出力される。また、選択された信号に対応するグラフィックスデータはグラフィック処理部203へ出力される。
【0032】
ビデオデコーダ202は、映像信号を復調して、輝度信号と色差信号を出力する。本実施形態においては、映像処理部105に入力されるディジタル信号は4:2:0フォーマットの映像信号であるため、復調される色差信号(Cb信号およびCr信号)の情報量(画素数またはサイズ)は輝度信号(Y信号)の情報量に対して縦横半分となる。また、4:2:0フォーマットの映像信号における色差信号は輝度信号に対して、画素位置が0.5ラインずれたデータとしてデコードされる。
【0033】
フィルタ処理部207は、ビデオデコーダ202から出力された色差信号を受け取り、色差信号の垂直方向の画素数を輝度信号の垂直方向の画素数に一致させるための処理を行う。フィルタ処理部207は、リピート処理部207aと垂直拡大部207bとを有している。
【0034】
図3(a)〜(c)は、フィルタ処理部207の入出力処理の一例を示す。図3(a)〜(c)中の横破線は、映像信号の垂直方向の画素位置を示す。色差信号を「○」で示し、輝度信号を「●」で示している。
【0035】
なお、映像処理部105に入力されるディジタル信号が4:2:0フォーマットの映像信号であるという前提のもとでは、フィルタ処理部207は輝度信号を受け取る必要はない。しかしながら、そのような前提が存在しない場合には、色差信号の垂直方向の画素数を調整するために、フィルタ処理部207は輝度信号を受け取ってもよいし、輝度信号の垂直方向の画素数の情報を受け取ってもよい。
【0036】
図3(a)はフィルタ処理部207へ入力される色差信号の例を示す。図3(a)に記載のように、4:2:0の映像信号における色差信号は輝度信号に対して、画素位置が0.5ラインずれたデータとして、デコードされる。色差信号は、フィルタ処理部207に入力される。
【0037】
フィルタ処理部207は、後述するリピート処理部207aおよび垂直拡大部207bのいずれかを用いて、色差信号の垂直方向の画素数を輝度信号の垂直方向の画素数を一致させる。
【0038】
例えば、リピート処理部207aは、入力された色差データの値をそのまま保ち、垂直方向にその色差データの値を繰り返して色差信号の画素数を増加させることにより、色差信号の垂直画素数と輝度信号の垂直画素数とをそろえる。図3(b)はリピート処理部207aの出力信号の例を示す。ある色差データの値が、垂直方向に1つ下の画素の色差データの値として利用されている。この場合、輝度信号と色差信号が画素位置は0.5ライン分だけずれている。
【0039】
一方、垂直拡大部207bは、色差信号の垂直方向の画素数を輝度信号の垂直方向の画素数にあわせるだけでない。垂直拡大部207bは、拡大フィルタ処理を行って、垂直方向の色差信号の画素位置と輝度信号の画素位置をもそろえる。ここで「拡大フィルタ処理」とは、補間フィルタを用いて、輝度信号と垂直の画素数と、輝度信号との垂直画素位置とをそろえる処理である。
【0040】
なお、図3(b)および図3(c)の処理は、色差信号(Cb信号およびCr信号)のいずれについても適用される。
【0041】
スイッチ207cは、リピート処理部207aの処理結果を出力するか、もしくは、垂直拡大部207bの処理結果を出力するかを選択する。いずれを選択するかは、透明度判定部211の判定結果により制御される。
【0042】
なお、図2のフィルタ処理部207の構成によれば、リピート処理部207aおよび垂直拡大部207bはいずれも動作するが、出力されるのはいずれか一方の色差信号のみである。消費電力の低減等を考慮して、スイッチ207cをビデオデコーダ202と、リピート処理部207aおよび垂直拡大部207bとの間に設けて入力信号を選別し、色差信号が入力されなかった要素を動作させなくてもよい。
【0043】
グラフィック処理部203は、ストリーム制御部201からスクリプトデータあるいは圧縮されたグラフィックデータを受信する。グラフィック処理部203は、スクリプトデータなどの描画指示により、メモリ204にグラフィックス画像(たとえば字幕画像)をOSDプレーンの映像信号(OSD映像信号)として描画する。OSD映像信号はRGB色空間で表現されている。すなわち、輝度信号(Y)、Cb信号およびCr信号の情報量は同じである。そしてOSD映像信号には、透過情報が付加されている。
【0044】
たとえば、OSD映像信号の各画素は、透過情報であるα値と、色情報であるRGB値とで表現される。より具体的には、OSD映像信号の各画素は、α値、赤の画素値、緑の画素値および青の画素値を含んでいる。描画指示に基づき、メモリ204にはα値が格納され、またRGB各色の画素値も格納される。本実施形態においてはα値およびRGB各色の画素値はそれぞれが8ビットで表現されている。
【0045】
RGB−YUV変換部205は、メモリ204に描画されたOSD映像信号のRGB値を輝度信号と色差信号とに変換する。RGB−YUV変換部205から出力される輝度信号は、透過情報とともに輝度信号合成部206に入力される。
【0046】
同様に、RGB−YUV変換部205から出力される色差信号は、透過情報とともに色差信号合成部210に入力される。
【0047】
輝度信号合成部206は、透過情報に従いビデオデコーダ202から出力された映像信号とRGB−YUV変換部205からの輝度信号とを合成する。合成された輝度信号は、第3のスケーリング部212により、出力解像度にスケーリングされた後に出力される。
【0048】
色差信号合成部210は、RGB−YUV変換部205からの色差信号とフィルタ処理部207からの色差信号とを合成する。合成された色差信号は、スケーリング処理部215により、出力解像度にスケーリングされて出力される。
【0049】
スケーリング処理部215は、第1のスケーリング部213、第2のスケーリング部214とスイッチ216とを有している。
【0050】
第1のスケーリング部213は、合成された色差信号を受け取って元の4:2:0の色差データを抽出し、4:2:0の画素位置を基準に、合成された色差信号を出力解像度へスケーリングする。つまり、スケーリング処理部215は、たとえば図3(b)に記載の映像色差データのうち、実線の丸(「○」)で示す画素群を抽出してスケーリングする。
【0051】
第2のスケーリング部214は、合成された色差信号を受け取って、入力されるすべての画素を用いて、4:2:2の画素位置を基準に、合成された色差信号を出力解像度へスケーリングする。つまり、スケーリング処理部214は、たとえば図3(c)に記載の映像色差データのうち、実線の丸(「○」)および点線の丸で示す画素群を用いてスケーリングする。
【0052】
スイッチ216は、第1のスケーリング部213を出力するか、もしくは、第2のスケーリング部214を出力するかを選択するスイッチであり、透明度判定部211の判定結果により制御される。
【0053】
なお、スイッチ207cと同様に、スイッチ216を設ける位置を変更してもよい。具体的には、スイッチ216を色差信号合成部210と第1のスケーリング部213および第2のスケーリング部214との間に設けて入力信号を選別し、合成された色差信号が入力されなかった要素を動作させなくてもよい。
【0054】
透明度判定部211では、OSD映像信号の透明度を判定する。この判定処理については、後に図4を参照しながら詳細に説明する。
【0055】
透明度判定部211が、OSDが映像に実際に重畳されないと判定した場合は、スイッチ207cをリピート処理部207a側に切り替える。すると、フィルタ処理部207からはリピート処理部207aによってリピート出力された映像信号が出力される。その映像信号は、ビデオデコード時の4:2:0フォーマットの色差成分の画素データを保持している。また、その映像信号はビデオデコード時の4:2:0フォーマットの色差成分の位置情報を保持している。
【0056】
透明度判定部211は、判定結果に基づいて、スイッチ216を第1のスケーリング部213側に切り替える。第1のスケーリング部213は、変換される前の4:2:0フォーマットのYUV形式である映像信号の色差成分の画素データを抽出し、その位置情報に基づき、出力解像度へスケーリング変換する。
【0057】
一方、透明度判定部211が、OSDが映像に実際に重畳されていると判断した場合は、スイッチ207cを垂直拡大部207b側に切り替える。すると、フィルタ処理部207からは垂直拡大部207bによって処理された映像信号が出力される。このとき、垂直拡大部207bはビデオデコーダ202によってデコードされた色差信号を完全に4:2:2フォーマットの色差信号へ変換する。このとき、変換後の色差信号は映像信号はビデオデコード時の4:2:0の現データの色差成分の画素データを保持していない。また、その映像信号はビデオデコード時の4:2:0の現データの色差成分の位置情報を保持していない。
【0058】
透明度判定部211は、判定結果に基づいて、スイッチ216を第2のスケーリング部214に切り替える。第2のスケーリング部214は4:2:2フォーマットの画素位置を基準に合成された色差信号を出力解像度へスケーリングを行う。
【0059】
図4は、透明度判定部211の処理手順を示すフローチャートである。
【0060】
ステップS1において、透明度判定部211は、画素ごとにOSD映像信号の透明度の情報を取得する。
【0061】
ステップS2において、透明度判定部211は、画素毎にOSD映像信号の透明度を予め定められた値(所定値)と比較する。所定値とは、たとえば透明度20%である。所定値以上であれば処理はステップS3に進み、所定値未満の場合には処理はステップS4に進む。
【0062】
ステップS3において、透明度判定部211は、映像にOSDが重畳されていないとして、4:2:0フォーマットに基づいて処理するようスイッチ207cおよびスイッチ216を切り替える。
【0063】
一方、ステップS4において、透明度判定部211は、映像の色差とOSDの色差との差異が一定値以下か否かを判定する。映像の色差とOSDの色差との差異が一定値以下のときは処理はステップS3に進み、そうでないときは処理はステップS5に進む。
【0064】
ここでステップS4からステップS3に進む理由は、OSDの色差が映像の色差とが同じか、またはそれに近いときは、OSDが映像に重畳されていないとしてあつかっても問題なく、スケーリング性能が高い後段の4:2:0フォーマットのスケーリングを利用することが好ましいためである。なお、OSDの色差が映像の色差とが同じときとは、たとえば、画面内の上下に黒枠が表示されるシネマスコープ方式において、黒枠の映像上に白い字幕(OSD)が表示されている場合をいう。双方の輝度は異なるが色差は同じである。 ただし、上述のステップS4は必須ではない。常に4:2:2フォーマットへの変換処理を行う従来の方法と比較すると、ステップS2からステップS3に進む処理により、画質の劣化を抑制できるという効果を得ることができるためである。
【0065】
一方、OSDの色が映像の色と異なっているときは、4:2:0フォーマットに基づく処理をするとOSDの色垂直解像度が落ち、色の劣化が生じてしまう。そこでステップS5において透明度判定部211は、4:2:2フォーマットに基づいて処理するようスイッチ207cおよびスイッチ216を切り替える。
【0066】
なお、本実施形態においては、フィルタ処理部207にはリピート処理部207aおよび垂直拡大部207bが設けられるとして説明したが、これは一例である。同一のフィルタ資源のパラメータを変更することで、1つのハードウェアを用いてリピート処理部207aおよび垂直拡大部207bをソフトウェア的に実現してもよい。このとき、スイッチ207cはパラメータを変更する処理に置き換えられる。
【0067】
本実施形態においてはスケーリング処理部215には、第1のスケーリング部213および第2のスケーリング部214が設けられるとして説明したが、これも一例である。同一のスケーラー資源のパラメータを変更することで、1つのハードウェアを用いて第1のスケーリング部213および第2のスケーリング部214をソフトウェア的に実現してもよい。このとき、スイッチ216はパラメータを変更する処理に置き換えられる。
【0068】
また、後段のスケーリング処理部215には、4:2:2フォーマットの信号が入力されるとして説明した。これはフィルタ処理部207が4:2:2フォーマットの信号を出力することに起因している。しかしながら、フィルタ処理部207が4:2:0フォーマットの信号を4:4:4フォーマットの信号に変換し、以降4:4:4フォーマットの信号として処理を行っても良い。
【0069】
以上より、OSDが透過している映像では、色差信号は4:2:0フォーマットから直接スケーリングされるため、周波数特性の劣化が少ない鮮明な映像が得られ、また、OSDが重畳された場合は、透過判定結果により、色差信号は4:2:2フォーマット処理に切り替えられる。これは、4:4:4フォーマットのOSD映像信号をOSDが透過しているときのような4:2:0フォーマットでは処理しないことを意味する。これによりOSDの垂直解像度劣化を軽減することができる。
【0070】
また、演算により生成された下位ビットの丸め処理がなくなるため、色差信号の諧調劣化を軽減できる。ここで「丸め」とは、ビット列で表される値を一定の規則に従って、異なるビット値(近似値)で表現することである。
【0071】
より具体的に説明する。従来の処理では、たとえば8ビットの映像信号をより多いビット数(たとえば10ビット)の映像信号に拡張し、その後スケーリングを行ってより低いビット(たとえば8ビット)に丸めるという処理が行われていた。その結果、ビット丸めによる階調精度の劣化が生じていた。
【0072】
一方、本実施形態の処理によれば、OSDが透過している映像については、もとの8ビット映像(4:2:0フォーマット)を4:2:2フォーマットに変換せず、言い換えればビット数を変更せず、直接スケーリングするため、ビットの丸め処理が不要である。よってビット丸めが発生せず、階調劣化が抑えられる。
【0073】
また、OSDを合成した場合でも、OSDの色差信号の垂直解像度が劣化を軽減することができる。
【0074】
つまり本実施の形態の映像処理装置は、4:2:0フォーマットのYUV形式である映像信号を4:2:2または4:4:4フォーマットのYUV形式である映像信号に変換するフィルタ処理部207と、映像信号にグラフィックス画像が重畳されるか否かを判定する透明度判定部211と、グラフィックス画像の色差成分をフィルタ処理部207で変換された映像信号の色差成分に重畳し、合成映像信号として出力する色差信号合成部210と、合成映像信号に対しスケーリング処理をするスケーリング処理部215とを備え、透明度判定部211が、映像信号にグラフィックス画像が重畳されないと判断した場合には、フィルタ処理部207は、変換された4:2:2または4:4:4フォーマットのYUV形式である映像信号が、変換前の4:2:0フォーマットのYUV形式である映像信号の色差成分の画素データおよび位置情報を保持するように変換し、スケーリング処理部215は、スケーリングする前にフィルタ処理部207において変換される前の4:2:0フォーマットのYUV形式である映像信号の色差成分の画素データを抽出し、前記位置情報に基づきスケーリングする一方、透明度判定部211が、映像信号にグラフィックス画像が重畳されると判断した場合には、フィルタ処理部207は、変換された4:2:2または4:4:4フォーマットのYUV形式である映像信号が、変換前の4:2:0フォーマットのYUV形式である映像信号の色差成分の画素データおよび位置情報を保持ないように変換し、スケーリング処理部215は、前記合成映像信号を4:2:2または4:4:4フォーマットのままでスケーリングをする。
【0075】
これにより、OSDが透過している映像信号では、4:2:0から直接スケーリングされるため、周波数特性の劣化が少ない鮮明な映像が得られ、また、OSDが重畳された場合は、透過判定結果により4:2:2処理側に切り替えられるため、OSDの垂直解像度劣化を軽減することができる。
【0076】
また、映像信号にグラフィックス画像が重畳されるか否かを判定する透明度判定部211は、グラフィックス画像の透過情報に基づき判定される。これにより、グラフィックス画像の透過情報の変化に応じたスケーリングを実施することができる。
【0077】
また、映像信号にグラフィックス画像が重畳されるか否かを判定する判定結果を、画素毎に行い、処理を切り替える。これにより、グラフィックス画像の画素ごとの透過情報の変化に応じたスケーリングを実施することができる。
【0078】
(実施形態2)
本実施形態にかかるレコーダは、実施形態1にかかるレコーダ100と同じ構成を有している。そのため、図1および図2に示すレコーダ100を、本実施形態にかかるレコーダとして説明する。なお、以下に特に説明する構成および動作以外は、実施形態1のレコーダの構成および動作と同じであるため、それらの説明は省略する。
【0079】
本実施形態と実施形態1との相違点は、透明度判定部211が、実施形態1にかかる判定方法と異なる判定方法を採用している点にある。
【0080】
以下、本実施形態にかかるレコーダ100を説明する。
【0081】
図5は、本実施形態にかかる透明度判定部211の処理手順を示す。本実施形態においては、図4のステップS1の後にステップS10およびS11が追加され、それに代えてステップS2およびS4が省略されている。
【0082】
ステップS10では、透明度判定部211は、OSDの透明度が予め定められた値以上(たとえば20%以上)に設定された画素の画素数を所定期間にわたってカウントする。所定期間とは、たとえば1フレーム期間(たとえば1/60秒)や2フィールド期間である。
【0083】
ステップS11において、透明度判定部211は、そのカウント値が一定値以上であるか否かを判定する。一定値以上であれば映像にOSDが重畳されていないと判定し、処理はステップS3に進む。ここで一定値とは、たとえば1フレーム期間に含まれる総画素数の99%以上である。
【0084】
そして透明度判定部211は、4:2:0フォーマットに基づいて処理するようスイッチ207cおよびスイッチ216を切り替える。一方、一定値未満であれば、透明度判定部211は、映像にOSDがされていると判定し、処理はステップS5に進む。そして透明度判定部211は、4:2:2フォーマットに基づいて処理するようスイッチ207cおよびスイッチ216を切り替える。
【0085】
本実施形態では上述のカウント処理が必要になるため、実施形態1と比べ、リアルタイム性などの性能は劣る。しかしながら、フィルタ処理部207やスケーリング処理部215の構成が簡単になる。これにより、4:2:0フォーマット処理時と4:2:2フォーマット処理時の資源を共用しやすくなる。
【0086】
なお、本実施形態においても、図4のステップS4と同じような画素毎の透過判定を行ってもよい。より具体的には、ステップS11とステップS5との間に、図4に示すステップS4を設け、映像の色差とOSDの色差とが同じか、またはそれに近いときには透過とみなす処理を入れ、ステップS3に進む処理を含めても良い。
【0087】
たとえば黒枠の映像上に白い字幕(OSD)が表示されている場合を考える。OSDが重畳されているため、本来はOSDの画質を劣化を低減できる4:2:2フォーマットに基づく処理へ切り替えられるべきである。しかしながら、映像全体が4:2:2フォーマットに基づいて処理されると、上述のとおり、2度に分けてフィルタ処理を施すことになり、信号の周波数特性が劣化する。そこで、黒枠の映像上に白い字幕(OSD)が表示されているような、映像の色差とOSDの色差とが同じか、またはそれに近いときには、映像の劣化を防ぐよう4:2:0フォーマットに基づく処理を行えばよい。
【0088】
また、画素数をカウントする際、映像とOSDとの色の差が目に付きやすいかどうかを基準として、画面位置に応じて重み付けをしても良い。
【0089】
本実施形態にかかるレコーダは、映像信号にグラフィックス画像が重畳されるか否かを判定する判定結果を、所定期間積算し、その積算値に基づき所定期間周期にて処理を切り替える。これにより、所定時間ごとにスケーリングが切り替わるので、表示される映像が領域ごとにスケーリング方法が異なる状態になることを防止することができる。
【0090】
なお、上述の図4のステップS2、S4および図5のステップS10、S11の説明に関連して予め定められた値(閾値)を具体的に説明したが、これらは一例である。閾値として他の数値を採用してもよい。
【0091】
上述の各実施形態に関連する図4および図5のフローチャートに記載された処理は、主として透明度判定部211によって実行されるとして説明した。透明度判定部211は、予め上述のフローチャートに示す処理がプログラムされたディジタル信号プロセッサ(DSP)のような1つの半導体チップまたはICによって実現することも可能であるし、たとえばコンピュータとソフトウェア(コンピュータプログラム)とを用いて実現することもできる。このコンピュータプログラムには、図4および図5に示す各フローチャートに記載された手順を実行させるための命令が記述されている。コンピュータプログラムを実行したコンピュータは、図4および図5に示す各フローチャートに記載された処理を実行する。コンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。
【0092】
なお、透明度判定部211以外の他の構成要素の機能も、上述のプロセッサやコンピュータとソフトウェアとによって実現可能である。たとえば、映像処理部105そのものが1つの半導体チップによって実現されてもよい。
【産業上の利用可能性】
【0093】
本発明は、ディジタルテレビやディジタル録画機器等、4:2:0フォーマットの映像信号を復調し、グラフィックスデータを重畳して再生する機器に適用可能であり、最良の再生環境を提供することが可能である点において有用である。
【符号の説明】
【0094】
100 映像処理装置
101 ディスク
102 ディスクドライブ部
103 アンテナ
104 チューナ
105 映像処理部
106 出力部
201 ストリーム制御部
202 ビデオデコーダ
203 グラフィック処理部
204 メモリ
205 RGB−YUV変換部
206 輝度信号合成部
207 フィルタ処理部
210 色差信号合成部
211 透明度判定部
212 第3のスケーリング部
213 第1のスケーリング部
214 第2のスケーリング部
215 スケーリング処理部
216 スイッチ

【特許請求の範囲】
【請求項1】
映像にグラフィックス画像を重畳する映像処理装置であって、前記グラフィックス画像の映像信号は、画素ごとに、色情報および透明度に関する透過情報を有しており、
前記映像を表す4:2:0フォーマットの映像信号を受け取り、4:2:2または4:4:4フォーマットの映像信号に変換するフィルタ処理部と、
前記グラフィックス画像の映像信号を受け取り、前記透過情報に応じて、映像に前記グラフィックス画像が重畳されるか否かを判定する判定部と、
前記グラフィックス画像の色差信号を、前記フィルタ処理部で変換された映像信号の色差信号に重畳し、合成色差信号として出力する合成部と、
前記合成色差信号をスケーリング処理するスケーリング部とを備え、
前記判定部によって前記映像に前記グラフィックス画像が重畳されないと判定されたか、または、重畳されると判定されたかに応じて、前記フィルタ処理部および前記スケーリング部は、前記4:2:0フォーマットの映像信号の色差信号の画素データおよび位置情報を保持する処理と保持しない処理とを切り替える、映像処理装置。
【請求項2】
前記判定部によって前記映像に前記グラフィックス画像が重畳されないと判定されたときは、前記フィルタ処理部は、前記4:2:0フォーマットの映像信号の色差信号の画素データおよび位置情報が保持されるよう、前記4:2:0フォーマットの映像信号を前記4:2:2または4:4:4フォーマットの映像信号に変換し、かつ、前記スケーリング部は、前記フィルタ処理部によって変換された後の映像信号から得られた前記合成色差信号の画素データを抽出し、前記位置情報に基づいて前記合成色差信号をスケーリング処理し、
前記判定部によって前記映像に前記グラフィックス画像が重畳されると判定されたときは、前記フィルタ処理部は、前記4:2:0フォーマットの映像信号の色差信号の画素データおよび位置情報が保持されないよう、前記4:2:0フォーマットの映像信号を前記4:2:2フォーマットまたは4:4:4フォーマットの映像信号に変換し、かつ、前記スケーリング部は、前記合成色差信号を4:2:2または4:4:4フォーマットのままでスケーリング処理する、請求項1に記載の映像処理装置。
【請求項3】
前記判定部は、前記透過情報によって示される透明度が予め定められた第1の閾値以上であるときは、前記映像に前記グラフィックス画像が重畳されないと判定する、請求項2に記載の映像処理装置。
【請求項4】
前記判定部は、前記透過情報によって示される透明度が予め定められた第1の閾値未満であり、かつ、前記影像の色差と前記グラフィックス画像の色差との差が予め定められた第2の閾値以下のときは、前記映像に前記グラフィックス画像が重畳されないと判定する、請求項2に記載の映像処理装置。
【請求項5】
前記判定部は、前記透過情報によって示される透明度が予め定められた第1の閾値未満であり、かつ、前記影像の色差と前記グラフィックス画像の色差との差が予め定められた第2の閾値より大きいときは、前記映像に前記グラフィックス画像が重畳されると判定する、請求項2に記載の映像処理装置。
【請求項6】
前記判定部は、前記画素ごとの透過情報に応じて、前記映像に前記グラフィックス画像が重畳されるか否かを画素ごとに判定し、
前記フィルタ処理部および前記スケーリング部は、前記画素ごとの判定結果に応じて処理を切り替える、請求項1に記載の映像処理装置。
【請求項7】
前記判定部は、前記透過情報によって示される透明度が予め定められた第3の閾値を超える画素の数を、予め定められた期間にわたってカウントし、カウント値が第4の閾値以上のときは前記映像に前記グラフィックス画像が重畳されないと判定し、前記カウント値が第4の閾値未満のときは前記映像に前記グラフィックス画像が重畳されると判定する、請求項1に記載の映像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2011−55486(P2011−55486A)
【公開日】平成23年3月17日(2011.3.17)
【国際特許分類】
【出願番号】特願2010−176338(P2010−176338)
【出願日】平成22年8月5日(2010.8.5)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】