映像処理装置
【課題】映像信号中に劣化したテロップ文字が含まれる場合でも、良好にアンチエイリアス処理を行いテロップ文字のジャギーを低減すること。
【解決手段】テロップ抽出部２は、映像信号１０１からテロップ文字を抽出し、テロップの領域を表す２値化したマスク信号１０２を生成する。テロップ修復部３は、映像信号１０１を用いてテロップ領域の欠損した画素を復元することでテロップ信号を修復する。平滑化処理部４は、修復されたテロップ信号１０３に対しテロップの輪郭部のジャギーを低減し、平滑化済みテロップ信号１０４を生成する。テロップ合成部５は、テロップ信号１０４と映像信号１０１とを合成する。
【解決手段】テロップ抽出部２は、映像信号１０１からテロップ文字を抽出し、テロップの領域を表す２値化したマスク信号１０２を生成する。テロップ修復部３は、映像信号１０１を用いてテロップ領域の欠損した画素を復元することでテロップ信号を修復する。平滑化処理部４は、修復されたテロップ信号１０３に対しテロップの輪郭部のジャギーを低減し、平滑化済みテロップ信号１０４を生成する。テロップ合成部５は、テロップ信号１０４と映像信号１０１とを合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン信号などの映像信号を入力し、特に解説や字幕等の文字やロゴを含む映像信号より文字やロゴを抽出し、その輪郭を補正する映像処理装置に関する。
【背景技術】
【０００２】
テレビジョン番組で、解説や字幕を挿入するために、文字やロゴ等を映像信号と合成（以降、テロップと呼ぶ）して表示することが多い。該テロップの文字やロゴ（以降、テロップ文字と呼ぶ）の輪郭部分で、曲線や斜線箇所が階段状（以降、ジャギーと呼ぶ）となることがある。該ジャギーは、二値階調のテロップ文字を用いた際や、テロップ文字と映像信号との合成時に最隣接法等の拡大処理を行った際や、インタレース信号をプログレッシブ信号に変換（ＩＰ変換）する際に発生しやすい。
【０００３】
ジャギー発生の原因は、映像の最小単位である画素幅より細かな線を表現ができないことによるもので、これを抑制する方法としてアンチエイリアス処理がある。ＯＳＤ（On-Screen Display）のように、出力映像作成の段階でテロップ文字を挿入する場合のアンチエイリアス処理では、テロップ合成時に文字輪郭を背景の映像信号と融合するように色を滑らかに変化させることで、ジャギーを目立たなくすることができる。
【０００４】
これに対し入力される映像信号に既にテロップ文字が含まれる場合、上記方法はそのまま適用できないため、まず映像信号からテロップ文字を分離してアンチエイリアス処理を行う必要がある。この手法として、レーザープリンタの分野では、検出したエッジと所定のエッジパターンとのマッチングを取り、前記エッジパターンに対応するアンチエイリアス処理の施されたパターンへ置換する方法がある。
【０００５】
テロップ文字を含む映像に対してアンチエイリアス処理を行うための従来技術としては、例えば次のものが知られている。特許文献１には、文字画像に対して、斜めエッジを検出して斜めエッジの強調を抑制しながら、注目画素の輝度信号と前記注目画素の近傍の８画素の輝度信号の平均値との差分信号を前記注目画素の輝度信号に加算して輪郭強調することが記載されている。また特許文献２には、レーザープリンタなどにおいて入力する多値画像データを文字部とそれ以外の部分に分離し、分離された文字データに対して斜線や曲線部に発生するジャギーを低減する画像処理を施すことが記載される。
【０００６】
【特許文献１】特開２００１−２９２３４１号公報
【特許文献２】特開平８−０２３４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
図８は、従来のアンチエイリアス処理を説明する図である。
（ａ）は、テロップ文字の斜線箇所に起こるジャギーを示し、白い背景に黒い文字を合成した文字映像を拡大した図である。符号８０１は、文字映像を構成する画素を表し、白色画素は背景部分、黒色画素は文字部分に対応する。また、符号８０２は文字の輪郭線を表し、輪郭線が通る画素が文字の輪郭を構成する画素（輪郭構成画素）である。テレビジョンに表示される文字の輪郭は、輪郭線８０２のように滑らかな直線にはならず、符号８０３のような階段状の折れ線すなわちジャギーとなる。これは、輪郭線８０２が、映像の最小単位である画素幅よりも細かな線であるためである。
【０００８】
（ｂ）は、アンチエイリアス処理による斜線箇所のジャギー低減例を示す。輪郭構成画素として符号８０４で示す画素に注目する。該画素８０４を、輪郭線８０２によって符号８０５のように２つの領域に分割する。背景側の白色面積比率を画素面積の６７％、文字側の黒色面積比率を画素面積の３３％とすると、画素８０４を占める色は面積比率に等しいため、白色６７％と黒色３３％を合わせた色となる。例えば、白色の輝度値を２５５、黒色の輝度値を０とした場合、画素８０４の輝度値は加重平均された１７１（＝２５５×０．６７＋０×０．３３）となり、符号８０６のように灰色輝度の画素とする。
【０００９】
同様にして、他の輪郭構成画素に対しても加重平均を適用していくと、（ｂ）のように、輪郭線に沿って段階的な滑らかな輝度、即ちグラデーションとなった画素で輪郭が縁取られる。結果として、グラデーションにより輪郭が暈され、ジャギーを低減することができる。ＯＳＤのように入力映像作成の段階でテロップを挿入する場合で、輪郭線情報を持つアウトライン形式等のテロップ文字で合成される場合には、上記アンチエイリアス処理が有効である。しかし、入力される映像信号に既にテロップ文字が含まれる場合、輪郭線情報を持たないため上記方法はそのまま適用できない。
【００１０】
一方、テレビジョン放送信号のようなテロップ文字を含む映像信号は、ノイズや符号化処理等で、テロップ文字の画質が劣化している場合が多い。また、ＩＰ変換した映像中のテロップ文字は、輪郭が櫛状に劣化している場合が多い。このような劣化したテロップ文字に対するアンチエイリアス処理は、文字自体の画素欠損による劣化だけでなく、テロップ検出精度も下がるため、更に輪郭は劣化しジャギー低減効果が十分得られない。
【００１１】
上記特許文献１及び２では、テロップ文字自身の形状は正常であることを前提とし、テロップ文字の劣化については特に考慮されていない。よって各文献記載のアンチエイリアス処理を行っても、テロップ文字のジャギーを良好に補正することは困難である。
【００１２】
本発明の目的は、映像信号中に劣化したテロップ文字が含まれる場合でも良好にアンチエイリアス処理を行い、テロップ文字のジャギーを低減する映像処理装置を提供することである。
【課題を解決するための手段】
【００１３】
本発明は、映像信号に含まれるテロップ文字の輪郭を補正する映像処理装置において、上記映像信号からテロップ文字を抽出し、該テロップ文字の領域か該テロップ文字以外の背景領域かを表す２値化したマスク信号を生成するテロップ抽出部と、該テロップ抽出部により生成されたマスク信号に対し、上記映像信号を用いてテロップ領域の欠損した画素を復元することでテロップ信号を修復するテロップ修復部と、該テロップ修復部により修復されたテロップ信号に対して、上記テロップ文字の輪郭部を平滑化処理しジャギーを低減する平滑化処理部と、該平滑化処理部により平滑化処理されたテロップ信号と上記映像信号とを合成するテロップ合成部とを備える。
【００１４】
本発明は、映像信号に含まれるテロップ文字の輪郭を補正する映像処理装置において、上記映像信号からテロップ文字を抽出し、該テロップ文字の領域か該テロップ文字以外の背景領域かを表す２値化したマスク信号を生成するテロップ抽出部と、該テロップ抽出部により生成されたマスク信号に対し、上記映像信号を用いてテロップ領域の欠損した画素を復元することでテロップ信号を修復するテロップ修復部と、該テロップ修復部により修復されたテロップ信号からテロップ文字の輪郭を抽出し、テロップ輪郭信号を生成する輪郭抽出部と、該輪郭抽出部により生成されたテロップ輪郭信号に対して、上記テロップ文字の輪郭部を平滑化処理しジャギーを低減する平滑化処理部と、該平滑化処理部により平滑化処理されたテロップ輪郭信号と上記映像信号とを合成するテロップ合成部とを備える。
【００１５】
ここに前記テロップ抽出部は、隣接画素間の輝度差を求め輝度差が所定の閾値より大きい場合にエッジと判定し、該エッジを隣接画素との輝度差が所定の閾値より小さい区間だけ拡張することでテロップ文字の領域を決定する。
【００１６】
ここに前記テロップ修復部は、前記マスク信号におけるテロップ領域をそれに隣接する背景領域の画素まで拡大し、さらに拡大したテロップ領域のうち背景領域に隣接する画素分だけ縮小して新たなテロップ領域を生成する。
【発明の効果】
【００１７】
本発明によれば、映像信号中に劣化したテロップ文字が含まれる場合でも、テロップ文字のジャギーを十分に低減し、見やすく良好な映像を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、各図において同一の符号が付された要素は同一の構成、機能を持つものとし、重複した説明は省略する。
【実施例１】
【００１９】
図１は、本発明に係る映像処理装置の第１の実施例（実施例１）を示す構成図である。
映像信号処理部１は、例えば受信した符号化デジタルテレビジョン放送信号１００を入力し、これを復号及び復調してデジタル形式の映像信号１０１を出力する。また、該放送信号１００がインタレース信号の場合にはＩＰ変換（インタレース→プログレッシブ変換）し、ディスプレイの画面サイズに応じた映像の拡大もしくは縮小処理した後に、映像信号１０１を出力する。
【００２０】
テロップ抽出部２は映像信号１０１を入力し、テロップ文字を背景映像から分離して抽出する。そして、テロップ文字に対応する画素については「１」（すなわち有効）とし、テロップ文字以外に対応する画素については「０」（すなわち無効）とするマスク信号１０２を生成する。テロップ文字の検出処理については後述する。
【００２１】
テロップ修復部３はマスク信号１０２と前記映像信号１０１とを入力し、ノイズやＩＰ変換等による画質劣化のために抽出精度が低下して生じたテロップ文字中の欠損した画素を補填して、テロップ文字のみの映像信号（テロップ映像信号）を生成する。さらにテロップ映像信号にマスク信号１０２をマスクビットとして追加し、修復済みテロップ信号１０３を出力する。テロップ文字の修復処理については後述する。
【００２２】
平滑化処理部４は修復済みテロップ信号１０３を入力し、アンチエイリアス処理を施し、テロップ輪郭部を平滑化しジャギーを低減する。その際アンチエイリアス処理として、信号１０３のマスクビットが「１」の時にのみ、信号１０３のテロップ映像信号に対して平均値フィルタを用いて平均化することで、平滑化済みテロップ信号１０４を生成する。アンチエイリアス処理については後述する。
【００２３】
テロップ合成部５は、平滑化済みテロップ信号１０４と前記映像信号１０１を入力し、信号１０４のマスクビットが「１」の時にのみ、映像信号１０１と、平滑化済みテロップ信号１０４の映像とを合成する。これにより、劣化したテロップ文字が補正された補正映像信号１０５が得られる。この補正映像信号１０５は、表示制御部６を通して映像表示部７にて表示される。映像表示部７には、例えば、液晶ディスプレイパネルやプラズマディスプレイパネルが用いられる。
【００２４】
このように本実施例の映像処理装置では、テロップ修復部３と平滑化処理部４を備えることで、映像信号中に劣化したテロップ文字が含まれる場合でも、テロップ文字を修復するとともにジャギーを低減し、見やすく良好な映像に補正することができる。以下、各部の動作について説明する。
【００２５】
図２は、テロップ抽出部２の処理動作を模式的に示す図である。
（ａ）は入力映像（原画像）２００を示し、画像中に含まれる「Ａ」という文字テロップを抽出する例である。このテロップ文字は劣化しており、テロップ文字の輪郭や内部にいくつかの画素欠損部を有している。また、テロップ文字の斜線部分には階段状のジャギーを有している。
【００２６】
（ｂ）では、テロップ文字のエッジ抽出処理を行う。テロップ抽出は水平走査線方向で順次行うものとする。符号２０１は抽出したエッジを表す。エッジ抽出処理では、映像信号１０１の水平に隣接する２つの画素間の輝度差を求め、該輝度差の絶対値が所定閾値より大きい場合にエッジと判定する。通常のテロップ文字は白色や黒色の高輝度または低輝度色で表示されるので、背景映像との輝度差が大きく、これからエッジを判別できる。エッジと判定された領域（符号２０１の黒色の文字輪郭部分）は、エッジ信号を例えば「１」とする。エッジでないと判定された領域（符号２０１の白色の背景部分）は、エッジ信号を「０」とする。なお、符号２０１ｘの部分は文字輪郭部分の劣化による画素の欠損であり、エッジ信号にも反映されている。また、エッジと判定された画素は、文字周囲の背景画素も含む。
【００２７】
（ｃ）では、符号２０２で示すようにエッジ信号「１」の拡張を行い、テロップ文字の内部領域を決定する。エッジ拡張の方法は、エッジ信号が「１」の画素より始まる矢印方向へ、隣接画素との輝度差の絶対値が所定閾値より小さい区間、テロップ文字内の領域として信号「１」の拡張を行うものである。閾値を適宜設定することで、テロップ文字が単色だけでなく、グラデーションもしくは階調差の緩やかな模様で塗られた場合でも、有効に拡張できる。もしテロップ内部に画素の欠損部があれば、拡張はそこで分断されることになる。
【００２８】
（ｄ）では、エッジ拡張により得られたマスク信号（マスク映像）を符号２０３で示す。黒色部分はテロップ文字領域でマスク信号＝「１」、白色部分はテロップ文字以外の領域でマスク信号＝「０」に対応する。図では、テロップ文字の輪郭と内部にいくつかの画素の欠損部が存在し、その部分ではマスク信号が欠落し、「１」ではなく「０」のままとなっている。また、絵柄のあるテロップ文字など、前記輝度差の絶対値が閾値より大きい場合はエッジ拡張が行われず、マスク信号は（ｂ）のエッジ部分２０１のみとなる。なお、テロップ抽出法は上記方法に限るものではない。
【００２９】
図３は、テロップ修復部３、平滑化処理部４、及びテロップ合成部５の処理動作を模式的に示す図である。ここでは、抽出したテロップの欠損部を修復し、さらにアンチエイリアス処理によりジャギーを低減する。
（ａ）は、補正前の映像信号（以降、原画像とも呼ぶ）２００と、前記テロップ抽出部２により抽出したマスク映像２０３を示す。
【００３０】
（ｂ）は、マスク映像２０３を用いて、映像信号（原画像）２００より抽出したテロップ映像を符号３０１で示す。抽出方法として、次の２通り可能である。第１の方法は、マスク映像２０３より得られるテロップ文字の画素位置に対応した画素を、原画像２００から抜き出すことでテロップ映像３０１を取得するものである。第２の方法は、マスク映像２０３より得られるテロップ文字の画素位置に対応する画素の輝度と、所定の単色（例えば白色）との輝度差が、所定閾値以内である場合、すべて所定の単色（例えば白色）にて置換する方法である。第２の方法によれば、単色（例えば白色）のテロップ文字に特化したことで、テロップ文字内のノイズ低減効果がある。
【００３１】
（ｃ）は、テロップ修復部３により、前記抽出したテロップ映像３０１の画素の欠損を補填し、符号３０２に示す修復済みのテロップ文字を得る。すなわち欠損部のマスク信号を「０」から「１」に書き換える。欠損部を復元するために、テロップ領域の拡大処理と縮小処理を行う。拡大処理ではマスク信号が「１」であるテロップ領域をそれに隣接する背景領域の画素まで拡大する。縮小処理では、拡大したテロップ領域のうち背景領域に隣接する画素分だけ縮小する。このようにして新たなテロップ領域を生成する。テロップ映像の修復処理方法は後述する。
【００３２】
（ｄ）は、平滑化処理部４により、前記修復済みのテロップ映像３０２に対して平均値フィルタを用いたアンチエイリアス処理を施すことで、テロップ文字輪郭の平滑化を行う。その結果、符号３０３で示されるようにジャギー低減され輪郭が平滑化されたテロップ映像を得る。なお、平均値フィルタは、テロップ文字全体に渡って処理されるが、テロップ文字内は、単色やグラデーション、もしくは階調差の緩やかな模様のため、平均化による暈し効果が強調されることはなく、エッジ部分のアンチエイリアス処理効果のみとなる。また、前記テロップ文字以外の模様を持つ場合、例えば絵柄の描かれたテロップ文字等が該当するが、マスク映像は２０１のエッジ部分のみとなる、すなわち、テロップ文字内の絵柄部分にはエッジ拡張されないため、平滑化処理の対象外となる。故に、平均値フィルタ処理による絵柄の暈し効果を防ぐことができる。
【００３３】
（ｅ）は、テロップ合成部５にて、平滑化されたテロップ映像３０３と原画像２００とを合成することで補正画像３０４を生成する。これより、原画像内の欠損のあるテロップ文字を修復するとともに、テロップ文字の斜線部のジャギーを低減して見やすく良好な補正映像信号１０５が得られる。
【００３４】
図４は、テロップ修復部３のテロップ文字の修復処理を詳細に説明する図である。
（ａ）は欠損した画素のあるマスク信号を示す図で、図中の碁盤上に仕切られた升目（セル）はマスク信号の画素を表す。黒色セルはテロップ文字画素で「１」信号、また白色セルは背景映像画素で「０」信号を表す。太い線で囲まれた白色セル（符号４０１で示す）は、画質劣化により欠損した画素を表す。
【００３５】
（ｂ）はテロップ領域（マスク領域）の拡大処理を示し、テロップ文字すなわち黒色セルに対し拡張処理を行った様子を示す。ここでは、「黒色セルに隣接する白色セルを黒色セルに置換する」という拡大ルールに従う。なお、隣接するのは縦、横方向だけでなく斜め方向も含めるので、黒色セルに隣接する周囲８個のセルは全て黒色セルになる。拡大処理により、欠損した画素を示す白色セルは、テロップ文字を示す黒色セルへと置換される。図中の斜線が引かれた黒色セル（符号４０２で示す）は、白色セルより黒色セルに置換されたセルである。
【００３６】
（ｃ）は、拡大されたテロップ領域（マスク領域）に対しテロップ領域の縮小処理を示し、黒色セルの縮小（すなわち白色セルの拡大）を行った様子を示す。ここでは、「白色セルに隣接する黒色セルを白色セルに置換する」という縮小ルールに従う。ここでも隣接するのは縦、横方向だけでなく斜め方向も含めるので、白色セルに隣接する周囲８個のセルは全て白色セルになる。縮小処理により、前記（ｂ）の拡大処理により引き伸ばされたテロップ領域を元へ戻す。斜線が引かれた白色セル（符号４０３で示す）は、黒色セルより白色セルに置換されたセルである。
【００３７】
（ｄ）は、以上の処理により得られるテロップ領域（マスク領域）を示す。新たなテロップ領域では、前記（ａ）において欠損した画素４０１は、（ｄ）において太い線で囲まれた黒色セルの画素４０４に修復され、テロップ文字内の画素として復元される。なお、テロップ領域のうち欠損のない画素には何ら変更がなく、上記拡大縮小処理によりテロップ形状が劣化することはない。この時、修復処理により復元された画素は（ａ）のマスク信号と（ｄ）の修復済みマスク信号の排他的論理和により求まる。
【００３８】
次に、以上のマスク信号処理を数式にて表現する。
今、画素位置（ｉ，ｊ）におけるマスク信号をａi,ｊ，ｂi,ｊ，ｃi,ｊ，ｄi,ｊ∈｛０，１｝とし、論理和を(+)、二値の級数の論理和をΣ’とする。例えば、ｅｉ＝１、ｉの値域を［０，３］とすると、この級数の論理和は、
Σ’i=0３ｅｉ＝ｅ０(+)ｅ１(+)ｅ２(+)ｅ３＝１(+)１(+)１(+)１＝１
となる。
【００３９】
黒色セルの拡張処理は、ａi,ｊを元のマスク信号、ｂi,ｊを変換後のマスク信号とし、拡張範囲を（Δｉ，Δｊ）、ただしΔｉの値域を［−Ｋ，Ｋ］、Δｊの値域を［−Ｌ，Ｌ］とすると、
ｂi,ｊ＝Σ’Δi=-KＫ Σ’Δｊ=-LＬ ａi+Δi,ｊ＋Δｊ
黒色セルの縮小処理は、ｃｉ，ｊを変換後の修復済みマスク信号として、
ｃi,ｊ＝１−Σ’Δi=-KＫ Σ’Δｊ=-LＬ（１−ｂi+Δi,ｊ＋Δｊ）
が求まる。ここで、ｃi,ｊは修復済みテロップ信号１０３のマスクビットである。
また、復元した画素を示すマスク信号は、ａi,ｊとｃi,ｊとの排他的論理和により、
ｄi,ｊ＝｛（１−ａi,ｊ）ｃi,ｊ｝(+)｛ａi,ｊ（１−ｃi,ｊ）｝
となる。ここで、ｄi,ｊは「１」の時に修復、「０」の時は元のマスク信号であることを示す。なお、図４で示した拡大および縮小処理は、一例としてＫ＝１、Ｌ＝１として説明したものである。
【００４０】
次に、テロップ映像の修復処理方法の例を示す。テロップ映像の修復は、（ｄ）の修復された画素位置のテロップ映像の輝度と、該修復された画素と隣接する（ａ）のマスク信号が「１」の画素位置のテロップ映像の輝度との加重平均にて行われる。ここで、欠損した画素の劣化が激しい場合には、周囲画素の平均輝度のみで置換を行うように、修復された画素の重み係数を０とすればよい。
【００４１】
今、画素位置（ｉ，ｊ）において、Δｉの値域を［−Ｍ，Ｍ］、Δｊの値域を［−Ｎ，Ｎ］とした該画素周辺（Δｉ，Δｊ）に渡り、加重平均の重み係数ｗΔi，Δｊにて加重平均を行うとする。このとき、画素位置（ｉ，ｊ）における修復前のテロップ映像の輝度をｙi,ｊとし、修復された輝度をＹi,ｊとすると、
Ｙi,ｊ＝ΣΔi=-MＭ ΣΔｊ=-NＮ ｙi,ｊ ｗΔi,Δｊ δΔi,Δｊ(i,ｊ)／Ｗ，Ｗ≠０
Ｙi,ｊ＝ｙi,ｊ，Ｗ＝０
ただし、
Ｗ＝ΣΔi=-MＭ ΣΔｊ=-NＮ ｗΔi,Δｊ δΔi,Δｊ(i,ｊ)
δΔi,Δｊ(i,ｊ)＝ｃi+Δi,ｊ+Δｊ ｄi,ｊ
となる。ここで、Ｙi,ｊは、修復済みのテロップ信号６のテロップ映像信号である。また、修復済みテロップ信号１０３は、テロップ映像信号がｎビットのデータとした場合、Ｙi,ｊ＋２ｎｃi,ｊとなる。
以上の処理により、テロップ修復部のマスク信号およびテロップ映像信号の修復が行われる。
【００４２】
以上のように本実施例によれば、劣化したテロップ文字に対してもテロップ文字を修復し、テロップ文字のジャギーを良好に低減することが可能となる。特にテレビジョン放送信号で出現頻度の高い白色テロップに特化することで、テロップ文字上のノイズも低減することが可能となる。
【実施例２】
【００４３】
図５は、本発明に係る映像処理装置の第２の実施例（実施例２）を示す構成図である。
本実施例の装置では、前記実施例１（図１）の構成において、テロップ修復部３と平滑化処理部４の間に、輪郭抽出部８を追加して設けたものである。そして、複数色やパターン模様からなるテロップの場合、テロップの輪郭部分だけを修復しテロップ中心部は入力映像をそのまま残すものである。以下、図１と重複する部分は省略、または簡単に説明する。
【００４４】
映像信号処理部１には、例えば受信した符号化デジタルテレビジョン放送信号５００を入力し、該放送信号を復号及び復調し、ＩＰ変換やディスプレイのサイズに応じた映像の拡大もしくは縮小処理した後に、映像信号５０１を出力する。
【００４５】
テロップ抽出部２は映像信号５０１を入力し、テロップ文字を他の映像から分離して抽出し、テロップ文字に対応するマスク信号５０２を生成する。テロップ修復部３はマスク信号５０２と映像信号５０１を入力し、ノイズやＩＰ変換等による画質劣化のためテロップ文字内の欠損した画素を補填し、マスク信号５０２をマスクビットとして追加した修復済みテロップ信号５０３を出力する。
【００４６】
輪郭抽出部８は修復済みテロップ信号５０３を入力し、テロップ文字の輪郭の再抽出を行う。輪郭の抽出では、注目画素を中心に周囲画素との輝度差の絶対値が所定閾値以上の場合に、輪郭領域と判定する。そして、テロップの輪郭形状を表すテロップ輪郭信号５０４を生成する。テロップ輪郭信号５０４では、テロップの輪郭領域についてはマスクビット＝「１」を、それ以外の領域についてはマスクビット＝「０」を割り当てる。よって、テロップの中心部領域は背景領域と同様にマスクビット＝「０」となる。テロップ文字の輪郭の再抽出については後述する。
【００４７】
平滑化処理部４はテロップ輪郭信号５０４を入力し、アンチエイリアス処理を施し、テロップ輪郭部を平滑化しジャギーを低減する。その際、信号５０４のマスクビットが「１」の時にのみ、信号５０４のテロップ映像信号に対して平均値フィルタを用いて平均化することで、平滑化済みテロップ輪郭信号５０５を生成する。アンチエイリアス処理については後述する。
【００４８】
テロップ合成部５は、平滑化済みテロップ輪郭信号５０５と前記映像信号５０１を入力し、輪郭信号５０５のマスクビットが「１」の時にのみ、映像信号５０１と、平滑化済みテロップ輪郭信号５０５の輪郭映像（テロップ輪郭映像）とを合成する。これにより、劣化したテロップ文字の輪郭が補正された補正映像信号５０６が得られる。この補正映像信号５０６は、表示制御部６を通して映像表示部７にて表示される。
【００４９】
このように本実施例の映像処理装置では、テロップ修復部３と輪郭抽出部８と平滑化処理４とを備えることで、映像信号中に劣化したテロップが含まれる場合でもテロップの輪郭を修復するとともにジャギーを低減し、見やすく良好な映像に補正することができる。以下、各部の動作について説明する。
【００５０】
図６は、テロップ抽出部２からテロップ合成部５までの処理動作を模式的に示す図である。
（ａ）は入力映像（原画像）６００を示し、画像中に含まれる「Ａ」という文字テロップを抽出する例である。
（ｂ）は前記実施例１（図２）と同様の方法で、テロップ映像６０１（図２のマスク映像２０３に相当）を抽出した状態である。
【００５１】
（ｃ）は前記実施例１（図３）と同様の方法で、原画像６００を用いながらテロップ映像６０１の画素の欠損を補填し、修復済みのテロップ文字６０２（図３の文字３０２に相当）を得た状態である。
（ｄ）では、輪郭抽出部８により、修復済みのテロップ文字６０２のマスクビットより輪郭マスクを生成し、輪郭マスクの画素位置に対応する原画像６００を抜き出すことで、修復済みのテロップ輪郭映像６０３を抽出する。
【００５２】
（ｅ）では、平滑化処理部４により、該テロップ輪郭映像６０３に対して平均値フィルタを用いたアンチエイリアス処理を施すことで、平滑化処理を施したテロップ輪郭映像６０４を取得する。
（ｆ）では、テロップ合成部５にて、テロップ輪郭映像６０４と（ｂ）のテロップ映像６０１とを合成することで補正したテロップ文字６０５を生成する。さらに原画像６００と合成することで補正映像信号５０６を生成する。
【００５３】
本方式はテロップの輪郭に特化した補正のため、テロップ文字内の絵柄は元の映像のままとなるため、実施例１よりも平均値フィルタの暈し効果を強めに設定することができ、ジャギーの低減効果を上げることができる。
【００５４】
次に図７は、平滑化処理部４のアンチエイリアス処理を詳細に説明する図である。
（ａ）は、白い背景に黒い文字を合成した文字映像の輪郭部を拡大した図である。符号７０１は文字映像を構成する画素を表し、白色画素は背景部分、黒色画素は文字部分に対応する。また符号７０２は輪郭構成画素を表す。輪郭は、例えば、注目画素を中心に周囲画素との輝度差の絶対値が所定閾値以上の場合に、輪郭と判定することで求める。なお、輪郭抽出部８はマスク信号で輪郭を判定するため、該輝度差は「０」もしくは「１」、所定閾値は「１」となる。
【００５５】
（ｂ）はアンチエイリアス処理を示す。テレビジョン放送信号中のテロップ文字等は、図８の従来処理で説明した輪郭線８０２を持たないため、画素の面積比率は求められない。そこで、（ｂ）の符号８０３のように、注目する輪郭構成画素とこれに隣接する周囲画素とを１つのブロックとして扱う。この時の面積比率は、９画素のブロックを考えると、例えば符号８０４のように、背景側の白色面積比率を画素面積の４４％（＝白色４個／全体９個）、文字側の黒色面積比率を画素面積の５６％（＝白色５個／全体９個）として求めることができる。ここで、白色の輝度値を２５５、黒色の輝度値を０とした場合、該画素輝度値は加重平均された１１２（＝２５５×０．４４＋０×０．５６）となり、符号８０５のように灰色輝度の画素となる。結果として、図８の場合と同様に、輪郭がグラデーションで縁取られるため、ジャギーが低減される。これにより、テロップ文字輪郭のアンチエイリアス処理効果が得られ、平滑化処理が施される。
【００５６】
本実施例によれば、劣化したテロップの輪郭を修復するとともに、アンチエイリアス処理を行うことでテロップ輪郭部のジャギーを低減することができる。本実施例は、特に複数色またはパターン模様のあるテロップに対して効果がある。
【図面の簡単な説明】
【００５７】
【図１】本発明に係る映像処理装置の第１の実施例を示す構成図（実施例１）。
【図２】テロップ抽出部２の処理動作を模式的に示す図。
【図３】テロップ修復部３、平滑化処理部４、テロップ合成部５の処理動作を模式的に示す図。
【図４】テロップ修復部３のテロップ文字の修復処理を詳細に説明する図。
【図５】本発明に係る映像処理装置の第２の実施例（実施例２）を示す構成図。
【図６】テロップ抽出部２からテロップ合成部５までの処理動作を模式的に示す図。
【図７】平滑化処理部４のアンチエイリアス処理を詳細に説明する図。
【図８】従来のアンチエイリアス処理を説明する図。
【符号の説明】
【００５８】
１…映像信号処理部、２…テロップ抽出部、３…テロップ修復部、４…平滑化処理部、５…テロップ合成部、６…表示制御部、７…映像表示部、８…輪郭抽出部、１０１…映像信号、１０２…マスク信号、１０３…修復済みテロップ信号、１０４…平滑化済みテロップ信号、１０５…補正映像信号。
【技術分野】
【０００１】
本発明は、テレビジョン信号などの映像信号を入力し、特に解説や字幕等の文字やロゴを含む映像信号より文字やロゴを抽出し、その輪郭を補正する映像処理装置に関する。
【背景技術】
【０００２】
テレビジョン番組で、解説や字幕を挿入するために、文字やロゴ等を映像信号と合成（以降、テロップと呼ぶ）して表示することが多い。該テロップの文字やロゴ（以降、テロップ文字と呼ぶ）の輪郭部分で、曲線や斜線箇所が階段状（以降、ジャギーと呼ぶ）となることがある。該ジャギーは、二値階調のテロップ文字を用いた際や、テロップ文字と映像信号との合成時に最隣接法等の拡大処理を行った際や、インタレース信号をプログレッシブ信号に変換（ＩＰ変換）する際に発生しやすい。
【０００３】
ジャギー発生の原因は、映像の最小単位である画素幅より細かな線を表現ができないことによるもので、これを抑制する方法としてアンチエイリアス処理がある。ＯＳＤ（On-Screen Display）のように、出力映像作成の段階でテロップ文字を挿入する場合のアンチエイリアス処理では、テロップ合成時に文字輪郭を背景の映像信号と融合するように色を滑らかに変化させることで、ジャギーを目立たなくすることができる。
【０００４】
これに対し入力される映像信号に既にテロップ文字が含まれる場合、上記方法はそのまま適用できないため、まず映像信号からテロップ文字を分離してアンチエイリアス処理を行う必要がある。この手法として、レーザープリンタの分野では、検出したエッジと所定のエッジパターンとのマッチングを取り、前記エッジパターンに対応するアンチエイリアス処理の施されたパターンへ置換する方法がある。
【０００５】
テロップ文字を含む映像に対してアンチエイリアス処理を行うための従来技術としては、例えば次のものが知られている。特許文献１には、文字画像に対して、斜めエッジを検出して斜めエッジの強調を抑制しながら、注目画素の輝度信号と前記注目画素の近傍の８画素の輝度信号の平均値との差分信号を前記注目画素の輝度信号に加算して輪郭強調することが記載されている。また特許文献２には、レーザープリンタなどにおいて入力する多値画像データを文字部とそれ以外の部分に分離し、分離された文字データに対して斜線や曲線部に発生するジャギーを低減する画像処理を施すことが記載される。
【０００６】
【特許文献１】特開２００１−２９２３４１号公報
【特許文献２】特開平８−０２３４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
図８は、従来のアンチエイリアス処理を説明する図である。
（ａ）は、テロップ文字の斜線箇所に起こるジャギーを示し、白い背景に黒い文字を合成した文字映像を拡大した図である。符号８０１は、文字映像を構成する画素を表し、白色画素は背景部分、黒色画素は文字部分に対応する。また、符号８０２は文字の輪郭線を表し、輪郭線が通る画素が文字の輪郭を構成する画素（輪郭構成画素）である。テレビジョンに表示される文字の輪郭は、輪郭線８０２のように滑らかな直線にはならず、符号８０３のような階段状の折れ線すなわちジャギーとなる。これは、輪郭線８０２が、映像の最小単位である画素幅よりも細かな線であるためである。
【０００８】
（ｂ）は、アンチエイリアス処理による斜線箇所のジャギー低減例を示す。輪郭構成画素として符号８０４で示す画素に注目する。該画素８０４を、輪郭線８０２によって符号８０５のように２つの領域に分割する。背景側の白色面積比率を画素面積の６７％、文字側の黒色面積比率を画素面積の３３％とすると、画素８０４を占める色は面積比率に等しいため、白色６７％と黒色３３％を合わせた色となる。例えば、白色の輝度値を２５５、黒色の輝度値を０とした場合、画素８０４の輝度値は加重平均された１７１（＝２５５×０．６７＋０×０．３３）となり、符号８０６のように灰色輝度の画素とする。
【０００９】
同様にして、他の輪郭構成画素に対しても加重平均を適用していくと、（ｂ）のように、輪郭線に沿って段階的な滑らかな輝度、即ちグラデーションとなった画素で輪郭が縁取られる。結果として、グラデーションにより輪郭が暈され、ジャギーを低減することができる。ＯＳＤのように入力映像作成の段階でテロップを挿入する場合で、輪郭線情報を持つアウトライン形式等のテロップ文字で合成される場合には、上記アンチエイリアス処理が有効である。しかし、入力される映像信号に既にテロップ文字が含まれる場合、輪郭線情報を持たないため上記方法はそのまま適用できない。
【００１０】
一方、テレビジョン放送信号のようなテロップ文字を含む映像信号は、ノイズや符号化処理等で、テロップ文字の画質が劣化している場合が多い。また、ＩＰ変換した映像中のテロップ文字は、輪郭が櫛状に劣化している場合が多い。このような劣化したテロップ文字に対するアンチエイリアス処理は、文字自体の画素欠損による劣化だけでなく、テロップ検出精度も下がるため、更に輪郭は劣化しジャギー低減効果が十分得られない。
【００１１】
上記特許文献１及び２では、テロップ文字自身の形状は正常であることを前提とし、テロップ文字の劣化については特に考慮されていない。よって各文献記載のアンチエイリアス処理を行っても、テロップ文字のジャギーを良好に補正することは困難である。
【００１２】
本発明の目的は、映像信号中に劣化したテロップ文字が含まれる場合でも良好にアンチエイリアス処理を行い、テロップ文字のジャギーを低減する映像処理装置を提供することである。
【課題を解決するための手段】
【００１３】
本発明は、映像信号に含まれるテロップ文字の輪郭を補正する映像処理装置において、上記映像信号からテロップ文字を抽出し、該テロップ文字の領域か該テロップ文字以外の背景領域かを表す２値化したマスク信号を生成するテロップ抽出部と、該テロップ抽出部により生成されたマスク信号に対し、上記映像信号を用いてテロップ領域の欠損した画素を復元することでテロップ信号を修復するテロップ修復部と、該テロップ修復部により修復されたテロップ信号に対して、上記テロップ文字の輪郭部を平滑化処理しジャギーを低減する平滑化処理部と、該平滑化処理部により平滑化処理されたテロップ信号と上記映像信号とを合成するテロップ合成部とを備える。
【００１４】
本発明は、映像信号に含まれるテロップ文字の輪郭を補正する映像処理装置において、上記映像信号からテロップ文字を抽出し、該テロップ文字の領域か該テロップ文字以外の背景領域かを表す２値化したマスク信号を生成するテロップ抽出部と、該テロップ抽出部により生成されたマスク信号に対し、上記映像信号を用いてテロップ領域の欠損した画素を復元することでテロップ信号を修復するテロップ修復部と、該テロップ修復部により修復されたテロップ信号からテロップ文字の輪郭を抽出し、テロップ輪郭信号を生成する輪郭抽出部と、該輪郭抽出部により生成されたテロップ輪郭信号に対して、上記テロップ文字の輪郭部を平滑化処理しジャギーを低減する平滑化処理部と、該平滑化処理部により平滑化処理されたテロップ輪郭信号と上記映像信号とを合成するテロップ合成部とを備える。
【００１５】
ここに前記テロップ抽出部は、隣接画素間の輝度差を求め輝度差が所定の閾値より大きい場合にエッジと判定し、該エッジを隣接画素との輝度差が所定の閾値より小さい区間だけ拡張することでテロップ文字の領域を決定する。
【００１６】
ここに前記テロップ修復部は、前記マスク信号におけるテロップ領域をそれに隣接する背景領域の画素まで拡大し、さらに拡大したテロップ領域のうち背景領域に隣接する画素分だけ縮小して新たなテロップ領域を生成する。
【発明の効果】
【００１７】
本発明によれば、映像信号中に劣化したテロップ文字が含まれる場合でも、テロップ文字のジャギーを十分に低減し、見やすく良好な映像を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、各図において同一の符号が付された要素は同一の構成、機能を持つものとし、重複した説明は省略する。
【実施例１】
【００１９】
図１は、本発明に係る映像処理装置の第１の実施例（実施例１）を示す構成図である。
映像信号処理部１は、例えば受信した符号化デジタルテレビジョン放送信号１００を入力し、これを復号及び復調してデジタル形式の映像信号１０１を出力する。また、該放送信号１００がインタレース信号の場合にはＩＰ変換（インタレース→プログレッシブ変換）し、ディスプレイの画面サイズに応じた映像の拡大もしくは縮小処理した後に、映像信号１０１を出力する。
【００２０】
テロップ抽出部２は映像信号１０１を入力し、テロップ文字を背景映像から分離して抽出する。そして、テロップ文字に対応する画素については「１」（すなわち有効）とし、テロップ文字以外に対応する画素については「０」（すなわち無効）とするマスク信号１０２を生成する。テロップ文字の検出処理については後述する。
【００２１】
テロップ修復部３はマスク信号１０２と前記映像信号１０１とを入力し、ノイズやＩＰ変換等による画質劣化のために抽出精度が低下して生じたテロップ文字中の欠損した画素を補填して、テロップ文字のみの映像信号（テロップ映像信号）を生成する。さらにテロップ映像信号にマスク信号１０２をマスクビットとして追加し、修復済みテロップ信号１０３を出力する。テロップ文字の修復処理については後述する。
【００２２】
平滑化処理部４は修復済みテロップ信号１０３を入力し、アンチエイリアス処理を施し、テロップ輪郭部を平滑化しジャギーを低減する。その際アンチエイリアス処理として、信号１０３のマスクビットが「１」の時にのみ、信号１０３のテロップ映像信号に対して平均値フィルタを用いて平均化することで、平滑化済みテロップ信号１０４を生成する。アンチエイリアス処理については後述する。
【００２３】
テロップ合成部５は、平滑化済みテロップ信号１０４と前記映像信号１０１を入力し、信号１０４のマスクビットが「１」の時にのみ、映像信号１０１と、平滑化済みテロップ信号１０４の映像とを合成する。これにより、劣化したテロップ文字が補正された補正映像信号１０５が得られる。この補正映像信号１０５は、表示制御部６を通して映像表示部７にて表示される。映像表示部７には、例えば、液晶ディスプレイパネルやプラズマディスプレイパネルが用いられる。
【００２４】
このように本実施例の映像処理装置では、テロップ修復部３と平滑化処理部４を備えることで、映像信号中に劣化したテロップ文字が含まれる場合でも、テロップ文字を修復するとともにジャギーを低減し、見やすく良好な映像に補正することができる。以下、各部の動作について説明する。
【００２５】
図２は、テロップ抽出部２の処理動作を模式的に示す図である。
（ａ）は入力映像（原画像）２００を示し、画像中に含まれる「Ａ」という文字テロップを抽出する例である。このテロップ文字は劣化しており、テロップ文字の輪郭や内部にいくつかの画素欠損部を有している。また、テロップ文字の斜線部分には階段状のジャギーを有している。
【００２６】
（ｂ）では、テロップ文字のエッジ抽出処理を行う。テロップ抽出は水平走査線方向で順次行うものとする。符号２０１は抽出したエッジを表す。エッジ抽出処理では、映像信号１０１の水平に隣接する２つの画素間の輝度差を求め、該輝度差の絶対値が所定閾値より大きい場合にエッジと判定する。通常のテロップ文字は白色や黒色の高輝度または低輝度色で表示されるので、背景映像との輝度差が大きく、これからエッジを判別できる。エッジと判定された領域（符号２０１の黒色の文字輪郭部分）は、エッジ信号を例えば「１」とする。エッジでないと判定された領域（符号２０１の白色の背景部分）は、エッジ信号を「０」とする。なお、符号２０１ｘの部分は文字輪郭部分の劣化による画素の欠損であり、エッジ信号にも反映されている。また、エッジと判定された画素は、文字周囲の背景画素も含む。
【００２７】
（ｃ）では、符号２０２で示すようにエッジ信号「１」の拡張を行い、テロップ文字の内部領域を決定する。エッジ拡張の方法は、エッジ信号が「１」の画素より始まる矢印方向へ、隣接画素との輝度差の絶対値が所定閾値より小さい区間、テロップ文字内の領域として信号「１」の拡張を行うものである。閾値を適宜設定することで、テロップ文字が単色だけでなく、グラデーションもしくは階調差の緩やかな模様で塗られた場合でも、有効に拡張できる。もしテロップ内部に画素の欠損部があれば、拡張はそこで分断されることになる。
【００２８】
（ｄ）では、エッジ拡張により得られたマスク信号（マスク映像）を符号２０３で示す。黒色部分はテロップ文字領域でマスク信号＝「１」、白色部分はテロップ文字以外の領域でマスク信号＝「０」に対応する。図では、テロップ文字の輪郭と内部にいくつかの画素の欠損部が存在し、その部分ではマスク信号が欠落し、「１」ではなく「０」のままとなっている。また、絵柄のあるテロップ文字など、前記輝度差の絶対値が閾値より大きい場合はエッジ拡張が行われず、マスク信号は（ｂ）のエッジ部分２０１のみとなる。なお、テロップ抽出法は上記方法に限るものではない。
【００２９】
図３は、テロップ修復部３、平滑化処理部４、及びテロップ合成部５の処理動作を模式的に示す図である。ここでは、抽出したテロップの欠損部を修復し、さらにアンチエイリアス処理によりジャギーを低減する。
（ａ）は、補正前の映像信号（以降、原画像とも呼ぶ）２００と、前記テロップ抽出部２により抽出したマスク映像２０３を示す。
【００３０】
（ｂ）は、マスク映像２０３を用いて、映像信号（原画像）２００より抽出したテロップ映像を符号３０１で示す。抽出方法として、次の２通り可能である。第１の方法は、マスク映像２０３より得られるテロップ文字の画素位置に対応した画素を、原画像２００から抜き出すことでテロップ映像３０１を取得するものである。第２の方法は、マスク映像２０３より得られるテロップ文字の画素位置に対応する画素の輝度と、所定の単色（例えば白色）との輝度差が、所定閾値以内である場合、すべて所定の単色（例えば白色）にて置換する方法である。第２の方法によれば、単色（例えば白色）のテロップ文字に特化したことで、テロップ文字内のノイズ低減効果がある。
【００３１】
（ｃ）は、テロップ修復部３により、前記抽出したテロップ映像３０１の画素の欠損を補填し、符号３０２に示す修復済みのテロップ文字を得る。すなわち欠損部のマスク信号を「０」から「１」に書き換える。欠損部を復元するために、テロップ領域の拡大処理と縮小処理を行う。拡大処理ではマスク信号が「１」であるテロップ領域をそれに隣接する背景領域の画素まで拡大する。縮小処理では、拡大したテロップ領域のうち背景領域に隣接する画素分だけ縮小する。このようにして新たなテロップ領域を生成する。テロップ映像の修復処理方法は後述する。
【００３２】
（ｄ）は、平滑化処理部４により、前記修復済みのテロップ映像３０２に対して平均値フィルタを用いたアンチエイリアス処理を施すことで、テロップ文字輪郭の平滑化を行う。その結果、符号３０３で示されるようにジャギー低減され輪郭が平滑化されたテロップ映像を得る。なお、平均値フィルタは、テロップ文字全体に渡って処理されるが、テロップ文字内は、単色やグラデーション、もしくは階調差の緩やかな模様のため、平均化による暈し効果が強調されることはなく、エッジ部分のアンチエイリアス処理効果のみとなる。また、前記テロップ文字以外の模様を持つ場合、例えば絵柄の描かれたテロップ文字等が該当するが、マスク映像は２０１のエッジ部分のみとなる、すなわち、テロップ文字内の絵柄部分にはエッジ拡張されないため、平滑化処理の対象外となる。故に、平均値フィルタ処理による絵柄の暈し効果を防ぐことができる。
【００３３】
（ｅ）は、テロップ合成部５にて、平滑化されたテロップ映像３０３と原画像２００とを合成することで補正画像３０４を生成する。これより、原画像内の欠損のあるテロップ文字を修復するとともに、テロップ文字の斜線部のジャギーを低減して見やすく良好な補正映像信号１０５が得られる。
【００３４】
図４は、テロップ修復部３のテロップ文字の修復処理を詳細に説明する図である。
（ａ）は欠損した画素のあるマスク信号を示す図で、図中の碁盤上に仕切られた升目（セル）はマスク信号の画素を表す。黒色セルはテロップ文字画素で「１」信号、また白色セルは背景映像画素で「０」信号を表す。太い線で囲まれた白色セル（符号４０１で示す）は、画質劣化により欠損した画素を表す。
【００３５】
（ｂ）はテロップ領域（マスク領域）の拡大処理を示し、テロップ文字すなわち黒色セルに対し拡張処理を行った様子を示す。ここでは、「黒色セルに隣接する白色セルを黒色セルに置換する」という拡大ルールに従う。なお、隣接するのは縦、横方向だけでなく斜め方向も含めるので、黒色セルに隣接する周囲８個のセルは全て黒色セルになる。拡大処理により、欠損した画素を示す白色セルは、テロップ文字を示す黒色セルへと置換される。図中の斜線が引かれた黒色セル（符号４０２で示す）は、白色セルより黒色セルに置換されたセルである。
【００３６】
（ｃ）は、拡大されたテロップ領域（マスク領域）に対しテロップ領域の縮小処理を示し、黒色セルの縮小（すなわち白色セルの拡大）を行った様子を示す。ここでは、「白色セルに隣接する黒色セルを白色セルに置換する」という縮小ルールに従う。ここでも隣接するのは縦、横方向だけでなく斜め方向も含めるので、白色セルに隣接する周囲８個のセルは全て白色セルになる。縮小処理により、前記（ｂ）の拡大処理により引き伸ばされたテロップ領域を元へ戻す。斜線が引かれた白色セル（符号４０３で示す）は、黒色セルより白色セルに置換されたセルである。
【００３７】
（ｄ）は、以上の処理により得られるテロップ領域（マスク領域）を示す。新たなテロップ領域では、前記（ａ）において欠損した画素４０１は、（ｄ）において太い線で囲まれた黒色セルの画素４０４に修復され、テロップ文字内の画素として復元される。なお、テロップ領域のうち欠損のない画素には何ら変更がなく、上記拡大縮小処理によりテロップ形状が劣化することはない。この時、修復処理により復元された画素は（ａ）のマスク信号と（ｄ）の修復済みマスク信号の排他的論理和により求まる。
【００３８】
次に、以上のマスク信号処理を数式にて表現する。
今、画素位置（ｉ，ｊ）におけるマスク信号をａi,ｊ，ｂi,ｊ，ｃi,ｊ，ｄi,ｊ∈｛０，１｝とし、論理和を(+)、二値の級数の論理和をΣ’とする。例えば、ｅｉ＝１、ｉの値域を［０，３］とすると、この級数の論理和は、
Σ’i=0３ｅｉ＝ｅ０(+)ｅ１(+)ｅ２(+)ｅ３＝１(+)１(+)１(+)１＝１
となる。
【００３９】
黒色セルの拡張処理は、ａi,ｊを元のマスク信号、ｂi,ｊを変換後のマスク信号とし、拡張範囲を（Δｉ，Δｊ）、ただしΔｉの値域を［−Ｋ，Ｋ］、Δｊの値域を［−Ｌ，Ｌ］とすると、
ｂi,ｊ＝Σ’Δi=-KＫ Σ’Δｊ=-LＬ ａi+Δi,ｊ＋Δｊ
黒色セルの縮小処理は、ｃｉ，ｊを変換後の修復済みマスク信号として、
ｃi,ｊ＝１−Σ’Δi=-KＫ Σ’Δｊ=-LＬ（１−ｂi+Δi,ｊ＋Δｊ）
が求まる。ここで、ｃi,ｊは修復済みテロップ信号１０３のマスクビットである。
また、復元した画素を示すマスク信号は、ａi,ｊとｃi,ｊとの排他的論理和により、
ｄi,ｊ＝｛（１−ａi,ｊ）ｃi,ｊ｝(+)｛ａi,ｊ（１−ｃi,ｊ）｝
となる。ここで、ｄi,ｊは「１」の時に修復、「０」の時は元のマスク信号であることを示す。なお、図４で示した拡大および縮小処理は、一例としてＫ＝１、Ｌ＝１として説明したものである。
【００４０】
次に、テロップ映像の修復処理方法の例を示す。テロップ映像の修復は、（ｄ）の修復された画素位置のテロップ映像の輝度と、該修復された画素と隣接する（ａ）のマスク信号が「１」の画素位置のテロップ映像の輝度との加重平均にて行われる。ここで、欠損した画素の劣化が激しい場合には、周囲画素の平均輝度のみで置換を行うように、修復された画素の重み係数を０とすればよい。
【００４１】
今、画素位置（ｉ，ｊ）において、Δｉの値域を［−Ｍ，Ｍ］、Δｊの値域を［−Ｎ，Ｎ］とした該画素周辺（Δｉ，Δｊ）に渡り、加重平均の重み係数ｗΔi，Δｊにて加重平均を行うとする。このとき、画素位置（ｉ，ｊ）における修復前のテロップ映像の輝度をｙi,ｊとし、修復された輝度をＹi,ｊとすると、
Ｙi,ｊ＝ΣΔi=-MＭ ΣΔｊ=-NＮ ｙi,ｊ ｗΔi,Δｊ δΔi,Δｊ(i,ｊ)／Ｗ，Ｗ≠０
Ｙi,ｊ＝ｙi,ｊ，Ｗ＝０
ただし、
Ｗ＝ΣΔi=-MＭ ΣΔｊ=-NＮ ｗΔi,Δｊ δΔi,Δｊ(i,ｊ)
δΔi,Δｊ(i,ｊ)＝ｃi+Δi,ｊ+Δｊ ｄi,ｊ
となる。ここで、Ｙi,ｊは、修復済みのテロップ信号６のテロップ映像信号である。また、修復済みテロップ信号１０３は、テロップ映像信号がｎビットのデータとした場合、Ｙi,ｊ＋２ｎｃi,ｊとなる。
以上の処理により、テロップ修復部のマスク信号およびテロップ映像信号の修復が行われる。
【００４２】
以上のように本実施例によれば、劣化したテロップ文字に対してもテロップ文字を修復し、テロップ文字のジャギーを良好に低減することが可能となる。特にテレビジョン放送信号で出現頻度の高い白色テロップに特化することで、テロップ文字上のノイズも低減することが可能となる。
【実施例２】
【００４３】
図５は、本発明に係る映像処理装置の第２の実施例（実施例２）を示す構成図である。
本実施例の装置では、前記実施例１（図１）の構成において、テロップ修復部３と平滑化処理部４の間に、輪郭抽出部８を追加して設けたものである。そして、複数色やパターン模様からなるテロップの場合、テロップの輪郭部分だけを修復しテロップ中心部は入力映像をそのまま残すものである。以下、図１と重複する部分は省略、または簡単に説明する。
【００４４】
映像信号処理部１には、例えば受信した符号化デジタルテレビジョン放送信号５００を入力し、該放送信号を復号及び復調し、ＩＰ変換やディスプレイのサイズに応じた映像の拡大もしくは縮小処理した後に、映像信号５０１を出力する。
【００４５】
テロップ抽出部２は映像信号５０１を入力し、テロップ文字を他の映像から分離して抽出し、テロップ文字に対応するマスク信号５０２を生成する。テロップ修復部３はマスク信号５０２と映像信号５０１を入力し、ノイズやＩＰ変換等による画質劣化のためテロップ文字内の欠損した画素を補填し、マスク信号５０２をマスクビットとして追加した修復済みテロップ信号５０３を出力する。
【００４６】
輪郭抽出部８は修復済みテロップ信号５０３を入力し、テロップ文字の輪郭の再抽出を行う。輪郭の抽出では、注目画素を中心に周囲画素との輝度差の絶対値が所定閾値以上の場合に、輪郭領域と判定する。そして、テロップの輪郭形状を表すテロップ輪郭信号５０４を生成する。テロップ輪郭信号５０４では、テロップの輪郭領域についてはマスクビット＝「１」を、それ以外の領域についてはマスクビット＝「０」を割り当てる。よって、テロップの中心部領域は背景領域と同様にマスクビット＝「０」となる。テロップ文字の輪郭の再抽出については後述する。
【００４７】
平滑化処理部４はテロップ輪郭信号５０４を入力し、アンチエイリアス処理を施し、テロップ輪郭部を平滑化しジャギーを低減する。その際、信号５０４のマスクビットが「１」の時にのみ、信号５０４のテロップ映像信号に対して平均値フィルタを用いて平均化することで、平滑化済みテロップ輪郭信号５０５を生成する。アンチエイリアス処理については後述する。
【００４８】
テロップ合成部５は、平滑化済みテロップ輪郭信号５０５と前記映像信号５０１を入力し、輪郭信号５０５のマスクビットが「１」の時にのみ、映像信号５０１と、平滑化済みテロップ輪郭信号５０５の輪郭映像（テロップ輪郭映像）とを合成する。これにより、劣化したテロップ文字の輪郭が補正された補正映像信号５０６が得られる。この補正映像信号５０６は、表示制御部６を通して映像表示部７にて表示される。
【００４９】
このように本実施例の映像処理装置では、テロップ修復部３と輪郭抽出部８と平滑化処理４とを備えることで、映像信号中に劣化したテロップが含まれる場合でもテロップの輪郭を修復するとともにジャギーを低減し、見やすく良好な映像に補正することができる。以下、各部の動作について説明する。
【００５０】
図６は、テロップ抽出部２からテロップ合成部５までの処理動作を模式的に示す図である。
（ａ）は入力映像（原画像）６００を示し、画像中に含まれる「Ａ」という文字テロップを抽出する例である。
（ｂ）は前記実施例１（図２）と同様の方法で、テロップ映像６０１（図２のマスク映像２０３に相当）を抽出した状態である。
【００５１】
（ｃ）は前記実施例１（図３）と同様の方法で、原画像６００を用いながらテロップ映像６０１の画素の欠損を補填し、修復済みのテロップ文字６０２（図３の文字３０２に相当）を得た状態である。
（ｄ）では、輪郭抽出部８により、修復済みのテロップ文字６０２のマスクビットより輪郭マスクを生成し、輪郭マスクの画素位置に対応する原画像６００を抜き出すことで、修復済みのテロップ輪郭映像６０３を抽出する。
【００５２】
（ｅ）では、平滑化処理部４により、該テロップ輪郭映像６０３に対して平均値フィルタを用いたアンチエイリアス処理を施すことで、平滑化処理を施したテロップ輪郭映像６０４を取得する。
（ｆ）では、テロップ合成部５にて、テロップ輪郭映像６０４と（ｂ）のテロップ映像６０１とを合成することで補正したテロップ文字６０５を生成する。さらに原画像６００と合成することで補正映像信号５０６を生成する。
【００５３】
本方式はテロップの輪郭に特化した補正のため、テロップ文字内の絵柄は元の映像のままとなるため、実施例１よりも平均値フィルタの暈し効果を強めに設定することができ、ジャギーの低減効果を上げることができる。
【００５４】
次に図７は、平滑化処理部４のアンチエイリアス処理を詳細に説明する図である。
（ａ）は、白い背景に黒い文字を合成した文字映像の輪郭部を拡大した図である。符号７０１は文字映像を構成する画素を表し、白色画素は背景部分、黒色画素は文字部分に対応する。また符号７０２は輪郭構成画素を表す。輪郭は、例えば、注目画素を中心に周囲画素との輝度差の絶対値が所定閾値以上の場合に、輪郭と判定することで求める。なお、輪郭抽出部８はマスク信号で輪郭を判定するため、該輝度差は「０」もしくは「１」、所定閾値は「１」となる。
【００５５】
（ｂ）はアンチエイリアス処理を示す。テレビジョン放送信号中のテロップ文字等は、図８の従来処理で説明した輪郭線８０２を持たないため、画素の面積比率は求められない。そこで、（ｂ）の符号８０３のように、注目する輪郭構成画素とこれに隣接する周囲画素とを１つのブロックとして扱う。この時の面積比率は、９画素のブロックを考えると、例えば符号８０４のように、背景側の白色面積比率を画素面積の４４％（＝白色４個／全体９個）、文字側の黒色面積比率を画素面積の５６％（＝白色５個／全体９個）として求めることができる。ここで、白色の輝度値を２５５、黒色の輝度値を０とした場合、該画素輝度値は加重平均された１１２（＝２５５×０．４４＋０×０．５６）となり、符号８０５のように灰色輝度の画素となる。結果として、図８の場合と同様に、輪郭がグラデーションで縁取られるため、ジャギーが低減される。これにより、テロップ文字輪郭のアンチエイリアス処理効果が得られ、平滑化処理が施される。
【００５６】
本実施例によれば、劣化したテロップの輪郭を修復するとともに、アンチエイリアス処理を行うことでテロップ輪郭部のジャギーを低減することができる。本実施例は、特に複数色またはパターン模様のあるテロップに対して効果がある。
【図面の簡単な説明】
【００５７】
【図１】本発明に係る映像処理装置の第１の実施例を示す構成図（実施例１）。
【図２】テロップ抽出部２の処理動作を模式的に示す図。
【図３】テロップ修復部３、平滑化処理部４、テロップ合成部５の処理動作を模式的に示す図。
【図４】テロップ修復部３のテロップ文字の修復処理を詳細に説明する図。
【図５】本発明に係る映像処理装置の第２の実施例（実施例２）を示す構成図。
【図６】テロップ抽出部２からテロップ合成部５までの処理動作を模式的に示す図。
【図７】平滑化処理部４のアンチエイリアス処理を詳細に説明する図。
【図８】従来のアンチエイリアス処理を説明する図。
【符号の説明】
【００５８】
１…映像信号処理部、２…テロップ抽出部、３…テロップ修復部、４…平滑化処理部、５…テロップ合成部、６…表示制御部、７…映像表示部、８…輪郭抽出部、１０１…映像信号、１０２…マスク信号、１０３…修復済みテロップ信号、１０４…平滑化済みテロップ信号、１０５…補正映像信号。
【特許請求の範囲】
【請求項１】
映像信号に含まれるテロップ文字の輪郭を補正する映像処理装置において、
上記映像信号からテロップ文字を抽出し、該テロップ文字の領域か該テロップ文字以外の背景領域かを表す２値化したマスク信号を生成するテロップ抽出部と、
該テロップ抽出部により生成されたマスク信号に対し、上記映像信号を用いてテロップ領域の欠損した画素を復元することでテロップ信号を修復するテロップ修復部と、
該テロップ修復部により修復されたテロップ信号に対して、上記テロップ文字の輪郭部を平滑化処理しジャギーを低減する平滑化処理部と、
該平滑化処理部により平滑化処理されたテロップ信号と上記映像信号とを合成するテロップ合成部と、
を備えることを特徴とする映像処理装置。
【請求項２】
映像信号に含まれるテロップ文字の輪郭を補正する映像処理装置において、
上記映像信号からテロップ文字を抽出し、該テロップ文字の領域か該テロップ文字以外の背景領域かを表す２値化したマスク信号を生成するテロップ抽出部と、
該テロップ抽出部により生成されたマスク信号に対し、上記映像信号を用いてテロップ領域の欠損した画素を復元することでテロップ信号を修復するテロップ修復部と、
該テロップ修復部により修復されたテロップ信号からテロップ文字の輪郭を抽出し、テロップ輪郭信号を生成する輪郭抽出部と、
該輪郭抽出部により生成されたテロップ輪郭信号に対して、上記テロップ文字の輪郭部を平滑化処理しジャギーを低減する平滑化処理部と、
該平滑化処理部により平滑化処理されたテロップ輪郭信号と上記映像信号とを合成するテロップ合成部と、
を備えることを特徴とする映像処理装置。
【請求項３】
請求項１または２に記載の映像処理装置において、
前記テロップ抽出部は、隣接画素間の輝度差を求め輝度差が所定の閾値より大きい場合にエッジと判定し、該エッジを隣接画素との輝度差が所定の閾値より小さい区間だけ拡張することでテロップ文字の領域を決定することを特徴とする映像処理装置。
【請求項４】
請求項１または２に記載の映像処理装置において、
前記テロップ修復部は、前記マスク信号におけるテロップ領域をそれに隣接する背景領域の画素まで拡大し、さらに拡大したテロップ領域のうち背景領域に隣接する画素分だけ縮小して新たなテロップ領域を生成することを特徴とする映像処理装置。
【請求項５】
請求項１または２に記載の映像処理装置において、
前記平滑化処理部は、前記修復されたテロップ信号またはテロップ輪郭信号に対して平均値フィルタを用いたアンチエイリアス処理を施すことで、テロップ文字輪郭の平滑化を行うことを特徴とする映像処理装置。
【請求項１】
映像信号に含まれるテロップ文字の輪郭を補正する映像処理装置において、
上記映像信号からテロップ文字を抽出し、該テロップ文字の領域か該テロップ文字以外の背景領域かを表す２値化したマスク信号を生成するテロップ抽出部と、
該テロップ抽出部により生成されたマスク信号に対し、上記映像信号を用いてテロップ領域の欠損した画素を復元することでテロップ信号を修復するテロップ修復部と、
該テロップ修復部により修復されたテロップ信号に対して、上記テロップ文字の輪郭部を平滑化処理しジャギーを低減する平滑化処理部と、
該平滑化処理部により平滑化処理されたテロップ信号と上記映像信号とを合成するテロップ合成部と、
を備えることを特徴とする映像処理装置。
【請求項２】
映像信号に含まれるテロップ文字の輪郭を補正する映像処理装置において、
上記映像信号からテロップ文字を抽出し、該テロップ文字の領域か該テロップ文字以外の背景領域かを表す２値化したマスク信号を生成するテロップ抽出部と、
該テロップ抽出部により生成されたマスク信号に対し、上記映像信号を用いてテロップ領域の欠損した画素を復元することでテロップ信号を修復するテロップ修復部と、
該テロップ修復部により修復されたテロップ信号からテロップ文字の輪郭を抽出し、テロップ輪郭信号を生成する輪郭抽出部と、
該輪郭抽出部により生成されたテロップ輪郭信号に対して、上記テロップ文字の輪郭部を平滑化処理しジャギーを低減する平滑化処理部と、
該平滑化処理部により平滑化処理されたテロップ輪郭信号と上記映像信号とを合成するテロップ合成部と、
を備えることを特徴とする映像処理装置。
【請求項３】
請求項１または２に記載の映像処理装置において、
前記テロップ抽出部は、隣接画素間の輝度差を求め輝度差が所定の閾値より大きい場合にエッジと判定し、該エッジを隣接画素との輝度差が所定の閾値より小さい区間だけ拡張することでテロップ文字の領域を決定することを特徴とする映像処理装置。
【請求項４】
請求項１または２に記載の映像処理装置において、
前記テロップ修復部は、前記マスク信号におけるテロップ領域をそれに隣接する背景領域の画素まで拡大し、さらに拡大したテロップ領域のうち背景領域に隣接する画素分だけ縮小して新たなテロップ領域を生成することを特徴とする映像処理装置。
【請求項５】
請求項１または２に記載の映像処理装置において、
前記平滑化処理部は、前記修復されたテロップ信号またはテロップ輪郭信号に対して平均値フィルタを用いたアンチエイリアス処理を施すことで、テロップ文字輪郭の平滑化を行うことを特徴とする映像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１５４４４８（Ｐ２０１０−１５４４４８Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３３２８７１（Ｐ２００８−３３２８７１）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]