映像処理装置及びそれを用いた映像表示装置
【課題】
映像中に文字テロップが含まれる場合でも、より高画質な、すなわち映像の破綻を低減したフレームレート変換技術を提供する。
【課題手段】
本発明は、入力映像信号のフレームレートを変換するように構成された映像処理装置において、入力映像信号中の文字テロップに関する特徴量を検出して当該文字テロップの領域及び動き情報を検出し、当該文字テロップの領域については当該検出された文字テロップの動き情報を用いることで、他の部分とは異なる補間処理を行ようにした。
映像中に文字テロップが含まれる場合でも、より高画質な、すなわち映像の破綻を低減したフレームレート変換技術を提供する。
【課題手段】
本発明は、入力映像信号のフレームレートを変換するように構成された映像処理装置において、入力映像信号中の文字テロップに関する特徴量を検出して当該文字テロップの領域及び動き情報を検出し、当該文字テロップの領域については当該検出された文字テロップの動き情報を用いることで、他の部分とは異なる補間処理を行ようにした。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像の動きベクトルを検出して動き補正型フレームレート変換を行う技術に関し、特に映像中に所定方向に移動する文字テロップを含む場合に好適なフレームレート変換の技術に関する。
【背景技術】
【0002】
動画性能を改善するために、映像の動きベクトルから補間フレームを生成して入力映像信号のフレームレート変換を行う技術が従来から知られている。かかるフレームレート変換において、映像の動きベクトルを誤検出した場合、本来の映像にはない映像がノイズとして現れる(以下、映像の破綻と呼ぶ)こととなり、画質の劣化の原因となる。特に映画中の文字テロップや、番組の最後に流れるような文字テロップのスクロール等に代表される文字情報は、背景の映像とは全く異なる動き(もしくは動かない)をするため、その動きベクトルの検出が難しく、映像の破綻が起きやすい。また視聴者が注目しやすい場所であるため、破綻の認識率も高い。
【0003】
フレームレート変換技術において、映像中の文字テロップを含む領域を検出するための従来技術としては、例えば特許文献1に記載のものが知られている。
【0004】
【特許文献1】特開2003−271970号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記特許文献1は、通常の映像(物体)にも適用されるブロックマッチング処理で文字テロップの領域と動き量を求めているため、文字とそれ以外の物体との識別が精度良く行えない可能性がある。また、特許文献1は、映像中に複数の動きを持つ文字テロップが存在する場合については考慮されていない。
【0006】
本発明は、映像中に文字テロップが含まれる場合でも、より高画質な、すなわち映像の破綻を低減したフレームレート変換技術を提供するものである。
【課題を解決するための手段】
【0007】
本発明は、入力映像信号中の文字テロップに関する特徴量を検出して当該文字テロップの領域及び動き情報を検出し、当該文字テロップの領域については当該検出された文字テロップの動き情報を用いることで、他の部分とは異なる補間処理を行ようにしたことを特徴とするものである。
【0008】
ここで、文字テロップの領域と動きは、1フレームにおける文字テロップの動きに対応したライン数の度数を示す第1のヒストグラムと、ライン単位における文字の動き情報のヒストグラムを示す第2ヒストグラムとにより検出してもよい。
【0009】
また、前記入力映像信号が、第1の動き周期(例えば毎秒24(25)フレーム/フィールド)を持つ映像と、該第1の動き周期よりも短い第2の動き周期(例えば毎秒60(50)フレーム/フィールド)を持つ文字情報とを含む場合は、フレームレート変換のための処理を停止するようにしてもよい。
【発明の効果】
【0010】
本発明によれば、映像中に文字テロップが含まれる場合でも、より高画質に(映像の破綻を低減して)フレームレート変換処理を行うことが可能となる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【実施例1】
【0012】
図1は、本発明の第一の実施形態である映像表示装置の構成の一例を示すブロック図である。
【0013】
以下、本実施例の構成、動作については、映像中に2種類の動きの文字テロップがある図3のような映像をフレームレート変換する場合を例にして説明するものとする。図3において、文字テロップ301、302はそれぞれ図中矢印の方向に、3 pix / frame (3ppf)、15 pix / frame (15ppf)で動いているものとする。
【0014】
図1において、入力信号101はまず、RGB/YCbCr変換部102において、輝度信号Yと色差信号CbCrに変換される。この輝度信号Yと色差信号CbCrは、文字テロップ検出部106へ入力されると共に、メモリI/F部114に入力され、画像メモリ115に一旦蓄えられた後、1フレーム遅延信号105として出力される。
【0015】
ラインメモリ部103では、入力信号101(現フレーム信号104)、及び1フレーム遅延信号105をそれぞれ1ライン遅延させた信号を映像部動き検出部111、補間フレーム生成部113へ出力する。
【0016】
文字テロップ検出部106には、現フレーム信号104及び1フレーム前信号105(以下、前フレームと呼ぶ場合も有る)の輝度信号Yのみ入力され、入力画像において文字テロップ部分を検出し、当該文字テロップについて他とは個別に補間処理するための選択補間用イネーブル信号109と110、及び文字テロップのスクロール速度である動き量107及び108を出力する。本実施例では、1枚の映像中に動きが異なる2種類の文字テロップに対して良好な補間処理を行うために、各文字テロップ、例えば図3に示された文字テロップ301、302に対応した2つの選択補間用イネーブル信号109と110、及び2つの動き量107及び108を出力可能に構成される。当然、2つ以上出力するように構成してもよいし、文字テロップが1種類であれば、選択補間用イネーブル信号及び動き量を1つずつ出力するようにしてもよい。
【0017】
映像部動き検出部111へは、ラインメモリで1ライン文遅延された輝度信号Yのみが入力され、文字部を含んだ映像全体の動きベクトル112の検出を行い、検出された動きベクトル112を補間フレーム生成部113へ出力する。この動きベクトル112は、例えば時間的に連続する2つのフレーム、すなわち現フレームと前フレームとの中間に補間フレームを挿入する場合では、まず補間フレーム中のある注目画素(補間画素)を通る直線を複数設定する。その直線は、補間フレームの前後にある2フレーム(現フレーム及び前フレーム)のそれぞれに設けられた所定の矩形状領域内に設定される。その領域内に設定された複数の直線それぞれについて、当該直線が通過する上記2フレームの画素同士の差分を演算する。そして、その差分が最も小さい直線を、当該注目画素(補間画素)に対応する動きベクトルとして設定する。ここでは、この映像部動き検出部111における動きベクトルの検出方法の詳細に関しては、例えば特開2006-165602号公報や特開2007-082030号公報等において公知であるのでその説明を省略する。本実施形態は、映像の動き検出の方法として、これらの文献に示された方法以外にもブロックマッチング法、勾配法、位相相関法等を適用することができる。
【0018】
補間フレーム生成部113では、(文字テロップ部分以外の)映像部に関しては、前記映像部動き検出部111からの動きベクトル112を用いて、文字テロップ部分については、各動き量107及び108を当該文字テロップ部分の動きベクトルとして用いて、補間処理を行って補間フレーム生成を行う。上記動き量107及び108が適用される領域、すなわち文字照りテロップ領域は、文字テロップ検出部106から出力された選択補間用イネーブル信号109及び110によって指定されるものとする。
【0019】
上記補間処理は、例えば時間的に連続する現フレームと前フレームとの中間に補間フレームを挿入する場合では、補間フレーム中のある注目画素を通る動きベクトルによって指し示された上記2フレームの画素同士の平均値(もしくは補間フレームと現フレームまたは前フレームとの時間的距離に応じた加重平均)を求める処理である。かかる補間処理の詳細についても、上記文献に記載されており公知であるので、ここでは省略することとする。上記のようにして作成された補間フレームは、画像メモリ115とメモリI/F114の動作により、入力映像信号中のフレーム列に挿入される。例えば、入力映像信号のフレームレート(フレーム周波数)が60Hzであり、それを2倍の120Hzにフレームレート変換する場合は、入力映像信号中の1つフレームおきに1つの補間フレームが挿入される。この処理の詳細についても、上記特開2006-165602号公報や特開2007-082030号公報に記載されているのでここでは省略する。
【0020】
YCbCr/RGB変換部116では、YCbCr信号をRGBへ変換する。前記RGB変換されたデータは、タイミングコントローラ部117を経由し、例えば液晶パネルやPDP等で構成されたFPDパネル118に出力される。
【0021】
図2は、図1における、文字テロップ検出部106の一具体例を示したものである図2において、高輝度/エッジ検出部203では、ラインメモリ部103からの現フレーム信号104及び1フレーム前信号105を入力し、文字の特徴量として高輝度且つ高エッジが存在する部分を現フレーム信号104、及び1フレーム前信号105のそれぞれに対して検出する。文字部分は、他の映像に比べて一般的に輝度が高く、かつ他の映像との輝度差が大きくその変化が急峻であるため、本実施例では、入力された映像信号から文字の特徴量として高輝度且つ高エッジの信号を抽出することで、映像から文字の部分を良好に検出できるようにしている。かかる高輝度且つ高エッジの信号は、ここで、高輝度の信号とは、所定閾値以上の輝度値を持つ信号であり、例えば輝度信号Yの階調が256階調(8bitのデジタル信号)である場合には、例えば150階調以上の輝度であるものとする。また、高エッジの信号とは、輝度信号Yをハイパスフィルタリング(或いは一次または二次微分)することにより抽出された高周波成分(エッジ成分)のうち、所定閾値以上のものとする。
【0022】
さらに、本実施例に係る高輝度/エッジ検出部203では、上記エッジに関しては、例えば微分回路等を利用して立ち上がりエッジと立ち下りエッジとをそれぞれ検出することにより、下記4種類の文字の特徴量に関する信号を出力するものとする。
現フレーム信号の高輝度且つ立ち上がりエッジ
現フレーム信号の高輝度且つ立ち下がりエッジ
1フレーム前信号の高輝度且つ立ち上がりエッジ
1フレーム前信号の高輝度且つ立ち下がりエッジ
つまり、本実施例においては、現フレーム信号の高輝度且つ立ち上がりエッジを基点とし、所定値以上でほぼ一定レベルの高輝度の信号が現フレーム信号の高輝度且つ立ち下がりエッジまで継続する期間を現フレームの文字テロップの領域とする。また、1フレーム前信号の高輝度且つ立ち上がりエッジを基点とし、所定値以上でほぼ一定レベルの高輝度の信号が1フレーム前信号の高輝度且つ立ち下がりエッジまで継続する期間を1フレーム前の文字テロップの領域とする。このようにして、各フレームにおいて文字テロップが存在する領域が特定される。このような文字領域を特定するため上記4つの信号(つまり各フレームの高輝度且つ立ち上がり/立下りエッジ)を、以下では「文字領域データ」と呼ぶこととする。
【0023】
一方、動き検出部204では、上記高輝度/エッジ検出部203で検出された文字領域データを用いて文字テロップのスクロール速度(つまり動き量)を検出して文字テロップのための動き量ヒストグラムを作成する。そして、この文字テロップ動き量のヒストグラム情報から、文字テロップの出現パタンを識別して文字テロップ識別信号208を出力するとともに、文字テロップの動き量107と108を検出して出力する。本実施例においては、動き検出部204では、図3に示したように、例えば映像中の主要な動きを持つ2種類の文字テロップ動き量107(3ppf)と108(15ppf)を出力するものとする。文字テロップ動き量のヒストグラムから文字テロップ識別信号208及び動き量107、108を生成するための構成の詳細については後述する。さらに、動き検出部204は、誤検出の防止のために、ラインマスクイネーブル信号209を出力する。
【0024】
補間イネーブル生成部205では、動き検出部204から検出された動き量107、108とラインマスクイネーブル信号209とを用いて文字テロップ部分の補間用イネーブル信号210を作成する。ここでは、補間用イネーブル信号210は図3で示された文字テロップ301、302に対応した2種類の信号を含むものとする。セレクタ部206では、文字パタン認識信号208に応じて、2つの補間用イネーブル信号210のいずれかを選択して選択補間用イネーブル信号109または110を出力する。
【0025】
図4は、図2における動き検出部204の一具体例を示したものである。図4のデータシフト処理部401には、図2における高輝度/エッジ検出部203から出力された4つの信号、すなわち文字領域データが入力される。データシフト処理部401では、現フレームまたは1フレーム前の文字領域データを1ドット(ピクセル)ずつシフトする。本実施例においては、このシフト量を0〜30とすることで、動き量30ppfまで検出可能とする。
【0026】
そしてデータシフト処理部401とマッチング処理部402により、上記文字領域データをシフトしつつ、当該文字領域データから文字テロップの動き量を検出する。例えば、データシフト処理部401で現フレームにおける文字領域データを基準として1ピクセルずつ水平方向にシフト(ずらし)ながら、マッチング処理部402で1フレーム前の文字領域データと比較する。ここで、マッチング処理部402は、現フレームにおける文字領域データのある画素と、1フレーム前の文字領域データのうち、上記ある画素と空間的に同一位置に存在する画素とを比較する。尚、この実施例では、静止した文字も検出可能とするため、シフト量は0から開始するものとする。その比較の結果得られた差分値が所定値以下の場合、両者が「マッチング」したものとし、その「マッチング」した画素の数をここでは「マッチング量」とする。
【0027】
よって、実際の映像において文字テロップが1フレーム前から現フレームにかけて10ドット動いた場合は、現フレームにおける文字領域データを10ピクセルシフトしたときに、1フレーム前の文字領域データとのマッチング量が最大となる。つまり、このマッチング量を検出することで、文字テロップの動き量を特定することができる。このマッチング量を求める処理は、本実施例ではシフト量が30画素となるまで行うものとする。上記の例では、現フレームにおける文字領域データを1ピクセルずつシフトして前フレームの文字領域データと比較したが、逆に、前フレームにおける文字領域データを1ピクセルずつシフトして現フレームの文字領域データと比較してもよい。尚、エッジ部分の検出方法としては、例えば本出願人により既に出願された特開2007-316293号公報に記載されたものが知られており、その詳細については、当該文献を参照することにより明らかになるので、説明を省略する。
【0028】
ラインヒストグラム検出部400では、0〜30の各シフト量(つまり動き量)毎に、前記マッチング処理部402により演算されたマッチング量をフレーム単位でカウントする。例えば、動き量10(文字領域データのシフト量10)でのマッチング演算において、各ラインのマッチング量が図5(a)に示すような値であり、所定閾値の値を300とした場合、動き量10が存在するラインは同図(b)のようになり、カウント数は、5となる。つまり、動き量10(ppf)で動いている物体が存在するラインがそのフレーム中に5ライン存在する、という情報を得る。これにより、図7において後述するような、縦軸をライン数、横軸を動き量としたラインヒストグラムを得ることができる。このラインヒストグラムによって、ある1フレームにおける文字テロップが存在するラインの数や、後述するように文字テロップの出現パタンを特定することができる。尚、図5では文字テロップが存在しない領域でもマッチング量が検出されているが、これは文字以外の映像に対しても文字の特徴量(高輝度かつ高エッジ部分)を検出する場合があるためである。しかしながら、マッチング量と比較される所定閾値を適切にする(本実施例では300)とすることにより、文字以外の映像に対して検出された文字の特徴量の影響を排除もしくは軽減することができる。尚、上記所定閾値は、1ラインの水平方向画素数の20〜60%程度とすることができる。
【0029】
一方、画素ヒストグラム検出部404では、0〜30の各シフト量(つまり動き量)毎に、前記マッチング処理部402により演算されたマッチング量をライン単位でカウントすることで画素ヒストグラムを得る。例えば、図6(a)において、動き量10(ppf)で動く物体を含む所定ライン6001におけるヒストグラム分布は、同図(b)のようになる。つまり、図6(b)は、ある1つのライン601においては、動き量10(ppf)で動く文字を最も多く含んでいることを示している。
【0030】
ここで、図6(b)において動き0の部分においてもカウント値があるのは、図6(a)において、動き文字のない部分は、動き0としてマッチングされる可能性が高いからである。また、背景が一般の映像であるような場合においては、もっと複雑なヒストグラム形状になることが予想されるが、本実施例では、高輝度且つ高エッジという文字の特徴量を検出することにより動き検出の条件を文字テロップにフォーカスさせているため、高い検出精度を保つことが可能である。また、より支配的な動き量のみ取り出すために、ヒストグラム情報の平滑化処理を行ってもよい。
【0031】
パタン判定部405では、前記ラインヒストグラム403検出部で得られたラインヒストグラム、及び画素ヒストグラム検出部404で得られた画素ヒストグラムを用いて、入力映像中の文字テロップ表示状態、すなわち文字テロップのパタンを識別する。その文字テロップのパタンの一例を図7に示す。
【0032】
図7のNo.0は、映像中に文字テロップが存在しない場合を示しており、その場合は、上記文字領域データが検出されないので、文字の動き量に関するラインヒストグラム及び画素ヒストグラムにおいて、各動き量の度数は0となる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムの度数が全動き量に渡って0の場合は、映像中に文字テロップが存在しないと判定することができる。
【0033】
No.1の上の例は、ある映像のLine1に静止する文字が存在する場合である。この場合は、上述したマッチング処理により、文字領域データのシフト量0でマッチング量が最大となるので、図示されるように、ラインヒストグラムにおいて動き量0の度数が最大となる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が0の度数が最大の場合は、ある映像に静止する文字が存在すると識別することができる。
【0034】
No.1の下の例は、ある映像のLine1に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量10でマッチング量が最大となるので、図示されるように、ラインヒストグラムにおいて動き量10の度数が最も大きくなる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が10の度数が最大の場合は、ある映像に動き量10の文字が存在していると識別することができる。
【0035】
No.2の上の例は、ある映像のLine1に静止する文字が、Line2に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量0と10のマッチング量が大きくなるので、図示されるように、ラインヒストグラムにおいて動き量0と10の度数が各々所定値を超えたピークとなる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が0と10の度数がそれぞれ所定値よりも大きい場合は、ある映像に静止する文字と動き量10の文字が存在すると識別することができる。
【0036】
No.2の下の例は、ある映像のLine1に左方向に3ppfで動く文字テロップが、Line2に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量3と15のマッチング量が大きくなるので、図示されるように、ラインヒストグラムにおいて動き量3と15の度数が各々所定値を超えたピークとなる。換言すれば、ラインヒストグラム検出部4003で検出されたラインヒストグラムにおいて、動き量が3と15の度数がそれぞれ所定値よりも大きい場合は、ある映像に動き量3と15の文字が存在すると識別することができる。
【0037】
このように、本実施例では、ラインヒストグラムを検出することによって文字テロップの表示状態、すなわち出現パタンを識別することができる。更にラインヒストグラムにおいて、度数が所定値を越える、もしくは最大の動き量を文字テロップの動き量とすることができる。
【0038】
更に、本実施例では、上述のように画素ヒストグラム検出部404によって1フレームにおける複数ライン毎に、動き量の画素ヒストグラムを検出している。例えば、入力映像信号の有効ライン数が1080本である場合、あるフレームの1番目のラインから1080番目のラインまで、順次ライン毎に動き量の画素ヒストグラムを検出する。これによって、あるフレーム内における文字テロップが存在するラインを特定できる。
【0039】
例えば、図7において、Line1が580番目のライン、Line2が950番目のラインであるものとする。図7のNo.1の上の例では、検出されたLine1の画素ヒストグラムが動き0で最大となっており、対応するラインヒストグラムと一致している。このような場合、580番目のラインに文字テロップが存在すると判定できる。同様に、No.1の下の例では、検出されたLine1の画素ヒストグラムが動き10で最大となっており、対応するラインヒストグラムと一致しているので、580番目のラインに文字テロップが存在すると判定できる。
【0040】
また、No.2の上の例では、Line1の画素ヒストグラムが動き0と10でピークとなっており、対応するラインヒストグラムと一致しているため、580番目のラインに動きが0の静止文字テロップが存在し、Line2に動きが10の文字テロップが存在することを判定できる。同様にNo.2の下の例では、Line1の画素ヒストグラムが動き3と15でピークとなっており、対応するラインヒストグラムと一致しているため、580番目のラインに動きが3の文字テロップが存在し、Line2に動きが15の文字テロップが存在することを判定できる。
【0041】
本実施例において文字テロップの例としている図3のパタンは、2つのピークが存在するラインヒストグラムのプロファイルから図7におけるパタン2となる。つまりパタン判定部405は、図7に示されるように、No.2の下方のラインヒストグラムにおいて動き量3及び15の2箇所においてその度数が所定値を超える(すなわち2つのピークが存在する)ので、現在の入力映像が2種類の動きテロップ情報があることを示す文字パタン認識信号(ここでは例えばパタン2の”2”という値)208を生成し、図2のセレクタ206及び補間イネーブル生成部205へ出力する。更に、No.2の下方のラインヒストグラムでは、動き量3及び15において度数が所定値を超えているため、前記2種類の文字テロップに夫々対応する動き量107及び108を生成し、図1の補間フレーム生成部113、図2の補間イネーブル生成部205及びラインマスク生成部409へ出力する。この例の場合、動き量3ppfと動き量15ppfという値を2種類の動き量406として出力する。
【0042】
また、画素ヒストグラム検出部404で得られた画素ヒストグラムにおいて、出現度数が最大となる動き量を検出することによりライン単位での最大動き量408を出力する。このとき、各ライン中の最大値が出力されるタイミングは1ライン分遅れるため、図1に示すように、映像部動き検出部106、補間フレーム生成部107に入力するデータに対して、文字テロップ検出部106へ1ライン前の信号104を入力している。図3の映像が入力された場合、ライン1では動き量3、ライン2では動き量15という値が各ラインに出力される。
【0043】
ラインマスク生成部409では、前記フレーム単位での支配的な2種類の動き量107及び108と、ライン毎に検出した支配的な動き量408から、マスクをかけるべきラインを判定してそのラインに対するラインマスクイネーブル信号209を出力する。図3の例の場合、ライン1(例えば580本目のラインで動き量3)に対して、動き量15のイネーブルが生成されないようにマスクをかけ、当該ライン1では動き量3のイネーブルのみ生成されるようにする。具体的には、フレーム単位での支配的な2種類の動き量107、108とライン単位での支配的な動き量408とをそれぞれ比較し、値が同じ(若しくは異なっていても所定範囲内)でラインについては0、異なるラインについては1をラインマスクイネーブル信号209として、図2の補間イネーブル生成部205へ出力する。
【0044】
同様に、ライン2(例えば950本目のラインで動き量15)に対して、動き量3のイネーブルが生成されないようにマスクをかけ、当該ライン2では動き量15のイネーブルのみ生成されるようにする。どの動き量がどのラインに対応するか、及びマスクをかけるべきラインは、上述したようにラインヒストグラムとライン毎の画素ヒストグラムとの対応関係により特定することができる。
【0045】
図8は、図2における補間イネーブル生成部205の一具体例を示したものである。図8において、第1イネーブル生成部806は、高輝度/エッジ検出部203から出力された上述の文字領域データとパタン判定部405からの動き量107が入力される。そして、1フレーム前信号の文字領域データに対して、現フレーム信号の文字領域データを動き量107分だけ水平方向にシフト(遅延)させ、このシフトさせたものと1フレーム前信号の文字領域データの論理積を演算する。これにより、動き量107で動いている文字領域データ(例えば図3の文字301)を識別、特定する。第2イネーブル生成部8007は、高輝度/エッジ検出部203から出力された文字領域データとパタン判定部405からの動き量108が入力される。これも同様にして、現フレーム信号の文字領域データを動き量108分だけ水平方向にシフト(遅延)させ、このシフトさせたものと1フレーム前信号の文字領域データの論理積をとることにより、動き量108で動いている文字領域データ(例えば図3の文字302)を識別、特定する。尚、前記において現フレームの代わりに1フレーム前信号の方をシフトさせてもよい。
【0046】
補間イネーブル判定部808では、図2のパタン判定部405からの文字パタン認識信号208と、図2のラインマスク生成部409からのラインマスクイネーブル信号209から、前記動き量107及び108で動く文字領域データの各々に対して、イネーブルの有効/無効を判定する。例えば今、入力映像が、図3のようにフレーム内に2種類の動きを有する文字テロップが存在する場合(つまりパタン2)を例にして補間イネーブル判定部808の動作を説明する。この場合、補間イネーブル判定部808は、パタン判定部405からの文字パタン認識信号208が「パタン2」であるので、文字テロップが存在する2つの領域について、ラインマスクイネーブル信号209を用いてイネーブルの有効/無効を判定する。第1イネーブル生成部806で識別され出力された文字領域データ(例えば図3の文字301)に対しては、ラインマスクイネーブル信号209が0の場合の時のみ有効とし、1の場合は無効で0クリアされる。第2イネーブル生成部807で識別され出力された文字領域データも同様に、ラインマスクイネーブル信号209が0の場合の時のみ有効とし、1の場合は無効で0クリアされる。本マスク処理により、そのラインにおいて最も支配的な動き方向にのみイネーブルを生成することができ、誤検出による弊害を防止することが可能となる。
【0047】
補間イネーブル伸張/トレース部809では、文字領域データのみに掛けられているイネーブルを、文字を含む領域全体に拡げる処理を行う。これにより、図3のように動きが異なる2つの文字テロップが存在する場合は、それぞれの文字領域を含む領域に対応する補間用イネーブル信号210を生成する。この拡張処理は、例えば特開2007-316293号公報に記載された手法を参照されたい。この拡張処理は、省略することもできる。
【0048】
図3の映像が入力された場合、上記拡張処理により、動き量107(3ppf)に対する補間イネーブルが図9(a)、動き量108(15ppf)に対する補間イネーブルが同図(b)として出力されるようになる。尚、図9において、白くされた楕円形の部分が、イネーブルが掛けられたエリアである。
【0049】
最終的に図2のセレクタ部206にて、文字パタン認識信号208に応じてイネーブル信号の出力切替を行い、動き検出部204からの2種類の動き量107、108と共に、前記各動き量に対応した補間イネーブル信号109、110を出力する。ここで、文字パタン認識信号208がパタン1の場合は、補間イネーブル信号は1つのみ出力され、パタン2の場合は各文字領域に対応して2つ出力される。またパタン1の場合は、動き量は107の1つのみ、パタン2の場合は、動き量は107と108の2つが出力される。また前記セレクタ部206においては、例えば図7において、文字が存在しないパタン0の場合は、補間イネーブル信号210は2つとも0、パタン1のように、1種類の文字しか存在しない場合は、補間イネーブル信号210のうち一方のイネーブル信号は0とするような動作を行う。
【0050】
文字テロップ検出部105によって検出された2種類の文字の動き量107、108と、前記各動き量を持つ文字が存在するエリアを示す補間イネーブル信号109、110を補間フレーム生成部107へ出力することにより、補間フレーム生成部107では、入力映像のうち補間イネーブル信号109/110で示された領域、すなわち文字テロップの領域をマスクする。これにより補間フレーム生成部107は、マスクされた領域(すなわち補間イネーブル信号109、110で示された文字テロップ領域)については動き量107、108を用いて上述した補間処理を行う。一方、文字テロップ領域以外の背景映像については、映像動き検出部101からの動きベクトルを用いて補間処理が行われる。従って、本実施例によれば、文字テロップとそれ以外の映像領域とを個別に(独立して)補間処理を行うことができ、背景映像部の動きの影響による文字エリアの破綻、もしくはその逆の現象を防ぐことが可能となる。
【0051】
以上のように、本実施例では、文字の特徴量を検出し、更に動き量毎の度数を示す上記ラインヒストグラムと画素ヒストグラムを作成しているので、映像中に存在する複数の動き文字テロップを検出することが可能となる。且つ各文字テロップの動き量それぞれに対応するイネーブルを生成することができるため、精度良く各動きテロップを識別処理することが可能となる。
【0052】
尚、本実施例においては映像中に2種類の動きテロップが存在する場合について述べたが、図2における動き検出部204、及び補間イネーブル生成部205の処理系を複数持たせることによって、2種類以上の文字テロップにも対応可能である。
【0053】
また、本実施例においては、映像信号の入出力段にマトリクス変換部を置き、文字テロップの動き量の検出系は全て輝度信号Yのみを用いる構成としているが、これに限定されるものではない。例えばRGB信号をそのまま用いて動き量を検出してもよいし、もしくはRGB信号と輝度信号Yを組み合わせたデータを利用して検出する構成としてもよい。このような構成とすることで、例えば白以外の色付きテロップの動き量の検出精度が向上される。また、白以外の色付きテロップの動き量の検出精度をさらに高めるために、例えば、RGB信号をHSV信号に変換するためのRGB/HSV変換器(図示せず)を別に設け、これにより入力されたRGB信号から色相(Hue:H値)、及び彩度(Saturation:S値)情報を生成し、これを文字テロップ検出部106に入力して文字テロップの動き量を検出するようにしてもよい。このように色情報を加味することにより、文字テロップの検出精度の向上を図ることが可能となる。
【実施例2】
【0054】
次に、本発明に第2実施例について図10〜14を参照しつつ説明する。この第2実施例は、入力映像中の文字テロップ表示状態が、例えば図11に示されるような同一ライン上に複数の動きテロップが存在するパタン3のケースの場合でも文字テロップの領域と動きを識別可能にしたことを特徴としている。第1の実施例の構成では、ライン単位で動き検出やイネーブル制御をしているため、パタン3の場合は同一ラインに含まれる2つの動きのうちどちらか一方の動きにしか対応できない。これに対し、本実施例では、画素単位で動き検出やイネーブル制御をすることにより、同一ラインに複数の動き量の文字テロップが存在する場合においても、それらを分離し、処理することが可能としている。
【0055】
この第2実施例は、第1実施例と比較して、(1)第1実施例では、文字テロップの動きを検出するために、現フレーム及び前フレームデータの1ライン前の信号を用いたが、第2実施例では、これに加え、更に、現フレーム及び前フレームデータの5ライン前の信号も用いている点、(2)文字領域データである高輝度かつ高エッジのデータは、上記5ライン前の信号に基づいて生成している点、及び(3)図2及び図8に示された補間イネーブル生成部の構成が異なっている点、が異なっている。この第2実施例に係る補間イネーブル生成部の一具体例は図10に示される。
【0056】
図10において、図8に示した補間イネーブル生成部の一例と同一の構成要素に関しては、同一の符号を付してその説明を省略する。図10の具体例は、図8に示した構成において、第1イネーブル生成部806及び第2イネーブル生成部807と補間イネーブル判定部808との間にエリア判定部120を加えたものであり、エリア判定部120の一具体例は図12に示されている。
【0057】
図12に示された回路は、ある対象画素の位置を中心にした所定エリアにおいて、同一ラインに含まれる複数の動き量(ここでは、動き量1、動き量2とする)で動く文字テロップのそれぞれについて、そのエッジをカウントすることにより、その画素の本来の動きを決定するものである。図12において、図10の第1イネーブル生成部806から出力された動き量1でのイネーブル信号121は、ラインメモリ122に入力されて10ライン分遅延され、続いて10clk遅延処理及びHSTカウント部123によって10クロック、すなわち10ピクセル分遅延される。一方、図10の第2イネーブル生成部807から出力された動き量2でのイネーブル信号124は、ラインメモリ125に入力されて10ライン分遅延され、続いて10clk遅延処理及びHSTカウント部126によって10クロック、すなわち10ピクセル分遅延される。ここで、本実施例においては上記のように5ライン前のデータを入力しているため、上述の10ライン遅延及び10clk遅延処理を行うことによって、例えば図13に示すような対象画素135を中心としてV:±5×H:±5のエリアを参照することが可能となる。
【0058】
10clk遅延処理及びHSTカウント部123及び126では、同一ラインに含まれる動き量1、動き量2に対してそれぞれエッジの個数をカウントし、それぞれ、各動き量に対応したカウント数127及び128を出力する。ここで、エッジのカウントは、図13のエリアにおける各画素のうち、所定値よりも高いエッジを有する画素の個数をカウントするものとする。よって、本実施例においては、カウント数の最大値は121(11×11)である。今、動き量1のエッジのカウント数127をN_MV1、動き量2のエッジのカウント数128をN_MV2、所定閾値をN_THとし、また動き量1のエリアマスク信号132をAM1_mk、動き量2のエリアマスク信号133をAM2_mkとした場合、エリアマスク生成部129では、以下のような処理を行う。
N_MV1≧N_MV2、且つ N_MV1≧N_THの場合、AM1_mk=0、AM2_mk=1
N_MV2≧N_MV1、且つ N_MV2≧N_THの場合、AM1_mk=1、AM2_mk=0
上記以外の場合、AM1_mk=1、AM2_mk=1
このようにして、エリアマスク生成部129は、動き量1のエリアマスク信号132を動き量2のエリアマスク信号133を生成して図2のセレクタへ出力する。
【0059】
上記処理について、図11に示したパタン3を拡大した図14を参照して説明する。図14(a)において、「ABC」を含む文字列141は静止(これを動き量1とする)、「あいうえおかきく」を含む文字列142は画面右から左へ15ppf(これを動き量2とする)で動いているものとする。図中の四角いエリア143は、図13に示されたV:±5×H:±5画素のエリアを示している。対象画素144、対象画素145に対するエリアヒストグラムをそれぞれ図14(b)、(c)に示す。上記の演算により、対象画素144では動き量2のイネーブルがマスクされ(AM2_mk=1)、対象画素145では動き量1のイネーブルがマスクされる(AM1_mk=1)。
【0060】
この結果、パタン3の場合、補間イネーブル判定部808からは、EN伸張、トレース処理部809を通して、動き量1(0ppf)の文字列141を含む領域に対応するイネーブル146と、動き量2(15ppf)の文字列142を含む対応するイネーブル147を出力する。
【0061】
以上のように、本実施例では、同一ライン上に複数の動き文字が存在する場合においても、画素単位でイネーブル制御を行うことにより、これら複数の文字を背景映像から分離し、また個別に補間処理することが可能となる。
【0062】
また、図10の補間イネーブル判定部808では、文字パタンが3のときは、エリアマスク信号のみ利用し、パタン1、2の場合にはエリアマスク信号とラインマスク信号の論理和をとることで、パタン1、2に関しても実施例1同等の効果を得ることが可能である。
【0063】
また、本実施例においては、エリアヒストグラムを、対象画素を中心としてV:±5×H:±5画素としているが、これに限定されるものではない。例えば、エリアを11×11以上としてもよく、またエリアの形状を可変(正方形ではなく長方形等)等することにより、より検出精度が向上する。さらに、入力画像の画素数(SD or FullHD等)により、エリアサイズを適応制御する構成としても良い。
【0064】
また、上記第1、2実施例においては、文字テロップの水平方向の動きのみで説明を行ってきたが、例えば所定数ラインメモリを装備させ、所定ライン分のデータを文字テロップ検出部へ入力させることで縦方向への動きの対応も可能である。さらには、1つのフレームを例えば複数の所定エリアブロック単位に分割し、その所定エリア単位で上述した動き量の検出や文字領域の特定処理をする構成とすれば、縦、横、斜め方向の動きへの対応も可能となる。
【実施例3】
【0065】
図15は、本発明の第3実施例における映像処理装置に適用されるフレームレート変換装置の構成の一例を示している。
【0066】
本実施例は、動き周期が異なる物体が混在する映像に対してフレームレート変換処理を良好にするものであり、例えば、24(25)コマで構成されるテレシネ信号に60(50)コマで構成される文字情報が表示される場合において、動き補正フレームレート変換機能をオフようにしている。これにより、フレームレート変換処理に伴う文字情報のガタツキを防ぐことができる。尚、図15において、図1に示した回路と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【0067】
テレシネ検出部152は、入力映像信号151がテレシネ信号(映画ソース)であるか否かを検出し、テレシネ判別信号を出力する。テレシネ判別の方法は、現フレームデータと、メモリI/F114及び画像メモリ115によって得られた1フレーム前データとの差分情報から、2-3プルダウンの位相を検出するもので、一般的に知られている技術であるため詳細はここでは記載しない。文字テロップ検出部153は、入力映像中の文字テロップの動きを第1実施例で説明したものと同様な方法により検出し、結果を出力する。その構成は、第一、第二の実施例にて説明した構成のものとしても良いし、単純に動き文字テロップの有無を検出するだけの機能を持ったものでも良い。動きベクトル検出部154では、第1実施例で説明したものと同様な方法により現フレームデータと1フレーム前データから映像の動きベクトルを検出する。この動きベクトルの検出は、これ以外にも、ブロックマッチング法、勾配法、位相相関法等を用いてもよい。補間フレーム生成部155は、前記動きベクトル検出部154(場合によっては文字テロップ検出部153からも)からの動きベクトル情報に基づいて、第1実施例で説明したものと同様な方法により補間フレームを生成する。ここで、動きベクトル検出部154、補間フレーム生成部155、メモリインターフェース部156のそれぞれには、テレシネ検出部152からのテレシネ判別信号が入力されており、入力映像が映画(つまり2-3、2-2プルダウン方式のテレシネ信号のフォーマット)かそれ以外かでその動作を切り替えている。
【0068】
TVにおける映画放送においては、例えば映画の宣伝情報等の文字情報を後から映像に重畳させて放送するものが多い。この場合、映像部は2-3プルダウンされた毎秒24コマの映像であるのに対し、文字情報は毎秒60コマの映像である。図15のシステムに、かかる映像入力があった場合、テレシネ検出部152では通常、メインの映像部が24コマであるため、当該映像入力はテレシネ信号のフォーマットである映画と判定する。その場合、前記文字情報の部分も含めて映画として認識し、動き補正フレームレート変換を行ってしまうため、元々60コマで構成されていた文字情報部分は、ガタツキが発生してしまう。この理由について図16を使って説明する。
【0069】
図16において、同一アルファベット(大文字)で現しているフレームは、同一のフレーム情報であることを示し、また小文字のアルファベットは文字情報の内容を示している。24コマの映画をTVで放送する場合は、2-3プルダウンによって毎秒60コマ化されて図16(a)のように送られてくる。一方、宣伝情報等の文字情報データは、元々毎秒60コマであるために、(b)のように送られてくる。補間フレーム生成部195では、テレシネ検出部152によって入力映像がテレシネ信号であると判別され、その判別信号を受けた場合は、その図中矢印で示されたキーフレーム(複数の同一映像内容のフレームのうち、時間的に最先のフレーム)の位置を検出し、そのキーフレーム間での動き検出を行い、補間フレームを生成する。ここで“d”を映像中の文字情報データの動き量とした場合、(a)のキーフレームと同じ矢印位置の文字データのフレームを見ると、等速“d”で動いているはずの文字データが2d、3dの動き量となり、フレーム毎に動き量が異なっていることが分かる。従って、フレーム毎に異なる動きが検出され、その動きに対応した補間フレームが生成されるため、文字情報データ部分はガタツクこととなる。
【0070】
そこで本実施例では、テレシネ検出部152において入力映像がテレシネ信号のフォーマット(すなわち映画)と判定された場合、文字テロップ検出部153により、その映像中に動きテロップがある場合には、動き補正フレームレート変換動作をオフし、現フレームをスルー処理(つまり、そのまま出力)する。つまり、テレシネ信号フォーマットの映画放送中に動きテロップがある場合は、何もせずそのまま表示する。本処理により、映像部の動画質改善は見込めなくなることになるが、文字情報データのガタツキの弊害を改善することができる。
【0071】
以上のように、本実施例では、入力映像が映画の場合で且つ、映像中に動きテロップがある場合には、動き補正フレームレート変換処理をオフすることによって、動きテロップのガタツキ弊害を防止することが可能となる。
【0072】
また、本実施例では、全てハードウエアにて処理を行う構成としているが、これに限るものではなく、必要情報(テレシネ信号、動き文字テロップ有無情報等)を外部マイコンから読出し、マイコン側でソフトウェア処理する構成としても良い。
【実施例4】
【0073】
図17は、本発明の第4の実施形態である文字テロップ検出部の構成の一例を示すブロック図である。図17において、図2に示した第一の実施形態における画像表示装置と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【0074】
本実施の形態が第1の実施例と異なる点は、黒文字等低輝度のテロップを検出できるように、低輝度、エッジ検出手段を設けたところにある。本実施例によれば、輝度の高くない文字テロップに関しても、動画質改善が可能となる。
【0075】
一般放送においては、様々な色、輝度のテロップが重畳される。一般的な文字テロップは背景と比較して高輝度なものが多いが、中には黒文字等輝度の低いテロップも存在するため、高輝度且つエッジが存在する、という条件だけではそれを検出することができない。文字が低輝度でも、背景の輝度が高い場合はエッジを捉えることができるが、厳密に文字部分を捉えているわけではない。
【0076】
そこで、本実施例では、高輝度/エッジ検出部203に加え、もう1系統低輝度テロップ用の低輝度/エッジ検出部171を追加することで、低輝度テロップの検出を行う。高輝度、エッジ検出部203と低輝度/エッジ検出部171は、その構成は同一としても構わない。具体的には、輝度判定において、高輝度、エッジ検出部2003では所定閾値以上という条件で検出を行うのに対し、低輝度、エッジ検出部23001では所定閾値以下という条件で検出を行う。エリア補正部172では、前記高輝度/エッジ検出部203からのエリア出力と、低輝度/エッジ検出部171からのエリア出力の論理和を取り、高輝度、低輝度両方の条件を満たすエリアのエッジ信号が出力される。この後の動作は、第1、2の実施例と同じである。
【0077】
以上のように、本実施例では、高輝度テロップに加え、低輝度のテロップに関しても検出可能となり、動画質改善効果を得ることができる。
【0078】
また、本実施例においては、輝度、エッジ検出系を2系統持たせることで、高輝度、低輝度文字テロップへの対応を図っているが、これに限るものではなく、2系統以上持たせることで、文字テロップの輝度を細かく判別可能にして文字テロップを識別精度を向上させるようにしてもよい。
【図面の簡単な説明】
【0079】
【図1】本発明の第1実施例に係る映像処理装置の一具体例を示す図。
【図2】第1実施例に係る文字テロップ検出部106の一具体例を示す図である。
【図3】2種類の動きを持つ文字テロップの一例を示す図。
【図4】第1実施例に係る動き検出部204の一具体例を示す図。
【図5】第1実施例に係るラインヒストグラムの検出の一例を示す図。
【図6】第1実施例に係る画素ヒストグラムの検出の一例を示す図。
【図7】第1実施例に係る文字表示パタンの例を説明するための図。
【図8】第1実施例に係る補間イネーブル生成部205の一具体例を示す図。
【図9】第1実施例に係るイネーブル出力イメージ図である。
【図10】本発明の第2実施例に係る補間イネーブル生成部205の一具体例を示す図。
【図11】文字表示パタンの別の例を説明するための図。
【図12】第2実施例に係るエリア判定部120の一具体例を示す図。
【図13】第2実施例に係るエリアヒストグラムのカウント領域の一例を示す図。
【図14】第2実施例の動作を説明するための図。
【図15】本発明の第3実施例に係る映像処理装置の一例を示す図。
【図16】テレシネ信号における文字情報の動きを示す図。
【図17】本発明の第3実施例であって、動き検出部204の他の例を示す図。
【符号の説明】
【0080】
101…入力信号、102…RGB/YCbCr変換部、103…ラインメモリ、104…現フレーム1ライン前データ、105…1フレーム前1ライン前データ、106…文字テロップ検出部、107、108…文字テロップの動き量、109、110…文字テロップ有/無信号、111…映像部動き検出部、112…映像部動きベクトル、113…補間フレーム生成部、114…メモリインターフェース部、115…画像メモリ、116…YCbCr/RGB変換部、117…タイミングコントロール部、118…FPDパネル。
【技術分野】
【0001】
本発明は、映像の動きベクトルを検出して動き補正型フレームレート変換を行う技術に関し、特に映像中に所定方向に移動する文字テロップを含む場合に好適なフレームレート変換の技術に関する。
【背景技術】
【0002】
動画性能を改善するために、映像の動きベクトルから補間フレームを生成して入力映像信号のフレームレート変換を行う技術が従来から知られている。かかるフレームレート変換において、映像の動きベクトルを誤検出した場合、本来の映像にはない映像がノイズとして現れる(以下、映像の破綻と呼ぶ)こととなり、画質の劣化の原因となる。特に映画中の文字テロップや、番組の最後に流れるような文字テロップのスクロール等に代表される文字情報は、背景の映像とは全く異なる動き(もしくは動かない)をするため、その動きベクトルの検出が難しく、映像の破綻が起きやすい。また視聴者が注目しやすい場所であるため、破綻の認識率も高い。
【0003】
フレームレート変換技術において、映像中の文字テロップを含む領域を検出するための従来技術としては、例えば特許文献1に記載のものが知られている。
【0004】
【特許文献1】特開2003−271970号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記特許文献1は、通常の映像(物体)にも適用されるブロックマッチング処理で文字テロップの領域と動き量を求めているため、文字とそれ以外の物体との識別が精度良く行えない可能性がある。また、特許文献1は、映像中に複数の動きを持つ文字テロップが存在する場合については考慮されていない。
【0006】
本発明は、映像中に文字テロップが含まれる場合でも、より高画質な、すなわち映像の破綻を低減したフレームレート変換技術を提供するものである。
【課題を解決するための手段】
【0007】
本発明は、入力映像信号中の文字テロップに関する特徴量を検出して当該文字テロップの領域及び動き情報を検出し、当該文字テロップの領域については当該検出された文字テロップの動き情報を用いることで、他の部分とは異なる補間処理を行ようにしたことを特徴とするものである。
【0008】
ここで、文字テロップの領域と動きは、1フレームにおける文字テロップの動きに対応したライン数の度数を示す第1のヒストグラムと、ライン単位における文字の動き情報のヒストグラムを示す第2ヒストグラムとにより検出してもよい。
【0009】
また、前記入力映像信号が、第1の動き周期(例えば毎秒24(25)フレーム/フィールド)を持つ映像と、該第1の動き周期よりも短い第2の動き周期(例えば毎秒60(50)フレーム/フィールド)を持つ文字情報とを含む場合は、フレームレート変換のための処理を停止するようにしてもよい。
【発明の効果】
【0010】
本発明によれば、映像中に文字テロップが含まれる場合でも、より高画質に(映像の破綻を低減して)フレームレート変換処理を行うことが可能となる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【実施例1】
【0012】
図1は、本発明の第一の実施形態である映像表示装置の構成の一例を示すブロック図である。
【0013】
以下、本実施例の構成、動作については、映像中に2種類の動きの文字テロップがある図3のような映像をフレームレート変換する場合を例にして説明するものとする。図3において、文字テロップ301、302はそれぞれ図中矢印の方向に、3 pix / frame (3ppf)、15 pix / frame (15ppf)で動いているものとする。
【0014】
図1において、入力信号101はまず、RGB/YCbCr変換部102において、輝度信号Yと色差信号CbCrに変換される。この輝度信号Yと色差信号CbCrは、文字テロップ検出部106へ入力されると共に、メモリI/F部114に入力され、画像メモリ115に一旦蓄えられた後、1フレーム遅延信号105として出力される。
【0015】
ラインメモリ部103では、入力信号101(現フレーム信号104)、及び1フレーム遅延信号105をそれぞれ1ライン遅延させた信号を映像部動き検出部111、補間フレーム生成部113へ出力する。
【0016】
文字テロップ検出部106には、現フレーム信号104及び1フレーム前信号105(以下、前フレームと呼ぶ場合も有る)の輝度信号Yのみ入力され、入力画像において文字テロップ部分を検出し、当該文字テロップについて他とは個別に補間処理するための選択補間用イネーブル信号109と110、及び文字テロップのスクロール速度である動き量107及び108を出力する。本実施例では、1枚の映像中に動きが異なる2種類の文字テロップに対して良好な補間処理を行うために、各文字テロップ、例えば図3に示された文字テロップ301、302に対応した2つの選択補間用イネーブル信号109と110、及び2つの動き量107及び108を出力可能に構成される。当然、2つ以上出力するように構成してもよいし、文字テロップが1種類であれば、選択補間用イネーブル信号及び動き量を1つずつ出力するようにしてもよい。
【0017】
映像部動き検出部111へは、ラインメモリで1ライン文遅延された輝度信号Yのみが入力され、文字部を含んだ映像全体の動きベクトル112の検出を行い、検出された動きベクトル112を補間フレーム生成部113へ出力する。この動きベクトル112は、例えば時間的に連続する2つのフレーム、すなわち現フレームと前フレームとの中間に補間フレームを挿入する場合では、まず補間フレーム中のある注目画素(補間画素)を通る直線を複数設定する。その直線は、補間フレームの前後にある2フレーム(現フレーム及び前フレーム)のそれぞれに設けられた所定の矩形状領域内に設定される。その領域内に設定された複数の直線それぞれについて、当該直線が通過する上記2フレームの画素同士の差分を演算する。そして、その差分が最も小さい直線を、当該注目画素(補間画素)に対応する動きベクトルとして設定する。ここでは、この映像部動き検出部111における動きベクトルの検出方法の詳細に関しては、例えば特開2006-165602号公報や特開2007-082030号公報等において公知であるのでその説明を省略する。本実施形態は、映像の動き検出の方法として、これらの文献に示された方法以外にもブロックマッチング法、勾配法、位相相関法等を適用することができる。
【0018】
補間フレーム生成部113では、(文字テロップ部分以外の)映像部に関しては、前記映像部動き検出部111からの動きベクトル112を用いて、文字テロップ部分については、各動き量107及び108を当該文字テロップ部分の動きベクトルとして用いて、補間処理を行って補間フレーム生成を行う。上記動き量107及び108が適用される領域、すなわち文字照りテロップ領域は、文字テロップ検出部106から出力された選択補間用イネーブル信号109及び110によって指定されるものとする。
【0019】
上記補間処理は、例えば時間的に連続する現フレームと前フレームとの中間に補間フレームを挿入する場合では、補間フレーム中のある注目画素を通る動きベクトルによって指し示された上記2フレームの画素同士の平均値(もしくは補間フレームと現フレームまたは前フレームとの時間的距離に応じた加重平均)を求める処理である。かかる補間処理の詳細についても、上記文献に記載されており公知であるので、ここでは省略することとする。上記のようにして作成された補間フレームは、画像メモリ115とメモリI/F114の動作により、入力映像信号中のフレーム列に挿入される。例えば、入力映像信号のフレームレート(フレーム周波数)が60Hzであり、それを2倍の120Hzにフレームレート変換する場合は、入力映像信号中の1つフレームおきに1つの補間フレームが挿入される。この処理の詳細についても、上記特開2006-165602号公報や特開2007-082030号公報に記載されているのでここでは省略する。
【0020】
YCbCr/RGB変換部116では、YCbCr信号をRGBへ変換する。前記RGB変換されたデータは、タイミングコントローラ部117を経由し、例えば液晶パネルやPDP等で構成されたFPDパネル118に出力される。
【0021】
図2は、図1における、文字テロップ検出部106の一具体例を示したものである図2において、高輝度/エッジ検出部203では、ラインメモリ部103からの現フレーム信号104及び1フレーム前信号105を入力し、文字の特徴量として高輝度且つ高エッジが存在する部分を現フレーム信号104、及び1フレーム前信号105のそれぞれに対して検出する。文字部分は、他の映像に比べて一般的に輝度が高く、かつ他の映像との輝度差が大きくその変化が急峻であるため、本実施例では、入力された映像信号から文字の特徴量として高輝度且つ高エッジの信号を抽出することで、映像から文字の部分を良好に検出できるようにしている。かかる高輝度且つ高エッジの信号は、ここで、高輝度の信号とは、所定閾値以上の輝度値を持つ信号であり、例えば輝度信号Yの階調が256階調(8bitのデジタル信号)である場合には、例えば150階調以上の輝度であるものとする。また、高エッジの信号とは、輝度信号Yをハイパスフィルタリング(或いは一次または二次微分)することにより抽出された高周波成分(エッジ成分)のうち、所定閾値以上のものとする。
【0022】
さらに、本実施例に係る高輝度/エッジ検出部203では、上記エッジに関しては、例えば微分回路等を利用して立ち上がりエッジと立ち下りエッジとをそれぞれ検出することにより、下記4種類の文字の特徴量に関する信号を出力するものとする。
現フレーム信号の高輝度且つ立ち上がりエッジ
現フレーム信号の高輝度且つ立ち下がりエッジ
1フレーム前信号の高輝度且つ立ち上がりエッジ
1フレーム前信号の高輝度且つ立ち下がりエッジ
つまり、本実施例においては、現フレーム信号の高輝度且つ立ち上がりエッジを基点とし、所定値以上でほぼ一定レベルの高輝度の信号が現フレーム信号の高輝度且つ立ち下がりエッジまで継続する期間を現フレームの文字テロップの領域とする。また、1フレーム前信号の高輝度且つ立ち上がりエッジを基点とし、所定値以上でほぼ一定レベルの高輝度の信号が1フレーム前信号の高輝度且つ立ち下がりエッジまで継続する期間を1フレーム前の文字テロップの領域とする。このようにして、各フレームにおいて文字テロップが存在する領域が特定される。このような文字領域を特定するため上記4つの信号(つまり各フレームの高輝度且つ立ち上がり/立下りエッジ)を、以下では「文字領域データ」と呼ぶこととする。
【0023】
一方、動き検出部204では、上記高輝度/エッジ検出部203で検出された文字領域データを用いて文字テロップのスクロール速度(つまり動き量)を検出して文字テロップのための動き量ヒストグラムを作成する。そして、この文字テロップ動き量のヒストグラム情報から、文字テロップの出現パタンを識別して文字テロップ識別信号208を出力するとともに、文字テロップの動き量107と108を検出して出力する。本実施例においては、動き検出部204では、図3に示したように、例えば映像中の主要な動きを持つ2種類の文字テロップ動き量107(3ppf)と108(15ppf)を出力するものとする。文字テロップ動き量のヒストグラムから文字テロップ識別信号208及び動き量107、108を生成するための構成の詳細については後述する。さらに、動き検出部204は、誤検出の防止のために、ラインマスクイネーブル信号209を出力する。
【0024】
補間イネーブル生成部205では、動き検出部204から検出された動き量107、108とラインマスクイネーブル信号209とを用いて文字テロップ部分の補間用イネーブル信号210を作成する。ここでは、補間用イネーブル信号210は図3で示された文字テロップ301、302に対応した2種類の信号を含むものとする。セレクタ部206では、文字パタン認識信号208に応じて、2つの補間用イネーブル信号210のいずれかを選択して選択補間用イネーブル信号109または110を出力する。
【0025】
図4は、図2における動き検出部204の一具体例を示したものである。図4のデータシフト処理部401には、図2における高輝度/エッジ検出部203から出力された4つの信号、すなわち文字領域データが入力される。データシフト処理部401では、現フレームまたは1フレーム前の文字領域データを1ドット(ピクセル)ずつシフトする。本実施例においては、このシフト量を0〜30とすることで、動き量30ppfまで検出可能とする。
【0026】
そしてデータシフト処理部401とマッチング処理部402により、上記文字領域データをシフトしつつ、当該文字領域データから文字テロップの動き量を検出する。例えば、データシフト処理部401で現フレームにおける文字領域データを基準として1ピクセルずつ水平方向にシフト(ずらし)ながら、マッチング処理部402で1フレーム前の文字領域データと比較する。ここで、マッチング処理部402は、現フレームにおける文字領域データのある画素と、1フレーム前の文字領域データのうち、上記ある画素と空間的に同一位置に存在する画素とを比較する。尚、この実施例では、静止した文字も検出可能とするため、シフト量は0から開始するものとする。その比較の結果得られた差分値が所定値以下の場合、両者が「マッチング」したものとし、その「マッチング」した画素の数をここでは「マッチング量」とする。
【0027】
よって、実際の映像において文字テロップが1フレーム前から現フレームにかけて10ドット動いた場合は、現フレームにおける文字領域データを10ピクセルシフトしたときに、1フレーム前の文字領域データとのマッチング量が最大となる。つまり、このマッチング量を検出することで、文字テロップの動き量を特定することができる。このマッチング量を求める処理は、本実施例ではシフト量が30画素となるまで行うものとする。上記の例では、現フレームにおける文字領域データを1ピクセルずつシフトして前フレームの文字領域データと比較したが、逆に、前フレームにおける文字領域データを1ピクセルずつシフトして現フレームの文字領域データと比較してもよい。尚、エッジ部分の検出方法としては、例えば本出願人により既に出願された特開2007-316293号公報に記載されたものが知られており、その詳細については、当該文献を参照することにより明らかになるので、説明を省略する。
【0028】
ラインヒストグラム検出部400では、0〜30の各シフト量(つまり動き量)毎に、前記マッチング処理部402により演算されたマッチング量をフレーム単位でカウントする。例えば、動き量10(文字領域データのシフト量10)でのマッチング演算において、各ラインのマッチング量が図5(a)に示すような値であり、所定閾値の値を300とした場合、動き量10が存在するラインは同図(b)のようになり、カウント数は、5となる。つまり、動き量10(ppf)で動いている物体が存在するラインがそのフレーム中に5ライン存在する、という情報を得る。これにより、図7において後述するような、縦軸をライン数、横軸を動き量としたラインヒストグラムを得ることができる。このラインヒストグラムによって、ある1フレームにおける文字テロップが存在するラインの数や、後述するように文字テロップの出現パタンを特定することができる。尚、図5では文字テロップが存在しない領域でもマッチング量が検出されているが、これは文字以外の映像に対しても文字の特徴量(高輝度かつ高エッジ部分)を検出する場合があるためである。しかしながら、マッチング量と比較される所定閾値を適切にする(本実施例では300)とすることにより、文字以外の映像に対して検出された文字の特徴量の影響を排除もしくは軽減することができる。尚、上記所定閾値は、1ラインの水平方向画素数の20〜60%程度とすることができる。
【0029】
一方、画素ヒストグラム検出部404では、0〜30の各シフト量(つまり動き量)毎に、前記マッチング処理部402により演算されたマッチング量をライン単位でカウントすることで画素ヒストグラムを得る。例えば、図6(a)において、動き量10(ppf)で動く物体を含む所定ライン6001におけるヒストグラム分布は、同図(b)のようになる。つまり、図6(b)は、ある1つのライン601においては、動き量10(ppf)で動く文字を最も多く含んでいることを示している。
【0030】
ここで、図6(b)において動き0の部分においてもカウント値があるのは、図6(a)において、動き文字のない部分は、動き0としてマッチングされる可能性が高いからである。また、背景が一般の映像であるような場合においては、もっと複雑なヒストグラム形状になることが予想されるが、本実施例では、高輝度且つ高エッジという文字の特徴量を検出することにより動き検出の条件を文字テロップにフォーカスさせているため、高い検出精度を保つことが可能である。また、より支配的な動き量のみ取り出すために、ヒストグラム情報の平滑化処理を行ってもよい。
【0031】
パタン判定部405では、前記ラインヒストグラム403検出部で得られたラインヒストグラム、及び画素ヒストグラム検出部404で得られた画素ヒストグラムを用いて、入力映像中の文字テロップ表示状態、すなわち文字テロップのパタンを識別する。その文字テロップのパタンの一例を図7に示す。
【0032】
図7のNo.0は、映像中に文字テロップが存在しない場合を示しており、その場合は、上記文字領域データが検出されないので、文字の動き量に関するラインヒストグラム及び画素ヒストグラムにおいて、各動き量の度数は0となる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムの度数が全動き量に渡って0の場合は、映像中に文字テロップが存在しないと判定することができる。
【0033】
No.1の上の例は、ある映像のLine1に静止する文字が存在する場合である。この場合は、上述したマッチング処理により、文字領域データのシフト量0でマッチング量が最大となるので、図示されるように、ラインヒストグラムにおいて動き量0の度数が最大となる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が0の度数が最大の場合は、ある映像に静止する文字が存在すると識別することができる。
【0034】
No.1の下の例は、ある映像のLine1に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量10でマッチング量が最大となるので、図示されるように、ラインヒストグラムにおいて動き量10の度数が最も大きくなる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が10の度数が最大の場合は、ある映像に動き量10の文字が存在していると識別することができる。
【0035】
No.2の上の例は、ある映像のLine1に静止する文字が、Line2に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量0と10のマッチング量が大きくなるので、図示されるように、ラインヒストグラムにおいて動き量0と10の度数が各々所定値を超えたピークとなる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が0と10の度数がそれぞれ所定値よりも大きい場合は、ある映像に静止する文字と動き量10の文字が存在すると識別することができる。
【0036】
No.2の下の例は、ある映像のLine1に左方向に3ppfで動く文字テロップが、Line2に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量3と15のマッチング量が大きくなるので、図示されるように、ラインヒストグラムにおいて動き量3と15の度数が各々所定値を超えたピークとなる。換言すれば、ラインヒストグラム検出部4003で検出されたラインヒストグラムにおいて、動き量が3と15の度数がそれぞれ所定値よりも大きい場合は、ある映像に動き量3と15の文字が存在すると識別することができる。
【0037】
このように、本実施例では、ラインヒストグラムを検出することによって文字テロップの表示状態、すなわち出現パタンを識別することができる。更にラインヒストグラムにおいて、度数が所定値を越える、もしくは最大の動き量を文字テロップの動き量とすることができる。
【0038】
更に、本実施例では、上述のように画素ヒストグラム検出部404によって1フレームにおける複数ライン毎に、動き量の画素ヒストグラムを検出している。例えば、入力映像信号の有効ライン数が1080本である場合、あるフレームの1番目のラインから1080番目のラインまで、順次ライン毎に動き量の画素ヒストグラムを検出する。これによって、あるフレーム内における文字テロップが存在するラインを特定できる。
【0039】
例えば、図7において、Line1が580番目のライン、Line2が950番目のラインであるものとする。図7のNo.1の上の例では、検出されたLine1の画素ヒストグラムが動き0で最大となっており、対応するラインヒストグラムと一致している。このような場合、580番目のラインに文字テロップが存在すると判定できる。同様に、No.1の下の例では、検出されたLine1の画素ヒストグラムが動き10で最大となっており、対応するラインヒストグラムと一致しているので、580番目のラインに文字テロップが存在すると判定できる。
【0040】
また、No.2の上の例では、Line1の画素ヒストグラムが動き0と10でピークとなっており、対応するラインヒストグラムと一致しているため、580番目のラインに動きが0の静止文字テロップが存在し、Line2に動きが10の文字テロップが存在することを判定できる。同様にNo.2の下の例では、Line1の画素ヒストグラムが動き3と15でピークとなっており、対応するラインヒストグラムと一致しているため、580番目のラインに動きが3の文字テロップが存在し、Line2に動きが15の文字テロップが存在することを判定できる。
【0041】
本実施例において文字テロップの例としている図3のパタンは、2つのピークが存在するラインヒストグラムのプロファイルから図7におけるパタン2となる。つまりパタン判定部405は、図7に示されるように、No.2の下方のラインヒストグラムにおいて動き量3及び15の2箇所においてその度数が所定値を超える(すなわち2つのピークが存在する)ので、現在の入力映像が2種類の動きテロップ情報があることを示す文字パタン認識信号(ここでは例えばパタン2の”2”という値)208を生成し、図2のセレクタ206及び補間イネーブル生成部205へ出力する。更に、No.2の下方のラインヒストグラムでは、動き量3及び15において度数が所定値を超えているため、前記2種類の文字テロップに夫々対応する動き量107及び108を生成し、図1の補間フレーム生成部113、図2の補間イネーブル生成部205及びラインマスク生成部409へ出力する。この例の場合、動き量3ppfと動き量15ppfという値を2種類の動き量406として出力する。
【0042】
また、画素ヒストグラム検出部404で得られた画素ヒストグラムにおいて、出現度数が最大となる動き量を検出することによりライン単位での最大動き量408を出力する。このとき、各ライン中の最大値が出力されるタイミングは1ライン分遅れるため、図1に示すように、映像部動き検出部106、補間フレーム生成部107に入力するデータに対して、文字テロップ検出部106へ1ライン前の信号104を入力している。図3の映像が入力された場合、ライン1では動き量3、ライン2では動き量15という値が各ラインに出力される。
【0043】
ラインマスク生成部409では、前記フレーム単位での支配的な2種類の動き量107及び108と、ライン毎に検出した支配的な動き量408から、マスクをかけるべきラインを判定してそのラインに対するラインマスクイネーブル信号209を出力する。図3の例の場合、ライン1(例えば580本目のラインで動き量3)に対して、動き量15のイネーブルが生成されないようにマスクをかけ、当該ライン1では動き量3のイネーブルのみ生成されるようにする。具体的には、フレーム単位での支配的な2種類の動き量107、108とライン単位での支配的な動き量408とをそれぞれ比較し、値が同じ(若しくは異なっていても所定範囲内)でラインについては0、異なるラインについては1をラインマスクイネーブル信号209として、図2の補間イネーブル生成部205へ出力する。
【0044】
同様に、ライン2(例えば950本目のラインで動き量15)に対して、動き量3のイネーブルが生成されないようにマスクをかけ、当該ライン2では動き量15のイネーブルのみ生成されるようにする。どの動き量がどのラインに対応するか、及びマスクをかけるべきラインは、上述したようにラインヒストグラムとライン毎の画素ヒストグラムとの対応関係により特定することができる。
【0045】
図8は、図2における補間イネーブル生成部205の一具体例を示したものである。図8において、第1イネーブル生成部806は、高輝度/エッジ検出部203から出力された上述の文字領域データとパタン判定部405からの動き量107が入力される。そして、1フレーム前信号の文字領域データに対して、現フレーム信号の文字領域データを動き量107分だけ水平方向にシフト(遅延)させ、このシフトさせたものと1フレーム前信号の文字領域データの論理積を演算する。これにより、動き量107で動いている文字領域データ(例えば図3の文字301)を識別、特定する。第2イネーブル生成部8007は、高輝度/エッジ検出部203から出力された文字領域データとパタン判定部405からの動き量108が入力される。これも同様にして、現フレーム信号の文字領域データを動き量108分だけ水平方向にシフト(遅延)させ、このシフトさせたものと1フレーム前信号の文字領域データの論理積をとることにより、動き量108で動いている文字領域データ(例えば図3の文字302)を識別、特定する。尚、前記において現フレームの代わりに1フレーム前信号の方をシフトさせてもよい。
【0046】
補間イネーブル判定部808では、図2のパタン判定部405からの文字パタン認識信号208と、図2のラインマスク生成部409からのラインマスクイネーブル信号209から、前記動き量107及び108で動く文字領域データの各々に対して、イネーブルの有効/無効を判定する。例えば今、入力映像が、図3のようにフレーム内に2種類の動きを有する文字テロップが存在する場合(つまりパタン2)を例にして補間イネーブル判定部808の動作を説明する。この場合、補間イネーブル判定部808は、パタン判定部405からの文字パタン認識信号208が「パタン2」であるので、文字テロップが存在する2つの領域について、ラインマスクイネーブル信号209を用いてイネーブルの有効/無効を判定する。第1イネーブル生成部806で識別され出力された文字領域データ(例えば図3の文字301)に対しては、ラインマスクイネーブル信号209が0の場合の時のみ有効とし、1の場合は無効で0クリアされる。第2イネーブル生成部807で識別され出力された文字領域データも同様に、ラインマスクイネーブル信号209が0の場合の時のみ有効とし、1の場合は無効で0クリアされる。本マスク処理により、そのラインにおいて最も支配的な動き方向にのみイネーブルを生成することができ、誤検出による弊害を防止することが可能となる。
【0047】
補間イネーブル伸張/トレース部809では、文字領域データのみに掛けられているイネーブルを、文字を含む領域全体に拡げる処理を行う。これにより、図3のように動きが異なる2つの文字テロップが存在する場合は、それぞれの文字領域を含む領域に対応する補間用イネーブル信号210を生成する。この拡張処理は、例えば特開2007-316293号公報に記載された手法を参照されたい。この拡張処理は、省略することもできる。
【0048】
図3の映像が入力された場合、上記拡張処理により、動き量107(3ppf)に対する補間イネーブルが図9(a)、動き量108(15ppf)に対する補間イネーブルが同図(b)として出力されるようになる。尚、図9において、白くされた楕円形の部分が、イネーブルが掛けられたエリアである。
【0049】
最終的に図2のセレクタ部206にて、文字パタン認識信号208に応じてイネーブル信号の出力切替を行い、動き検出部204からの2種類の動き量107、108と共に、前記各動き量に対応した補間イネーブル信号109、110を出力する。ここで、文字パタン認識信号208がパタン1の場合は、補間イネーブル信号は1つのみ出力され、パタン2の場合は各文字領域に対応して2つ出力される。またパタン1の場合は、動き量は107の1つのみ、パタン2の場合は、動き量は107と108の2つが出力される。また前記セレクタ部206においては、例えば図7において、文字が存在しないパタン0の場合は、補間イネーブル信号210は2つとも0、パタン1のように、1種類の文字しか存在しない場合は、補間イネーブル信号210のうち一方のイネーブル信号は0とするような動作を行う。
【0050】
文字テロップ検出部105によって検出された2種類の文字の動き量107、108と、前記各動き量を持つ文字が存在するエリアを示す補間イネーブル信号109、110を補間フレーム生成部107へ出力することにより、補間フレーム生成部107では、入力映像のうち補間イネーブル信号109/110で示された領域、すなわち文字テロップの領域をマスクする。これにより補間フレーム生成部107は、マスクされた領域(すなわち補間イネーブル信号109、110で示された文字テロップ領域)については動き量107、108を用いて上述した補間処理を行う。一方、文字テロップ領域以外の背景映像については、映像動き検出部101からの動きベクトルを用いて補間処理が行われる。従って、本実施例によれば、文字テロップとそれ以外の映像領域とを個別に(独立して)補間処理を行うことができ、背景映像部の動きの影響による文字エリアの破綻、もしくはその逆の現象を防ぐことが可能となる。
【0051】
以上のように、本実施例では、文字の特徴量を検出し、更に動き量毎の度数を示す上記ラインヒストグラムと画素ヒストグラムを作成しているので、映像中に存在する複数の動き文字テロップを検出することが可能となる。且つ各文字テロップの動き量それぞれに対応するイネーブルを生成することができるため、精度良く各動きテロップを識別処理することが可能となる。
【0052】
尚、本実施例においては映像中に2種類の動きテロップが存在する場合について述べたが、図2における動き検出部204、及び補間イネーブル生成部205の処理系を複数持たせることによって、2種類以上の文字テロップにも対応可能である。
【0053】
また、本実施例においては、映像信号の入出力段にマトリクス変換部を置き、文字テロップの動き量の検出系は全て輝度信号Yのみを用いる構成としているが、これに限定されるものではない。例えばRGB信号をそのまま用いて動き量を検出してもよいし、もしくはRGB信号と輝度信号Yを組み合わせたデータを利用して検出する構成としてもよい。このような構成とすることで、例えば白以外の色付きテロップの動き量の検出精度が向上される。また、白以外の色付きテロップの動き量の検出精度をさらに高めるために、例えば、RGB信号をHSV信号に変換するためのRGB/HSV変換器(図示せず)を別に設け、これにより入力されたRGB信号から色相(Hue:H値)、及び彩度(Saturation:S値)情報を生成し、これを文字テロップ検出部106に入力して文字テロップの動き量を検出するようにしてもよい。このように色情報を加味することにより、文字テロップの検出精度の向上を図ることが可能となる。
【実施例2】
【0054】
次に、本発明に第2実施例について図10〜14を参照しつつ説明する。この第2実施例は、入力映像中の文字テロップ表示状態が、例えば図11に示されるような同一ライン上に複数の動きテロップが存在するパタン3のケースの場合でも文字テロップの領域と動きを識別可能にしたことを特徴としている。第1の実施例の構成では、ライン単位で動き検出やイネーブル制御をしているため、パタン3の場合は同一ラインに含まれる2つの動きのうちどちらか一方の動きにしか対応できない。これに対し、本実施例では、画素単位で動き検出やイネーブル制御をすることにより、同一ラインに複数の動き量の文字テロップが存在する場合においても、それらを分離し、処理することが可能としている。
【0055】
この第2実施例は、第1実施例と比較して、(1)第1実施例では、文字テロップの動きを検出するために、現フレーム及び前フレームデータの1ライン前の信号を用いたが、第2実施例では、これに加え、更に、現フレーム及び前フレームデータの5ライン前の信号も用いている点、(2)文字領域データである高輝度かつ高エッジのデータは、上記5ライン前の信号に基づいて生成している点、及び(3)図2及び図8に示された補間イネーブル生成部の構成が異なっている点、が異なっている。この第2実施例に係る補間イネーブル生成部の一具体例は図10に示される。
【0056】
図10において、図8に示した補間イネーブル生成部の一例と同一の構成要素に関しては、同一の符号を付してその説明を省略する。図10の具体例は、図8に示した構成において、第1イネーブル生成部806及び第2イネーブル生成部807と補間イネーブル判定部808との間にエリア判定部120を加えたものであり、エリア判定部120の一具体例は図12に示されている。
【0057】
図12に示された回路は、ある対象画素の位置を中心にした所定エリアにおいて、同一ラインに含まれる複数の動き量(ここでは、動き量1、動き量2とする)で動く文字テロップのそれぞれについて、そのエッジをカウントすることにより、その画素の本来の動きを決定するものである。図12において、図10の第1イネーブル生成部806から出力された動き量1でのイネーブル信号121は、ラインメモリ122に入力されて10ライン分遅延され、続いて10clk遅延処理及びHSTカウント部123によって10クロック、すなわち10ピクセル分遅延される。一方、図10の第2イネーブル生成部807から出力された動き量2でのイネーブル信号124は、ラインメモリ125に入力されて10ライン分遅延され、続いて10clk遅延処理及びHSTカウント部126によって10クロック、すなわち10ピクセル分遅延される。ここで、本実施例においては上記のように5ライン前のデータを入力しているため、上述の10ライン遅延及び10clk遅延処理を行うことによって、例えば図13に示すような対象画素135を中心としてV:±5×H:±5のエリアを参照することが可能となる。
【0058】
10clk遅延処理及びHSTカウント部123及び126では、同一ラインに含まれる動き量1、動き量2に対してそれぞれエッジの個数をカウントし、それぞれ、各動き量に対応したカウント数127及び128を出力する。ここで、エッジのカウントは、図13のエリアにおける各画素のうち、所定値よりも高いエッジを有する画素の個数をカウントするものとする。よって、本実施例においては、カウント数の最大値は121(11×11)である。今、動き量1のエッジのカウント数127をN_MV1、動き量2のエッジのカウント数128をN_MV2、所定閾値をN_THとし、また動き量1のエリアマスク信号132をAM1_mk、動き量2のエリアマスク信号133をAM2_mkとした場合、エリアマスク生成部129では、以下のような処理を行う。
N_MV1≧N_MV2、且つ N_MV1≧N_THの場合、AM1_mk=0、AM2_mk=1
N_MV2≧N_MV1、且つ N_MV2≧N_THの場合、AM1_mk=1、AM2_mk=0
上記以外の場合、AM1_mk=1、AM2_mk=1
このようにして、エリアマスク生成部129は、動き量1のエリアマスク信号132を動き量2のエリアマスク信号133を生成して図2のセレクタへ出力する。
【0059】
上記処理について、図11に示したパタン3を拡大した図14を参照して説明する。図14(a)において、「ABC」を含む文字列141は静止(これを動き量1とする)、「あいうえおかきく」を含む文字列142は画面右から左へ15ppf(これを動き量2とする)で動いているものとする。図中の四角いエリア143は、図13に示されたV:±5×H:±5画素のエリアを示している。対象画素144、対象画素145に対するエリアヒストグラムをそれぞれ図14(b)、(c)に示す。上記の演算により、対象画素144では動き量2のイネーブルがマスクされ(AM2_mk=1)、対象画素145では動き量1のイネーブルがマスクされる(AM1_mk=1)。
【0060】
この結果、パタン3の場合、補間イネーブル判定部808からは、EN伸張、トレース処理部809を通して、動き量1(0ppf)の文字列141を含む領域に対応するイネーブル146と、動き量2(15ppf)の文字列142を含む対応するイネーブル147を出力する。
【0061】
以上のように、本実施例では、同一ライン上に複数の動き文字が存在する場合においても、画素単位でイネーブル制御を行うことにより、これら複数の文字を背景映像から分離し、また個別に補間処理することが可能となる。
【0062】
また、図10の補間イネーブル判定部808では、文字パタンが3のときは、エリアマスク信号のみ利用し、パタン1、2の場合にはエリアマスク信号とラインマスク信号の論理和をとることで、パタン1、2に関しても実施例1同等の効果を得ることが可能である。
【0063】
また、本実施例においては、エリアヒストグラムを、対象画素を中心としてV:±5×H:±5画素としているが、これに限定されるものではない。例えば、エリアを11×11以上としてもよく、またエリアの形状を可変(正方形ではなく長方形等)等することにより、より検出精度が向上する。さらに、入力画像の画素数(SD or FullHD等)により、エリアサイズを適応制御する構成としても良い。
【0064】
また、上記第1、2実施例においては、文字テロップの水平方向の動きのみで説明を行ってきたが、例えば所定数ラインメモリを装備させ、所定ライン分のデータを文字テロップ検出部へ入力させることで縦方向への動きの対応も可能である。さらには、1つのフレームを例えば複数の所定エリアブロック単位に分割し、その所定エリア単位で上述した動き量の検出や文字領域の特定処理をする構成とすれば、縦、横、斜め方向の動きへの対応も可能となる。
【実施例3】
【0065】
図15は、本発明の第3実施例における映像処理装置に適用されるフレームレート変換装置の構成の一例を示している。
【0066】
本実施例は、動き周期が異なる物体が混在する映像に対してフレームレート変換処理を良好にするものであり、例えば、24(25)コマで構成されるテレシネ信号に60(50)コマで構成される文字情報が表示される場合において、動き補正フレームレート変換機能をオフようにしている。これにより、フレームレート変換処理に伴う文字情報のガタツキを防ぐことができる。尚、図15において、図1に示した回路と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【0067】
テレシネ検出部152は、入力映像信号151がテレシネ信号(映画ソース)であるか否かを検出し、テレシネ判別信号を出力する。テレシネ判別の方法は、現フレームデータと、メモリI/F114及び画像メモリ115によって得られた1フレーム前データとの差分情報から、2-3プルダウンの位相を検出するもので、一般的に知られている技術であるため詳細はここでは記載しない。文字テロップ検出部153は、入力映像中の文字テロップの動きを第1実施例で説明したものと同様な方法により検出し、結果を出力する。その構成は、第一、第二の実施例にて説明した構成のものとしても良いし、単純に動き文字テロップの有無を検出するだけの機能を持ったものでも良い。動きベクトル検出部154では、第1実施例で説明したものと同様な方法により現フレームデータと1フレーム前データから映像の動きベクトルを検出する。この動きベクトルの検出は、これ以外にも、ブロックマッチング法、勾配法、位相相関法等を用いてもよい。補間フレーム生成部155は、前記動きベクトル検出部154(場合によっては文字テロップ検出部153からも)からの動きベクトル情報に基づいて、第1実施例で説明したものと同様な方法により補間フレームを生成する。ここで、動きベクトル検出部154、補間フレーム生成部155、メモリインターフェース部156のそれぞれには、テレシネ検出部152からのテレシネ判別信号が入力されており、入力映像が映画(つまり2-3、2-2プルダウン方式のテレシネ信号のフォーマット)かそれ以外かでその動作を切り替えている。
【0068】
TVにおける映画放送においては、例えば映画の宣伝情報等の文字情報を後から映像に重畳させて放送するものが多い。この場合、映像部は2-3プルダウンされた毎秒24コマの映像であるのに対し、文字情報は毎秒60コマの映像である。図15のシステムに、かかる映像入力があった場合、テレシネ検出部152では通常、メインの映像部が24コマであるため、当該映像入力はテレシネ信号のフォーマットである映画と判定する。その場合、前記文字情報の部分も含めて映画として認識し、動き補正フレームレート変換を行ってしまうため、元々60コマで構成されていた文字情報部分は、ガタツキが発生してしまう。この理由について図16を使って説明する。
【0069】
図16において、同一アルファベット(大文字)で現しているフレームは、同一のフレーム情報であることを示し、また小文字のアルファベットは文字情報の内容を示している。24コマの映画をTVで放送する場合は、2-3プルダウンによって毎秒60コマ化されて図16(a)のように送られてくる。一方、宣伝情報等の文字情報データは、元々毎秒60コマであるために、(b)のように送られてくる。補間フレーム生成部195では、テレシネ検出部152によって入力映像がテレシネ信号であると判別され、その判別信号を受けた場合は、その図中矢印で示されたキーフレーム(複数の同一映像内容のフレームのうち、時間的に最先のフレーム)の位置を検出し、そのキーフレーム間での動き検出を行い、補間フレームを生成する。ここで“d”を映像中の文字情報データの動き量とした場合、(a)のキーフレームと同じ矢印位置の文字データのフレームを見ると、等速“d”で動いているはずの文字データが2d、3dの動き量となり、フレーム毎に動き量が異なっていることが分かる。従って、フレーム毎に異なる動きが検出され、その動きに対応した補間フレームが生成されるため、文字情報データ部分はガタツクこととなる。
【0070】
そこで本実施例では、テレシネ検出部152において入力映像がテレシネ信号のフォーマット(すなわち映画)と判定された場合、文字テロップ検出部153により、その映像中に動きテロップがある場合には、動き補正フレームレート変換動作をオフし、現フレームをスルー処理(つまり、そのまま出力)する。つまり、テレシネ信号フォーマットの映画放送中に動きテロップがある場合は、何もせずそのまま表示する。本処理により、映像部の動画質改善は見込めなくなることになるが、文字情報データのガタツキの弊害を改善することができる。
【0071】
以上のように、本実施例では、入力映像が映画の場合で且つ、映像中に動きテロップがある場合には、動き補正フレームレート変換処理をオフすることによって、動きテロップのガタツキ弊害を防止することが可能となる。
【0072】
また、本実施例では、全てハードウエアにて処理を行う構成としているが、これに限るものではなく、必要情報(テレシネ信号、動き文字テロップ有無情報等)を外部マイコンから読出し、マイコン側でソフトウェア処理する構成としても良い。
【実施例4】
【0073】
図17は、本発明の第4の実施形態である文字テロップ検出部の構成の一例を示すブロック図である。図17において、図2に示した第一の実施形態における画像表示装置と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【0074】
本実施の形態が第1の実施例と異なる点は、黒文字等低輝度のテロップを検出できるように、低輝度、エッジ検出手段を設けたところにある。本実施例によれば、輝度の高くない文字テロップに関しても、動画質改善が可能となる。
【0075】
一般放送においては、様々な色、輝度のテロップが重畳される。一般的な文字テロップは背景と比較して高輝度なものが多いが、中には黒文字等輝度の低いテロップも存在するため、高輝度且つエッジが存在する、という条件だけではそれを検出することができない。文字が低輝度でも、背景の輝度が高い場合はエッジを捉えることができるが、厳密に文字部分を捉えているわけではない。
【0076】
そこで、本実施例では、高輝度/エッジ検出部203に加え、もう1系統低輝度テロップ用の低輝度/エッジ検出部171を追加することで、低輝度テロップの検出を行う。高輝度、エッジ検出部203と低輝度/エッジ検出部171は、その構成は同一としても構わない。具体的には、輝度判定において、高輝度、エッジ検出部2003では所定閾値以上という条件で検出を行うのに対し、低輝度、エッジ検出部23001では所定閾値以下という条件で検出を行う。エリア補正部172では、前記高輝度/エッジ検出部203からのエリア出力と、低輝度/エッジ検出部171からのエリア出力の論理和を取り、高輝度、低輝度両方の条件を満たすエリアのエッジ信号が出力される。この後の動作は、第1、2の実施例と同じである。
【0077】
以上のように、本実施例では、高輝度テロップに加え、低輝度のテロップに関しても検出可能となり、動画質改善効果を得ることができる。
【0078】
また、本実施例においては、輝度、エッジ検出系を2系統持たせることで、高輝度、低輝度文字テロップへの対応を図っているが、これに限るものではなく、2系統以上持たせることで、文字テロップの輝度を細かく判別可能にして文字テロップを識別精度を向上させるようにしてもよい。
【図面の簡単な説明】
【0079】
【図1】本発明の第1実施例に係る映像処理装置の一具体例を示す図。
【図2】第1実施例に係る文字テロップ検出部106の一具体例を示す図である。
【図3】2種類の動きを持つ文字テロップの一例を示す図。
【図4】第1実施例に係る動き検出部204の一具体例を示す図。
【図5】第1実施例に係るラインヒストグラムの検出の一例を示す図。
【図6】第1実施例に係る画素ヒストグラムの検出の一例を示す図。
【図7】第1実施例に係る文字表示パタンの例を説明するための図。
【図8】第1実施例に係る補間イネーブル生成部205の一具体例を示す図。
【図9】第1実施例に係るイネーブル出力イメージ図である。
【図10】本発明の第2実施例に係る補間イネーブル生成部205の一具体例を示す図。
【図11】文字表示パタンの別の例を説明するための図。
【図12】第2実施例に係るエリア判定部120の一具体例を示す図。
【図13】第2実施例に係るエリアヒストグラムのカウント領域の一例を示す図。
【図14】第2実施例の動作を説明するための図。
【図15】本発明の第3実施例に係る映像処理装置の一例を示す図。
【図16】テレシネ信号における文字情報の動きを示す図。
【図17】本発明の第3実施例であって、動き検出部204の他の例を示す図。
【符号の説明】
【0080】
101…入力信号、102…RGB/YCbCr変換部、103…ラインメモリ、104…現フレーム1ライン前データ、105…1フレーム前1ライン前データ、106…文字テロップ検出部、107、108…文字テロップの動き量、109、110…文字テロップ有/無信号、111…映像部動き検出部、112…映像部動きベクトル、113…補間フレーム生成部、114…メモリインターフェース部、115…画像メモリ、116…YCbCr/RGB変換部、117…タイミングコントロール部、118…FPDパネル。
【特許請求の範囲】
【請求項1】
入力された映像信号の現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを用いて映像の動きベクトルの情報を検出する動きベクトル検出部と、前記動きベクトル生成部によって生成された動きベクトルを用いて補間処理をして補間フレームを生成する補間フレーム生成部とを有し、前記補間フレーム生成部によって生成された補間フレームを前記入力映像信号のフレーム列とを組み合わせてフレームレート変換を行う映像信号処理装置において、
前記映像信号中における文字テロップに関する特徴量を検出して当該文字テロップの領域及び動き情報を検出する文字テロップ検出部を備え、
前記補間フレーム生成部は、前記文字テロップ検出部で検出された前記文字テロップの領域及び動き情報を用いて、当該文字テロップ領域に対応する前記補間処理を映像部分とは異ならせて行うことを特徴とする映像処理装置。
【請求項2】
請求項1記載の映像処理装置において、前記文字テロップ領域については前記文字テロップ検出部で検出された動き情報を用いて前記補間処理を行い、映像の前記文字テロップ領域以外の領域については前記動きベクトル検出部で検出された動きベクトルを用いて前記補間処理を行うことを特徴とする映像処理装置。
【請求項3】
請求項1記載のフレームレート変換装置において、前記検出された文字テロップ領域に対して前記動き情報に対応したイネーブル信号を出力するイネーブル信号出力部を更に備え、該イネーブル信号が出力された部分について前記文字テロップ検出部で検出された動き情報を用いて前記補間処理を行い、前記イネーブル信号が出力されない部分は前記動きベクトル検出部で検出された動きベクトルを用いて前記補間処理を行うことを特徴とする映像処理装置。
【請求項4】
請求項1記載の映像処理装置において、前記文字テロップ検出部は、前記文字テロップに関する特徴量として前記映像信号の輝度及びエッジを検出するための検出部を含み、前記映像信号のうち前記検出された輝度が所定閾値以上で、かつ検出されたエッジが所定閾値以上の部分を前記文字テロップとして検出することを特徴とする映像処理装置。
【請求項5】
請求項4記載の映像処理装置において、前記検出部を複数系統設け、互いに輝度が異なる少なくとも2種類の文字検出を可能としたことを特徴とする映像処理装置。
【請求項6】
請求項4記載の映像処理装置において、前記検出部は、前記入力映像信号のRGB値、または輝度情報Y及びRGB値を用いて前記文字テロップの特徴量としての輝度及びエッジの検出を行うことを特徴とする映像処理装置。
【請求項7】
請求項4記載の映像処理装置において、更に、前記入力映像信号をHSV色空間へ変換するHSV変換手段を備え、前記入力映像信号中の輝度情報Yと、前記HSV変換手段により得られた色相H値及び彩度S値から前記文字テロップの特徴量としての前記輝度及びエッジの検出を行うことを特徴とする映像処理装置。
【請求項8】
請求項1記載の映像処理装置において、前記検出部を複数系統とすることで、同一映像中の複数の動きを持つ文字テロップを検出し、各文字テロップの動き量により文字を識別処理することを特徴とする映像処理装置。
【請求項9】
請求項1記載の映像処理装置において、前記文字テロップ検出部は、文字テロップの動き情報のヒストグラムを検出する文字ヒストグラム検出部を含み、該文字ヒストグラム検出部で得られた前記ヒストグラムにおいて最も出現度数が大きい動き量を当該文字テロップの動き情報とすることを特徴とする映像処理装置。
【請求項10】
請求項7記載の映像処理装置において、前記文字ヒストグラム検出部は、1フレームにおける文字テロップの動きに対応したライン数の度数を示す第1のヒストグラムと、ライン単位における文字の動き情報のヒストグラムを示す第2ヒストグラムとを検出し、該第1ヒストグラムと第2ヒストグラムで前記文字テロップが存在する領域としてのラインと動き量を検出することを特徴とする映像処理装置。
【請求項11】
入力された映像信号の現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを用いて映像の動きベクトルの情報を検出する動きベクトル検出部と、前記動きベクトル生成部によって生成された動きベクトルを用いて補間処理をして補間フレームを生成する補間フレーム生成部とを有し、前記補間フレーム生成部によって生成された補間フレームを前記入力映像信号のフレーム列とを組み合わせてフレームレート変換を行う映像信号処理装置において、
1フレームにおける文字テロップの動きに対応したライン数の度数を示す第1のヒストグラムと、ライン単位における文字の動き情報のヒストグラムを示す第2ヒストグラムとを作成し、該第1ヒストグラムと第2ヒストグラムで前記文字テロップが存在するラインと動き量を検出する文字テロップ検出部を備え、
前記補間フレーム生成部は、前記文字テロップ検出部で検出された前記文字テロップの領域及び動き情報を用いて、当該文字テロップ領域に対応する前記補間処理を映像部分とは異ならせて行うことを特徴とする映像処理装置。
【請求項12】
請求項11記載の映像処理装置において、前記文字テロップ検出部は、前記映像信号中における文字テロップに関する特徴量として前記映像信号の輝度及びエッジを検出するための検出部を含み、前記映像信号のうち前記検出された輝度が所定閾値以上で、かつ検出されたエッジが所定閾値以上の部分を前記文字テロップとして検出することを特徴とする映像処理装置。
【請求項13】
請求項1乃至12記載のいずれかに記載の映像信号処理装置を装備したことを特徴とする、映像表示装置。
【請求項14】
入力された映像信号の現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを用いて映像の動きベクトルの情報を検出する動きベクトル検出部と、前記動きベクトル生成部によって生成された動きベクトルを用いて補間処理をして補間フレームを生成する補間フレーム生成部とを有し、前記補間フレーム生成部によって生成された補間フレームを前記入力映像信号のフレーム列とを組み合わせてフレームレート変換を行い、該フレームレート変換された信号を表示するようにした映像表示装置において、
前記入力映像信号が、第1の動き周期を持つ映像と、該第1の動き周期異なる第2の動き周期を持つ文字情報とを含む所定フォーマット信号かを判定するための判定部を備え、
前記判定部により前記映像信号が前記所定フォーマット信号と判定した場合に、前記フレームレート変換を文字情報に合わせて処理することを特徴とする映像表示装置。
【請求項15】
請求項14に記載の映像表示装置において、前記所定フォーマット信号は、毎秒24(25)フレーム/フィールドで構成される映像と、毎秒60(50)フレーム/フィールドで構成される文字情報とを含むテレシネ信号であることを特徴とする映像信号表示装置。
【請求項1】
入力された映像信号の現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを用いて映像の動きベクトルの情報を検出する動きベクトル検出部と、前記動きベクトル生成部によって生成された動きベクトルを用いて補間処理をして補間フレームを生成する補間フレーム生成部とを有し、前記補間フレーム生成部によって生成された補間フレームを前記入力映像信号のフレーム列とを組み合わせてフレームレート変換を行う映像信号処理装置において、
前記映像信号中における文字テロップに関する特徴量を検出して当該文字テロップの領域及び動き情報を検出する文字テロップ検出部を備え、
前記補間フレーム生成部は、前記文字テロップ検出部で検出された前記文字テロップの領域及び動き情報を用いて、当該文字テロップ領域に対応する前記補間処理を映像部分とは異ならせて行うことを特徴とする映像処理装置。
【請求項2】
請求項1記載の映像処理装置において、前記文字テロップ領域については前記文字テロップ検出部で検出された動き情報を用いて前記補間処理を行い、映像の前記文字テロップ領域以外の領域については前記動きベクトル検出部で検出された動きベクトルを用いて前記補間処理を行うことを特徴とする映像処理装置。
【請求項3】
請求項1記載のフレームレート変換装置において、前記検出された文字テロップ領域に対して前記動き情報に対応したイネーブル信号を出力するイネーブル信号出力部を更に備え、該イネーブル信号が出力された部分について前記文字テロップ検出部で検出された動き情報を用いて前記補間処理を行い、前記イネーブル信号が出力されない部分は前記動きベクトル検出部で検出された動きベクトルを用いて前記補間処理を行うことを特徴とする映像処理装置。
【請求項4】
請求項1記載の映像処理装置において、前記文字テロップ検出部は、前記文字テロップに関する特徴量として前記映像信号の輝度及びエッジを検出するための検出部を含み、前記映像信号のうち前記検出された輝度が所定閾値以上で、かつ検出されたエッジが所定閾値以上の部分を前記文字テロップとして検出することを特徴とする映像処理装置。
【請求項5】
請求項4記載の映像処理装置において、前記検出部を複数系統設け、互いに輝度が異なる少なくとも2種類の文字検出を可能としたことを特徴とする映像処理装置。
【請求項6】
請求項4記載の映像処理装置において、前記検出部は、前記入力映像信号のRGB値、または輝度情報Y及びRGB値を用いて前記文字テロップの特徴量としての輝度及びエッジの検出を行うことを特徴とする映像処理装置。
【請求項7】
請求項4記載の映像処理装置において、更に、前記入力映像信号をHSV色空間へ変換するHSV変換手段を備え、前記入力映像信号中の輝度情報Yと、前記HSV変換手段により得られた色相H値及び彩度S値から前記文字テロップの特徴量としての前記輝度及びエッジの検出を行うことを特徴とする映像処理装置。
【請求項8】
請求項1記載の映像処理装置において、前記検出部を複数系統とすることで、同一映像中の複数の動きを持つ文字テロップを検出し、各文字テロップの動き量により文字を識別処理することを特徴とする映像処理装置。
【請求項9】
請求項1記載の映像処理装置において、前記文字テロップ検出部は、文字テロップの動き情報のヒストグラムを検出する文字ヒストグラム検出部を含み、該文字ヒストグラム検出部で得られた前記ヒストグラムにおいて最も出現度数が大きい動き量を当該文字テロップの動き情報とすることを特徴とする映像処理装置。
【請求項10】
請求項7記載の映像処理装置において、前記文字ヒストグラム検出部は、1フレームにおける文字テロップの動きに対応したライン数の度数を示す第1のヒストグラムと、ライン単位における文字の動き情報のヒストグラムを示す第2ヒストグラムとを検出し、該第1ヒストグラムと第2ヒストグラムで前記文字テロップが存在する領域としてのラインと動き量を検出することを特徴とする映像処理装置。
【請求項11】
入力された映像信号の現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを用いて映像の動きベクトルの情報を検出する動きベクトル検出部と、前記動きベクトル生成部によって生成された動きベクトルを用いて補間処理をして補間フレームを生成する補間フレーム生成部とを有し、前記補間フレーム生成部によって生成された補間フレームを前記入力映像信号のフレーム列とを組み合わせてフレームレート変換を行う映像信号処理装置において、
1フレームにおける文字テロップの動きに対応したライン数の度数を示す第1のヒストグラムと、ライン単位における文字の動き情報のヒストグラムを示す第2ヒストグラムとを作成し、該第1ヒストグラムと第2ヒストグラムで前記文字テロップが存在するラインと動き量を検出する文字テロップ検出部を備え、
前記補間フレーム生成部は、前記文字テロップ検出部で検出された前記文字テロップの領域及び動き情報を用いて、当該文字テロップ領域に対応する前記補間処理を映像部分とは異ならせて行うことを特徴とする映像処理装置。
【請求項12】
請求項11記載の映像処理装置において、前記文字テロップ検出部は、前記映像信号中における文字テロップに関する特徴量として前記映像信号の輝度及びエッジを検出するための検出部を含み、前記映像信号のうち前記検出された輝度が所定閾値以上で、かつ検出されたエッジが所定閾値以上の部分を前記文字テロップとして検出することを特徴とする映像処理装置。
【請求項13】
請求項1乃至12記載のいずれかに記載の映像信号処理装置を装備したことを特徴とする、映像表示装置。
【請求項14】
入力された映像信号の現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを用いて映像の動きベクトルの情報を検出する動きベクトル検出部と、前記動きベクトル生成部によって生成された動きベクトルを用いて補間処理をして補間フレームを生成する補間フレーム生成部とを有し、前記補間フレーム生成部によって生成された補間フレームを前記入力映像信号のフレーム列とを組み合わせてフレームレート変換を行い、該フレームレート変換された信号を表示するようにした映像表示装置において、
前記入力映像信号が、第1の動き周期を持つ映像と、該第1の動き周期異なる第2の動き周期を持つ文字情報とを含む所定フォーマット信号かを判定するための判定部を備え、
前記判定部により前記映像信号が前記所定フォーマット信号と判定した場合に、前記フレームレート変換を文字情報に合わせて処理することを特徴とする映像表示装置。
【請求項15】
請求項14に記載の映像表示装置において、前記所定フォーマット信号は、毎秒24(25)フレーム/フィールドで構成される映像と、毎秒60(50)フレーム/フィールドで構成される文字情報とを含むテレシネ信号であることを特徴とする映像信号表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2009−296284(P2009−296284A)
【公開日】平成21年12月17日(2009.12.17)
【国際特許分類】
【出願番号】特願2008−147558(P2008−147558)
【出願日】平成20年6月5日(2008.6.5)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
【公開日】平成21年12月17日(2009.12.17)
【国際特許分類】
【出願日】平成20年6月5日(2008.6.5)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
[ Back to top ]