画像出力装置及び画像出力方法
【課題】原画像以外の内挿画像を生成して出力する回路を備えた画像出力装置において、静止字幕部分の乱れによる画質劣化を最少限に抑え、高画質化を行う回路を実現でき、かつ特別なバッファメモリを追加することなく回路を実装することを可能とする。
【解決手段】静止字幕検出回路３にて検出された静止字幕領域に対して、内挿画像生成回路６において原画像をもとに求めた内挿ベクトルから内挿画像を生成する際に、静止字幕領域と判定された画素に対する内挿ベクトルの値を０として扱う。これにより静止字幕が周辺の動画像部分に侵食されて静止字幕が削られてしまうのを防ぐ。また、静止字幕領域外における画素で内挿画像生成時に、内挿ベクトルが指示する画素が静止字幕領域であった場合に、その内挿ベクトルの値を０として内挿画像生成を行う。これにより、静止字幕領域内の画素が静止字幕領域外に飛び出してしまうのを防ぐ。
【解決手段】静止字幕検出回路３にて検出された静止字幕領域に対して、内挿画像生成回路６において原画像をもとに求めた内挿ベクトルから内挿画像を生成する際に、静止字幕領域と判定された画素に対する内挿ベクトルの値を０として扱う。これにより静止字幕が周辺の動画像部分に侵食されて静止字幕が削られてしまうのを防ぐ。また、静止字幕領域外における画素で内挿画像生成時に、内挿ベクトルが指示する画素が静止字幕領域であった場合に、その内挿ベクトルの値を０として内挿画像生成を行う。これにより、静止字幕領域内の画素が静止字幕領域外に飛び出してしまうのを防ぐ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像出力装置及び画像出力方法に関し、液晶テレビなどの映像表示装置に画像を表示する技術に属する。
【背景技術】
【０００２】
従来、テレビ放送は１秒間に６０フレームの画像を送信し、テレビ受像機側でこれを受信し、１秒間に６０フレームの画像を出力することで動画を表現している。液晶テレビなどのホールド型ディスプレイでは、非特許文献１にあるように、人間の視覚特性上、エッジぼやけなどの画質劣化を生むひとつの原因となっていた。
【０００３】
この画質劣化を低減する技術のひとつとして、１秒間に表示する画像枚数を２倍(秒間１２０フレーム)に増加した倍速表示技術がある。
これは、受信した秒間６０フレームの原画像に対して、原画像と原画像の間に、原画像を元に生成した補間画像（以後「内挿画像」という）を生成し、１フレームおきに原画像と内挿画像を交互に表示させる方法である。
【０００４】
内挿画像を生成する方法については種々の方法があるが、その一例として、ある時刻の原画像（フレームＮ）と、その１／６０秒後の原画像（フレームＮ＋１）の２つの原画像間の動きベクトルを求め、その動きベクトルを元に原画像（フレームＮ）の１／１２０秒後の内挿画像を生成する方法がある。
【０００５】
図４にこの内挿画像を生成し、原画像と内挿画像を交互に表示するための表示回路の構成例を示す。本構成例では、なんらかの形式で入力された原画像の入力データを、画像入力部１でＲＧＢフォーマットとした画像を用いる。
この表示回路は、ＲＧＢフォーマットの画像を蓄積するためのＲＧＢバッファメモリ９と、同じＲＧＢフォーマットの画像を輝度（Ｙ）信号に変換するＲＧＢ−Ｙ変換回路２と、ＲＧＢ―Ｙ変換回路２で変換された輝度画像を蓄積するためのＹバッファメモリ８と、連続する２フレームの原画像の輝度画像から動きベクトルを検出する動きベクトル検出回路４と、求めた動きベクトルから最適な動きベクトルを判定し選択する内挿ベクトル評価回路５と、求めた内挿ベクトルと原画像から内挿画像を生成する内挿画像生成回路６と、原画像と内挿画像とを同期信号とともに交互に出力する画像出力部７とから構成される。
【０００６】
以下、本構成例での動作について示す。
入力された原画像データのＲＧＢフォーマット画像は、原画像フレームとして出力されたり、および内挿画像生成に用いられるため、ＲＧＢバッファメモリ９へ書き込まれる。一方で、入力された原画像データのＲＧＢフォーマット画像は、動きベクトルを求めるためにＲＧＢ−Ｙ変換回路２にて輝度画像に変換される。変換後の輝度画像は、Ｙバッファメモリ８に格納されると同時に、前フレームの輝度画像と共に動きベクトル検出回路４へと送信される。
【０００７】
動きベクトル検出回路４では、得られた２フレーム間の輝度画像より動きベクトルを求める。動きベクトルを求める方法には種々の方法があるが、いずれの方法でもよいものとする。ただし、いずれの方法にせよ、画像の内容によってはベクトル検出結果に大きな誤差を含む場合がある。例えば原画像（フレームＮ−１）の時刻では存在していたある物体が、原画像（フレームＮ）では別の物体の奥側に入りこむことで存在しなくなってしまい、動きベクトルが正常に検出できない場合などである。
【０００８】
次に、求められた動きベクトルを、内挿ベクトル評価回路５へと送信する。内挿ベクトル評価回路５では、主に、得られた動きベクトルの候補の中から最適な動きベクトルを判定し選択を行う。評価対象となるある画素(ｘ,ｙ)を評価した場合に、場合によっては２つ以上の動きベクトルが交差する場合もあるし、逆に１つの動きベクトルも指示されない場合がある。このような場合に、最も確からしいと判断されるベクトルを選択したり、あるいは周辺の動きベクトルの状態を鑑みて、その平均値などで補間されたベクトルを割り当てて、最終的に原画像から内挿画像を生成するための内挿ベクトルを決定する。この時に、内挿ベクトルの判定精度が良くない場合は、生成される内挿画像が前後の原画像との連続性を失い、画質劣化の原因となる。
【０００９】
最後に、求められた内挿ベクトルが内挿画像生成回路６へ送信される。原画像を元に生成された該内挿ベクトルで補間した内挿画像は、画像出力部７によって同期信号とともに原画像と交互に出力される。
【００１０】
このようにして、秒間６０フレームの画像を倍速の秒間１２０フレームの画像に拡張して液晶テレビなどのディスプレイに表示する。さらなる画質劣化を防ぐ方法として、原画像（フレームＮ）と原画像（フレームＮ−１）の間に生成する内挿画像を２フレームに増やして、原画像（フレームＮ）の１／１８０秒後、２／１８０秒後に表示させて、３倍の１秒間１８０フレーム表示にさせたり、同様に４倍の１秒間２４０フレーム表示させることも可能である。
この場合、動きベクトルから生成する内挿ベクトルの大きさを、内挿する画像の時刻に合わせて調整することが必要である。
【００１１】
なお、動きベクトル検出においては、ＲＧＢフォーマット画像のまま実現することも可能であるが、回路規模が大きくなってしまう事を鑑みて、本構成例ではＲＧＢ−Ｙ変換回路２を用いている。
【００１２】
一方、画像から文字などの字幕を検出する技術が存在し、特許文献１〜３に示すような方法がある。
特許文献１では、ダイジェスト映像を作成する目的で、動画像から静止字幕領域（テロップ領域）を抽出する方法について開示している。この発明では、時間的に隣接する２フレームの画像間で、輝度データの差分を用いて静止字幕領域の判定を行っている。
しかしながら、特許文献１の発明のようにして検出された静止字幕領域は、たとえば２フレーム間で静止字幕部分以外の画像でほとんど動きの無い画像が連続した場合、本来静止字幕では無い画像部分についても、誤って静止字幕領域と判定されてしまう可能性があった。
【００１３】
特許文献２に示す方法では、１フレーム内の画像のみを用いて、輝度分布からテロップ文字を抽出する提案がなされている。この発明では時間的に隣接するフレーム間の情報が全く使われていないため、フレーム間で動きのある字幕、静止している字幕を問わず検出される。
【００１４】
特許文献３に示す方法では、１フレーム内で輝度が均一である部分の抽出、および高周波領域検出による字幕境界部分の抽出、さらに多数のフレームメモリによる一定時間無変化である部分の抽出を行い、これらの抽出結果から静止字幕領域を抽出する提案がなされている。この発明では、静止字幕（テロップ）の下記特徴を利用して検出を行っている。
（１）同一信号レベルの画素で構成される。
（２）通常３〜４秒以上は表示されるので、テロップを構成する画素は所定の時間以上、同一の信号レベルを保持する。
（３）テロップを目立たせるため、背景となる画と信号レベルで大きく差がある。
【００１５】
つまりテロップ領域は画像平面において比較的空間周波数の高い領域となる。ただし、特許文献３の発明によれば、抽出される静止字幕領域は、テロップ全体を包含する矩形領域に留まる。また、輝度差分の演算を全て隣接する画素間との差分で行っているために、例えば静止字幕部分が鮮明な画像においては精度良く検出可能であるが、字幕境界部分がボケてしまっているような画像に対しては検出することができない。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開平１２−２３０６２号公報
【特許文献２】特開平１２−１８２０５３号公報
【特許文献３】特開平１０−２３３９９４号公報
【非特許文献】
【００１７】
【非特許文献１】電子情報通信学会技術研究報告、電子ディスプレイ（EID2001-102）
【発明の概要】
【発明が解決しようとする課題】
【００１８】
上記背景技術によれば、倍速表示技術により高画質化が可能な一方で、防ぎ得ない動きベクトル検出の検出誤りや、内挿ベクトルの補間処理により、動画像の連続性を損なった内挿画像を生成してしまい、視聴者にとって見苦しい動画を出力してしまうという課題があった。特に、静止字幕のように輪郭が鮮鋭でかつ静止状態にある画像の乱れは、動画像において視認され易く、画質劣化の要因となっていた。
【００１９】
一方、字幕の検出技術については、動いている字幕と静止字幕の区別ができなかったり、静止字幕を検出できても、字幕以外の静止画像部分まで誤検出される場合もある。また、鮮鋭な画像に対しては精度よく静止字幕を検出を行うアルゴリズムであっても、例えば原画からスケーリング処理などによって静止字幕境界部分がボケてしまったような画像に対して、正確な検出が行えない問題があった。
また、数フレーム間の連続するデータを記憶するために、大量のメモリが必要であったり、検出される静止字幕領域が大まかな矩形領域のみであった。
【００２０】
本発明は、上述のごとき実情に鑑みてなされたもので、原画像以外の内挿画像を生成して出力する回路を備えた画像出力装置において、静止字幕部分の乱れによる画質劣化を最少限に抑え、高画質化を行う回路を実現でき、かつ特別なバッファメモリを追加することなく回路を実装すること可能とした画像出力装置、及び画像出力装置で実行する画像出力方法を提供することを目的とするものである。
【課題を解決するための手段】
【００２１】
上記課題を解決するために、本発明の第１の技術手段は、表示する画像フレームを時間的に連続する２つの入力画像フレームの間に、１つまたは複数の内挿フレーム（補間フレーム）を生成し出力する画像出力装置において、画像を入力するための画像入力部と、入力した画像の画像フォーマットを変換せずにそのまま蓄積するための原画像蓄積用バッファメモリと、入力した画像を順次輝度情報のみの画像フォーマットに変換し輝度画像を生成する画像フォーマット変換回路と、輝度画像を蓄積するための輝度画像蓄積用バッファメモリと、時間的に連続した２フレームの輝度画像間の動きベクトルを検出する動きベクトル検出回路と、動きベクトルを用いて時間的に連続した２フレームの間に挿入される内挿フレームの各画素または複数画素で構成されるブロックの内挿ベクトルを選定する内挿ベクトル評価回路と、入力した時間的に連続した２フレームの輝度画像間の静止している字幕画像を検出する静止字幕検出回路と、原画像蓄積用バッファメモリに蓄積された原画像を元に内挿ベクトルおよび静止字幕検出結果から所望の内挿フレームを生成する内挿画像生成回路と、原画像蓄積用バッファメモリに蓄えられた原画像フレームおよび内挿画像生成回路で生成された内挿フレームを時間的に連続するように並べて出力する画像出力部とを有し、内挿画像生成回路は、静止字幕検出回路で字幕と判定された画素または複数画素を含むブロックに割り当てられた内挿ベクトルの値を０とし、静止字幕検出回路で字幕と判定されなかった画素または複数画素を含むブロックのうち内挿ベクトルが指示する画素において字幕と判定された場合は画素または複数画素を含むブロックに割り当てられた内挿ベクトルを０として内挿フレームを生成することを特徴としたものである。
【００２２】
第２の技術手段は、第１の技術手段において、静止字幕検出回路が、評価対象画素を中心として点対象位置にある２点の画素の輝度差分絶対値が時間的に連続する２フレームにおいてともに閾値を超え、かつ２フレーム間で輝度差分絶対値がほとんど同じ値である場合に、評価対象画素を字幕境界画素と判定し、複数画素で構成されるブロック内に字幕境界画素の数がある閾値を超えた場合に、ブロック内の画素を字幕と判定することを特徴としたものである。
【００２３】
第３の技術手段は、第２の技術手段において、静止字幕検出回路が、字幕境界画素として判定された画素について、評価対象画素が属する行（ライン）に存在する字幕境界画素として判定された画素数と、ラインの直下のラインに存在する字幕境界画素として判定された画素数が、共にある閾値を超えている場合に、評価対象画素が属するラインの画素全てを黒帯境界と判定し、字幕境界画素として判定した画素の判定を解除することを特徴としたものである。
【００２４】
第４の技術手段は、第２または第３の技術手段において、時間的に連続する２つの原画像フレームの各々の評価対象画素について、静止字幕検出回路が、評価対象画素の輝度差分絶対値がある閾値を超えた場合に、評価対象画素を静止画素と判定し、静止画素の周辺画素に前記字幕境界画素が存在する場合に、静止画素を字幕と判定し、複数画素で構成されるブロック内における字幕境界画素の数と字幕画素の数の和がある閾値を超えた場合に、ブロック内の画素を字幕と判定することを特徴としたものである。
【００２５】
第５の技術手段は、第２〜第４のいずれか１の技術手段において、入力画像フレームのうち時間的に連続する２つのフレームについて、画面全体でほとんど差分が無い画像と判断された場合に、いずれか一方のフレームを破棄し２つのフレームの間に内挿フレームを生成せず、静止字幕検出回路における字幕検出処理を行わないことを特徴としたものである。
【００２６】
第６の技術手段は、表示する画像フレームを時間的に連続する２つの入力画像フレームの間に、１つまたは複数の内挿フレーム（補間フレーム）を生成し出力する画像出力装置により実行する画像出力方法において、画像出力装置に画像を入力する画像入力ステップと、入力した画像の画像フォーマットを変換せずにバッファメモリにそのまま蓄積する原画像蓄積ステップと、入力した画像を順次輝度情報のみの画像フォーマットに変換し輝度画像を生成する画像フォーマット変換ステップと、輝度画像をバッファメモリに蓄積する輝度画像蓄ステップと、時間的に連続した２フレームの輝度画像間の動きベクトルを検出する動きベクトル検出ステップと、動きベクトルを用いて前記時間的に連続した２フレームの間に挿入される内挿フレームの各画素または複数画素で構成されるブロックの内挿ベクトルを選定する内挿ベクトル評価ステップと、入力した時間的に連続した２フレームの輝度画像間の静止している字幕画像を検出する静止字幕検出ステップと、原画像蓄積ステップでバッファメモリに蓄積された原画像を元に内挿ベクトルおよび静止字幕検出結果から所望の内挿フレームを生成する内挿画像生成ステップと、原画像蓄積ステップでバッファメモリに蓄えられた原画像フレームおよび内挿画像生成ステップで生成された内挿フレームを時間的に連続するように並べて出力する画像出力ステップとを有し、内挿画像生成ステップは、静止字幕検出ステップで字幕と判定された画素または複数画素を含むブロックに割り当てられた内挿ベクトルの値を０とし、静止字幕検出ステップで字幕と判定されなかった画素または複数画素を含むブロックのうち内挿ベクトルが指示する画素において字幕と判定された場合は画素または複数画素を含むブロックに割り当てられた内挿ベクトルを０として内挿フレームを生成することを特徴としたものである。
【００２７】
第７の技術手段は、第６の技術手段において、静止字幕検出ステップが、評価対象画素を中心として点対象位置にある２点の画素の輝度差分絶対値が、時間的に連続する２フレームにおいてともに閾値を超え、かつ２フレーム間で輝度差分絶対値がほとんど同じ値である場合に、評価対象画素を字幕境界画素と判定し、複数画素で構成されるブロック内に字幕境界画素の数がある閾値を超えた場合に、ブロック内の画素を字幕と判定することを特徴としたものである。
【００２８】
第８の技術手段は、第７の技術手段において、静止字幕検出ステップが、字幕境界画素として判定された画素について、評価対象画素が属する行（ライン）に存在する字幕境界画素として判定された画素数と、ラインの直下のラインに存在する字幕境界画素として判定された画素数が、共にある閾値を超えている場合に、評価対象画素が属するラインの画素全てを黒帯境界と判定し、字幕境界画素として判定した画素の判定を解除することを特徴としたものである。
【００２９】
第９の技術手段は、第７または第８の技術手段において、静止字幕検出ステップが、時間的に連続する２つの原画像フレームの各々の評価対象画素について、評価対象画素の輝度差分絶対値がある閾値を超えた場合に、評価対象画素を静止画素と判定し、静止画素の周辺画素に字幕境界画素が存在する場合に、静止画素を字幕と判定し、複数画素で構成されるブロック内における字幕境界画素の数と字幕画素の数の和がある閾値を超えた場合に、ブロック内の画素を字幕と判定することを特徴としたものである。
【００３０】
第１０の技術手段は、第７〜第９のいずれか１の技術手段において、入力画像フレームのうち時間的に連続する２つのフレームについて、画面全体でほとんど差分が無い画像と判断された場合に、いずれか一方のフレームを破棄し２つのフレームの間に内挿フレームを生成せず、静止字幕検出ステップにおける字幕検出処理を行わないことを特徴とする画像出力方法。
【発明の効果】
【００３１】
本発明によれば、倍速表示可能な液晶テレビなどのディスプレイにおいて、静止字幕部分の乱れによる画質劣化を最少限に抑え、高画質化を行う回路を実現でき、かつ特別なバッファメモリを追加することなく、実装することが可能となる。
また、倍速表示以外のディスプレイについても、原画像以外に内挿画像を生成するような場合についても同様である。
【図面の簡単な説明】
【００３２】
【図１】本発明の画像出力装置が備えるフレームレート変換処理回路の一形態を示す構成を模式的に示す説明図である。
【図２】図１の静止字幕検出回路による静止字幕領域の検出手順を説明するための図である。
【図３】本発明の画像出力装置が備えるフレームレート変換処理回路の一形態を示す構成を模式的に示す説明図である。
【図４】従来の画像出力装置が備えるフレームレート変換処理回路の一形態を示す構成を模式的に示す説明図である。
【図５】３−２プルダウンされた映像フレームを模式的に示す説明図である。
【図６】３−２プルダウンされた映像フレームに対して、内挿画像を生成するフレーム構成、および静止字幕検出の更新タイミングの一形態を模式的に示す説明図である。
【発明を実施するための形態】
【００３３】
本発明の実施形態では、倍速表示技術等による内挿画像生成時に発生する静止字幕部分の乱れを防ぐために、高精度な静止字幕検出による静止字幕検出回路を、２フレーム分のバッファメモリで実装可能な回路を構成する。
字幕検出回路にて検出された静止字幕領域に対して、内挿画像生成回路において原画像をもとに求めた内挿ベクトルから内挿画像を生成する際に、静止字幕領域と判定された画素に対する内挿ベクトルの値を０として扱うことにより、静止字幕が周辺の動画像部分に侵食されて静止字幕が削られてしまうのを防ぐ。また、静止字幕領域外における画素で内挿画像生成時に、内挿ベクトルが指示する画素が静止字幕領域であった場合に、その内挿ベクトルの値を０として内挿画像生成を行うことにより、静止字幕領域内の画素が静止字幕領域外に飛び出してしまうのを防ぐことが可能となり、画質劣化を防ぎ高画質化を実現する。
上記の特徴を有する本発明の実施形態を図面を参照して、さらに具体的に説明する。
【００３４】
（実施形態１）
実施形態１として、秒間６０フレームの入力画像を取得し、フレームレート変換処理（秒間６０フレームの映像を秒間１２０フレームの映像に変換する）を行う回路において、字幕付き映像が入力される場合について説明する。
【００３５】
（実施形態１：構成）
図１は、本発明の画像出力装置が備えるフレームレート変換処理回路の一形態を示す構成を模式的に示す説明図である。
図１において、入力画像データ１１が画像入力部１に入力され、ＲＧＢフォーマットの原画像データ１７は、２つの信号系統に分散される。第１の信号系統は、ＲＧＢ−Ｙ変換回路２へ入力され、輝度画像へフォーマット変換された後、Ｙバッファメモリ８に輝度画像データを蓄積する。Ｙバッファメモリ８は２フレーム分のデータ容量を持つメモリで構成されており、静止字幕検出回路３、および動きベクトル検出回路４に接続されている。
【００３６】
静止字幕検出回路３は、連続する２つのフレームの輝度画像データ（フレームＮ）１２および輝度画像データ（フレームＮ−１）１３から、画像内の静止字幕領域を検出する。検出された字幕領域情報１６は内挿画像生成回路６に送られる。
動きベクトル検出回路４は、連続する２つのフレームの輝度画像データ１２および輝度画像データ１３から、画像間の動きベクトル検出を行う。
【００３７】
動きベクトル検出回路４で検出された結果は動きベクトル１４として、内挿ベクトル評価回路５に送られ、動きベクトル検出回路４で検出された結果が妥当であるかの評価が行われ、背景技術と同様な方法により最終的な内挿ベクトル１５が得られる。得られた内挿ベクトル１５は静止字幕検出回路３で生成された字幕領域情報１６と共に、内挿画像生成回路６へ送られる。
【００３８】
第２の信号系統は、ＲＧＢバッファメモリ９に接続され、ＲＧＢフォーマットの原画像データ１７をＲＧＢバッファメモリ９へ蓄積する。蓄積された原画像データ１７は、第１の信号系統で生成された内挿ベクトル１５と字幕領域情報１６と同期したタイミングで内挿画像生成用原画像データ１８として内挿画像生成回路６へと出力するよう構成されている。
【００３９】
内挿画像生成回路６は、得られた内挿画像生成用原画像データ１８、および内挿ベクトル１５、字幕領域情報１６を元に内挿画像２０を生成する。参照する内挿画像生成用原画像データ１８は、フレームＮ番目の原画像データであってもフレームＮ−１番目の原画像データであっても構わず、フレームＮ番目の原画像データで内挿する場合は、ベクトルの方向が反転する。
【００４０】
内挿画像生成回路６は、生成した内挿画像２０を出力用原画像データ１９と交互に画像出力部７へと出力する。出力順序は、Ｎ−１番目の原画像データ、内挿画像データ、Ｎ番目の原画像データの順になるようにする。
画像出力部７では、ディスプレイ表示に必要な同期信号が付加されて所定のタイミングで出力画像データ２１をディスプレイ表示装置に対して出力する。
【００４１】
（実施形態１：動作）
続いて、本実施形態の動作について説明する。
画像入力部１に対して、ある時刻の第Ｎ番目の入力画像データ１１が入力され、第１の信号系統および第２の信号系統にＲＧＢフォーマットの原画像データ１７が送信される。
第１の信号系統ではＲＧＢフォーマットの原画像データ１７がＲＧＢ−Ｙ変換回路２に入力され、フォーマット変換処理により輝度画像（フレームＮ）１２が生成される。輝度画像（フレームＮ）１２はＹバッファメモリ８に書き込まれると同時に、時間的に連続する過去の輝度画像(フレームＮ−１)１３がＹバッファメモリ８から読み出され、これら２つのフレーム（フレームＮ，フレームＮ−１）の輝度画像が静止字幕検出回路３および動きベクトル検出回路４に送信される。
【００４２】
動きベクトル検出回路４では、入力された２フレームの輝度画像から、動きベクトル１４を求める。動きベクトル１４を求める方法については種々の提案がなされており、例えばブロックマッチングによる動きベクトルの検出方法がある。これは複数の画素をまとめてブロック化し、フレームＮとフレームＮ−１の２フレーム間で、ブロック単位に一致しているか否かを評価し、最も一致したブロックとの位置関係から動きベクトルを求める方法である。得られた動きベクトル１４は内挿ベクトル評価回路５に送信される。
【００４３】
内挿ベクトル評価回路５では、内挿画像生成に必要な内挿ベクトル１５を生成する。内挿ベクトル評価回路５は動きベクトル１４を元に、評価対象画素（または複数の画素からなる評価対象ブロック）の内挿ベクトルとして当該画素を指示している動きベクトルを内挿ベクトルとするが、複数の動きベクトルが当該画素を指示している場合や、ひとつの動きベクトルも当該画素を指示していない場合がある。このような場合に、例えば、当該画素を指示していない評価対象画素（または評価対象ブロック）においては、評価対象画素の周辺画素の内挿ベクトルで補間したり、あるいは動きが無いものとして０ベクトルを割り当てたり、適宜もっともらしい内挿ベクトルの割り当てを行う。評価対象画素に割り当てた内挿ベクトル１５は、内挿画像生成回路６へ送信される。
【００４４】
一方、静止字幕検出回路３では、時間的に連続する２つの輝度画像（フレームＮ）１２と輝度画像（フレームＮ−１）１３とから、静止字幕領域の検出を行う。
静止字幕検出回路３では、図２に示す手順で静止字幕領域の検出が行われる。ステップＳ１で、字幕境界検出部１０１にて字幕境界画素の検出が行われる。字幕境界検出部１０１では、ある評価対象画素（ｘ,ｙ）を中心として点対称位置にある２点間の画素の輝度差分絶対値を、過去の輝度画像（フレームＮ−１）１３および現在の輝度画像（フレームＮ）１２のそれぞれで求める。
【００４５】
評価対象画素からの画素位置差分ｐ、ｑ、フレーム番号Ｎを用いて、式（１）および式（２）のように表わされる。
ＹＮ（ｐ，ｑ）＝｜ＹＮ（ｘ−ｐ，ｙ−ｑ）−ＹＮ（ｘ＋ｐ，ｙ＋ｑ）｜ ・・・（１）
ＹＮ−１（ｐ，ｑ）＝｜ＹＮ−１（ｘ−ｐ，ｙ−ｑ）−ＹＮ−１（ｘ＋ｐ，ｙ＋ｑ）｜ ・・・（２）
【００４６】
本実施例では、評価対象画素（ｘ，ｙ）を中心として周囲３×３ｔａｐの上記輝度差分絶対値を求めるものとする。この時、（ｐ，ｑ）＝（１，１），（０，１），（−１，１），（１，０）の各組み合わせで輝度差分絶対値ＹＮ（ｐ，ｑ）、ＹＮ−１（ｐ，ｑ）を求める。
評価対象画素（ｘ，ｙ）を中心として周囲Ｐ×Ｑｔａｐで同様の値を求める場合は、［（Ｑ−１）／２≧ｑ＞０，（Ｐ−１）／２≧ｐ≧−（Ｐ−１）／２］の全組み合わせと、［ｑ＝０，（Ｐ−１）／２≧ｐ≧０］の全組み合わせとなる。
【００４７】
ここで、求めた各輝度差分絶対値について、式（３）乃至式（５）の条件を満たすか評価を行う。式（３）の条件式は時間的に連続する２つのフレームの同じ位置にある輝度差分絶対値の差の絶対値を求め、該差分絶対値がある閾値Ｔｄｉｆｆより小さいか判定し「静止していること」が評価される。また、式４、式５の条件式では、それぞれの輝度差分絶対値ＹＮ（ｐ，ｑ）、ＹＮ−１（ｐ，ｑ）が閾値Ｔｐｏｗeｒより大きいかを判定し、字幕境界部分の特徴である「背景となる画と信号レベルで大きく差がある」ことが評価される。
【００４８】
｜ＹＮ（ｐ，ｑ）−ＹＮ−１（ｐ，ｑ）｜＜Ｔｄｉｆｆ ・・・（３）
ＹＮ（ｐ，ｑ）＞Ｔｐｏｗeｒ ・・・（４）
ＹＮ−１（ｐ，ｑ）＞Ｔｐｏｗeｒ ・・・（５）
【００４９】
全ての条件式（式（３）、式（４）、式（５））を満たす（ｐ，ｑ）の組み合わせ数をカウントし、この組み合わせの数がある閾値を超えた場合に、画素（ｘ，ｙ）が静止字幕境界であると判定する。
【００５０】
本方式によれば、評価対象画素（ｘ，ｙ）自身の輝度値は一切用いずに静止字幕境界が検出される。また、ｔａｐ数に応じて間隔の離れた画素間の輝度差分絶対値の結果も考慮される。入力画像データ１１が本回路への入力の前段階において、例えばＳＤ解像度（６４０×４８０）の映像がＦｕｌｌＨＤ解像度（１９２０×１０８０）の映像へスケーリング処理されていた場合に、静止字幕境界部分が中間輝度によって補間されてしまい、隣接画素部分でボケてしまうような場合がある。このような場合に、隣接画素間で字幕境界を検出しようとしても中間輝度画素によって段階的に輝度が移行してしまい検出できない。しかしながら、本方式によれば数画素離れた画素間での輝度差分絶対値を用いて検出することが可能なため、精度良く字幕境界の検出が可能である。
【００５１】
また、画素（ｘ，ｙ）に対する字幕境界の検出においては、複数の（ｐ，ｑ）の組み合わせの結果を用いて閾値判定を行っている。これは字幕境界部分では、付近の画素も字幕境界画素の特徴を含む画素の組み合わせが多く存在するという特徴に基づいており、ｔａｐ数を増加させた場合に字幕境界部分以外の誤検出を防ぐのに有効である。
【００５２】
ステップＳ２では、検出された字幕境界画素１１１に対して黒帯境界検出部１０２において黒帯境界検出を行い、黒帯が検出された場合に必要なフィルタ処理を行う。
一部の映像コンテンツにおいては、上下が黒帯表示になるレターボックス表示される場合がある。この場合、黒帯と撮影映像との境界ラインが水平方向に発生し、撮影映像の状態によっては字幕境界とよく似た特徴を示し、この境界線上が字幕境界画素として誤判定される場合がある。
【００５３】
このレターボックス表示での誤判定を回避する目的で、同一ライン上に検出された字幕境界画素数が、その上下のラインにある字幕境界画素数に比べて、ある閾値以上に多い場合は、そのライン上のすべての字幕境界画素を字幕境界画素から除外するフィルタ処理を行う。
ただし、レターボックス表示においては、黒帯と撮影映像との境界ライン上に字幕が重畳される場合もある。この場合、字幕境界画素として検出されるべき画素が、黒帯検出によって該フィルタ処理が行われてしまう場合がある。
字幕境界画素であるのか、黒帯と撮影画素との境界ラインであるのかの区別をすることは困難であるため、該画素についてはステップＳ４により救済措置が施される。
【００５４】
ステップＳ３では、静止画素検出部１０３により静止画素の検出が行われる。字幕画素は静止していて、輝度が高いという特徴をもつことから、字幕境界画素周辺で本特徴をもつ画素を抽出する。過去の輝度画像（フレームＮ−１）１３と現在の輝度画像（フレームＮ）１２の２フレームの評価対象画素（ｘ，ｙ）に対して、輝度差分絶対値ＹＮ（ｐ，ｑ）、ＹＮ−１（ｐ，ｑ）の差分絶対値がある閾値Ｔｄｉｆｆ以下である場合は評価対象画素(ｘ,ｙ)を静止画素と判定する。
｜ＹＮ−１（ｘ，ｙ）−ＹＮ（ｘ，ｙ）｜＜Ｔｄｉｆｆ ・・・（６）
【００５５】
ステップＳ４では、ステップＳ２で求めたフィルタ処理後の字幕境界画素１１２と、ステップＳ３で求めた静止画素１１３を用いて、静止画素と判定された画素（ｘ,ｙ）に対して、自身を除く±１画素の範囲内にある画素の字幕境界画素検出結果を参照し、字幕境界画素が存在すれば画素（ｘ,ｙ）を字幕画素として判定する。
本処理によって、ステップＳ１にて本来字幕では無い画素が、誤検出により字幕境界画素として検出されてしまった場合についても、周辺に字幕画素が検出されないので、ステップＳ５以降の処理によりノイズ除去の効果を果たす。また、字幕境界画素と黒帯境界ラインとが重畳してしまっている場合については、黒帯境界と判定されて、字幕境界画素から除外されてしまった画素を字幕画素として再度検出することで信頼性を向上している。
【００５６】
ステップＳ５では、ｍ＊ｎ画素を単位とする複数画素で構成されるブロックを形成し（これを、検出ブロックという）、ステップＳ２で得られたフィルタ処理後の字幕境界画素１１２およびステップＳ４で得られた字幕画素１１４を元に、検出ブロック中の字幕境界画素および字幕画素の検出数の和を、検出ブロックの字幕らしさを示す指標とする（以後、この指標の値を字幕信頼度と記す）。
【００５７】
ステップＳ６では、ステップＳ５で得られた字幕信頼度１１５を用い、評価対象の検出ブロックに対して、評価対象としている検出ブロックの字幕信頼度と、評価対象周辺の検出ブロックの字幕信頼度に対してそれぞれ重みづけを行い、その総和がある閾値Ｔｂｌｏｃｋを超えた場合に、評価対象の検出ブロックを字幕ブロックとして、検出ブロック内にある画素全てを字幕であると判定する。
【００５８】
評価対象周辺の検出ブロックに対する重み付け方法については以下に示す限りではないが、ここでは、下記の字幕の特徴を用いて重みづけを行う方法を示す。
(特徴１) 字幕ブロックに隣接する検出ブロックは字幕ブロックである可能性が高い。
(特徴２) 字幕ブロック周囲に存在する検出ブロックは、少なくともいずれか一方向に対して、数ブロック連続して字幕ブロックが存在する可能性が高い。
上記特徴から、評価対象周辺の検出ブロックに対して次のような手順で重みづけを行う。
【００５９】
（ａ）評価対象検出ブロックの字幕信頼度Ｓ（ｘ,ｙ)に対して重みづけ(α倍)を行う。
（ｂ）評価対象検出ブロックの周辺１ブロック以内の検出ブロックの字幕信頼度の総和Ｓ（ｘ±１，ｙ±１）に対して重みづけ（β倍）を行う。
（ｃ）評価対象検出ブロックから垂直／水平位置にある複数（ｔ）ブロックの検出ブロックの字幕信頼度Ｓ（ｘ±ｔ，ｙ）、Ｓ（ｘ，ｙ±１）に対して重みづけ（γ倍）を行う。
【００６０】
手順（ａ）（ｂ）（ｃ）で重複する検出ブロックに対しては（ａ）（ｂ）（ｃ）の順で優先として一度用いられた字幕信頼度は以降の後段の手順で用いないものとする。また、手順（ｃ）で重みづけされた値については、上下左右の各方向で和を求め、最も大きい値となった一方向分を代表値とする。
手順（ａ）（ｂ）（ｃ）で求めた値の総和を閾値Ｔｄｉｆｆと比較し、ある閾値を超えた場合は評価対象の検出ブロックを字幕ブロックと判定し、当該検出ブロック内にある画素全てを字幕領域と判定し、字幕領域情報１６として内挿画像生成回路６に送信する。
【００６１】
次に内挿画像生成回路６では、内挿ベクトル評価回路５で生成された内挿ベクトル１５と、静止字幕検出回路３で生成された字幕領域情報１６を受信し、ＲＧＢバッファメモリ９に蓄積された内挿画像用原画像データ１８を元に、内挿画像を生成する。内挿画像用原画像データ１８は、フレームＮの原画像データであっても良いし、フレームＮ−１の原画像データであっても良いが、原画像データとしてフレームＮを用いる場合は、画素（ｘ，ｙ）に対する内挿ベクトル（ｖｘ，ｖｙ）の値を、正負反転し（−ｖｘ，−ｖｙ）とする必要がある。以下、本動作例では内挿画像生成用原画像データ１８としてフレームＮ−１の原画像データを用いるものとする。
【００６２】
内挿画像生成回路６では、生成しようとする画素（ｘ，ｙ）の位置にある内挿ベクトル（ｖｘ，ｖｙ）を参照し、内挿画像生成用原画像データ１８において、内挿ベクトルの指示する画素（ｘ−ｖｘ，ｙ−ｖｙ）の値を、生成する内挿画像２０の画素（ｘ，ｙ）の画素値に割り当てる。ただし、画素（ｘ、ｙ）の生成処理において、該画素を含む検出ブロックが字幕領域情報１６により字幕領域であると判定されている場合（マスク条件１）、または内挿ベクトルの指示する画素（ｘ−ｖｘ，ｙ−ｖｙ）を含む検出ブロックが字幕領域情報１６により字幕領域である判定されている場合（マスク条件２）は、画素（ｘ，ｙ）に対する内挿ベクトルを０（ｖｘ＝ｖｙ＝０）として画素（ｘ，ｙ）の生成処理を行う。
【００６３】
マスク条件１により生成された画素（ｘ，ｙ）は、本来字幕領域内にあるべき画素に対して、動きベクトルの誤検出により別の画素が飛び込んで字幕画素を破壊することを防ぐ効果がある。また、マスク条件２により生成された画素（ｘ，ｙ）は、本来字幕領域ではない画素に対して、動きベクトルの誤検出により字幕領域内の画素が飛び込んで撮影画像を破壊することを防ぐ効果がある。
【００６４】
最後に画像出力部７により、ＲＧＢバッファメモリ９より出力用原画像データ１９を受信し、内挿画像生成回路６より内挿画像２０を受信し、これらを交互に出力画像データ２１として、ディスプレイ表示装置に出力する。この時の出力順序は、原画像データ（フレームＮ−１）、内挿画像データ、原画像データ（フレームＮ）の順になるように制御する。
【００６５】
以上のようにして、内挿画像フレームを生成して画質向上を図るフレームレート変換回路が備えられた画像出力装置において、字幕部分の破綻による画質劣化を防ぐことで高画質化を実現する回路を、字幕領域検出用に特別なメモリを増加することなく実現することが可能となる。
また、本発明によれば、フレームレートを変換する全ての装置に同様に有効であり、例えば、秒間２４フレームで撮影された映像コンテンツを、秒間６０フレーム乃至秒間１２０フレームで出力する装置においても同様である。
【００６６】
（実施形態２）
実施形態２として、秒間２４フレームの画像を秒間６０フレームの画像に変換した画像、即ち、３−２プルダウンされた秒間６０フレームの入力画像を取得し、フレームレート変換処理（秒間６０フレームの映像を秒間１２０フレームの映像に変換する）を行う回路において、字幕付き映像が入力される場合について説明する。
【００６７】
（実施形態２：構成）
図３は、本発明の画像出力装置が備えるフレームレート変換処理回路の一形態を示す構成を模式的に示す説明図である。本実施形態の構成は、図１に示す実施形態１の構成と同様であるが、Ｙバッファメモリ８、静止字幕検出回路３、動きベクトル検出回路４，内挿ベクトル評価回路５、内挿画像生成回路６等における機能や動作が以下に示すように実施形態１とは異なっている。
【００６８】
図４において、入力画像データ１１が画像入力部１に入力され、ＲＧＢフォーマットの原画像データ１７は、２つの信号系統に分散される。第１の信号系統は、ＲＧＢ−Ｙ変換回路２へ入力され、輝度画像へフォーマット変換された後、Ｙバッファメモリ８に輝度画像データを蓄積する。Ｙバッファメモリ８は２フレーム分以上のデータ容量を持つメモリで構成されており、静止字幕検出回路３、および動きベクトル検出回路４に接続されている。
【００６９】
静止字幕検出回路３は、輝度画像データ（フレームＮ）１２、および起動画像データ（フレームＮ）から時間的に１／２４秒だけずれた（同一時刻でないフレーム）の輝度画像データ（フレームＮ−１）１３の２つのフレームから、画像内の静止字幕領域を検出する。検出された字幕領域情報１６は内挿画像生成回路６に送られる。
動きベクトル検出回路４は、輝度画像データ１２および輝度画像データ１３から、画像間の動きベクトル検出を行う。
【００７０】
動きベクトル検出回路４で検出された結果は動きベクトル１４として、内挿ベクトル評価回路５に送られ、動きベクトル検出回路４で検出された結果が妥当であるかの評価が行われ、背景技術と同様な方法により最終的な内挿ベクトル１５が得られる。得られた内挿ベクトル１５は静止字幕検出回路３で生成された字幕領域情報１６と共に、内挿画像生成回路６へ送られる。
【００７１】
第２の信号系統は、ＲＧＢバッファメモリ９に接続され、ＲＧＢフォーマットの原画像データ１７をＲＧＢバッファメモリ９へ蓄積する。蓄積された原画像データ１７は、第１の信号系統で生成された内挿ベクトル１５と字幕領域情報１６と同期したタイミングで内挿画像生成用原画像データ１８として内挿画像生成回路６へと出力するよう構成されている。
【００７２】
内挿画像生成回路６は、得られた内挿画像生成用原画像データ１８、および内挿ベクトル１５、字幕領域情報１６を元に内挿画像２０を生成する。参照する内挿画像生成用原画像データ１８は、フレームＮ番目の原画像データであってもフレームＮ−１番目の原画像データであっても構わず、フレームＮ番目の原画像データで内挿する場合は、ベクトルの方向が反転する。
【００７３】
内挿画像生成回路６は、生成した内挿画像２０を４フレーム連続で画像出力部７へと出力する。次に出力用原画像データ１９を１フレームだけ画像出力部７へと出力する。出力順序は、ある時刻の出力原画像データを基準として、Ｎ−１番目の原画像データ、内挿画像データ４フレーム、Ｎ番目の原画像データの順に出力するように制御する。
画像出力部７では、ディスプレイ表示に必要な同期信号が付加されて所定のタイミングで出力画像データ２１をディスプレイ表示装置に対して出力する。
【００７４】
以上のようにして、内挿画像フレームを生成して画質向上を図るフレームレート変換回路が備えられた画像出力装置において、字幕部分の破綻による画質劣化を防ぐことで高画質化を実現する回路を、字幕領域検出用に特別なメモリを増加することなく実現することが可能となる。
【００７５】
（実施形態２：動作）
続いて、本実施形態の動作について説明する。
画像入力部１に対して、ある時刻の第Ｎ番目の入力画像データ１１が入力され、第１の信号系統および第２の信号系統にＲＧＢフォーマットの原画像データ１７が送信される。
第１の信号系統ではＲＧＢフォーマットの原画像データ１７がＲＧＢ−Ｙ変換回路２に入力され、フォーマット変換処理により輝度画像（フレームＮ）１２が生成される。輝度画像（フレームＮ）１２はＹバッファメモリ８に書き込まれると同時に、時間的に１／２４秒だけずれた過去の輝度画像(フレームＮ−１)１３がＹバッファメモリ８から読み出され、これら２つのフレーム（フレームＮ，フレームＮ−１）の輝度画像が静止字幕検出回路３および動きベクトル検出回路４に送信される。
【００７６】
なお、入力画像は同一時刻に撮影されたフレームが３フレーム入力、２フレーム入力、３フレーム入力と交互に続く、いわゆる３−２プルダウンされた映像である。この映像の入力の様子を図５に示す。入力フレームＮ―１が２フレーム（フレームＮ−１（１）乃至フレームＮ−１（２））入力され、次に入力フレームＮが３フレーム（フレームＮ（１）乃至フレームＮ（３））入力され、さらに入力フレームＮ＋１が２フレーム（フレームＮ＋１（１）乃至フレームＮ＋１（２））入力され、以後、３フレーム入力、２フレーム入力を繰り返す。このように３−２プルダウンされた入力フレームに対して内挿画像を生成して出力する様子を図６に示す。フレームＮ−１とフレームＮとの間で４枚の内挿画像を生成するが、この時に必要なフレーム画像データはフレームＮ−１の画像データとフレームＮの画像データの２フレームであり、同じフレームを示すフレームデータを複数必要としないため、Ｙバッファメモリ８に３フレーム以上の容量を実装し、入力順にＹバッファメモリ８に対して書き込んでおいて読み出す時点である時刻のフレーム（フレームＮ）と、それに対して１／２４秒ずれた過去の画像（フレームＮ−１）を読み出すように制御しても良いし、Ｙバッファメモリ８に書き込む前に同一時刻のフレームについて書き込まないように制御するか、同一時刻のフレームが書き込まれているＹバッファメモリ８上の領域に上書きして、同一時刻のフレームデータを破棄する。本発明ではその制御方法、およびＹバッファメモリの容量については上記方法に限定されない。
【００７７】
動きベクトル検出回路４では、入力された２フレームの輝度画像から、動きベクトル１４を求める。動きベクトル１４を求める方法については種々の提案がなされており、例えばブロックマッチングによる動きベクトルの検出方法がある。これは複数の画素をまとめてブロック化し、フレームＮとフレームＮ−１の２フレーム間で、ブロック単位に一致しているか否かを評価し、最も一致したブロックとの位置関係から動きベクトルを求める方法である。得られた動きベクトル１４は内挿ベクトル評価回路５に送信される。
【００７８】
内挿ベクトル評価回路５では、内挿画像生成に必要な内挿ベクトル１５を生成する。内挿ベクトル評価回路５は動きベクトル１４を元に、評価対象画素（または複数の画素からなる評価対象ブロック）の内挿ベクトルとして当該画素を指示している動きベクトルを内挿ベクトルとするが、複数の動きベクトルが当該画素を指示している場合や、ひとつの動きベクトルも当該画素を指示していない場合がある。このような場合に、例えば、当該画素を指示していない評価対象画素（または評価対象ブロック）においては、評価対象画素の周辺画素の内挿ベクトルで補間したり、あるいは動きが無いものとして０ベクトルを割り当てたり、適宜もっともらしい内挿ベクトルの割り当てを行う。評価対象画素に割り当てた内挿ベクトル１５は、内挿画像生成回路６へ送信される。
【００７９】
また、前出のように３−２プルダウンされた入力画像では時間的に１／２４秒ずれた２つのフレーム間に、４つの内挿フレームを生成する必要がある。これらの内挿フレームは時間的にそれぞれ１／１２０秒ずつずれた動きベクトルを用いたフレームを生成することが理想である。例えば、動きベクトル検出回路４で得られた動きベクトルを元に、このベクトルの１／５、２／５、３／５、４／５の大きさのベクトルを用いて、内挿ベクトル評価を各々行なうことで実現することが可能である。また、この時に生成されるフレームＮとフレームＮ−１の間の内挿フレームを、それぞれ内挿フレームＮ−１’（ベクトル１／５倍）、内挿フレームＮ−１’’（ベクトル２／５倍）、内挿フレームＮ−１’’’（ベクトル３／５倍）、内挿フレームＮ−１’’’’（ベクトル４／５倍）とする。ただし、内挿ベクトルの生成方法については本例の方法に限定されるものではない。
【００８０】
一方、静止字幕検出回路３では、時間的に連続する（同一時刻でない）２つの輝度画像（フレームＮ）１２と輝度画像（フレームＮ−１）１３とから、静止字幕領域の検出を行う。静止字幕領域の検出方法については、（実施形態１：動作）と同様である。
【００８１】
次に内挿画像生成回路６では、内挿ベクトル評価回路５で生成された内挿ベクトル１５と、静止字幕検出回路３で生成された字幕領域情報１６を受信し、ＲＧＢバッファメモリ９に蓄積された内挿画像用原画像データ１８を元に、内挿画像を生成する。内挿画像用原画像データ１８は、フレームＮの原画像データであっても良いし、フレームＮ−１の原画像データであっても良いが、原画像データとしてフレームＮを用いる場合は、画素（ｘ，ｙ）に対する内挿ベクトル（ｖｘ，ｖｙ）の値を、正負反転し（−ｖｘ，−ｖｙ）とする必要がある。以下、本動作例では内挿画像生成用原画像データ１８としてフレームＮ−１の原画像データを用いるものとする。
【００８２】
内挿画像生成回路６では、生成しようとする画素（ｘ，ｙ）の位置にある内挿ベクトル（ｖｘ，ｖｙ）を参照し、内挿画像生成用原画像データ１８において、内挿ベクトルの指示する画素（ｘ−ｖｘ，ｙ−ｖｙ）の値を、生成する内挿画像２０の画素（ｘ，ｙ）の画素値に割り当てる。ただし、画素（ｘ、ｙ）の生成処理において、該画素を含む検出ブロックが字幕領域情報１６により字幕領域であると判定されている場合（マスク条件１）、または内挿ベクトルの指示する画素（ｘ−ｖｘ，ｙ−ｖｙ）を含む検出ブロックが字幕領域情報１６により字幕領域である判定されている場合（マスク条件２）は、画素（ｘ，ｙ）に対する内挿ベクトルを０（ｖｘ＝ｖｙ＝０）として画素（ｘ，ｙ）の生成処理を行う。
【００８３】
マスク条件１により生成された画素（ｘ，ｙ）は、本来字幕領域内にあるべき画素に対して、動きベクトルの誤検出により別の画素が飛び込んで字幕画素を破壊することを防ぐ効果がある。また、マスク条件２により生成された画素（ｘ，ｙ）は、本来字幕領域ではない画素に対して、動きベクトルの誤検出により字幕領域内の画素が飛び込んで撮影画像を破壊することを防ぐ効果がある。
【００８４】
また、原画像データ（フレームＮ−１）と原画像データ（フレームＮ）との間には、４フレームの内挿画像データが生成されるが、マスク条件として使用する字幕領域情報１６は、この４フレームでも同じ情報を用いる。このため、図６に示すようにフレームＮ−１とフレームＮへの切替り時のみ静止字幕領域の検出を行い、静止字幕領域情報の更新を行うように制御する。
【００８５】
最後に画像出力部７により、ＲＧＢバッファメモリ９より出力用原画像データ１９を受信し、内挿画像生成回路６より内挿画像２０を受信し、これらを出力画像データ２１として、ディスプレイ表示装置に出力する。この時の出力順序は、図６に示すように原画像データ（フレームＮ−１）、内挿画像データ（内挿フレームＮ−１’）、内挿画像データ（内挿フレームＮ−１’’）、内挿画像データ（内挿フレームＮ−１’’’）、内挿画像データ（内挿フレームＮ−１’’’’）、原画像データ（フレームＮ）の順になるように制御する。
【００８６】
以上のようにして、内挿画像フレームを生成して画質向上を図るフレームレート変換回路が備えられた画像出力装置において、字幕部分の破綻による画質劣化を防ぐことで高画質化を実現する回路を、３−２プルダウンされた入力画像のように、連続する入力画像間で同一時刻の画像が複数入力されるような場合でも適用可能である。
【符号の説明】
【００８７】
１…画像入力部、２…Ｙ変換回路、３…静止字幕検出回路、４…動きベクトル検出回路、５…内挿ベクトル評価回路、６…内挿画像生成回路、７…画像出力部、８…Ｙバッファメモリ、９…ＲＧＢバッファメモリ、１１…入力画像データ、１２…輝度画像、１３…輝度画像、１４…動きベクトル、１５…内挿ベクトル、１６…字幕領域情報、１７…原画像データ、１８…内挿画像生成用原画像データ、１９…出力用原画像データ、２０…内挿画像、２１…出力画像データ、１０１…字幕境界検出部、１０２…黒帯境界検出部、１０３…静止画素検出部、１１１…字幕境界画素、１１２…字幕境界画素、１１３…静止画素、１１４…字幕画素、１１５…字幕信頼度。
【技術分野】
【０００１】
本発明は、画像出力装置及び画像出力方法に関し、液晶テレビなどの映像表示装置に画像を表示する技術に属する。
【背景技術】
【０００２】
従来、テレビ放送は１秒間に６０フレームの画像を送信し、テレビ受像機側でこれを受信し、１秒間に６０フレームの画像を出力することで動画を表現している。液晶テレビなどのホールド型ディスプレイでは、非特許文献１にあるように、人間の視覚特性上、エッジぼやけなどの画質劣化を生むひとつの原因となっていた。
【０００３】
この画質劣化を低減する技術のひとつとして、１秒間に表示する画像枚数を２倍(秒間１２０フレーム)に増加した倍速表示技術がある。
これは、受信した秒間６０フレームの原画像に対して、原画像と原画像の間に、原画像を元に生成した補間画像（以後「内挿画像」という）を生成し、１フレームおきに原画像と内挿画像を交互に表示させる方法である。
【０００４】
内挿画像を生成する方法については種々の方法があるが、その一例として、ある時刻の原画像（フレームＮ）と、その１／６０秒後の原画像（フレームＮ＋１）の２つの原画像間の動きベクトルを求め、その動きベクトルを元に原画像（フレームＮ）の１／１２０秒後の内挿画像を生成する方法がある。
【０００５】
図４にこの内挿画像を生成し、原画像と内挿画像を交互に表示するための表示回路の構成例を示す。本構成例では、なんらかの形式で入力された原画像の入力データを、画像入力部１でＲＧＢフォーマットとした画像を用いる。
この表示回路は、ＲＧＢフォーマットの画像を蓄積するためのＲＧＢバッファメモリ９と、同じＲＧＢフォーマットの画像を輝度（Ｙ）信号に変換するＲＧＢ−Ｙ変換回路２と、ＲＧＢ―Ｙ変換回路２で変換された輝度画像を蓄積するためのＹバッファメモリ８と、連続する２フレームの原画像の輝度画像から動きベクトルを検出する動きベクトル検出回路４と、求めた動きベクトルから最適な動きベクトルを判定し選択する内挿ベクトル評価回路５と、求めた内挿ベクトルと原画像から内挿画像を生成する内挿画像生成回路６と、原画像と内挿画像とを同期信号とともに交互に出力する画像出力部７とから構成される。
【０００６】
以下、本構成例での動作について示す。
入力された原画像データのＲＧＢフォーマット画像は、原画像フレームとして出力されたり、および内挿画像生成に用いられるため、ＲＧＢバッファメモリ９へ書き込まれる。一方で、入力された原画像データのＲＧＢフォーマット画像は、動きベクトルを求めるためにＲＧＢ−Ｙ変換回路２にて輝度画像に変換される。変換後の輝度画像は、Ｙバッファメモリ８に格納されると同時に、前フレームの輝度画像と共に動きベクトル検出回路４へと送信される。
【０００７】
動きベクトル検出回路４では、得られた２フレーム間の輝度画像より動きベクトルを求める。動きベクトルを求める方法には種々の方法があるが、いずれの方法でもよいものとする。ただし、いずれの方法にせよ、画像の内容によってはベクトル検出結果に大きな誤差を含む場合がある。例えば原画像（フレームＮ−１）の時刻では存在していたある物体が、原画像（フレームＮ）では別の物体の奥側に入りこむことで存在しなくなってしまい、動きベクトルが正常に検出できない場合などである。
【０００８】
次に、求められた動きベクトルを、内挿ベクトル評価回路５へと送信する。内挿ベクトル評価回路５では、主に、得られた動きベクトルの候補の中から最適な動きベクトルを判定し選択を行う。評価対象となるある画素(ｘ,ｙ)を評価した場合に、場合によっては２つ以上の動きベクトルが交差する場合もあるし、逆に１つの動きベクトルも指示されない場合がある。このような場合に、最も確からしいと判断されるベクトルを選択したり、あるいは周辺の動きベクトルの状態を鑑みて、その平均値などで補間されたベクトルを割り当てて、最終的に原画像から内挿画像を生成するための内挿ベクトルを決定する。この時に、内挿ベクトルの判定精度が良くない場合は、生成される内挿画像が前後の原画像との連続性を失い、画質劣化の原因となる。
【０００９】
最後に、求められた内挿ベクトルが内挿画像生成回路６へ送信される。原画像を元に生成された該内挿ベクトルで補間した内挿画像は、画像出力部７によって同期信号とともに原画像と交互に出力される。
【００１０】
このようにして、秒間６０フレームの画像を倍速の秒間１２０フレームの画像に拡張して液晶テレビなどのディスプレイに表示する。さらなる画質劣化を防ぐ方法として、原画像（フレームＮ）と原画像（フレームＮ−１）の間に生成する内挿画像を２フレームに増やして、原画像（フレームＮ）の１／１８０秒後、２／１８０秒後に表示させて、３倍の１秒間１８０フレーム表示にさせたり、同様に４倍の１秒間２４０フレーム表示させることも可能である。
この場合、動きベクトルから生成する内挿ベクトルの大きさを、内挿する画像の時刻に合わせて調整することが必要である。
【００１１】
なお、動きベクトル検出においては、ＲＧＢフォーマット画像のまま実現することも可能であるが、回路規模が大きくなってしまう事を鑑みて、本構成例ではＲＧＢ−Ｙ変換回路２を用いている。
【００１２】
一方、画像から文字などの字幕を検出する技術が存在し、特許文献１〜３に示すような方法がある。
特許文献１では、ダイジェスト映像を作成する目的で、動画像から静止字幕領域（テロップ領域）を抽出する方法について開示している。この発明では、時間的に隣接する２フレームの画像間で、輝度データの差分を用いて静止字幕領域の判定を行っている。
しかしながら、特許文献１の発明のようにして検出された静止字幕領域は、たとえば２フレーム間で静止字幕部分以外の画像でほとんど動きの無い画像が連続した場合、本来静止字幕では無い画像部分についても、誤って静止字幕領域と判定されてしまう可能性があった。
【００１３】
特許文献２に示す方法では、１フレーム内の画像のみを用いて、輝度分布からテロップ文字を抽出する提案がなされている。この発明では時間的に隣接するフレーム間の情報が全く使われていないため、フレーム間で動きのある字幕、静止している字幕を問わず検出される。
【００１４】
特許文献３に示す方法では、１フレーム内で輝度が均一である部分の抽出、および高周波領域検出による字幕境界部分の抽出、さらに多数のフレームメモリによる一定時間無変化である部分の抽出を行い、これらの抽出結果から静止字幕領域を抽出する提案がなされている。この発明では、静止字幕（テロップ）の下記特徴を利用して検出を行っている。
（１）同一信号レベルの画素で構成される。
（２）通常３〜４秒以上は表示されるので、テロップを構成する画素は所定の時間以上、同一の信号レベルを保持する。
（３）テロップを目立たせるため、背景となる画と信号レベルで大きく差がある。
【００１５】
つまりテロップ領域は画像平面において比較的空間周波数の高い領域となる。ただし、特許文献３の発明によれば、抽出される静止字幕領域は、テロップ全体を包含する矩形領域に留まる。また、輝度差分の演算を全て隣接する画素間との差分で行っているために、例えば静止字幕部分が鮮明な画像においては精度良く検出可能であるが、字幕境界部分がボケてしまっているような画像に対しては検出することができない。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開平１２−２３０６２号公報
【特許文献２】特開平１２−１８２０５３号公報
【特許文献３】特開平１０−２３３９９４号公報
【非特許文献】
【００１７】
【非特許文献１】電子情報通信学会技術研究報告、電子ディスプレイ（EID2001-102）
【発明の概要】
【発明が解決しようとする課題】
【００１８】
上記背景技術によれば、倍速表示技術により高画質化が可能な一方で、防ぎ得ない動きベクトル検出の検出誤りや、内挿ベクトルの補間処理により、動画像の連続性を損なった内挿画像を生成してしまい、視聴者にとって見苦しい動画を出力してしまうという課題があった。特に、静止字幕のように輪郭が鮮鋭でかつ静止状態にある画像の乱れは、動画像において視認され易く、画質劣化の要因となっていた。
【００１９】
一方、字幕の検出技術については、動いている字幕と静止字幕の区別ができなかったり、静止字幕を検出できても、字幕以外の静止画像部分まで誤検出される場合もある。また、鮮鋭な画像に対しては精度よく静止字幕を検出を行うアルゴリズムであっても、例えば原画からスケーリング処理などによって静止字幕境界部分がボケてしまったような画像に対して、正確な検出が行えない問題があった。
また、数フレーム間の連続するデータを記憶するために、大量のメモリが必要であったり、検出される静止字幕領域が大まかな矩形領域のみであった。
【００２０】
本発明は、上述のごとき実情に鑑みてなされたもので、原画像以外の内挿画像を生成して出力する回路を備えた画像出力装置において、静止字幕部分の乱れによる画質劣化を最少限に抑え、高画質化を行う回路を実現でき、かつ特別なバッファメモリを追加することなく回路を実装すること可能とした画像出力装置、及び画像出力装置で実行する画像出力方法を提供することを目的とするものである。
【課題を解決するための手段】
【００２１】
上記課題を解決するために、本発明の第１の技術手段は、表示する画像フレームを時間的に連続する２つの入力画像フレームの間に、１つまたは複数の内挿フレーム（補間フレーム）を生成し出力する画像出力装置において、画像を入力するための画像入力部と、入力した画像の画像フォーマットを変換せずにそのまま蓄積するための原画像蓄積用バッファメモリと、入力した画像を順次輝度情報のみの画像フォーマットに変換し輝度画像を生成する画像フォーマット変換回路と、輝度画像を蓄積するための輝度画像蓄積用バッファメモリと、時間的に連続した２フレームの輝度画像間の動きベクトルを検出する動きベクトル検出回路と、動きベクトルを用いて時間的に連続した２フレームの間に挿入される内挿フレームの各画素または複数画素で構成されるブロックの内挿ベクトルを選定する内挿ベクトル評価回路と、入力した時間的に連続した２フレームの輝度画像間の静止している字幕画像を検出する静止字幕検出回路と、原画像蓄積用バッファメモリに蓄積された原画像を元に内挿ベクトルおよび静止字幕検出結果から所望の内挿フレームを生成する内挿画像生成回路と、原画像蓄積用バッファメモリに蓄えられた原画像フレームおよび内挿画像生成回路で生成された内挿フレームを時間的に連続するように並べて出力する画像出力部とを有し、内挿画像生成回路は、静止字幕検出回路で字幕と判定された画素または複数画素を含むブロックに割り当てられた内挿ベクトルの値を０とし、静止字幕検出回路で字幕と判定されなかった画素または複数画素を含むブロックのうち内挿ベクトルが指示する画素において字幕と判定された場合は画素または複数画素を含むブロックに割り当てられた内挿ベクトルを０として内挿フレームを生成することを特徴としたものである。
【００２２】
第２の技術手段は、第１の技術手段において、静止字幕検出回路が、評価対象画素を中心として点対象位置にある２点の画素の輝度差分絶対値が時間的に連続する２フレームにおいてともに閾値を超え、かつ２フレーム間で輝度差分絶対値がほとんど同じ値である場合に、評価対象画素を字幕境界画素と判定し、複数画素で構成されるブロック内に字幕境界画素の数がある閾値を超えた場合に、ブロック内の画素を字幕と判定することを特徴としたものである。
【００２３】
第３の技術手段は、第２の技術手段において、静止字幕検出回路が、字幕境界画素として判定された画素について、評価対象画素が属する行（ライン）に存在する字幕境界画素として判定された画素数と、ラインの直下のラインに存在する字幕境界画素として判定された画素数が、共にある閾値を超えている場合に、評価対象画素が属するラインの画素全てを黒帯境界と判定し、字幕境界画素として判定した画素の判定を解除することを特徴としたものである。
【００２４】
第４の技術手段は、第２または第３の技術手段において、時間的に連続する２つの原画像フレームの各々の評価対象画素について、静止字幕検出回路が、評価対象画素の輝度差分絶対値がある閾値を超えた場合に、評価対象画素を静止画素と判定し、静止画素の周辺画素に前記字幕境界画素が存在する場合に、静止画素を字幕と判定し、複数画素で構成されるブロック内における字幕境界画素の数と字幕画素の数の和がある閾値を超えた場合に、ブロック内の画素を字幕と判定することを特徴としたものである。
【００２５】
第５の技術手段は、第２〜第４のいずれか１の技術手段において、入力画像フレームのうち時間的に連続する２つのフレームについて、画面全体でほとんど差分が無い画像と判断された場合に、いずれか一方のフレームを破棄し２つのフレームの間に内挿フレームを生成せず、静止字幕検出回路における字幕検出処理を行わないことを特徴としたものである。
【００２６】
第６の技術手段は、表示する画像フレームを時間的に連続する２つの入力画像フレームの間に、１つまたは複数の内挿フレーム（補間フレーム）を生成し出力する画像出力装置により実行する画像出力方法において、画像出力装置に画像を入力する画像入力ステップと、入力した画像の画像フォーマットを変換せずにバッファメモリにそのまま蓄積する原画像蓄積ステップと、入力した画像を順次輝度情報のみの画像フォーマットに変換し輝度画像を生成する画像フォーマット変換ステップと、輝度画像をバッファメモリに蓄積する輝度画像蓄ステップと、時間的に連続した２フレームの輝度画像間の動きベクトルを検出する動きベクトル検出ステップと、動きベクトルを用いて前記時間的に連続した２フレームの間に挿入される内挿フレームの各画素または複数画素で構成されるブロックの内挿ベクトルを選定する内挿ベクトル評価ステップと、入力した時間的に連続した２フレームの輝度画像間の静止している字幕画像を検出する静止字幕検出ステップと、原画像蓄積ステップでバッファメモリに蓄積された原画像を元に内挿ベクトルおよび静止字幕検出結果から所望の内挿フレームを生成する内挿画像生成ステップと、原画像蓄積ステップでバッファメモリに蓄えられた原画像フレームおよび内挿画像生成ステップで生成された内挿フレームを時間的に連続するように並べて出力する画像出力ステップとを有し、内挿画像生成ステップは、静止字幕検出ステップで字幕と判定された画素または複数画素を含むブロックに割り当てられた内挿ベクトルの値を０とし、静止字幕検出ステップで字幕と判定されなかった画素または複数画素を含むブロックのうち内挿ベクトルが指示する画素において字幕と判定された場合は画素または複数画素を含むブロックに割り当てられた内挿ベクトルを０として内挿フレームを生成することを特徴としたものである。
【００２７】
第７の技術手段は、第６の技術手段において、静止字幕検出ステップが、評価対象画素を中心として点対象位置にある２点の画素の輝度差分絶対値が、時間的に連続する２フレームにおいてともに閾値を超え、かつ２フレーム間で輝度差分絶対値がほとんど同じ値である場合に、評価対象画素を字幕境界画素と判定し、複数画素で構成されるブロック内に字幕境界画素の数がある閾値を超えた場合に、ブロック内の画素を字幕と判定することを特徴としたものである。
【００２８】
第８の技術手段は、第７の技術手段において、静止字幕検出ステップが、字幕境界画素として判定された画素について、評価対象画素が属する行（ライン）に存在する字幕境界画素として判定された画素数と、ラインの直下のラインに存在する字幕境界画素として判定された画素数が、共にある閾値を超えている場合に、評価対象画素が属するラインの画素全てを黒帯境界と判定し、字幕境界画素として判定した画素の判定を解除することを特徴としたものである。
【００２９】
第９の技術手段は、第７または第８の技術手段において、静止字幕検出ステップが、時間的に連続する２つの原画像フレームの各々の評価対象画素について、評価対象画素の輝度差分絶対値がある閾値を超えた場合に、評価対象画素を静止画素と判定し、静止画素の周辺画素に字幕境界画素が存在する場合に、静止画素を字幕と判定し、複数画素で構成されるブロック内における字幕境界画素の数と字幕画素の数の和がある閾値を超えた場合に、ブロック内の画素を字幕と判定することを特徴としたものである。
【００３０】
第１０の技術手段は、第７〜第９のいずれか１の技術手段において、入力画像フレームのうち時間的に連続する２つのフレームについて、画面全体でほとんど差分が無い画像と判断された場合に、いずれか一方のフレームを破棄し２つのフレームの間に内挿フレームを生成せず、静止字幕検出ステップにおける字幕検出処理を行わないことを特徴とする画像出力方法。
【発明の効果】
【００３１】
本発明によれば、倍速表示可能な液晶テレビなどのディスプレイにおいて、静止字幕部分の乱れによる画質劣化を最少限に抑え、高画質化を行う回路を実現でき、かつ特別なバッファメモリを追加することなく、実装することが可能となる。
また、倍速表示以外のディスプレイについても、原画像以外に内挿画像を生成するような場合についても同様である。
【図面の簡単な説明】
【００３２】
【図１】本発明の画像出力装置が備えるフレームレート変換処理回路の一形態を示す構成を模式的に示す説明図である。
【図２】図１の静止字幕検出回路による静止字幕領域の検出手順を説明するための図である。
【図３】本発明の画像出力装置が備えるフレームレート変換処理回路の一形態を示す構成を模式的に示す説明図である。
【図４】従来の画像出力装置が備えるフレームレート変換処理回路の一形態を示す構成を模式的に示す説明図である。
【図５】３−２プルダウンされた映像フレームを模式的に示す説明図である。
【図６】３−２プルダウンされた映像フレームに対して、内挿画像を生成するフレーム構成、および静止字幕検出の更新タイミングの一形態を模式的に示す説明図である。
【発明を実施するための形態】
【００３３】
本発明の実施形態では、倍速表示技術等による内挿画像生成時に発生する静止字幕部分の乱れを防ぐために、高精度な静止字幕検出による静止字幕検出回路を、２フレーム分のバッファメモリで実装可能な回路を構成する。
字幕検出回路にて検出された静止字幕領域に対して、内挿画像生成回路において原画像をもとに求めた内挿ベクトルから内挿画像を生成する際に、静止字幕領域と判定された画素に対する内挿ベクトルの値を０として扱うことにより、静止字幕が周辺の動画像部分に侵食されて静止字幕が削られてしまうのを防ぐ。また、静止字幕領域外における画素で内挿画像生成時に、内挿ベクトルが指示する画素が静止字幕領域であった場合に、その内挿ベクトルの値を０として内挿画像生成を行うことにより、静止字幕領域内の画素が静止字幕領域外に飛び出してしまうのを防ぐことが可能となり、画質劣化を防ぎ高画質化を実現する。
上記の特徴を有する本発明の実施形態を図面を参照して、さらに具体的に説明する。
【００３４】
（実施形態１）
実施形態１として、秒間６０フレームの入力画像を取得し、フレームレート変換処理（秒間６０フレームの映像を秒間１２０フレームの映像に変換する）を行う回路において、字幕付き映像が入力される場合について説明する。
【００３５】
（実施形態１：構成）
図１は、本発明の画像出力装置が備えるフレームレート変換処理回路の一形態を示す構成を模式的に示す説明図である。
図１において、入力画像データ１１が画像入力部１に入力され、ＲＧＢフォーマットの原画像データ１７は、２つの信号系統に分散される。第１の信号系統は、ＲＧＢ−Ｙ変換回路２へ入力され、輝度画像へフォーマット変換された後、Ｙバッファメモリ８に輝度画像データを蓄積する。Ｙバッファメモリ８は２フレーム分のデータ容量を持つメモリで構成されており、静止字幕検出回路３、および動きベクトル検出回路４に接続されている。
【００３６】
静止字幕検出回路３は、連続する２つのフレームの輝度画像データ（フレームＮ）１２および輝度画像データ（フレームＮ−１）１３から、画像内の静止字幕領域を検出する。検出された字幕領域情報１６は内挿画像生成回路６に送られる。
動きベクトル検出回路４は、連続する２つのフレームの輝度画像データ１２および輝度画像データ１３から、画像間の動きベクトル検出を行う。
【００３７】
動きベクトル検出回路４で検出された結果は動きベクトル１４として、内挿ベクトル評価回路５に送られ、動きベクトル検出回路４で検出された結果が妥当であるかの評価が行われ、背景技術と同様な方法により最終的な内挿ベクトル１５が得られる。得られた内挿ベクトル１５は静止字幕検出回路３で生成された字幕領域情報１６と共に、内挿画像生成回路６へ送られる。
【００３８】
第２の信号系統は、ＲＧＢバッファメモリ９に接続され、ＲＧＢフォーマットの原画像データ１７をＲＧＢバッファメモリ９へ蓄積する。蓄積された原画像データ１７は、第１の信号系統で生成された内挿ベクトル１５と字幕領域情報１６と同期したタイミングで内挿画像生成用原画像データ１８として内挿画像生成回路６へと出力するよう構成されている。
【００３９】
内挿画像生成回路６は、得られた内挿画像生成用原画像データ１８、および内挿ベクトル１５、字幕領域情報１６を元に内挿画像２０を生成する。参照する内挿画像生成用原画像データ１８は、フレームＮ番目の原画像データであってもフレームＮ−１番目の原画像データであっても構わず、フレームＮ番目の原画像データで内挿する場合は、ベクトルの方向が反転する。
【００４０】
内挿画像生成回路６は、生成した内挿画像２０を出力用原画像データ１９と交互に画像出力部７へと出力する。出力順序は、Ｎ−１番目の原画像データ、内挿画像データ、Ｎ番目の原画像データの順になるようにする。
画像出力部７では、ディスプレイ表示に必要な同期信号が付加されて所定のタイミングで出力画像データ２１をディスプレイ表示装置に対して出力する。
【００４１】
（実施形態１：動作）
続いて、本実施形態の動作について説明する。
画像入力部１に対して、ある時刻の第Ｎ番目の入力画像データ１１が入力され、第１の信号系統および第２の信号系統にＲＧＢフォーマットの原画像データ１７が送信される。
第１の信号系統ではＲＧＢフォーマットの原画像データ１７がＲＧＢ−Ｙ変換回路２に入力され、フォーマット変換処理により輝度画像（フレームＮ）１２が生成される。輝度画像（フレームＮ）１２はＹバッファメモリ８に書き込まれると同時に、時間的に連続する過去の輝度画像(フレームＮ−１)１３がＹバッファメモリ８から読み出され、これら２つのフレーム（フレームＮ，フレームＮ−１）の輝度画像が静止字幕検出回路３および動きベクトル検出回路４に送信される。
【００４２】
動きベクトル検出回路４では、入力された２フレームの輝度画像から、動きベクトル１４を求める。動きベクトル１４を求める方法については種々の提案がなされており、例えばブロックマッチングによる動きベクトルの検出方法がある。これは複数の画素をまとめてブロック化し、フレームＮとフレームＮ−１の２フレーム間で、ブロック単位に一致しているか否かを評価し、最も一致したブロックとの位置関係から動きベクトルを求める方法である。得られた動きベクトル１４は内挿ベクトル評価回路５に送信される。
【００４３】
内挿ベクトル評価回路５では、内挿画像生成に必要な内挿ベクトル１５を生成する。内挿ベクトル評価回路５は動きベクトル１４を元に、評価対象画素（または複数の画素からなる評価対象ブロック）の内挿ベクトルとして当該画素を指示している動きベクトルを内挿ベクトルとするが、複数の動きベクトルが当該画素を指示している場合や、ひとつの動きベクトルも当該画素を指示していない場合がある。このような場合に、例えば、当該画素を指示していない評価対象画素（または評価対象ブロック）においては、評価対象画素の周辺画素の内挿ベクトルで補間したり、あるいは動きが無いものとして０ベクトルを割り当てたり、適宜もっともらしい内挿ベクトルの割り当てを行う。評価対象画素に割り当てた内挿ベクトル１５は、内挿画像生成回路６へ送信される。
【００４４】
一方、静止字幕検出回路３では、時間的に連続する２つの輝度画像（フレームＮ）１２と輝度画像（フレームＮ−１）１３とから、静止字幕領域の検出を行う。
静止字幕検出回路３では、図２に示す手順で静止字幕領域の検出が行われる。ステップＳ１で、字幕境界検出部１０１にて字幕境界画素の検出が行われる。字幕境界検出部１０１では、ある評価対象画素（ｘ,ｙ）を中心として点対称位置にある２点間の画素の輝度差分絶対値を、過去の輝度画像（フレームＮ−１）１３および現在の輝度画像（フレームＮ）１２のそれぞれで求める。
【００４５】
評価対象画素からの画素位置差分ｐ、ｑ、フレーム番号Ｎを用いて、式（１）および式（２）のように表わされる。
ＹＮ（ｐ，ｑ）＝｜ＹＮ（ｘ−ｐ，ｙ−ｑ）−ＹＮ（ｘ＋ｐ，ｙ＋ｑ）｜ ・・・（１）
ＹＮ−１（ｐ，ｑ）＝｜ＹＮ−１（ｘ−ｐ，ｙ−ｑ）−ＹＮ−１（ｘ＋ｐ，ｙ＋ｑ）｜ ・・・（２）
【００４６】
本実施例では、評価対象画素（ｘ，ｙ）を中心として周囲３×３ｔａｐの上記輝度差分絶対値を求めるものとする。この時、（ｐ，ｑ）＝（１，１），（０，１），（−１，１），（１，０）の各組み合わせで輝度差分絶対値ＹＮ（ｐ，ｑ）、ＹＮ−１（ｐ，ｑ）を求める。
評価対象画素（ｘ，ｙ）を中心として周囲Ｐ×Ｑｔａｐで同様の値を求める場合は、［（Ｑ−１）／２≧ｑ＞０，（Ｐ−１）／２≧ｐ≧−（Ｐ−１）／２］の全組み合わせと、［ｑ＝０，（Ｐ−１）／２≧ｐ≧０］の全組み合わせとなる。
【００４７】
ここで、求めた各輝度差分絶対値について、式（３）乃至式（５）の条件を満たすか評価を行う。式（３）の条件式は時間的に連続する２つのフレームの同じ位置にある輝度差分絶対値の差の絶対値を求め、該差分絶対値がある閾値Ｔｄｉｆｆより小さいか判定し「静止していること」が評価される。また、式４、式５の条件式では、それぞれの輝度差分絶対値ＹＮ（ｐ，ｑ）、ＹＮ−１（ｐ，ｑ）が閾値Ｔｐｏｗeｒより大きいかを判定し、字幕境界部分の特徴である「背景となる画と信号レベルで大きく差がある」ことが評価される。
【００４８】
｜ＹＮ（ｐ，ｑ）−ＹＮ−１（ｐ，ｑ）｜＜Ｔｄｉｆｆ ・・・（３）
ＹＮ（ｐ，ｑ）＞Ｔｐｏｗeｒ ・・・（４）
ＹＮ−１（ｐ，ｑ）＞Ｔｐｏｗeｒ ・・・（５）
【００４９】
全ての条件式（式（３）、式（４）、式（５））を満たす（ｐ，ｑ）の組み合わせ数をカウントし、この組み合わせの数がある閾値を超えた場合に、画素（ｘ，ｙ）が静止字幕境界であると判定する。
【００５０】
本方式によれば、評価対象画素（ｘ，ｙ）自身の輝度値は一切用いずに静止字幕境界が検出される。また、ｔａｐ数に応じて間隔の離れた画素間の輝度差分絶対値の結果も考慮される。入力画像データ１１が本回路への入力の前段階において、例えばＳＤ解像度（６４０×４８０）の映像がＦｕｌｌＨＤ解像度（１９２０×１０８０）の映像へスケーリング処理されていた場合に、静止字幕境界部分が中間輝度によって補間されてしまい、隣接画素部分でボケてしまうような場合がある。このような場合に、隣接画素間で字幕境界を検出しようとしても中間輝度画素によって段階的に輝度が移行してしまい検出できない。しかしながら、本方式によれば数画素離れた画素間での輝度差分絶対値を用いて検出することが可能なため、精度良く字幕境界の検出が可能である。
【００５１】
また、画素（ｘ，ｙ）に対する字幕境界の検出においては、複数の（ｐ，ｑ）の組み合わせの結果を用いて閾値判定を行っている。これは字幕境界部分では、付近の画素も字幕境界画素の特徴を含む画素の組み合わせが多く存在するという特徴に基づいており、ｔａｐ数を増加させた場合に字幕境界部分以外の誤検出を防ぐのに有効である。
【００５２】
ステップＳ２では、検出された字幕境界画素１１１に対して黒帯境界検出部１０２において黒帯境界検出を行い、黒帯が検出された場合に必要なフィルタ処理を行う。
一部の映像コンテンツにおいては、上下が黒帯表示になるレターボックス表示される場合がある。この場合、黒帯と撮影映像との境界ラインが水平方向に発生し、撮影映像の状態によっては字幕境界とよく似た特徴を示し、この境界線上が字幕境界画素として誤判定される場合がある。
【００５３】
このレターボックス表示での誤判定を回避する目的で、同一ライン上に検出された字幕境界画素数が、その上下のラインにある字幕境界画素数に比べて、ある閾値以上に多い場合は、そのライン上のすべての字幕境界画素を字幕境界画素から除外するフィルタ処理を行う。
ただし、レターボックス表示においては、黒帯と撮影映像との境界ライン上に字幕が重畳される場合もある。この場合、字幕境界画素として検出されるべき画素が、黒帯検出によって該フィルタ処理が行われてしまう場合がある。
字幕境界画素であるのか、黒帯と撮影画素との境界ラインであるのかの区別をすることは困難であるため、該画素についてはステップＳ４により救済措置が施される。
【００５４】
ステップＳ３では、静止画素検出部１０３により静止画素の検出が行われる。字幕画素は静止していて、輝度が高いという特徴をもつことから、字幕境界画素周辺で本特徴をもつ画素を抽出する。過去の輝度画像（フレームＮ−１）１３と現在の輝度画像（フレームＮ）１２の２フレームの評価対象画素（ｘ，ｙ）に対して、輝度差分絶対値ＹＮ（ｐ，ｑ）、ＹＮ−１（ｐ，ｑ）の差分絶対値がある閾値Ｔｄｉｆｆ以下である場合は評価対象画素(ｘ,ｙ)を静止画素と判定する。
｜ＹＮ−１（ｘ，ｙ）−ＹＮ（ｘ，ｙ）｜＜Ｔｄｉｆｆ ・・・（６）
【００５５】
ステップＳ４では、ステップＳ２で求めたフィルタ処理後の字幕境界画素１１２と、ステップＳ３で求めた静止画素１１３を用いて、静止画素と判定された画素（ｘ,ｙ）に対して、自身を除く±１画素の範囲内にある画素の字幕境界画素検出結果を参照し、字幕境界画素が存在すれば画素（ｘ,ｙ）を字幕画素として判定する。
本処理によって、ステップＳ１にて本来字幕では無い画素が、誤検出により字幕境界画素として検出されてしまった場合についても、周辺に字幕画素が検出されないので、ステップＳ５以降の処理によりノイズ除去の効果を果たす。また、字幕境界画素と黒帯境界ラインとが重畳してしまっている場合については、黒帯境界と判定されて、字幕境界画素から除外されてしまった画素を字幕画素として再度検出することで信頼性を向上している。
【００５６】
ステップＳ５では、ｍ＊ｎ画素を単位とする複数画素で構成されるブロックを形成し（これを、検出ブロックという）、ステップＳ２で得られたフィルタ処理後の字幕境界画素１１２およびステップＳ４で得られた字幕画素１１４を元に、検出ブロック中の字幕境界画素および字幕画素の検出数の和を、検出ブロックの字幕らしさを示す指標とする（以後、この指標の値を字幕信頼度と記す）。
【００５７】
ステップＳ６では、ステップＳ５で得られた字幕信頼度１１５を用い、評価対象の検出ブロックに対して、評価対象としている検出ブロックの字幕信頼度と、評価対象周辺の検出ブロックの字幕信頼度に対してそれぞれ重みづけを行い、その総和がある閾値Ｔｂｌｏｃｋを超えた場合に、評価対象の検出ブロックを字幕ブロックとして、検出ブロック内にある画素全てを字幕であると判定する。
【００５８】
評価対象周辺の検出ブロックに対する重み付け方法については以下に示す限りではないが、ここでは、下記の字幕の特徴を用いて重みづけを行う方法を示す。
(特徴１) 字幕ブロックに隣接する検出ブロックは字幕ブロックである可能性が高い。
(特徴２) 字幕ブロック周囲に存在する検出ブロックは、少なくともいずれか一方向に対して、数ブロック連続して字幕ブロックが存在する可能性が高い。
上記特徴から、評価対象周辺の検出ブロックに対して次のような手順で重みづけを行う。
【００５９】
（ａ）評価対象検出ブロックの字幕信頼度Ｓ（ｘ,ｙ)に対して重みづけ(α倍)を行う。
（ｂ）評価対象検出ブロックの周辺１ブロック以内の検出ブロックの字幕信頼度の総和Ｓ（ｘ±１，ｙ±１）に対して重みづけ（β倍）を行う。
（ｃ）評価対象検出ブロックから垂直／水平位置にある複数（ｔ）ブロックの検出ブロックの字幕信頼度Ｓ（ｘ±ｔ，ｙ）、Ｓ（ｘ，ｙ±１）に対して重みづけ（γ倍）を行う。
【００６０】
手順（ａ）（ｂ）（ｃ）で重複する検出ブロックに対しては（ａ）（ｂ）（ｃ）の順で優先として一度用いられた字幕信頼度は以降の後段の手順で用いないものとする。また、手順（ｃ）で重みづけされた値については、上下左右の各方向で和を求め、最も大きい値となった一方向分を代表値とする。
手順（ａ）（ｂ）（ｃ）で求めた値の総和を閾値Ｔｄｉｆｆと比較し、ある閾値を超えた場合は評価対象の検出ブロックを字幕ブロックと判定し、当該検出ブロック内にある画素全てを字幕領域と判定し、字幕領域情報１６として内挿画像生成回路６に送信する。
【００６１】
次に内挿画像生成回路６では、内挿ベクトル評価回路５で生成された内挿ベクトル１５と、静止字幕検出回路３で生成された字幕領域情報１６を受信し、ＲＧＢバッファメモリ９に蓄積された内挿画像用原画像データ１８を元に、内挿画像を生成する。内挿画像用原画像データ１８は、フレームＮの原画像データであっても良いし、フレームＮ−１の原画像データであっても良いが、原画像データとしてフレームＮを用いる場合は、画素（ｘ，ｙ）に対する内挿ベクトル（ｖｘ，ｖｙ）の値を、正負反転し（−ｖｘ，−ｖｙ）とする必要がある。以下、本動作例では内挿画像生成用原画像データ１８としてフレームＮ−１の原画像データを用いるものとする。
【００６２】
内挿画像生成回路６では、生成しようとする画素（ｘ，ｙ）の位置にある内挿ベクトル（ｖｘ，ｖｙ）を参照し、内挿画像生成用原画像データ１８において、内挿ベクトルの指示する画素（ｘ−ｖｘ，ｙ−ｖｙ）の値を、生成する内挿画像２０の画素（ｘ，ｙ）の画素値に割り当てる。ただし、画素（ｘ、ｙ）の生成処理において、該画素を含む検出ブロックが字幕領域情報１６により字幕領域であると判定されている場合（マスク条件１）、または内挿ベクトルの指示する画素（ｘ−ｖｘ，ｙ−ｖｙ）を含む検出ブロックが字幕領域情報１６により字幕領域である判定されている場合（マスク条件２）は、画素（ｘ，ｙ）に対する内挿ベクトルを０（ｖｘ＝ｖｙ＝０）として画素（ｘ，ｙ）の生成処理を行う。
【００６３】
マスク条件１により生成された画素（ｘ，ｙ）は、本来字幕領域内にあるべき画素に対して、動きベクトルの誤検出により別の画素が飛び込んで字幕画素を破壊することを防ぐ効果がある。また、マスク条件２により生成された画素（ｘ，ｙ）は、本来字幕領域ではない画素に対して、動きベクトルの誤検出により字幕領域内の画素が飛び込んで撮影画像を破壊することを防ぐ効果がある。
【００６４】
最後に画像出力部７により、ＲＧＢバッファメモリ９より出力用原画像データ１９を受信し、内挿画像生成回路６より内挿画像２０を受信し、これらを交互に出力画像データ２１として、ディスプレイ表示装置に出力する。この時の出力順序は、原画像データ（フレームＮ−１）、内挿画像データ、原画像データ（フレームＮ）の順になるように制御する。
【００６５】
以上のようにして、内挿画像フレームを生成して画質向上を図るフレームレート変換回路が備えられた画像出力装置において、字幕部分の破綻による画質劣化を防ぐことで高画質化を実現する回路を、字幕領域検出用に特別なメモリを増加することなく実現することが可能となる。
また、本発明によれば、フレームレートを変換する全ての装置に同様に有効であり、例えば、秒間２４フレームで撮影された映像コンテンツを、秒間６０フレーム乃至秒間１２０フレームで出力する装置においても同様である。
【００６６】
（実施形態２）
実施形態２として、秒間２４フレームの画像を秒間６０フレームの画像に変換した画像、即ち、３−２プルダウンされた秒間６０フレームの入力画像を取得し、フレームレート変換処理（秒間６０フレームの映像を秒間１２０フレームの映像に変換する）を行う回路において、字幕付き映像が入力される場合について説明する。
【００６７】
（実施形態２：構成）
図３は、本発明の画像出力装置が備えるフレームレート変換処理回路の一形態を示す構成を模式的に示す説明図である。本実施形態の構成は、図１に示す実施形態１の構成と同様であるが、Ｙバッファメモリ８、静止字幕検出回路３、動きベクトル検出回路４，内挿ベクトル評価回路５、内挿画像生成回路６等における機能や動作が以下に示すように実施形態１とは異なっている。
【００６８】
図４において、入力画像データ１１が画像入力部１に入力され、ＲＧＢフォーマットの原画像データ１７は、２つの信号系統に分散される。第１の信号系統は、ＲＧＢ−Ｙ変換回路２へ入力され、輝度画像へフォーマット変換された後、Ｙバッファメモリ８に輝度画像データを蓄積する。Ｙバッファメモリ８は２フレーム分以上のデータ容量を持つメモリで構成されており、静止字幕検出回路３、および動きベクトル検出回路４に接続されている。
【００６９】
静止字幕検出回路３は、輝度画像データ（フレームＮ）１２、および起動画像データ（フレームＮ）から時間的に１／２４秒だけずれた（同一時刻でないフレーム）の輝度画像データ（フレームＮ−１）１３の２つのフレームから、画像内の静止字幕領域を検出する。検出された字幕領域情報１６は内挿画像生成回路６に送られる。
動きベクトル検出回路４は、輝度画像データ１２および輝度画像データ１３から、画像間の動きベクトル検出を行う。
【００７０】
動きベクトル検出回路４で検出された結果は動きベクトル１４として、内挿ベクトル評価回路５に送られ、動きベクトル検出回路４で検出された結果が妥当であるかの評価が行われ、背景技術と同様な方法により最終的な内挿ベクトル１５が得られる。得られた内挿ベクトル１５は静止字幕検出回路３で生成された字幕領域情報１６と共に、内挿画像生成回路６へ送られる。
【００７１】
第２の信号系統は、ＲＧＢバッファメモリ９に接続され、ＲＧＢフォーマットの原画像データ１７をＲＧＢバッファメモリ９へ蓄積する。蓄積された原画像データ１７は、第１の信号系統で生成された内挿ベクトル１５と字幕領域情報１６と同期したタイミングで内挿画像生成用原画像データ１８として内挿画像生成回路６へと出力するよう構成されている。
【００７２】
内挿画像生成回路６は、得られた内挿画像生成用原画像データ１８、および内挿ベクトル１５、字幕領域情報１６を元に内挿画像２０を生成する。参照する内挿画像生成用原画像データ１８は、フレームＮ番目の原画像データであってもフレームＮ−１番目の原画像データであっても構わず、フレームＮ番目の原画像データで内挿する場合は、ベクトルの方向が反転する。
【００７３】
内挿画像生成回路６は、生成した内挿画像２０を４フレーム連続で画像出力部７へと出力する。次に出力用原画像データ１９を１フレームだけ画像出力部７へと出力する。出力順序は、ある時刻の出力原画像データを基準として、Ｎ−１番目の原画像データ、内挿画像データ４フレーム、Ｎ番目の原画像データの順に出力するように制御する。
画像出力部７では、ディスプレイ表示に必要な同期信号が付加されて所定のタイミングで出力画像データ２１をディスプレイ表示装置に対して出力する。
【００７４】
以上のようにして、内挿画像フレームを生成して画質向上を図るフレームレート変換回路が備えられた画像出力装置において、字幕部分の破綻による画質劣化を防ぐことで高画質化を実現する回路を、字幕領域検出用に特別なメモリを増加することなく実現することが可能となる。
【００７５】
（実施形態２：動作）
続いて、本実施形態の動作について説明する。
画像入力部１に対して、ある時刻の第Ｎ番目の入力画像データ１１が入力され、第１の信号系統および第２の信号系統にＲＧＢフォーマットの原画像データ１７が送信される。
第１の信号系統ではＲＧＢフォーマットの原画像データ１７がＲＧＢ−Ｙ変換回路２に入力され、フォーマット変換処理により輝度画像（フレームＮ）１２が生成される。輝度画像（フレームＮ）１２はＹバッファメモリ８に書き込まれると同時に、時間的に１／２４秒だけずれた過去の輝度画像(フレームＮ−１)１３がＹバッファメモリ８から読み出され、これら２つのフレーム（フレームＮ，フレームＮ−１）の輝度画像が静止字幕検出回路３および動きベクトル検出回路４に送信される。
【００７６】
なお、入力画像は同一時刻に撮影されたフレームが３フレーム入力、２フレーム入力、３フレーム入力と交互に続く、いわゆる３−２プルダウンされた映像である。この映像の入力の様子を図５に示す。入力フレームＮ―１が２フレーム（フレームＮ−１（１）乃至フレームＮ−１（２））入力され、次に入力フレームＮが３フレーム（フレームＮ（１）乃至フレームＮ（３））入力され、さらに入力フレームＮ＋１が２フレーム（フレームＮ＋１（１）乃至フレームＮ＋１（２））入力され、以後、３フレーム入力、２フレーム入力を繰り返す。このように３−２プルダウンされた入力フレームに対して内挿画像を生成して出力する様子を図６に示す。フレームＮ−１とフレームＮとの間で４枚の内挿画像を生成するが、この時に必要なフレーム画像データはフレームＮ−１の画像データとフレームＮの画像データの２フレームであり、同じフレームを示すフレームデータを複数必要としないため、Ｙバッファメモリ８に３フレーム以上の容量を実装し、入力順にＹバッファメモリ８に対して書き込んでおいて読み出す時点である時刻のフレーム（フレームＮ）と、それに対して１／２４秒ずれた過去の画像（フレームＮ−１）を読み出すように制御しても良いし、Ｙバッファメモリ８に書き込む前に同一時刻のフレームについて書き込まないように制御するか、同一時刻のフレームが書き込まれているＹバッファメモリ８上の領域に上書きして、同一時刻のフレームデータを破棄する。本発明ではその制御方法、およびＹバッファメモリの容量については上記方法に限定されない。
【００７７】
動きベクトル検出回路４では、入力された２フレームの輝度画像から、動きベクトル１４を求める。動きベクトル１４を求める方法については種々の提案がなされており、例えばブロックマッチングによる動きベクトルの検出方法がある。これは複数の画素をまとめてブロック化し、フレームＮとフレームＮ−１の２フレーム間で、ブロック単位に一致しているか否かを評価し、最も一致したブロックとの位置関係から動きベクトルを求める方法である。得られた動きベクトル１４は内挿ベクトル評価回路５に送信される。
【００７８】
内挿ベクトル評価回路５では、内挿画像生成に必要な内挿ベクトル１５を生成する。内挿ベクトル評価回路５は動きベクトル１４を元に、評価対象画素（または複数の画素からなる評価対象ブロック）の内挿ベクトルとして当該画素を指示している動きベクトルを内挿ベクトルとするが、複数の動きベクトルが当該画素を指示している場合や、ひとつの動きベクトルも当該画素を指示していない場合がある。このような場合に、例えば、当該画素を指示していない評価対象画素（または評価対象ブロック）においては、評価対象画素の周辺画素の内挿ベクトルで補間したり、あるいは動きが無いものとして０ベクトルを割り当てたり、適宜もっともらしい内挿ベクトルの割り当てを行う。評価対象画素に割り当てた内挿ベクトル１５は、内挿画像生成回路６へ送信される。
【００７９】
また、前出のように３−２プルダウンされた入力画像では時間的に１／２４秒ずれた２つのフレーム間に、４つの内挿フレームを生成する必要がある。これらの内挿フレームは時間的にそれぞれ１／１２０秒ずつずれた動きベクトルを用いたフレームを生成することが理想である。例えば、動きベクトル検出回路４で得られた動きベクトルを元に、このベクトルの１／５、２／５、３／５、４／５の大きさのベクトルを用いて、内挿ベクトル評価を各々行なうことで実現することが可能である。また、この時に生成されるフレームＮとフレームＮ−１の間の内挿フレームを、それぞれ内挿フレームＮ−１’（ベクトル１／５倍）、内挿フレームＮ−１’’（ベクトル２／５倍）、内挿フレームＮ−１’’’（ベクトル３／５倍）、内挿フレームＮ−１’’’’（ベクトル４／５倍）とする。ただし、内挿ベクトルの生成方法については本例の方法に限定されるものではない。
【００８０】
一方、静止字幕検出回路３では、時間的に連続する（同一時刻でない）２つの輝度画像（フレームＮ）１２と輝度画像（フレームＮ−１）１３とから、静止字幕領域の検出を行う。静止字幕領域の検出方法については、（実施形態１：動作）と同様である。
【００８１】
次に内挿画像生成回路６では、内挿ベクトル評価回路５で生成された内挿ベクトル１５と、静止字幕検出回路３で生成された字幕領域情報１６を受信し、ＲＧＢバッファメモリ９に蓄積された内挿画像用原画像データ１８を元に、内挿画像を生成する。内挿画像用原画像データ１８は、フレームＮの原画像データであっても良いし、フレームＮ−１の原画像データであっても良いが、原画像データとしてフレームＮを用いる場合は、画素（ｘ，ｙ）に対する内挿ベクトル（ｖｘ，ｖｙ）の値を、正負反転し（−ｖｘ，−ｖｙ）とする必要がある。以下、本動作例では内挿画像生成用原画像データ１８としてフレームＮ−１の原画像データを用いるものとする。
【００８２】
内挿画像生成回路６では、生成しようとする画素（ｘ，ｙ）の位置にある内挿ベクトル（ｖｘ，ｖｙ）を参照し、内挿画像生成用原画像データ１８において、内挿ベクトルの指示する画素（ｘ−ｖｘ，ｙ−ｖｙ）の値を、生成する内挿画像２０の画素（ｘ，ｙ）の画素値に割り当てる。ただし、画素（ｘ、ｙ）の生成処理において、該画素を含む検出ブロックが字幕領域情報１６により字幕領域であると判定されている場合（マスク条件１）、または内挿ベクトルの指示する画素（ｘ−ｖｘ，ｙ−ｖｙ）を含む検出ブロックが字幕領域情報１６により字幕領域である判定されている場合（マスク条件２）は、画素（ｘ，ｙ）に対する内挿ベクトルを０（ｖｘ＝ｖｙ＝０）として画素（ｘ，ｙ）の生成処理を行う。
【００８３】
マスク条件１により生成された画素（ｘ，ｙ）は、本来字幕領域内にあるべき画素に対して、動きベクトルの誤検出により別の画素が飛び込んで字幕画素を破壊することを防ぐ効果がある。また、マスク条件２により生成された画素（ｘ，ｙ）は、本来字幕領域ではない画素に対して、動きベクトルの誤検出により字幕領域内の画素が飛び込んで撮影画像を破壊することを防ぐ効果がある。
【００８４】
また、原画像データ（フレームＮ−１）と原画像データ（フレームＮ）との間には、４フレームの内挿画像データが生成されるが、マスク条件として使用する字幕領域情報１６は、この４フレームでも同じ情報を用いる。このため、図６に示すようにフレームＮ−１とフレームＮへの切替り時のみ静止字幕領域の検出を行い、静止字幕領域情報の更新を行うように制御する。
【００８５】
最後に画像出力部７により、ＲＧＢバッファメモリ９より出力用原画像データ１９を受信し、内挿画像生成回路６より内挿画像２０を受信し、これらを出力画像データ２１として、ディスプレイ表示装置に出力する。この時の出力順序は、図６に示すように原画像データ（フレームＮ−１）、内挿画像データ（内挿フレームＮ−１’）、内挿画像データ（内挿フレームＮ−１’’）、内挿画像データ（内挿フレームＮ−１’’’）、内挿画像データ（内挿フレームＮ−１’’’’）、原画像データ（フレームＮ）の順になるように制御する。
【００８６】
以上のようにして、内挿画像フレームを生成して画質向上を図るフレームレート変換回路が備えられた画像出力装置において、字幕部分の破綻による画質劣化を防ぐことで高画質化を実現する回路を、３−２プルダウンされた入力画像のように、連続する入力画像間で同一時刻の画像が複数入力されるような場合でも適用可能である。
【符号の説明】
【００８７】
１…画像入力部、２…Ｙ変換回路、３…静止字幕検出回路、４…動きベクトル検出回路、５…内挿ベクトル評価回路、６…内挿画像生成回路、７…画像出力部、８…Ｙバッファメモリ、９…ＲＧＢバッファメモリ、１１…入力画像データ、１２…輝度画像、１３…輝度画像、１４…動きベクトル、１５…内挿ベクトル、１６…字幕領域情報、１７…原画像データ、１８…内挿画像生成用原画像データ、１９…出力用原画像データ、２０…内挿画像、２１…出力画像データ、１０１…字幕境界検出部、１０２…黒帯境界検出部、１０３…静止画素検出部、１１１…字幕境界画素、１１２…字幕境界画素、１１３…静止画素、１１４…字幕画素、１１５…字幕信頼度。
【特許請求の範囲】
【請求項１】
表示する画像フレームを時間的に連続する２つの入力画像フレームの間に、１つまたは複数の内挿フレームを生成し出力する画像出力装置において、
画像を入力するための画像入力部と、入力した画像の画像フォーマットを変換せずにそのまま蓄積するための原画像蓄積用バッファメモリと、入力した画像を順次輝度情報のみの画像フォーマットに変換し輝度画像を生成する画像フォーマット変換回路と、輝度画像を蓄積するための輝度画像蓄積用バッファメモリと、時間的に連続した２フレームの輝度画像間の動きベクトルを検出する動きベクトル検出回路と、動きベクトルを用いて前記時間的に連続した２フレームの間に挿入される内挿フレームの各画素または複数画素で構成されるブロックの内挿ベクトルを選定する内挿ベクトル評価回路と、入力した時間的に連続した２フレームの輝度画像間の静止している字幕画像を検出する静止字幕検出回路と、前記原画像蓄積用バッファメモリに蓄積された原画像を元に内挿ベクトルおよび静止字幕検出結果から所望の内挿フレームを生成する内挿画像生成回路と、前記原画像蓄積用バッファメモリに蓄えられた原画像フレームおよび前記内挿画像生成回路で生成された内挿フレームを時間的に連続するように並べて出力する画像出力部とを有し、
前記内挿画像生成回路は、前記静止字幕検出回路で字幕と判定された画素または複数画素を含むブロックに割り当てられた内挿ベクトルの値を０とし、前記静止字幕検出回路で字幕と判定されなかった画素または複数画素を含むブロックのうち前記内挿ベクトルが指示する画素において字幕と判定された場合は該画素または複数画素を含むブロックに割り当てられた内挿ベクトルを０として前記内挿フレームを生成することを特徴とする画像出力装置。
【請求項２】
請求項１記載の画像出力装置において、前記静止字幕検出回路は、評価対象画素を中心として点対象位置にある２点の画素の輝度差分値が、時間的に連続する２フレームにおいてともに閾値を超え、かつ前記２フレーム間で前記輝度差分値がほとんど同じ値である場合に、前記評価対象画素を字幕境界画素と判定し、複数画素で構成されるブロック内に前記字幕境界画素の数がある閾値を超えた場合に、前記ブロック内の画素を字幕と判定することを特徴とする画像出力装置。
【請求項３】
請求項２記載の画像出力装置において、前記静止字幕検出回路は、前記字幕境界画素として判定された画素について、評価対象画素が属するラインに存在する前記字幕境界画素として判定された画素数と、前記ラインの直下のラインに存在する前記字幕境界画素として判定された画素数が、共にある閾値を超えている場合に、前記評価対象画素が属するラインの画素全てを黒帯境界と判定し、前記字幕境界画素として判定した画素の判定を解除することを特徴とする画像出力装置。
【請求項４】
請求項２または３記載の画像出力装置において、時間的に連続する２つの原画像フレームの各々の評価対象画素について、前記静止字幕検出回路は、前記評価対象画素の輝度差分値がある閾値を超えた場合に、該評価対象画素を静止画素と判定し、該静止画素の周辺画素に前記字幕境界画素が存在する場合に、前記静止画素を字幕と判定し、複数画素で構成されるブロック内における前記字幕境界画素の数と前記字幕画素の数の和がある閾値を超えた場合に、前記ブロック内の画素を字幕と判定することを特徴とする画像出力装置。
【請求項５】
請求項２〜４のいずれか１に記載の画像出力装置において、入力画像フレームのうち時間的に連続する２つのフレームについて、画面全体でほとんど差分が無い画像と判断された場合に、いずれか一方のフレームを破棄し前記２つのフレームの間に内挿フレームを生成せず、前記静止字幕検出回路における字幕検出処理を行わないことを特徴とする画像出力装置。
【請求項６】
表示する画像フレームを時間的に連続する２つの入力画像フレームの間に、１つまたは複数の内挿フレームを生成し出力する画像出力装置により実行する画像出力方法において、
前記画像出力装置に画像を入力する画像入力ステップと、
入力した画像の画像フォーマットを変換せずにバッファメモリにそのまま蓄積する原画像蓄積ステップと、
入力した画像を順次輝度情報のみの画像フォーマットに変換し輝度画像を生成する画像フォーマット変換ステップと、
輝度画像をバッファメモリに蓄積する輝度画像蓄ステップと、
時間的に連続した２フレームの輝度画像間の動きベクトルを検出する動きベクトル検出ステップと、
動きベクトルを用いて前記時間的に連続した２フレームの間に挿入される内挿フレームの各画素または複数画素で構成されるブロックの内挿ベクトルを選定する内挿ベクトル評価ステップと、
入力した時間的に連続した２フレームの輝度画像間の静止している字幕画像を検出する静止字幕検出ステップと、
前記原画像蓄積ステップでバッファメモリに蓄積された原画像を元に内挿ベクトルおよび静止字幕検出結果から所望の内挿フレームを生成する内挿画像生成ステップと、
前記原画像蓄積ステップでバッファメモリに蓄えられた原画像フレームおよび前記内挿画像生成ステップで生成された内挿フレームを時間的に連続するように並べて出力する画像出力ステップとを有し、
前記内挿画像生成ステップは、前記静止字幕検出ステップで字幕と判定された画素または複数画素を含むブロックに割り当てられた内挿ベクトルの値を０とし、前記静止字幕検出ステップで字幕と判定されなかった画素または複数画素を含むブロックのうち前記内挿ベクトルが指示する画素において字幕と判定された場合は該画素または複数画素を含むブロックに割り当てられた内挿ベクトルを０として前記内挿フレームを生成することを特徴とする画像出力方法。
【請求項７】
請求項６記載の画像出力方法において、前記静止字幕検出ステップは、評価対象画素を中心として点対象位置にある２点の画素の輝度差分値が、時間的に連続する２フレームにおいてともに閾値を超え、かつ前記２フレーム間で前記輝度差分値がほとんど同じ値である場合に、前記評価対象画素を字幕境界画素と判定し、複数画素で構成されるブロック内に前記字幕境界画素の数がある閾値を超えた場合に、前記ブロック内の画素を字幕と判定することを特徴とする画像出力方法。
【請求項８】
請求項７記載の画像出力方法において、前記静止字幕検出ステップは、前記字幕境界画素として判定された画素について、評価対象画素が属するラインに存在する前記字幕境界画素として判定された画素数と、前記ラインの直下のラインに存在する前記字幕境界画素として判定された画素数が、共にある閾値を超えている場合に、前記評価対象画素が属するラインの画素全てを黒帯境界と判定し、前記字幕境界画素として判定した画素の判定を解除することを特徴とする画像出力方法。
【請求項９】
請求項７または８記載の画像出力方法において、前記静止字幕検出ステップは、時間的に連続する２つの原画像フレームの各々の評価対象画素について、前記評価対象画素の輝度差分値がある閾値を超えた場合に、該評価対象画素を静止画素と判定し、該静止画素の周辺画素に前記字幕境界画素が存在する場合に、前記静止画素を字幕と判定し、複数画素で構成されるブロック内における前記字幕境界画素の数と前記字幕画素の数の和がある閾値を超えた場合に、前記ブロック内の画素を字幕と判定することを特徴とする画像出力方法。
【請求項１０】
請求項７〜９のいずれか１に記載の画像出力方法において、入力画像フレームのうち時間的に連続する２つのフレームについて、画面全体でほとんど差分が無い画像と判断された場合に、いずれか一方のフレームを破棄し前記２つのフレームの間に内挿フレームを生成せず、前記静止字幕検出ステップにおける字幕検出処理を行わないことを特徴とする画像出力方法。
【請求項１】
表示する画像フレームを時間的に連続する２つの入力画像フレームの間に、１つまたは複数の内挿フレームを生成し出力する画像出力装置において、
画像を入力するための画像入力部と、入力した画像の画像フォーマットを変換せずにそのまま蓄積するための原画像蓄積用バッファメモリと、入力した画像を順次輝度情報のみの画像フォーマットに変換し輝度画像を生成する画像フォーマット変換回路と、輝度画像を蓄積するための輝度画像蓄積用バッファメモリと、時間的に連続した２フレームの輝度画像間の動きベクトルを検出する動きベクトル検出回路と、動きベクトルを用いて前記時間的に連続した２フレームの間に挿入される内挿フレームの各画素または複数画素で構成されるブロックの内挿ベクトルを選定する内挿ベクトル評価回路と、入力した時間的に連続した２フレームの輝度画像間の静止している字幕画像を検出する静止字幕検出回路と、前記原画像蓄積用バッファメモリに蓄積された原画像を元に内挿ベクトルおよび静止字幕検出結果から所望の内挿フレームを生成する内挿画像生成回路と、前記原画像蓄積用バッファメモリに蓄えられた原画像フレームおよび前記内挿画像生成回路で生成された内挿フレームを時間的に連続するように並べて出力する画像出力部とを有し、
前記内挿画像生成回路は、前記静止字幕検出回路で字幕と判定された画素または複数画素を含むブロックに割り当てられた内挿ベクトルの値を０とし、前記静止字幕検出回路で字幕と判定されなかった画素または複数画素を含むブロックのうち前記内挿ベクトルが指示する画素において字幕と判定された場合は該画素または複数画素を含むブロックに割り当てられた内挿ベクトルを０として前記内挿フレームを生成することを特徴とする画像出力装置。
【請求項２】
請求項１記載の画像出力装置において、前記静止字幕検出回路は、評価対象画素を中心として点対象位置にある２点の画素の輝度差分値が、時間的に連続する２フレームにおいてともに閾値を超え、かつ前記２フレーム間で前記輝度差分値がほとんど同じ値である場合に、前記評価対象画素を字幕境界画素と判定し、複数画素で構成されるブロック内に前記字幕境界画素の数がある閾値を超えた場合に、前記ブロック内の画素を字幕と判定することを特徴とする画像出力装置。
【請求項３】
請求項２記載の画像出力装置において、前記静止字幕検出回路は、前記字幕境界画素として判定された画素について、評価対象画素が属するラインに存在する前記字幕境界画素として判定された画素数と、前記ラインの直下のラインに存在する前記字幕境界画素として判定された画素数が、共にある閾値を超えている場合に、前記評価対象画素が属するラインの画素全てを黒帯境界と判定し、前記字幕境界画素として判定した画素の判定を解除することを特徴とする画像出力装置。
【請求項４】
請求項２または３記載の画像出力装置において、時間的に連続する２つの原画像フレームの各々の評価対象画素について、前記静止字幕検出回路は、前記評価対象画素の輝度差分値がある閾値を超えた場合に、該評価対象画素を静止画素と判定し、該静止画素の周辺画素に前記字幕境界画素が存在する場合に、前記静止画素を字幕と判定し、複数画素で構成されるブロック内における前記字幕境界画素の数と前記字幕画素の数の和がある閾値を超えた場合に、前記ブロック内の画素を字幕と判定することを特徴とする画像出力装置。
【請求項５】
請求項２〜４のいずれか１に記載の画像出力装置において、入力画像フレームのうち時間的に連続する２つのフレームについて、画面全体でほとんど差分が無い画像と判断された場合に、いずれか一方のフレームを破棄し前記２つのフレームの間に内挿フレームを生成せず、前記静止字幕検出回路における字幕検出処理を行わないことを特徴とする画像出力装置。
【請求項６】
表示する画像フレームを時間的に連続する２つの入力画像フレームの間に、１つまたは複数の内挿フレームを生成し出力する画像出力装置により実行する画像出力方法において、
前記画像出力装置に画像を入力する画像入力ステップと、
入力した画像の画像フォーマットを変換せずにバッファメモリにそのまま蓄積する原画像蓄積ステップと、
入力した画像を順次輝度情報のみの画像フォーマットに変換し輝度画像を生成する画像フォーマット変換ステップと、
輝度画像をバッファメモリに蓄積する輝度画像蓄ステップと、
時間的に連続した２フレームの輝度画像間の動きベクトルを検出する動きベクトル検出ステップと、
動きベクトルを用いて前記時間的に連続した２フレームの間に挿入される内挿フレームの各画素または複数画素で構成されるブロックの内挿ベクトルを選定する内挿ベクトル評価ステップと、
入力した時間的に連続した２フレームの輝度画像間の静止している字幕画像を検出する静止字幕検出ステップと、
前記原画像蓄積ステップでバッファメモリに蓄積された原画像を元に内挿ベクトルおよび静止字幕検出結果から所望の内挿フレームを生成する内挿画像生成ステップと、
前記原画像蓄積ステップでバッファメモリに蓄えられた原画像フレームおよび前記内挿画像生成ステップで生成された内挿フレームを時間的に連続するように並べて出力する画像出力ステップとを有し、
前記内挿画像生成ステップは、前記静止字幕検出ステップで字幕と判定された画素または複数画素を含むブロックに割り当てられた内挿ベクトルの値を０とし、前記静止字幕検出ステップで字幕と判定されなかった画素または複数画素を含むブロックのうち前記内挿ベクトルが指示する画素において字幕と判定された場合は該画素または複数画素を含むブロックに割り当てられた内挿ベクトルを０として前記内挿フレームを生成することを特徴とする画像出力方法。
【請求項７】
請求項６記載の画像出力方法において、前記静止字幕検出ステップは、評価対象画素を中心として点対象位置にある２点の画素の輝度差分値が、時間的に連続する２フレームにおいてともに閾値を超え、かつ前記２フレーム間で前記輝度差分値がほとんど同じ値である場合に、前記評価対象画素を字幕境界画素と判定し、複数画素で構成されるブロック内に前記字幕境界画素の数がある閾値を超えた場合に、前記ブロック内の画素を字幕と判定することを特徴とする画像出力方法。
【請求項８】
請求項７記載の画像出力方法において、前記静止字幕検出ステップは、前記字幕境界画素として判定された画素について、評価対象画素が属するラインに存在する前記字幕境界画素として判定された画素数と、前記ラインの直下のラインに存在する前記字幕境界画素として判定された画素数が、共にある閾値を超えている場合に、前記評価対象画素が属するラインの画素全てを黒帯境界と判定し、前記字幕境界画素として判定した画素の判定を解除することを特徴とする画像出力方法。
【請求項９】
請求項７または８記載の画像出力方法において、前記静止字幕検出ステップは、時間的に連続する２つの原画像フレームの各々の評価対象画素について、前記評価対象画素の輝度差分値がある閾値を超えた場合に、該評価対象画素を静止画素と判定し、該静止画素の周辺画素に前記字幕境界画素が存在する場合に、前記静止画素を字幕と判定し、複数画素で構成されるブロック内における前記字幕境界画素の数と前記字幕画素の数の和がある閾値を超えた場合に、前記ブロック内の画素を字幕と判定することを特徴とする画像出力方法。
【請求項１０】
請求項７〜９のいずれか１に記載の画像出力方法において、入力画像フレームのうち時間的に連続する２つのフレームについて、画面全体でほとんど差分が無い画像と判断された場合に、いずれか一方のフレームを破棄し前記２つのフレームの間に内挿フレームを生成せず、前記静止字幕検出ステップにおける字幕検出処理を行わないことを特徴とする画像出力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１６９８２２（Ｐ２０１０−１６９８２２Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１１１１１（Ｐ２００９−１１１１１）
【出願日】平成２１年１月２１日（２００９．１．２１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２１日（２００９．１．２１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]