画像処理装置及び画像処理方法
【課題】簡易な構成でテロップの動きを滑らかに表現することのできる技術を提供する。
【解決手段】本発明の画像処理装置は、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出手段と、入力された映像から水平テロップ及び垂直テロップを検出するテロップ検出手段と、複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する第１補正手段と、複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する第２補正手段と、テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、第１補正手段と第２補正手段のうち一方の補正手段による補正を行い、他方の補正手段による補正を省略するように、第１補正手段と第２補正手段を制御する制御手段と、ブロック毎の動きベクトルを用いて補間フレームを生成する生成手段と、を有する。
【解決手段】本発明の画像処理装置は、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出手段と、入力された映像から水平テロップ及び垂直テロップを検出するテロップ検出手段と、複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する第１補正手段と、複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する第２補正手段と、テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、第１補正手段と第２補正手段のうち一方の補正手段による補正を行い、他方の補正手段による補正を省略するように、第１補正手段と第２補正手段を制御する制御手段と、ブロック毎の動きベクトルを用いて補間フレームを生成する生成手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、動画像（映像）を表示する際の動画解像度（動画性能の優劣を表す指標）を改善するために、フレーム補間を行ってフレーム数を増加させるフレームレート変換技術の研究開発が進められている。また、画面内をスクロールする文字列、所謂テロップは表示装置の視聴者が特に注目する領域であるため、フレームレート変換技術を用いてテロップの動きを滑らかに表現することで高い効果が期待できる。
【０００３】
テロップの動きを滑らかに表現するための技術は、例えば、特許文献１に開示されている。具体的には、特許文献１に開示の技術では、画像を格子状のブロックに分割して、ブロックごとに求めた動きベクトルから、テロップの動きベクトルを検出する。そして、テロップの存在する可能性の高いブロックの動きベクトルを、検出されたテロップの動きベクトルに置き換える（動きベクトル補正処理）。テロップの存在する可能性の高いブロックの動きベクトルとして検出されたテロップの動きベクトルを用いて補間フレームを生成することにより、テロップの動きを滑らかに表現することができる。
【０００４】
しかしながら、特許文献１に開示の技術では、映像に、水平方向に移動するテロップ（水平テロップ）と垂直方向に移動するテロップ（垂直テロップ）が含まれる場合に問題がある。具体的には、特許文献１に開示の技術では、そのような場合に、各テロップの存在する可能性の高い全てのブロックに対して動きベクトル補正処理が行われることとなるため、処理負荷が増大してしまう。また、このような処理を１フレーム期間内に終了させるためには、演算能力の高い演算処理装置を用いる必要があるため、コストが増大してしまう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０４２８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、簡易な構成でテロップの動きを滑らかに表現することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出手段と、入力された映像から水平方向に移動する水平テロップ及び垂直方向に移動する垂直テロップを検出するテロップ検出手段と、複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する第１補正手段と、複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する第２補正手段と、テロップ検出手段の検出結果に基づいて、第１補正手段と第２補正手段を制御する制御手段と、ブロック毎の動きベクトルを用いて補間フレームを生成する生成手段と、を有し、制御手段は、テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、第１補正手段と第２補正手段のうち一方の補正手段による補正を行い、他方の補正手段による補正を省略するように、第１補正手段と第２補正手段を
制御する。
【０００８】
本発明の画像処理方法は、入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理方法であって、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出ステップと、入力された映像から水平方向に移動する水平テロップ及び垂直方向に移動する垂直テロップを検出するテロップ検出ステップと、複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する第１補正ステップと、複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する第２補正ステップと、テロップ検出ステップでの検出結果に基づいて、第１補正ステップと第２補正ステップでの処理を制御する制御ステップと、ブロック毎の動きベクトルを用いて補間フレームを生成する生成ステップと、を有し、制御ステップでは、テロップ検出ステップで水平テロップと垂直テロップの両方が検出された場合に、第１補正ステップと第２補正ステップのうち一方の補正ステップによる補正を行い、他方の補正ステップによる補正を省略するように、第１補正ステップと第２補正ステップでの処理を制御する。
【発明の効果】
【０００９】
本発明によれば、簡易な構成でテロップの動きを滑らかに表現することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る画像処理装置の機能構成を示すブロック図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例に係る画像処理装置及び画像処理方法について説明する。以下の実施例に係る画像処理装置は、入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する。
【００１２】
＜実施例１＞
（全体構成）
図１は本発明の実施例１に係る画像処理装置の機能構成を示すブロック図である。図１において、符号１はフレーム遅延部、符号２は動きベクトル検出部、符号３はテロップ検出部、符号４は選択部、符号５は第１補正部、符号６は第２補正部、７，８は切り替えスイッチ、９は補間フレーム生成部を示す。
【００１３】
入力された映像（映像信号）はフレーム遅延部１において１フレーム期間だけ遅延される。なお、本実施例では映像がフレーム単位で入力されるものとする。
動きベクトル検出部２は、入力された映像（入力映像）を複数のブロックに分割し、ブロック毎の動きベクトルを検出する。本実施例では、遅延されたフレームＦ１と遅延されていないフレームＦ２（フレームＦ１の１つ後のフレーム）とからブロックマッチング法を用いてブロック毎の動きベクトル（フレームＦ１，Ｆ２間の動きベクトル）を検出する。具体的には、フレームＦ１の画像を格子状のブロックに分割し、各ブロックがフレームＦ２の画像上のどの位置に移動したかを、相関値を計算することによって算出する。動きベクトルは水平方向成分と垂直方向成分を有する。
そして、動きベクトル検出部２は１画面分（１フレーム分）の動きベクトル（検出された動きベクトル）の配列Ｖｅｃを出力する。配列Ｖｅｃは水平方向のブロック数×垂直方向のブロック数の要素（動きベクトル）を有する２次元配列である。配列Ｖｅｃはテロップ検出部３に入力される。
【００１４】
テロップ検出部３は、入力された映像から水平方向に移動するテロップ（水平テロップ）及び垂直方向に移動するテロップ（垂直テロップ）を検出する。本実施例では、動きベ
クトル検出部２から取得した配列Ｖｅｃを統計的に解析し、水平テロップと垂直テロップの有無、及び、各テロップの速さを検出する。
【００１５】
具体的には、格子状に分割された複数のブロックの１行ごとに垂直方向成分が０の動きベクトルについて水平方向成分すなわち水平方向の速さのヒストグラムを生成する。ただし、この時、水平方向成分が０の動きベクトルは除外する。そして、各ヒストグラムにおいて、度数の最大値が所定値以上である場合に、そのヒストグラムに対応する行に水平テロップ（水平方向の速さが度数の最大値に対応する速さである水平テロップ）が存在すると判定する。
また、複数のブロックの１行ごとに水平方向成分が０の動きベクトルについて垂直方向成分すなわち垂直方向の速さのヒストグラムを生成する。ただし、この時、垂直方向成分が０の動きベクトルは除外する。そして、各ヒストグラムにおいて、度数の最大値が所定値以上である場合に、そのヒストグラムに対応する行に垂直テロップ（垂直方向の速さが度数の最大値に対応する速さである垂直テロップ）が存在すると判定する。
なお、本実施例では、動きベクトルの情報を統計的に解析することでテロップの有無とその速さを検出しているが、テロップとその速さの検出方法はこれに限らない。例えば、入力されたフレーム画像の画素データ、フレーム間の差分データに関する特徴量、または、それらの両方などを用いて検出してもよい。
【００１６】
テロップ検出部３は、複数のブロックの行数個の要素を有する配列Ｖｘ及び配列Ｖｙをテロップ検出情報として出力する。配列Ｖｘの各要素は、それぞれ、複数のブロックの行に対応しており、水平テロップが存在すると判定された行に対してはその速さ（水平方向の速さ）が要素とされ、水平テロップが存在しない行に対しては０が要素とされる。配列Ｖｙの各要素も、それぞれ、複数のブロックの行に対応しており、垂直テロップが存在すると判定された行に対してはその速さ（垂直方向の速さ）が要素とされ、垂直テロップが存在しない行に対しては０が要素とされる。
テロップ検出情報（配列Ｖｘ，Ｖｙ）は選択部４、第１補正部５、第２補正部６に出力される。
【００１７】
第１補正部５、第２補正部６は、配列Ｖｅｃを補正する。具体的には、第１補正部５は、複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する。第２補正部６は、複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する。第１補正部５、第２補正部６の処理の詳細については後述する。
【００１８】
選択部４は、テロップ検出部３から取得したテロップ検出情報に基づき、第１補正部５による補正処理のみを行うか、第２補正部６による補正処理のみを行うか、第１補正部５と第２補正部６による補正処理を行わないかを選択する。具体的には、第１補正部５による補正処理のみを行う場合には水平テロップ（水平方向）を選択し、第２補正部６による補正処理のみを行う場合には垂直テロップ（垂直方向）を選択する。第１補正部５と第２補正部６による補正処理を行わない場合にはテロップ（方向）を選択しない。選択部４の処理の詳細については後述する。
【００１９】
切り替えスイッチ７，８は、テロップ検出部３の検出結果に基づいて、第１補正部５と第２補正部６を制御する。本実施例では、選択部４の選択結果（テロップ検出部３の検出結果に基づく選択結果）に応じて機能間の接続を切り替えることにより、第１補正部５と第２補正部６を制御する。
具体的には、選択部４でテロップが選択されなかった場合には、動きベクトル検出部２から出力された配列Ｖｅｃがそのまま補間フレーム生成部９に入力されるように機能間の接続を切り替える。即ち、第１補正部５と第２補正部６による補正を行わないように、第１補正部５と第２補正部６を制御する。
選択部４で水平テロップが選択された場合には、動きベクトル検出部２から出力された配列Ｖｅｃが第１補正部５で補正されて補間フレーム生成部９に入力されるように機能間の接続を切り替える。即ち、第１補正部５による補正を行い、第２補正部６による補正を省略するように、第１補正部５と第２補正部６を制御する。
垂直テロップが選択された場合には、動きベクトル検出部２から出力された配列Ｖｅｃが第２補正部６で補正されて補間フレーム生成部９に入力されるように機能間の接続を切り替える。即ち、第２補正部６による補正を行い、第１補正部５による補正を省略するように、第１補正部５と第２補正部６を制御する。
【００２０】
補間フレーム生成部９は、ブロック毎の動きベクトルを用いて補間フレームを生成する。具体的には、配列Ｖｅｃ（または補正された配列Ｖｅｃ）と生成する補間フレームの前後２フレーム（フレームＦ１，Ｆ２）とを用いて補間フレームを生成する。
【００２１】
（選択部の処理の具体例）
以下、選択部４の処理の具体例について説明する。
選択部４は、配列Ｖｘ及び配列Ｖｙの要素がすべて０である場合（水平テロップと垂直テロップが検出されなかった場合）にはテロップを選択しない。
配列Ｖｘと配列Ｖｙの一方にのみ０でない要素が含まれる場合（水平テロップと垂直テロップのいずれか一方のみが検出された場合）には、検出されたテロップを選択する。
配列Ｖｘと配列Ｖｙの両方に０でない要素が含まれる場合（水平テロップと垂直テロップの両方が検出された場合）には、いずれか一方のテロップを選択する。
【００２２】
速さの速いテロップの動きを滑らかに表現することによる効果（補間効果）は高いため、本実施例では、選択部４は、テロップ検出部３で水平テロップと垂直テロップの両方が検出された場合に、速さが速い方のテロップを選択する。
例えば、水平テロップの速さ、垂直テロップの速さをそれぞれ所定の閾値と比較して、それぞれのテロップが高速か低速かを判定する。そして、一方のテロップが高速と判定された場合には、該テロップ（高速と判定されたテロップ）を選択する。また、水平方向の動きの方が垂直方向の動きよりも追従しやすく、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、両方のテロップの判定結果が同じ場合には、水平テロップを選択する。
【００２３】
具体的には、水平テロップの速さＶｘ＿ｔが所定の閾値Ｖｘｔｈ以上の場合（水平テロップが高速と判定された場合）には、垂直テロップの速さＶｙ＿ｔにかかわらず水平テロップを選択する。水平テロップの速さＶｘ＿ｔが閾値Ｖｘｔｈ未満、且つ、垂直テロップの速さＶｙ＿ｔが所定の閾値Ｖｙｔｈ以上の場合（水平テロップが低速、垂直テロップが高速と判定された場合）には、垂直テロップを選択する。水平テロップの速さＶｘ＿ｔが閾値Ｖｘｔｈ未満、且つ、垂直テロップの速さＶｙ＿ｔが閾値Ｖｙｔｈ未満の場合（水平テロップと垂直テロップの両方が低速と判定された場合）には、水平テロップを選択する。
なお、配列Ｖｘが０以外の要素を複数含んでいる場合（水平テロップが存在するとされた行が複数検出された）場合には、それらの要素の最大値Ｍａｘ（Ｖｘ）を閾値Ｖｘｔｈと比較することが好ましい（動きが速いほど補間効果が高いため）。配列Ｖｙが０以外の要素を複数含んでいる場合についても、同様に、それらの要素の最大値Ｍａｘ（Ｖｙ）を閾値Ｖｙｔｈと比較することが好ましい。これにより、例えば、水平テロップや垂直テロップが複数存在している場合でもテロップの選択を適切に行うことが可能となる。勿論、配列に含まれる０以外の要素の平均値や累積値などを閾値と比較してもよい。
これらの選択方法をまとめると表１のようになる。なお、表１中で＊は０以外の任意の値を意味し、−は配列中に０以外の要素が存在しないことを意味する。
【００２４】
【表１】
【００２５】
なお、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、閾値Ｖｘｔｈは閾値Ｖｙｔｈより小さいことが好ましい。例えば、閾値Ｖｘｔｈ＝５画素／フレーム、閾値Ｖｙｔｈ＝８画素／フレームなどとすればよい。なお、これらの閾値はメーカやユーザによって適宜設定されるものであり、これらの値に限定されるものではない。
【００２６】
（第１補正部と第２補正部の処理の具体例）
以下、第１補正部５と第２補正部６の処理の具体例について説明する。
第１補正部５は、配列Ｖｘの要素が０でない行（水平テロップが存在するとされた行）に属するブロックのうち、垂直方向成分が０であり、水平方向成分が検出された水平テロップの速さと一致するブロックを該水平テロップを含むブロックとして検出する。さらに、検出したブロックに隣接するブロック（垂直方向、水平方向、斜め方向に隣接する計８つのブロック）を水平テロップを含むブロックとみなし、それらのブロックの動きベクトルを補正する（配列Ｖｅｃの補正）。具体的には、動きベクトルの垂直方向成分を０に、水平方向成分を検出された水平テロップの速さに置き換える。
水平テロップが存在するとされたすべての行に対して上記補正処理が終了したら、補正された配列Ｖｅｃを補間フレーム生成部９に出力する。
【００２７】
なお、検出したブロックに隣接するブロックを水平テロップを含むブロックとみなすのは、それらのブロックでは水平テロップが占める領域が小さいために水平テロップの移動速度とは異なる動きベクトルが検出された可能性が高いからである。それらのブロックを水平テロップを含むブロックとみなすことにより、補間フレームにおいて水平テロップの一部が欠けてしまうこと（水平テロップが乱れてしまうこと）を抑制することができる。
【００２８】
第２補正部６は、配列Ｖｙの要素が０でない行（垂直テロップが存在するとされた行）に属するブロックのうち、水平方向成分が０であり、垂直方向成分が検出された垂直テロップの速さと一致するブロックを該垂直テロップを含むブロックとして検出する。さらに、検出したブロックに隣接するブロックを垂直テロップを含むブロックとみなし、それらのブロックの動きベクトルを補正する（配列Ｖｅｃの補正）。具体的には、動きベクトルの水平方向成分を０に、垂直方向成分を検出された垂直テロップの速さに置き換える。
垂直テロップが存在するとされたすべての行に対して上記補正処理が終了したら、補正された配列Ｖｅｃを補間フレーム生成部９に出力する。
【００２９】
なお、入力された映像が水平テロップと垂直テロップの両方を含む場合、両方のテロップを含むブロックが存在することがある。そのようなブロックにおいて、それらのテロップが重なっている場合には、それらのテロップのうち上側に表示されているテロップ（上
側テロップ）の動きベクトルがそのブロック（重複ブロック）の動きベクトルとして検出される。従って、選択部４において上側テロップが選択されていれば、該上側テロップを乱すことのない補間フレームを生成することができる。
【００３０】
しかし、選択部４において、必ずしも上側テロップが選択されるとは限らない。選択部４において、上側テロップとは異なるテロップ（即ち、下側に表示されているテロップ；下側テロップ）が選択された場合には、補間フレームにおいて上側テロップが乱れることとなる。具体的には、上側テロップの存在するブロック（上記重複ブロック及びそれに隣接するブロック）の動きベクトルとして下側テロップの動きベクトルが割り当てられるため、補間フレームにおいて上側テロップが乱れることとなる。
そのため、第１補正部５、及び、第２補正部６は水平テロップと垂直テロップの両方を含むブロックの動きベクトルを補正しないことが好ましい。そのような構成にすることにより、水平テロップと垂直テロップとが重複する領域に対しても良好に補間することができる（上述したようなテロップの乱れを抑制することができる）。
【００３１】
＜実施例２＞
（全体構成）
次に、本発明の実施例２について説明する。本実施例に係る画像処理装置の基本的な構成は実施例１（図１）と同じであるため、説明を省略し、以下では実施例１と異なる部分（具体的には、選択部４の処理）について説明する。
【００３２】
（選択部の処理の具体例）
以下、選択部４の処理の具体例について説明する。なお、配列Ｖｘ及び配列Ｖｙの要素がすべて０である場合、及び、配列Ｖｘと配列Ｖｙの一方にのみ０でない要素が含まれる場合の選択部４の処理は、実施例１と同様のため、説明は省略する。
【００３３】
サイズの大きいテロップは視覚的に目立つため、そのようなテロップに対しては高い補間効果が期待できる。そこで、本実施例では、選択部４は、テロップ検出部３で水平テロップと垂直テロップの両方が検出された場合に、サイズが大きい方のテロップを選択する。
例えば、水平テロップのサイズ、垂直テロップのサイズをそれぞれ所定の閾値と比較して、それぞれのテロップが大サイズか小サイズかを判定する。そして、一方のテロップが大サイズと判定された場合には、該テロップ（大サイズと判定されたテロップ）を選択する。また、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、両方のテロップの判定結果が同じ場合には、水平テロップを選択する。
【００３４】
具体的には、水平テロップのサイズＳｘが所定の閾値Ｓｘｔｈ以上の場合（水平テロップが大サイズと判定された場合）には、垂直テロップのサイズＳｙにかかわらず水平テロップを選択する。水平テロップのサイズＳｘが閾値Ｓｘｔｈ未満、且つ、垂直テロップのサイズＳｙが所定の閾値Ｓｙｔｈ以上の場合（水平テロップが小サイズ、垂直テロップが大サイズと判定された場合）には、垂直テロップを選択する。水平テロップのサイズＳｘが閾値Ｓｘｔｈ未満、且つ、垂直テロップのサイズＳｙが閾値Ｓｙｔｈ未満の場合（水平テロップと垂直テロップの両方が小サイズと判定された場合）には、水平テロップを選択する。
これらの選択方法をまとめると表２のようになる。なお、表２中で＊は０以外の任意の値を意味し、−は配列中に０以外の要素が存在しないことを意味する。
【００３５】
【表２】
【００３６】
なお、各テロップのサイズは、配列Ｖｘ，Ｖｙを解析することにより求めればよい。例えば、配列Ｖｘにおいて０でない同じ値の要素が連続している数の最大値を水平テロップのサイズＳｘとすればよい。また、配列Ｖｙにおいて０でない同じ値の要素が連続している数の最大値を垂直テロップのサイズＳｙとすればよい。
なお、サイズは、この方法に限らない。例えば、文字認識などにより、より精密にテロップを検出し、該検出結果からテロップの１文字あたりのサイズを算出してもよい。その際、複数のサイズの文字が検出された場合には、最も大きいサイズをテロップのサイズとすれることが好ましい（サイズの大きいテロップほど視覚的に目立つため）。テロップの大きさを把握することができれば、どのような値をサイズとしてもよい。
【００３７】
なお、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、閾値Ｓｘｔｈは閾値Ｓｙｔｈより小さいことが好ましい。例えば、閾値Ｓｘｔｈ＝２ブロック、閾値Ｓｙｔｈ＝４ブロックなどとすればよい。なお、これらの閾値はメーカやユーザによって適宜設定されるものであり、これらの値に限定されるものではない。
【００３８】
＜実施例３＞
（全体構成）
次に、本発明の実施例３について説明する。本実施例に係る画像処理装置は、実施例１に係る画像処理装置の構成（図１）の他に、輝度検出部をさらに有する。以下、実施例１と異なる部分について説明する。
【００３９】
輝度検出部は、ブロック毎の平均輝度を算出し、輝度情報としてテロップ検出部３に出力する。具体的には、ブロック毎に、そのブロックに含まれる画素の画素値をその画素の輝度値とみなし、ブロック内の画素値の平均値を平均輝度として算出する。
テロップ検出部３は、実施例１で述べた処理を行うと共に、検出したテロップの輝度を算出する。本実施例では、配列Ｖｘ，Ｖｙ他に、配列Ｌｘと配列Ｌｙを生成し、テロップ検出情報として配列Ｖｘ，Ｖｙ，Ｌｘ，Ｌｙを出力する（なお、配列Ｌｘ，Ｌｙは選択部４にのみ出力すればよい）。配列Ｌｘ，Ｌｙの各要素は、配列Ｖｘ，Ｖｙと同様に、複数のブロックの各行にそれぞれ対応する。
具体的には、テロップ検出部３は、速さのヒストグラムを生成する際に、速さ毎にその速さに対応するブロックの平均輝度の累積値を算出する。次に、検出したテロップの速さ（ヒストグラムにおいて度数が最大となる速さ）に対応するブロックの平均輝度の累積値を度数（ヒストグラムにおけるその速さの度数）で除算することにより、該テロップの輝度（平均輝度）を算出する。そして、水平テロップが存在しないとされた行に対して０、水平テロップが存在するとされた行に対して該水平テロップの輝度を要素とする配列Ｌｘを生成する。また、垂直テロップが存在しないとされた行に対して０、垂直テロップが存
在するとされた行に対して該垂直テロップの輝度を要素とする配列Ｌｙを生成する。
【００４０】
（選択部の処理の具体例）
以下、選択部４の処理の具体例について説明する。なお、配列Ｖｘ及び配列Ｖｙの要素がすべて０である場合、及び、配列Ｖｘと配列Ｖｙの一方にのみ０でない要素が含まれる場合の選択部４の処理は、実施例１と同様のため、説明は省略する。
【００４１】
輝度の高いテロップは視覚的に目立つため、そのようなテロップに対しては高い補間効果が期待できる。そこで、本実施例では、選択部４は、テロップ検出部３で水平テロップと垂直テロップの両方が検出された場合に、輝度が高い方のテロップを選択する。
例えば、水平テロップの輝度、垂直テロップの輝度をそれぞれ所定の閾値と比較して、それぞれのテロップが高輝度か低輝度かを判定する。そして、一方のテロップが高輝度と判定された場合には、該テロップ（高輝度と判定されたテロップ）を選択する。また、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、両方のテロップの判定結果が同じ場合には、水平テロップを選択する。
【００４２】
具体的には、水平テロップの輝度Ｌｘ＿ａｖｇが所定の閾値Ｌｘｔｈ以上の場合（水平テロップが高輝度と判定された場合）には、垂直テロップの輝度Ｌｙ＿ａｖｇにかかわらず水平テロップを選択する。水平テロップの輝度Ｌｘ＿ａｖｇが閾値Ｌｘｔｈ未満、且つ、垂直テロップの輝度Ｌｙ＿ａｖｇが所定の閾値Ｌｙｔｈ以上の場合（水平テロップが低輝度、垂直テロップが高輝度と判定された場合）には、垂直テロップを選択する。水平テロップの輝度Ｌｘ＿ａｖｇが閾値Ｌｘｔｈ未満、且つ、垂直テロップの輝度Ｌｙ＿ａｖｇが閾値Ｌｙｔｈ未満の場合（水平テロップと垂直テロップの両方が低輝度と判定された場合）には、水平テロップを選択する。
なお、配列Ｌｘが０以外の要素を複数含んでいる場合（水平テロップが存在するとされた行が複数検出された）場合には、それらの要素の最大値Ｍａｘ（Ｌｘ）を閾値Ｌｘｔｈと比較することが好ましい（輝度が速いほど補間効果が高いため）。配列Ｌｙが０以外の要素を複数含んでいる場合についても、同様に、それらの要素の最大値Ｍａｘ（Ｌｙ）を閾値Ｌｙｔｈと比較することが好ましい。これにより、例えば、水平テロップや垂直テロップが複数存在している場合でもテロップの選択を適切に行うことが可能となる。勿論、配列に含まれる０以外の要素の平均値や累積値などを閾値と比較してもよい。
これらの選択方法をまとめると表３のようになる。なお、表３中で＊は０以外の任意の値を意味し、−は配列中に０以外の要素が存在しないことを意味する。
【００４３】
【表３】
【００４４】
なお、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、閾値Ｌｘｔｈは閾値Ｌｙｔｈより小さいことが好ましい。例えば、画素値が８ビットで
表わされていたとすると、最小値０、最大値２５５として、閾値Ｌｘｔｈ＝１８０、閾値Ｌｙｔｈ＝２２０などとすればよい。なお、これらの閾値はメーカやユーザによって適宜設定されるものであり、これらの値に限定されるものではない。
【００４５】
なお、本実施例では、ブロック毎の平均輝度を用いて、テロップの輝度として平均輝度を算出したが、テロップの輝度の算出方法はこれに限らない。例えば、ブロック毎の平均輝度ではなく、ブロック毎の累積輝度（そのブロックに含まれる画素の輝度の累積値）を算出して用いる構成であってもよい。また、テロップの輝度として、平均輝度ではなく累積輝度（検出したテロップの速さに対応するブロックの輝度の累積値）を算出する構成であってもよい。テロップの明るさを把握することができれば、どのような値を輝度としてもよい。
【００４６】
＜実施例４＞
（全体構成）
次に、本発明の実施例４について説明する。本実施例に係る画像処理装置は、実施例１に係る画像処理装置の構成（図１）の他に、履歴記憶部をさらに有する。以下、実施例１と異なる部分について説明する。
【００４７】
履歴記憶部は、選択部４の選択結果の履歴を記憶する。具体的には、１つ前の補間フレームを生成したときの選択部４による選択結果を記憶する。
【００４８】
（選択部の処理の具体例）
以下、選択部４の処理の具体例について説明する。なお、配列Ｖｘ及び配列Ｖｙの要素がすべて０である場合、及び、配列Ｖｘと配列Ｖｙの一方にのみ０でない要素が含まれる場合の選択部４の処理は、実施例１と同様のため、説明は省略する。
【００４９】
本実施例では、選択部４は、水平テロップと垂直テロップの判定結果が同じ場合であって、且つ、１つ前の補間フレームを生成するときに第２補正部６による補正が行われていた場合に、水平テロップの代わりに垂直テロップを選択する。即ち、水平テロップと垂直テロップの判定結果が同じ場合であって、且つ、１つ前のフレームを生成するときに垂直テロップが選択されていた場合に、垂直テロップを選択する。
具体的には、水平テロップの速さが閾値Ｖｘｔｈ以上、且つ、垂直テロップの速さが閾値Ｖｙｔｈ未満の場合には、過去の選択結果に関わらず水平テロップを選択する。水平テロップの速さが閾値Ｖｘｔｈ未満、且つ、垂直テロップの速さが閾値Ｖｙｔｈ以上の場合には、過去の選択結果に関わらず垂直テロップを選択する。水平テロップの速さが閾値Ｖｘｔｈ以上、且つ、垂直テロップの速さが閾値Ｖｙｔｈ以上の場合、及び、水平テロップの速さが閾値Ｖｘｔｈ未満、且つ、垂直テロップの速さが閾値Ｖｙｔｈ未満の場合には、過去の選択結果に基づいてテロップを選択する。具体的には、１つ前の補間フレームを生成する際にテロップが選択されていた場合には、該テロップを選択する。即ち、１つ前の補間フレームを生成する際に水平テロップが選択されていた場合には、水平テロップを選択し、垂直テロップが選択されていた場合には垂直テロップを選択する。また、１つ前の補間フレームを生成する際にテロップが選択されていなかった場合には、水平テロップを選択する。
これらの選択方法をまとめると表４のようになる。なお、表４中で＊は０以外の任意の値（要素）や過去の選択結果を意味し、−は配列中に０以外の要素が存在しないことを意味する。
【００５０】
【表４】
【００５１】
このように、本実施例では、両方のテロップの速さが共に高速と判定された場合、及び、両方のテロップの速さが共に低速と判定された場合に、１つ前の補間フレームで選択されたテロップを選択する構成とした。それにより、選択される（動きを滑らかに表現する対象のテロップ）が１フレーム毎に変動することを防ぐことができ、安定してテロップの動きを滑らか表現することができる。
【００５２】
なお、本実施例ではテロップの速さと過去の選択結果に基づいてテロップが選択されるものとしたが、テロップのサイズまたは輝度と過去の選択結果との組み合わせに基づいてテロップが選択されてもよい。具体的には、両方のテロップが共に大サイズ（または小サイズ）と判定された場合や、両方のテロップが共に高輝度（または低輝度）と判定された場合に、１つ前の補間フレームで選択されたテロップを選択すればよい。また、テロップを選択する際にテロップの速さ、サイズ、輝度、及び、過去の選択結果を可能な限り組み合わせて用いてもよい。
【００５３】
以上述べた実施例１〜４の構成によれば、水平テロップと垂直テロップの両方が検出された場合に、第１補正部５と第２補正部６の一方による動きベクトルの補正を行い、他方による補正を省略するように、第１補正部５と第２補正部６が制御される。それにより、第１補正部５と第２補正部６の一方の処理を省略するという簡易な構成で、それらの両方の補正部による補正をする場合に比べ、少ない演算量でテロップの動きを滑らかに表現することができる。
【００５４】
なお、上記実施例では、テロップの速さ、サイズ、輝度、及び、過去の選択結果に基づいて第１補正部５による補正と第２補正部６による補正のどちらを行うかを選択するものとしたが、選択方法はこれに限らない。水平テロップと垂直テロップの両方が検出された場合に第１補正部５による補正と第２補正部６による補正のいずれかのみが行われれば、どのように選択してもよい。どちらの補正を行うかは、予め定められていてもよいし、ランダムに選択してもよい。
【００５５】
なお、上記実施例では、第１補正部５と第２補正部６がテロップを含むブロックの動きベクトルを、該テロップの速度に置き換える構成としたが、補正方法はこれに限らない。テロップを含むブロックの動きベクトルを、該テロップの速度に近づける補正をすれば、
該テロップの動きを滑らかに表現することができる。
【００５６】
なお、上記実施例では、切り替えスイッチ７，８によって機能間の接続を切り替えることにより、第１補正部５と第２補正部６を制御する構成としたが、第１補正部５と第２補正部６を制御することができればどのような構成であってもよい。例えば、配列Ｖｅｃは必ず第１補正部５と第２補正部６を経由して補間フレーム生成部９に入力されてもよい。その場合には、制御回路によって、第１補正部５と第２補正部６が入力されたＶｅｃをそのまま出力するか補正して出力するかが制御されればよい。
【符号の説明】
【００５７】
２ 動きベクトル検出部
３ テロップ検出部
５ 第１補正部
６ 第２補正部
７，８ 切り替えスイッチ
９ 補間フレーム生成部
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、動画像（映像）を表示する際の動画解像度（動画性能の優劣を表す指標）を改善するために、フレーム補間を行ってフレーム数を増加させるフレームレート変換技術の研究開発が進められている。また、画面内をスクロールする文字列、所謂テロップは表示装置の視聴者が特に注目する領域であるため、フレームレート変換技術を用いてテロップの動きを滑らかに表現することで高い効果が期待できる。
【０００３】
テロップの動きを滑らかに表現するための技術は、例えば、特許文献１に開示されている。具体的には、特許文献１に開示の技術では、画像を格子状のブロックに分割して、ブロックごとに求めた動きベクトルから、テロップの動きベクトルを検出する。そして、テロップの存在する可能性の高いブロックの動きベクトルを、検出されたテロップの動きベクトルに置き換える（動きベクトル補正処理）。テロップの存在する可能性の高いブロックの動きベクトルとして検出されたテロップの動きベクトルを用いて補間フレームを生成することにより、テロップの動きを滑らかに表現することができる。
【０００４】
しかしながら、特許文献１に開示の技術では、映像に、水平方向に移動するテロップ（水平テロップ）と垂直方向に移動するテロップ（垂直テロップ）が含まれる場合に問題がある。具体的には、特許文献１に開示の技術では、そのような場合に、各テロップの存在する可能性の高い全てのブロックに対して動きベクトル補正処理が行われることとなるため、処理負荷が増大してしまう。また、このような処理を１フレーム期間内に終了させるためには、演算能力の高い演算処理装置を用いる必要があるため、コストが増大してしまう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０４２８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、簡易な構成でテロップの動きを滑らかに表現することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出手段と、入力された映像から水平方向に移動する水平テロップ及び垂直方向に移動する垂直テロップを検出するテロップ検出手段と、複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する第１補正手段と、複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する第２補正手段と、テロップ検出手段の検出結果に基づいて、第１補正手段と第２補正手段を制御する制御手段と、ブロック毎の動きベクトルを用いて補間フレームを生成する生成手段と、を有し、制御手段は、テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、第１補正手段と第２補正手段のうち一方の補正手段による補正を行い、他方の補正手段による補正を省略するように、第１補正手段と第２補正手段を
制御する。
【０００８】
本発明の画像処理方法は、入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理方法であって、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出ステップと、入力された映像から水平方向に移動する水平テロップ及び垂直方向に移動する垂直テロップを検出するテロップ検出ステップと、複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する第１補正ステップと、複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する第２補正ステップと、テロップ検出ステップでの検出結果に基づいて、第１補正ステップと第２補正ステップでの処理を制御する制御ステップと、ブロック毎の動きベクトルを用いて補間フレームを生成する生成ステップと、を有し、制御ステップでは、テロップ検出ステップで水平テロップと垂直テロップの両方が検出された場合に、第１補正ステップと第２補正ステップのうち一方の補正ステップによる補正を行い、他方の補正ステップによる補正を省略するように、第１補正ステップと第２補正ステップでの処理を制御する。
【発明の効果】
【０００９】
本発明によれば、簡易な構成でテロップの動きを滑らかに表現することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る画像処理装置の機能構成を示すブロック図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例に係る画像処理装置及び画像処理方法について説明する。以下の実施例に係る画像処理装置は、入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する。
【００１２】
＜実施例１＞
（全体構成）
図１は本発明の実施例１に係る画像処理装置の機能構成を示すブロック図である。図１において、符号１はフレーム遅延部、符号２は動きベクトル検出部、符号３はテロップ検出部、符号４は選択部、符号５は第１補正部、符号６は第２補正部、７，８は切り替えスイッチ、９は補間フレーム生成部を示す。
【００１３】
入力された映像（映像信号）はフレーム遅延部１において１フレーム期間だけ遅延される。なお、本実施例では映像がフレーム単位で入力されるものとする。
動きベクトル検出部２は、入力された映像（入力映像）を複数のブロックに分割し、ブロック毎の動きベクトルを検出する。本実施例では、遅延されたフレームＦ１と遅延されていないフレームＦ２（フレームＦ１の１つ後のフレーム）とからブロックマッチング法を用いてブロック毎の動きベクトル（フレームＦ１，Ｆ２間の動きベクトル）を検出する。具体的には、フレームＦ１の画像を格子状のブロックに分割し、各ブロックがフレームＦ２の画像上のどの位置に移動したかを、相関値を計算することによって算出する。動きベクトルは水平方向成分と垂直方向成分を有する。
そして、動きベクトル検出部２は１画面分（１フレーム分）の動きベクトル（検出された動きベクトル）の配列Ｖｅｃを出力する。配列Ｖｅｃは水平方向のブロック数×垂直方向のブロック数の要素（動きベクトル）を有する２次元配列である。配列Ｖｅｃはテロップ検出部３に入力される。
【００１４】
テロップ検出部３は、入力された映像から水平方向に移動するテロップ（水平テロップ）及び垂直方向に移動するテロップ（垂直テロップ）を検出する。本実施例では、動きベ
クトル検出部２から取得した配列Ｖｅｃを統計的に解析し、水平テロップと垂直テロップの有無、及び、各テロップの速さを検出する。
【００１５】
具体的には、格子状に分割された複数のブロックの１行ごとに垂直方向成分が０の動きベクトルについて水平方向成分すなわち水平方向の速さのヒストグラムを生成する。ただし、この時、水平方向成分が０の動きベクトルは除外する。そして、各ヒストグラムにおいて、度数の最大値が所定値以上である場合に、そのヒストグラムに対応する行に水平テロップ（水平方向の速さが度数の最大値に対応する速さである水平テロップ）が存在すると判定する。
また、複数のブロックの１行ごとに水平方向成分が０の動きベクトルについて垂直方向成分すなわち垂直方向の速さのヒストグラムを生成する。ただし、この時、垂直方向成分が０の動きベクトルは除外する。そして、各ヒストグラムにおいて、度数の最大値が所定値以上である場合に、そのヒストグラムに対応する行に垂直テロップ（垂直方向の速さが度数の最大値に対応する速さである垂直テロップ）が存在すると判定する。
なお、本実施例では、動きベクトルの情報を統計的に解析することでテロップの有無とその速さを検出しているが、テロップとその速さの検出方法はこれに限らない。例えば、入力されたフレーム画像の画素データ、フレーム間の差分データに関する特徴量、または、それらの両方などを用いて検出してもよい。
【００１６】
テロップ検出部３は、複数のブロックの行数個の要素を有する配列Ｖｘ及び配列Ｖｙをテロップ検出情報として出力する。配列Ｖｘの各要素は、それぞれ、複数のブロックの行に対応しており、水平テロップが存在すると判定された行に対してはその速さ（水平方向の速さ）が要素とされ、水平テロップが存在しない行に対しては０が要素とされる。配列Ｖｙの各要素も、それぞれ、複数のブロックの行に対応しており、垂直テロップが存在すると判定された行に対してはその速さ（垂直方向の速さ）が要素とされ、垂直テロップが存在しない行に対しては０が要素とされる。
テロップ検出情報（配列Ｖｘ，Ｖｙ）は選択部４、第１補正部５、第２補正部６に出力される。
【００１７】
第１補正部５、第２補正部６は、配列Ｖｅｃを補正する。具体的には、第１補正部５は、複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する。第２補正部６は、複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する。第１補正部５、第２補正部６の処理の詳細については後述する。
【００１８】
選択部４は、テロップ検出部３から取得したテロップ検出情報に基づき、第１補正部５による補正処理のみを行うか、第２補正部６による補正処理のみを行うか、第１補正部５と第２補正部６による補正処理を行わないかを選択する。具体的には、第１補正部５による補正処理のみを行う場合には水平テロップ（水平方向）を選択し、第２補正部６による補正処理のみを行う場合には垂直テロップ（垂直方向）を選択する。第１補正部５と第２補正部６による補正処理を行わない場合にはテロップ（方向）を選択しない。選択部４の処理の詳細については後述する。
【００１９】
切り替えスイッチ７，８は、テロップ検出部３の検出結果に基づいて、第１補正部５と第２補正部６を制御する。本実施例では、選択部４の選択結果（テロップ検出部３の検出結果に基づく選択結果）に応じて機能間の接続を切り替えることにより、第１補正部５と第２補正部６を制御する。
具体的には、選択部４でテロップが選択されなかった場合には、動きベクトル検出部２から出力された配列Ｖｅｃがそのまま補間フレーム生成部９に入力されるように機能間の接続を切り替える。即ち、第１補正部５と第２補正部６による補正を行わないように、第１補正部５と第２補正部６を制御する。
選択部４で水平テロップが選択された場合には、動きベクトル検出部２から出力された配列Ｖｅｃが第１補正部５で補正されて補間フレーム生成部９に入力されるように機能間の接続を切り替える。即ち、第１補正部５による補正を行い、第２補正部６による補正を省略するように、第１補正部５と第２補正部６を制御する。
垂直テロップが選択された場合には、動きベクトル検出部２から出力された配列Ｖｅｃが第２補正部６で補正されて補間フレーム生成部９に入力されるように機能間の接続を切り替える。即ち、第２補正部６による補正を行い、第１補正部５による補正を省略するように、第１補正部５と第２補正部６を制御する。
【００２０】
補間フレーム生成部９は、ブロック毎の動きベクトルを用いて補間フレームを生成する。具体的には、配列Ｖｅｃ（または補正された配列Ｖｅｃ）と生成する補間フレームの前後２フレーム（フレームＦ１，Ｆ２）とを用いて補間フレームを生成する。
【００２１】
（選択部の処理の具体例）
以下、選択部４の処理の具体例について説明する。
選択部４は、配列Ｖｘ及び配列Ｖｙの要素がすべて０である場合（水平テロップと垂直テロップが検出されなかった場合）にはテロップを選択しない。
配列Ｖｘと配列Ｖｙの一方にのみ０でない要素が含まれる場合（水平テロップと垂直テロップのいずれか一方のみが検出された場合）には、検出されたテロップを選択する。
配列Ｖｘと配列Ｖｙの両方に０でない要素が含まれる場合（水平テロップと垂直テロップの両方が検出された場合）には、いずれか一方のテロップを選択する。
【００２２】
速さの速いテロップの動きを滑らかに表現することによる効果（補間効果）は高いため、本実施例では、選択部４は、テロップ検出部３で水平テロップと垂直テロップの両方が検出された場合に、速さが速い方のテロップを選択する。
例えば、水平テロップの速さ、垂直テロップの速さをそれぞれ所定の閾値と比較して、それぞれのテロップが高速か低速かを判定する。そして、一方のテロップが高速と判定された場合には、該テロップ（高速と判定されたテロップ）を選択する。また、水平方向の動きの方が垂直方向の動きよりも追従しやすく、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、両方のテロップの判定結果が同じ場合には、水平テロップを選択する。
【００２３】
具体的には、水平テロップの速さＶｘ＿ｔが所定の閾値Ｖｘｔｈ以上の場合（水平テロップが高速と判定された場合）には、垂直テロップの速さＶｙ＿ｔにかかわらず水平テロップを選択する。水平テロップの速さＶｘ＿ｔが閾値Ｖｘｔｈ未満、且つ、垂直テロップの速さＶｙ＿ｔが所定の閾値Ｖｙｔｈ以上の場合（水平テロップが低速、垂直テロップが高速と判定された場合）には、垂直テロップを選択する。水平テロップの速さＶｘ＿ｔが閾値Ｖｘｔｈ未満、且つ、垂直テロップの速さＶｙ＿ｔが閾値Ｖｙｔｈ未満の場合（水平テロップと垂直テロップの両方が低速と判定された場合）には、水平テロップを選択する。
なお、配列Ｖｘが０以外の要素を複数含んでいる場合（水平テロップが存在するとされた行が複数検出された）場合には、それらの要素の最大値Ｍａｘ（Ｖｘ）を閾値Ｖｘｔｈと比較することが好ましい（動きが速いほど補間効果が高いため）。配列Ｖｙが０以外の要素を複数含んでいる場合についても、同様に、それらの要素の最大値Ｍａｘ（Ｖｙ）を閾値Ｖｙｔｈと比較することが好ましい。これにより、例えば、水平テロップや垂直テロップが複数存在している場合でもテロップの選択を適切に行うことが可能となる。勿論、配列に含まれる０以外の要素の平均値や累積値などを閾値と比較してもよい。
これらの選択方法をまとめると表１のようになる。なお、表１中で＊は０以外の任意の値を意味し、−は配列中に０以外の要素が存在しないことを意味する。
【００２４】
【表１】
【００２５】
なお、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、閾値Ｖｘｔｈは閾値Ｖｙｔｈより小さいことが好ましい。例えば、閾値Ｖｘｔｈ＝５画素／フレーム、閾値Ｖｙｔｈ＝８画素／フレームなどとすればよい。なお、これらの閾値はメーカやユーザによって適宜設定されるものであり、これらの値に限定されるものではない。
【００２６】
（第１補正部と第２補正部の処理の具体例）
以下、第１補正部５と第２補正部６の処理の具体例について説明する。
第１補正部５は、配列Ｖｘの要素が０でない行（水平テロップが存在するとされた行）に属するブロックのうち、垂直方向成分が０であり、水平方向成分が検出された水平テロップの速さと一致するブロックを該水平テロップを含むブロックとして検出する。さらに、検出したブロックに隣接するブロック（垂直方向、水平方向、斜め方向に隣接する計８つのブロック）を水平テロップを含むブロックとみなし、それらのブロックの動きベクトルを補正する（配列Ｖｅｃの補正）。具体的には、動きベクトルの垂直方向成分を０に、水平方向成分を検出された水平テロップの速さに置き換える。
水平テロップが存在するとされたすべての行に対して上記補正処理が終了したら、補正された配列Ｖｅｃを補間フレーム生成部９に出力する。
【００２７】
なお、検出したブロックに隣接するブロックを水平テロップを含むブロックとみなすのは、それらのブロックでは水平テロップが占める領域が小さいために水平テロップの移動速度とは異なる動きベクトルが検出された可能性が高いからである。それらのブロックを水平テロップを含むブロックとみなすことにより、補間フレームにおいて水平テロップの一部が欠けてしまうこと（水平テロップが乱れてしまうこと）を抑制することができる。
【００２８】
第２補正部６は、配列Ｖｙの要素が０でない行（垂直テロップが存在するとされた行）に属するブロックのうち、水平方向成分が０であり、垂直方向成分が検出された垂直テロップの速さと一致するブロックを該垂直テロップを含むブロックとして検出する。さらに、検出したブロックに隣接するブロックを垂直テロップを含むブロックとみなし、それらのブロックの動きベクトルを補正する（配列Ｖｅｃの補正）。具体的には、動きベクトルの水平方向成分を０に、垂直方向成分を検出された垂直テロップの速さに置き換える。
垂直テロップが存在するとされたすべての行に対して上記補正処理が終了したら、補正された配列Ｖｅｃを補間フレーム生成部９に出力する。
【００２９】
なお、入力された映像が水平テロップと垂直テロップの両方を含む場合、両方のテロップを含むブロックが存在することがある。そのようなブロックにおいて、それらのテロップが重なっている場合には、それらのテロップのうち上側に表示されているテロップ（上
側テロップ）の動きベクトルがそのブロック（重複ブロック）の動きベクトルとして検出される。従って、選択部４において上側テロップが選択されていれば、該上側テロップを乱すことのない補間フレームを生成することができる。
【００３０】
しかし、選択部４において、必ずしも上側テロップが選択されるとは限らない。選択部４において、上側テロップとは異なるテロップ（即ち、下側に表示されているテロップ；下側テロップ）が選択された場合には、補間フレームにおいて上側テロップが乱れることとなる。具体的には、上側テロップの存在するブロック（上記重複ブロック及びそれに隣接するブロック）の動きベクトルとして下側テロップの動きベクトルが割り当てられるため、補間フレームにおいて上側テロップが乱れることとなる。
そのため、第１補正部５、及び、第２補正部６は水平テロップと垂直テロップの両方を含むブロックの動きベクトルを補正しないことが好ましい。そのような構成にすることにより、水平テロップと垂直テロップとが重複する領域に対しても良好に補間することができる（上述したようなテロップの乱れを抑制することができる）。
【００３１】
＜実施例２＞
（全体構成）
次に、本発明の実施例２について説明する。本実施例に係る画像処理装置の基本的な構成は実施例１（図１）と同じであるため、説明を省略し、以下では実施例１と異なる部分（具体的には、選択部４の処理）について説明する。
【００３２】
（選択部の処理の具体例）
以下、選択部４の処理の具体例について説明する。なお、配列Ｖｘ及び配列Ｖｙの要素がすべて０である場合、及び、配列Ｖｘと配列Ｖｙの一方にのみ０でない要素が含まれる場合の選択部４の処理は、実施例１と同様のため、説明は省略する。
【００３３】
サイズの大きいテロップは視覚的に目立つため、そのようなテロップに対しては高い補間効果が期待できる。そこで、本実施例では、選択部４は、テロップ検出部３で水平テロップと垂直テロップの両方が検出された場合に、サイズが大きい方のテロップを選択する。
例えば、水平テロップのサイズ、垂直テロップのサイズをそれぞれ所定の閾値と比較して、それぞれのテロップが大サイズか小サイズかを判定する。そして、一方のテロップが大サイズと判定された場合には、該テロップ（大サイズと判定されたテロップ）を選択する。また、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、両方のテロップの判定結果が同じ場合には、水平テロップを選択する。
【００３４】
具体的には、水平テロップのサイズＳｘが所定の閾値Ｓｘｔｈ以上の場合（水平テロップが大サイズと判定された場合）には、垂直テロップのサイズＳｙにかかわらず水平テロップを選択する。水平テロップのサイズＳｘが閾値Ｓｘｔｈ未満、且つ、垂直テロップのサイズＳｙが所定の閾値Ｓｙｔｈ以上の場合（水平テロップが小サイズ、垂直テロップが大サイズと判定された場合）には、垂直テロップを選択する。水平テロップのサイズＳｘが閾値Ｓｘｔｈ未満、且つ、垂直テロップのサイズＳｙが閾値Ｓｙｔｈ未満の場合（水平テロップと垂直テロップの両方が小サイズと判定された場合）には、水平テロップを選択する。
これらの選択方法をまとめると表２のようになる。なお、表２中で＊は０以外の任意の値を意味し、−は配列中に０以外の要素が存在しないことを意味する。
【００３５】
【表２】
【００３６】
なお、各テロップのサイズは、配列Ｖｘ，Ｖｙを解析することにより求めればよい。例えば、配列Ｖｘにおいて０でない同じ値の要素が連続している数の最大値を水平テロップのサイズＳｘとすればよい。また、配列Ｖｙにおいて０でない同じ値の要素が連続している数の最大値を垂直テロップのサイズＳｙとすればよい。
なお、サイズは、この方法に限らない。例えば、文字認識などにより、より精密にテロップを検出し、該検出結果からテロップの１文字あたりのサイズを算出してもよい。その際、複数のサイズの文字が検出された場合には、最も大きいサイズをテロップのサイズとすれることが好ましい（サイズの大きいテロップほど視覚的に目立つため）。テロップの大きさを把握することができれば、どのような値をサイズとしてもよい。
【００３７】
なお、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、閾値Ｓｘｔｈは閾値Ｓｙｔｈより小さいことが好ましい。例えば、閾値Ｓｘｔｈ＝２ブロック、閾値Ｓｙｔｈ＝４ブロックなどとすればよい。なお、これらの閾値はメーカやユーザによって適宜設定されるものであり、これらの値に限定されるものではない。
【００３８】
＜実施例３＞
（全体構成）
次に、本発明の実施例３について説明する。本実施例に係る画像処理装置は、実施例１に係る画像処理装置の構成（図１）の他に、輝度検出部をさらに有する。以下、実施例１と異なる部分について説明する。
【００３９】
輝度検出部は、ブロック毎の平均輝度を算出し、輝度情報としてテロップ検出部３に出力する。具体的には、ブロック毎に、そのブロックに含まれる画素の画素値をその画素の輝度値とみなし、ブロック内の画素値の平均値を平均輝度として算出する。
テロップ検出部３は、実施例１で述べた処理を行うと共に、検出したテロップの輝度を算出する。本実施例では、配列Ｖｘ，Ｖｙ他に、配列Ｌｘと配列Ｌｙを生成し、テロップ検出情報として配列Ｖｘ，Ｖｙ，Ｌｘ，Ｌｙを出力する（なお、配列Ｌｘ，Ｌｙは選択部４にのみ出力すればよい）。配列Ｌｘ，Ｌｙの各要素は、配列Ｖｘ，Ｖｙと同様に、複数のブロックの各行にそれぞれ対応する。
具体的には、テロップ検出部３は、速さのヒストグラムを生成する際に、速さ毎にその速さに対応するブロックの平均輝度の累積値を算出する。次に、検出したテロップの速さ（ヒストグラムにおいて度数が最大となる速さ）に対応するブロックの平均輝度の累積値を度数（ヒストグラムにおけるその速さの度数）で除算することにより、該テロップの輝度（平均輝度）を算出する。そして、水平テロップが存在しないとされた行に対して０、水平テロップが存在するとされた行に対して該水平テロップの輝度を要素とする配列Ｌｘを生成する。また、垂直テロップが存在しないとされた行に対して０、垂直テロップが存
在するとされた行に対して該垂直テロップの輝度を要素とする配列Ｌｙを生成する。
【００４０】
（選択部の処理の具体例）
以下、選択部４の処理の具体例について説明する。なお、配列Ｖｘ及び配列Ｖｙの要素がすべて０である場合、及び、配列Ｖｘと配列Ｖｙの一方にのみ０でない要素が含まれる場合の選択部４の処理は、実施例１と同様のため、説明は省略する。
【００４１】
輝度の高いテロップは視覚的に目立つため、そのようなテロップに対しては高い補間効果が期待できる。そこで、本実施例では、選択部４は、テロップ検出部３で水平テロップと垂直テロップの両方が検出された場合に、輝度が高い方のテロップを選択する。
例えば、水平テロップの輝度、垂直テロップの輝度をそれぞれ所定の閾値と比較して、それぞれのテロップが高輝度か低輝度かを判定する。そして、一方のテロップが高輝度と判定された場合には、該テロップ（高輝度と判定されたテロップ）を選択する。また、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、両方のテロップの判定結果が同じ場合には、水平テロップを選択する。
【００４２】
具体的には、水平テロップの輝度Ｌｘ＿ａｖｇが所定の閾値Ｌｘｔｈ以上の場合（水平テロップが高輝度と判定された場合）には、垂直テロップの輝度Ｌｙ＿ａｖｇにかかわらず水平テロップを選択する。水平テロップの輝度Ｌｘ＿ａｖｇが閾値Ｌｘｔｈ未満、且つ、垂直テロップの輝度Ｌｙ＿ａｖｇが所定の閾値Ｌｙｔｈ以上の場合（水平テロップが低輝度、垂直テロップが高輝度と判定された場合）には、垂直テロップを選択する。水平テロップの輝度Ｌｘ＿ａｖｇが閾値Ｌｘｔｈ未満、且つ、垂直テロップの輝度Ｌｙ＿ａｖｇが閾値Ｌｙｔｈ未満の場合（水平テロップと垂直テロップの両方が低輝度と判定された場合）には、水平テロップを選択する。
なお、配列Ｌｘが０以外の要素を複数含んでいる場合（水平テロップが存在するとされた行が複数検出された）場合には、それらの要素の最大値Ｍａｘ（Ｌｘ）を閾値Ｌｘｔｈと比較することが好ましい（輝度が速いほど補間効果が高いため）。配列Ｌｙが０以外の要素を複数含んでいる場合についても、同様に、それらの要素の最大値Ｍａｘ（Ｌｙ）を閾値Ｌｙｔｈと比較することが好ましい。これにより、例えば、水平テロップや垂直テロップが複数存在している場合でもテロップの選択を適切に行うことが可能となる。勿論、配列に含まれる０以外の要素の平均値や累積値などを閾値と比較してもよい。
これらの選択方法をまとめると表３のようになる。なお、表３中で＊は０以外の任意の値を意味し、−は配列中に０以外の要素が存在しないことを意味する。
【００４３】
【表３】
【００４４】
なお、水平テロップの動きを滑らかに表現した方がより高い補間効果が期待できるため、閾値Ｌｘｔｈは閾値Ｌｙｔｈより小さいことが好ましい。例えば、画素値が８ビットで
表わされていたとすると、最小値０、最大値２５５として、閾値Ｌｘｔｈ＝１８０、閾値Ｌｙｔｈ＝２２０などとすればよい。なお、これらの閾値はメーカやユーザによって適宜設定されるものであり、これらの値に限定されるものではない。
【００４５】
なお、本実施例では、ブロック毎の平均輝度を用いて、テロップの輝度として平均輝度を算出したが、テロップの輝度の算出方法はこれに限らない。例えば、ブロック毎の平均輝度ではなく、ブロック毎の累積輝度（そのブロックに含まれる画素の輝度の累積値）を算出して用いる構成であってもよい。また、テロップの輝度として、平均輝度ではなく累積輝度（検出したテロップの速さに対応するブロックの輝度の累積値）を算出する構成であってもよい。テロップの明るさを把握することができれば、どのような値を輝度としてもよい。
【００４６】
＜実施例４＞
（全体構成）
次に、本発明の実施例４について説明する。本実施例に係る画像処理装置は、実施例１に係る画像処理装置の構成（図１）の他に、履歴記憶部をさらに有する。以下、実施例１と異なる部分について説明する。
【００４７】
履歴記憶部は、選択部４の選択結果の履歴を記憶する。具体的には、１つ前の補間フレームを生成したときの選択部４による選択結果を記憶する。
【００４８】
（選択部の処理の具体例）
以下、選択部４の処理の具体例について説明する。なお、配列Ｖｘ及び配列Ｖｙの要素がすべて０である場合、及び、配列Ｖｘと配列Ｖｙの一方にのみ０でない要素が含まれる場合の選択部４の処理は、実施例１と同様のため、説明は省略する。
【００４９】
本実施例では、選択部４は、水平テロップと垂直テロップの判定結果が同じ場合であって、且つ、１つ前の補間フレームを生成するときに第２補正部６による補正が行われていた場合に、水平テロップの代わりに垂直テロップを選択する。即ち、水平テロップと垂直テロップの判定結果が同じ場合であって、且つ、１つ前のフレームを生成するときに垂直テロップが選択されていた場合に、垂直テロップを選択する。
具体的には、水平テロップの速さが閾値Ｖｘｔｈ以上、且つ、垂直テロップの速さが閾値Ｖｙｔｈ未満の場合には、過去の選択結果に関わらず水平テロップを選択する。水平テロップの速さが閾値Ｖｘｔｈ未満、且つ、垂直テロップの速さが閾値Ｖｙｔｈ以上の場合には、過去の選択結果に関わらず垂直テロップを選択する。水平テロップの速さが閾値Ｖｘｔｈ以上、且つ、垂直テロップの速さが閾値Ｖｙｔｈ以上の場合、及び、水平テロップの速さが閾値Ｖｘｔｈ未満、且つ、垂直テロップの速さが閾値Ｖｙｔｈ未満の場合には、過去の選択結果に基づいてテロップを選択する。具体的には、１つ前の補間フレームを生成する際にテロップが選択されていた場合には、該テロップを選択する。即ち、１つ前の補間フレームを生成する際に水平テロップが選択されていた場合には、水平テロップを選択し、垂直テロップが選択されていた場合には垂直テロップを選択する。また、１つ前の補間フレームを生成する際にテロップが選択されていなかった場合には、水平テロップを選択する。
これらの選択方法をまとめると表４のようになる。なお、表４中で＊は０以外の任意の値（要素）や過去の選択結果を意味し、−は配列中に０以外の要素が存在しないことを意味する。
【００５０】
【表４】
【００５１】
このように、本実施例では、両方のテロップの速さが共に高速と判定された場合、及び、両方のテロップの速さが共に低速と判定された場合に、１つ前の補間フレームで選択されたテロップを選択する構成とした。それにより、選択される（動きを滑らかに表現する対象のテロップ）が１フレーム毎に変動することを防ぐことができ、安定してテロップの動きを滑らか表現することができる。
【００５２】
なお、本実施例ではテロップの速さと過去の選択結果に基づいてテロップが選択されるものとしたが、テロップのサイズまたは輝度と過去の選択結果との組み合わせに基づいてテロップが選択されてもよい。具体的には、両方のテロップが共に大サイズ（または小サイズ）と判定された場合や、両方のテロップが共に高輝度（または低輝度）と判定された場合に、１つ前の補間フレームで選択されたテロップを選択すればよい。また、テロップを選択する際にテロップの速さ、サイズ、輝度、及び、過去の選択結果を可能な限り組み合わせて用いてもよい。
【００５３】
以上述べた実施例１〜４の構成によれば、水平テロップと垂直テロップの両方が検出された場合に、第１補正部５と第２補正部６の一方による動きベクトルの補正を行い、他方による補正を省略するように、第１補正部５と第２補正部６が制御される。それにより、第１補正部５と第２補正部６の一方の処理を省略するという簡易な構成で、それらの両方の補正部による補正をする場合に比べ、少ない演算量でテロップの動きを滑らかに表現することができる。
【００５４】
なお、上記実施例では、テロップの速さ、サイズ、輝度、及び、過去の選択結果に基づいて第１補正部５による補正と第２補正部６による補正のどちらを行うかを選択するものとしたが、選択方法はこれに限らない。水平テロップと垂直テロップの両方が検出された場合に第１補正部５による補正と第２補正部６による補正のいずれかのみが行われれば、どのように選択してもよい。どちらの補正を行うかは、予め定められていてもよいし、ランダムに選択してもよい。
【００５５】
なお、上記実施例では、第１補正部５と第２補正部６がテロップを含むブロックの動きベクトルを、該テロップの速度に置き換える構成としたが、補正方法はこれに限らない。テロップを含むブロックの動きベクトルを、該テロップの速度に近づける補正をすれば、
該テロップの動きを滑らかに表現することができる。
【００５６】
なお、上記実施例では、切り替えスイッチ７，８によって機能間の接続を切り替えることにより、第１補正部５と第２補正部６を制御する構成としたが、第１補正部５と第２補正部６を制御することができればどのような構成であってもよい。例えば、配列Ｖｅｃは必ず第１補正部５と第２補正部６を経由して補間フレーム生成部９に入力されてもよい。その場合には、制御回路によって、第１補正部５と第２補正部６が入力されたＶｅｃをそのまま出力するか補正して出力するかが制御されればよい。
【符号の説明】
【００５７】
２ 動きベクトル検出部
３ テロップ検出部
５ 第１補正部
６ 第２補正部
７，８ 切り替えスイッチ
９ 補間フレーム生成部
【特許請求の範囲】
【請求項１】
入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、
入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出手段と、
入力された映像から水平方向に移動する水平テロップ及び垂直方向に移動する垂直テロップを検出するテロップ検出手段と、
前記複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する第１補正手段と、
前記複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する第２補正手段と、
前記テロップ検出手段の検出結果に基づいて、前記第１補正手段と前記第２補正手段を制御する制御手段と、
ブロック毎の動きベクトルを用いて補間フレームを生成する生成手段と、
を有し、
前記制御手段は、前記テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、前記第１補正手段と前記第２補正手段のうち一方の補正手段による補正を行い、他方の補正手段による補正を省略するように、前記第１補正手段と前記第２補正手段を制御する
ことを特徴とする画像処理装置。
【請求項２】
前記テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、速さが速い方のテロップを選択する選択手段をさらに有し、
前記制御手段は、前記選択手段で水平テロップが選択された場合に、前記第１補正手段による補正を行い、前記選択手段で垂直テロップが選択された場合に、前記第２補正手段による補正を行うように、前記第１補正手段と前記第２補正手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、サイズが大きい方のテロップを選択する選択手段をさらに有し、
前記制御手段は、前記選択手段で水平テロップが選択された場合に、前記第１補正手段による補正を行い、前記選択手段で垂直テロップが選択された場合に、前記第２補正手段による補正を行うように、前記第１補正手段と前記第２補正手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、輝度が高い方のテロップを選択する選択手段をさらに有し、
前記制御手段は、前記選択手段で水平テロップが選択された場合に、前記第１補正手段による補正を行い、前記選択手段で垂直テロップが選択された場合に、前記第２補正手段による補正を行うように、前記第１補正手段と前記第２補正手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記選択手段は、前記水平テロップの速さ、前記垂直テロップの速さをそれぞれ所定の閾値と比較して、それぞれのテロップが高速か低速かを判定し、
一方のテロップが高速と判定された場合には、該テロップを選択し、
両方のテロップの判定結果が同じ場合には、水平テロップを選択する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記選択手段は、前記水平テロップのサイズ、前記垂直テロップのサイズをそれぞれ所
定の閾値と比較して、それぞれのテロップが大サイズか小サイズかを判定し、
一方のテロップが大サイズと判定された場合には、該テロップを選択し、
両方のテロップの判定結果が同じ場合には、水平テロップを選択する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記選択手段は、前記水平テロップの輝度、前記垂直テロップの輝度をそれぞれ所定の閾値と比較して、それぞれのテロップが高輝度か低輝度かを判定し、
一方のテロップが高輝度と判定された場合には、該テロップを選択し、
両方のテロップの判定結果が同じ場合には、水平テロップを選択する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記選択手段は、前記両方のテロップの判定結果が同じ場合であって、且つ、１つ前の補間フレームを生成するときに前記第２補正手段による補正が行われていた場合には、水平テロップの代わりに垂直テロップを選択する
ことを特徴とする請求項５〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第１補正手段、及び、前記第２補正手段は、水平テロップと垂直テロップの両方を含むブロックの動きベクトルを補正しない
ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理方法であって、
入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出ステップと、
入力された映像から水平方向に移動する水平テロップ及び垂直方向に移動する垂直テロップを検出するテロップ検出ステップと、
前記複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する第１補正ステップと、
前記複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する第２補正ステップと、
前記テロップ検出ステップでの検出結果に基づいて、前記第１補正ステップと前記第２補正ステップでの処理を制御する制御ステップと、
ブロック毎の動きベクトルを用いて補間フレームを生成する生成ステップと、
を有し、
前記制御ステップでは、前記テロップ検出ステップで水平テロップと垂直テロップの両方が検出された場合に、前記第１補正ステップと前記第２補正ステップのうち一方の補正ステップによる補正を行い、他方の補正ステップによる補正を省略するように、前記第１補正ステップと前記第２補正ステップでの処理を制御する
ことを特徴とする画像処理方法。
【請求項１】
入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、
入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出手段と、
入力された映像から水平方向に移動する水平テロップ及び垂直方向に移動する垂直テロップを検出するテロップ検出手段と、
前記複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する第１補正手段と、
前記複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する第２補正手段と、
前記テロップ検出手段の検出結果に基づいて、前記第１補正手段と前記第２補正手段を制御する制御手段と、
ブロック毎の動きベクトルを用いて補間フレームを生成する生成手段と、
を有し、
前記制御手段は、前記テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、前記第１補正手段と前記第２補正手段のうち一方の補正手段による補正を行い、他方の補正手段による補正を省略するように、前記第１補正手段と前記第２補正手段を制御する
ことを特徴とする画像処理装置。
【請求項２】
前記テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、速さが速い方のテロップを選択する選択手段をさらに有し、
前記制御手段は、前記選択手段で水平テロップが選択された場合に、前記第１補正手段による補正を行い、前記選択手段で垂直テロップが選択された場合に、前記第２補正手段による補正を行うように、前記第１補正手段と前記第２補正手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、サイズが大きい方のテロップを選択する選択手段をさらに有し、
前記制御手段は、前記選択手段で水平テロップが選択された場合に、前記第１補正手段による補正を行い、前記選択手段で垂直テロップが選択された場合に、前記第２補正手段による補正を行うように、前記第１補正手段と前記第２補正手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記テロップ検出手段で水平テロップと垂直テロップの両方が検出された場合に、輝度が高い方のテロップを選択する選択手段をさらに有し、
前記制御手段は、前記選択手段で水平テロップが選択された場合に、前記第１補正手段による補正を行い、前記選択手段で垂直テロップが選択された場合に、前記第２補正手段による補正を行うように、前記第１補正手段と前記第２補正手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記選択手段は、前記水平テロップの速さ、前記垂直テロップの速さをそれぞれ所定の閾値と比較して、それぞれのテロップが高速か低速かを判定し、
一方のテロップが高速と判定された場合には、該テロップを選択し、
両方のテロップの判定結果が同じ場合には、水平テロップを選択する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記選択手段は、前記水平テロップのサイズ、前記垂直テロップのサイズをそれぞれ所
定の閾値と比較して、それぞれのテロップが大サイズか小サイズかを判定し、
一方のテロップが大サイズと判定された場合には、該テロップを選択し、
両方のテロップの判定結果が同じ場合には、水平テロップを選択する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記選択手段は、前記水平テロップの輝度、前記垂直テロップの輝度をそれぞれ所定の閾値と比較して、それぞれのテロップが高輝度か低輝度かを判定し、
一方のテロップが高輝度と判定された場合には、該テロップを選択し、
両方のテロップの判定結果が同じ場合には、水平テロップを選択する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記選択手段は、前記両方のテロップの判定結果が同じ場合であって、且つ、１つ前の補間フレームを生成するときに前記第２補正手段による補正が行われていた場合には、水平テロップの代わりに垂直テロップを選択する
ことを特徴とする請求項５〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第１補正手段、及び、前記第２補正手段は、水平テロップと垂直テロップの両方を含むブロックの動きベクトルを補正しない
ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理方法であって、
入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出ステップと、
入力された映像から水平方向に移動する水平テロップ及び垂直方向に移動する垂直テロップを検出するテロップ検出ステップと、
前記複数のブロックのうち水平テロップを含むブロックの動きベクトルを補正する第１補正ステップと、
前記複数のブロックのうち垂直テロップを含むブロックの動きベクトルを補正する第２補正ステップと、
前記テロップ検出ステップでの検出結果に基づいて、前記第１補正ステップと前記第２補正ステップでの処理を制御する制御ステップと、
ブロック毎の動きベクトルを用いて補間フレームを生成する生成ステップと、
を有し、
前記制御ステップでは、前記テロップ検出ステップで水平テロップと垂直テロップの両方が検出された場合に、前記第１補正ステップと前記第２補正ステップのうち一方の補正ステップによる補正を行い、他方の補正ステップによる補正を省略するように、前記第１補正ステップと前記第２補正ステップでの処理を制御する
ことを特徴とする画像処理方法。
【図１】
【公開番号】特開２０１１−１０３５１１（Ｐ２０１１−１０３５１１Ａ）
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願番号】特願２００９−２５６８８２（Ｐ２００９−２５６８８２）
【出願日】平成２１年１１月１０日（２００９．１１．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願日】平成２１年１１月１０日（２００９．１１．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]