説明

映像処理装置及び映像表示装置

【課題】
動き補償法によるフレームレート変換において、1画面中に複数の動きを伴うような画
像や、複数の動物体が交差するような動きを伴う場合等でも高精度に動きベクトルを検出
して映像の破綻を抑制したフレームレート変換を行う。
【解決手段】
本発明に係る映像処理装置は、2以上のフレームを用いて物体の動き情報を検出する動
きベクトル検出部と、前記動きベクトル検出部によって得られる動きベクトルに応じて、
水平・垂直方向、且つ時間方向の補間を行う補間フレーム生成部と、前記フレーム間の動
きの特徴を検出する動き特徴検出部とを備える。そして、前記動き特徴検出部で検出され
た特徴に応じて、前記補間フレーム生成部における水平・垂直・時間方向の補間方法を切
り替えるようにした。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理装置に係り、特に映像信号中のフレームから補間フレームを作成し
てフレームレート変換を行うための技術に関する。
【背景技術】
【0002】
近年、画像のフレーム数を増やすことにより、動画表示におけるぼやけ感やガタガタ感
といった不自然な動きを改善するために、フレームレート変換を高画質化技術として適用
する動きが注目され始めている。しかし、前記したような動画性能向上に対する明確な改
善効果を得るためには、精度の高い補間フレーム生成が必要となる。従来からよく用いら
れている高度な補間方法として、現在のフレームと1フレーム前のフレームを用いて、フ
レーム間の動きベクトルを利用した動き補償処理を用いる方法がある。この方法では、動
きベクトル情報をもとにフレーム間の動きを特定し、補間フレームを作成する。精度の高
い補間フレームを得るためには、この動きベクトルの精度を上げる必要があり、検索範囲
を2段階に分けて探索する方法(例えば非特許文献1)や、周囲の動きベクトルとの比較を
行うことで、不適切な動きベクトルを除去するスムージング処理を行う等の手法が提案さ
れている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平2002−27414号公報(第9項、図9)
【非特許文献】
【0004】
【非特許文献1】東芝レビュー Vol.59 No.12(2004)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の動き補償処理においては、1画面中に複数の動きを伴うような画
像や、複数の動物体が交差するような動きにおいては、正確な動きベクトルを得る事が難
しく、映像的に破綻をきたすことになる。
【0006】
本発明は上記課題に鑑みて考えたものであり、より正確に動きベクトルを検出可能にし
て、高画質にフレームレート変換を行うことが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明は、特許請求の範囲に記載された構成を特徴とする
ものである。すなわち、フレーム間の動きの特徴に応じて補間フレーム生成部における水
平・垂直・時間方向の補間方法を適応的に切り替える構成としている。
【0008】
このような構成によれば、動き補償法を用いたフレームレート変換処理において、映像
の特徴を捉えた適応的な補間制御により、動画性能向上を実現し、且つ破綻発生を抑えた
映像を実現することが可能となる。
【発明の効果】
【0009】
本発明によれば、より正確に動きベクトルを検出することが可能となり、以って、高画
質にフレームレート変換を行うことが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の第一の実施の形態を示すブロック図である。
【図2】本発明の第一の実施の形態におけるFRC部の構成の一例を示すものである。
【図3】ブロックマッチング法による補間フレーム生成を説明するための図である。
【図4】ブロックマッチング法による補間フレーム生成を説明するための図である。
【図5】FRC補間フレーム生成における時間方向の荷重加算を説明するための図である。
【図6】フレーム繰り返しによる補間フレーム生成を説明するための図である。
【図7】本発明の第一の実施の形態における補間フレーム生成部の構成の一例を示すものである。
【図8】動きベクトル誤検出となる映像パタンの例を示す図である。
【図9】ダイナミックFRC処理のステートダイアグラムを示すものである。
【図10】ベクトルヒストグラム検出結果の一例を示す図である。
【図11】ベクトルヒストグラム分布の一例を示す図である。
【図12】ベクトルヒストグラム分布の一例を示す図である。
【図13】ベクトルヒストグラム分布の一例を示す図である。
【図14】ベクトルヒストグラム分布の一例を示す図である。
【図15】ベクトルヒストグラム分布の一例を示す図である。
【図16】本発明の第二の実施形態のダイナミックFRC処理のステートダイアグラムを示すものである。
【図17】中間動作における補間フレーム生成の一例を説明するための図である。
【図18】ダイナミックFRC処理のフローチャートである。
【図19】ダイナミックFRC制御の動作イメージを説明するための図である。
【図20】ダイナミックFRC処理における補間フレーム生成を説明するための図である。
【図21】ダイナミックFRC処理における補間フレーム生成を説明するための図である。
【図22】本発明の第三の実施の形態を示すブロック図である。
【図23】番組ジャンル分類の一例を説明するための図である。
【図24】ダイナミックFRC動作モード分類の一例を説明するための図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面を参照しつつ説明する。
【実施例1】
【0012】
図1は、本発明の第一の実施形態である画像処理装置の構成の一例を示すブロック図で
ある。
【0013】
図1において、1001は入力信号、1002は解像度変換部、1003はフレームレート変換(以
下、FRC:Frame Rate Conversionと呼ぶ)部、1004は画像メモリ、1005はタイミングコン
トロール部、1006は表示部、1007はFRC変換モード信号である。
【0014】
解像度変換部1002では、入力画像を表示部1006に合わせた画像フォーマットへ拡大・縮
小処理を行う。FRC部1003では、外部から設定されるFRC変換モード信号1007に応じたフレ
ームレートの変換を行い、タイミングコントローラ部1005では前記FRC部1003から得られ
たフレームレート変換出力を表示部1006に表示するためのタイミング調整を行う。
【0015】
図2は、図1におけるFRC部1003の構成の一例を示すものである。
【0016】
図2において、2001は現フレーム信号、2002は1フレーム前信号、2003はFRC変換モード
信号、2004は動きベクトル検出部、2005は動きベクトル、2006は画像特徴検出部、2007は
判定信号、2008は補間フレーム生成部、2009は補間フレーム信号、2010はフレームレート
変換出力信号、2011はメモリインターフェース部である。
【0017】
動きベクトル検出部2004では、現フレーム信号2001と1フレーム前信号2002により、動
きベクトル2005を検出する。検出方法としては、前記従来技術で記したようなブロックマ
ッチング法や勾配法、位相相関法等どれを用いても良いが、ここでは、図3に示すような
N×N(Nは整数)のブロックマッチング法を用いる場合で以下説明する。図3において、3
001は現フレーム信号、3002は1フレーム前信号、3003は補間フレーム信号、3004は対象ブ
ロック、3005は動きベクトル検索範囲、3006は最小差分値ブロックペア、3007は動きベク
トルである。
【0018】
補間フレーム3003上、補間しようとしている対象ブロック3004に対して、現フレーム信
号3001、1フレーム前信号3002のそれぞれにおいて点対称の位置のブロックを中心として
、所定ブロック数の検索範囲を設ける。図3の場合は水平11ブロック、垂直5ブロックと設
定している。対象ブロック3004を中心として、時間方向に点対称ペアの位置にある現フレ
ーム信号3001、及び1フレーム前信号3002上のブロック間の差分値マッチングにより、最
も差分値が小さいブロックペア3006を検出し、その方向を動きベクトル3007として出力す
る。
【0019】
得られた動きベクトル2005(3007)は、補間フレーム生成部2008へ入力される。補間フレ
ーム生成部2008では、補間フレーム中の対象ブロックの画素値を前記差分値最小ペアの画
素値の平均値として算出する。
【0020】
図3では、60Hzから120Hzへの変換のように、入力される元のフレームレートでのフレー
ム(以下、キーフレームと呼ぶ)に対して時間的に中間の重心位置に1枚の補間フレーム
を挿入する場合を説明した。これに対し、図4では映画の24Hzから60Hzへの変換等、キー
フレーム間に複数枚の補間フレームを挿入する場合の例を示す。尚、このように60Hzから
120Hzへの変換をするのか、及び24Hzから60Hzへの変換をするのか等、フレームレート変
換の動作モードを決めるのが、FRC変換モード信号1007(2003)である。
【0021】
図4において、図3の構成要素と同一の構成要素に関しては、同一の符号を付してその
説明を省略する。
【0022】
4001は動きベクトル検索範囲1、4002は動きベクトル検索範囲2、4003は補間フレーム
1、4004は補間フレーム2、4005は対象ブロック1、4006は対象ブロック2、4007は動き
ベクトル1、4008は動きベクトル2である。
【0023】
図4において、補間フレーム1 4003上の対象ブロック1 4005に対しては、現フレーム
信号3001上では動きベクトル検索範囲1 4001を、1フレーム前信号3002上では動きベクト
ル検索範囲2 4002を設定する。図を見ても分かる通り、検索範囲の大きさとして、動きベ
クトル検索範囲1 <動きベクトル検索範囲2である。これは、補間フレーム1 4003の現フ
レーム信号3001からの時間的距離が、1フレーム前信号3002からの時間的距離に比べて短
いためであり、その結果、点対称位置のブロック間での差分値マッチング演算の際、設定
できる検索範囲の大きさが異なることになる。同様に、補間フレーム2 4004上の対象ブ
ロック2 4006に対しても、その時間的重心位置の違いから、現フレーム信号3001上では
動きベクトル検索範囲2 4002を、1フレーム前信号3002上では動きベクトル検索範囲1 4
001を設定する必要がある。前記60Hzから120Hzへの変換同様、検索範囲内において差分値
マッチング演算を行い、最も差分値が小さいブロックペアを算出し、その方向を動きベク
トル2007として出力する。ここで、補間フレームが2つ存在するために、必要な動きベク
トルも2つ(4007、4008)となる。補間フレーム生成部2005では、補間フレーム1 4003、
及び補間フレーム2 4004それぞれの時間的重心位置を考慮して補間画素値を算出する。
具体的には、図4において補間フレーム1上の対象ブロック1 4005、及び補間フレーム2
4006上の対象ブロック2の画素値(それぞれI(1), I(2)とする)は、時間方向の重心位置を
考慮した荷重加算によってそれぞれ以下の数1及び数2で算出される。
【0024】
(数1)I(1) = (3*Y1_a + 2*Y0_a)/5
(数2)I(2) = (Y1_b +4*Y0_b)/5
図5は、上記時間方向の荷重加算を説明する図である。図5において、5001〜5003は、
24Hzの映像フレーム、5004〜5009は60Hzの映像フレーム、矢印に添えられている数値は、
補間フレーム生成の際の時間方向の荷重値を示している。補間フレーム5005〜5008は、上
記式(1)、(2)によりそれぞれ算出される。
【0025】
メモリインターフェース部2011では、補間フレーム生成部2008からの補間フレーム出力
の画像メモリ1004へのデータ書き込み、及びFRC変換モード 1007に応じたレートでのデー
タ読み出しを行い、フレームレート変換出力2009を出力する。ここで、図5に示すように
、24Hzから60Hzへの変換の場合は、キーフレーム5002は削除して映像を出力する。
【0026】
補間フレーム生成部2008では、上記したような通常FRC動作(以下、ベクトルFRCと称す
る)における補間フレーム生成動作に加え、後述する画像特徴検出部2006からの判定信号
により、図6に示すようなフレーム繰り返しによる補間フレーム生成、つまりはベクトル
FRC非動作の切替を行う。図7は、図2における補間フレーム生成部2008の構成の一例を
示している。図7において、7001は現フレーム信号、7002は1フレーム前信号、7003は動
きベクトル、7004はFRC変換モード信号、7005は水平/垂直方向補間画素選択部、7006は時
間方向補間処理部、7007はセレクタ部、7008は判定信号である。
【0027】
ここで、我々がフレームレート変換による動画質評価により得た見解に関して以下に説
明する。
【0028】
60Hzから120Hz、30Hzから60Hzへの変換のように整数倍のフレームレート変換で、キー
フレーム間に補間フレームが1つしか挿入されない変換の場合、前記挿入される補間フレ
ームの画質が、動きベクトル誤検出等で多少劣化が見られたとしても、人間の目ではそれ
を認識し難く、結果として時間解像度が向上したことのインパクトの方が大きい。これに
対し、24Hzから60Hz、50Hzから60Hzへの変換のように非整数倍のフレームレート変換で、
キーフレーム間に複数の補間フレームが挿入される場合は、前記補間フレームの画質が動
きベクトル誤検出等で劣化が見られる場合、その劣化画像が時間的に2枚以上続くことに
なり、人間の目に認識され、時間解像度向上の効果よりも、画質の劣化が目立ってしまう
ことになる。
【0029】
次に、前記動きベクトル誤検出による劣化画像に関して説明する。
【0030】
動きベクトルの検出においては、前記説明したように、基本的に現フレーム映像と1フ
レーム前の映像からブロック単位、画素単位での差分値マッチング演算による相関を算出
し、前記相関が最も高い位置の画素値から補間フレームの画素値を算出する。しかし例え
ば図8に示すように、フレーム間において対象動物体が障害物の裏を通り抜けるような画
像の場合、対象物体の一部は数フレーム間映像中に存在しなくなるため、正確な動きベク
トルを算出することができない。また通常、動きベクトル検出においては、そのベクトル
の信頼性向上のために、周囲で検出された動きベクトルや、画面全体の動きベクトルを参
照する方式をとる事が多い。これにより、画面全体が一定方向へパンしているような映像
ではかなり精度の高い動きベクトルが得られるが、画面中に複数の異なる動きが存在する
ような映像の場合は、正確な動きベクトル検出が急激に難しくなる。さらに、動きベクト
ルの検索範囲を超えるような早い動きの場合においても、正確なベクトル検出が行えず、
画像の破綻を招くことになる。最も単純な対策としては、動きベクトル検索範囲を拡げる
ことが考えられるが、その分誤検出する可能性も増えると共に、演算量の増大、及びハー
ドウェア化を考えた場合の回路規模の増大に直結する。
【0031】
本実施例では、映像の特徴に応じてその補間方法を切り替えることでこの問題を解決す
る。つまり、フレーム毎の動きベクトルヒストグラム情報を元に、映像の補間方法をダイ
ナミックに変更する。以下、本発明では本方式をダイナミックFRCと称する。
【0032】
図9は、本発明におけるダイナミックFRC処理のステートダイアグラムを示すものであ
る。図9において、S101は動きベクトルを用いた補間フレーム生成を行うベクトルFRC動
作状態、S102はフレーム繰り返しによる補間フレーム生成を行う、非FRC動作状態である

【0033】
画像特徴検出部2006での動きの特徴判定により、状態遷移(S103、S104)を行う。
【0034】
画像特徴検出部2006では、検出された動きベクトルによるヒストグラム情報により、動
きの特徴を検出し、判定信号2007を出力する。図10は、前記ベクトルヒストグラム検出
結果の一例を示したものである。図10では、動きベクトル検出部2004でのベクトル検出
範囲を垂直5ブロック、水平11ブロックに設定した場合を示している。図10のヒストグ
ラム結果をグラフ化したものを図11に示す。図11を見て分かるように、この例ではベ
クトル(0,0)周辺に多くの動きベクトルが集中していることが読み取れる。画像特徴検出
部2006ではこのようなベクトルヒストグラム分布を用いて動きの特徴を判定する。
【0035】
例えば、前記動きベクトルヒストグラム分布において、図12に示すように任意の方向
に集中している場合には、画面中支配的な動きにより全体がスクロールしている可能性が
高いと判定する。また図13に示すように、検索範囲の境界部分に所定閾値以上集中する
場合、その画面は検索範囲を超える早い動きの物体が多くある可能性が高いと判定する。
別の判定の仕方として、動きが検索範囲を超えた場合には、正確にマッチングがとれるブ
ロックがなくなり、検索範囲内にマッチング値が同じレベルのブロックが複数存在するこ
とが予想されることを利用する。例えば、マッチング値が同じ場合には、ベクトル(0,0)
、もしくはそれに近いベクトルを優先させるようなアルゴリズムを用いている場合、図1
4に示すように、ベクトル(0,0)に分布が集中することが考えられる。従ってこの場合、
所定閾値以上ベクトル(0,0)に分布が集中する場合は検索範囲を超える動きが存在したと
判定する。尚、ベクトル(0,0)に集中するかどうかはベクトル検出におけるアルゴリズム
次第であり、これに限るものではない。また、図15に示すように、所定閾値以上の分布
が散乱している場合は複数の動きが存在する画像であると判定する。
【0036】
画像特徴検出部2006では、図12〜15のようなベクトルヒストグラム分布を持つ画像
入力の際に、その旨を示す判定信号2007を出力する。判定信号2007は例えば1/0の1ビット
の信号で良い。図12に示すようなベクトルヒストグラム分布の場合、検出された動きベ
クトルの信頼性が高いと判断し0を出力する。図13〜15に示すようなベクトルヒストグ
ラムの場合、動きベクトルの信頼性が低く、誤検出の可能性が高いため、1を出力する。
セレクタ部7007では、前記判定信号に応じて、ベクトルFRCによる補間フレームとフレー
ム繰り返しによる補間フレーム出力の切替を行う。従って、判定信号2007が0の場合(S10
3)には、ベクトルFRC動作(S101)へ遷移し、判定信号が1の場合(S104)には、非FRC動作(S
102)へ遷移する。また、前記状態遷移(S103,S104)の際には、状態が頻繁に切替わるこ
とによる弊害を防止するため、判定信号2007が0(1)の状態が、所定フレーム期間継続した
場合に遷移する、もしくは遷移した後に、その状態を所定期間維持する、といったヒステ
リシス特性を持たせる構成としてもよい。
【0037】
また、本実施例においては、動きの特徴検出をハードウェアで構成しているが、これに
限るものではなく、ハードウェアからは動きベクトル情報のみ出力し、ソフトウェアにて
本ダイナミックFRC制御を実現する構成としてもよい。
【0038】
また、補間フレーム出力切替に関しては、補間フレーム生成部2008で実施しなければな
らないこともなく、メモリインターフェース部2011によるデータ読み出し制御によって実
施する構成としても良い。
【0039】
以上のように本実施例によれば、入力された画像の動きの特徴を捉え、前記動きの特徴
に応じて、FRCの動作状態をダイナミックに切り替えることが可能となる。
【実施例2】
【0040】
図16は、本発明の第二の実施形態である画像処理装置のダイナミックFRC処理のステ
ートダイアグラムを示すものである。図16において、図9に示した構成要素と同一の構
成要素に関しては、同一の符号を付してその説明を省略する。
【0041】
本実施例では、FRCの状態を3段階とすることで、より画像に最適な制御を可能としてい
る。以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【0042】
図16において、S201はベクトルFRC動作と非FRC動作の中間動作状態である。これらの
3つの動作状態は、後述する遷移条件によって画像特徴検出部2006から出力される判定信
号2007が、0の時ベクトルFRC動作(S205)、1の時に中間動作(S202,S204)、2の時に非FRC動
作(S203)へ遷移する。
【0043】
図17は、本発明における24Hzから60Hzへの変換モードでの前記中間動作の一例を説明
するための図である。図17において、17001〜17003は入力キーフレーム、17004〜17007
は補間フレームである。ベクトルFRC動作(S101)の際には、前記補間フレームは全て動き
ベクトルを用いた補間、非FRC動作(S102)の際には、前記補間フレームは全て繰り返しフ
レーム、つまり17004、17005は17001、17006、17007は17002のフレームがそのまま挿入さ
れる。中間動作(S201)の場合には、図17に示すように、17005、17006フレームのみを、
繰り返しフレーム、もしくは、時間方向の重心位置を考慮した線形補間フレームに置き換
える。ここで、時間方向の重心位置を考慮した線形補間フレームとは、フレーム17001と1
7002に対して水平・垂直ベクトル”0”による時間方向の重心を考慮した荷重加算によっ
て生成される。本方式による映像の見え方としては、フレームレート変換による本来の効
果である動画の滑らかさに関しては、完璧な補間フレームが生成された場合と比較した場
合、当然その効果は軽減することになるが、破綻を抑圧し、且つ効果を残した映像を実現
することが可能となる。
【0044】
前記3つの動作状態を切り替えるために、画像特徴検出部2006によって、その旨を示す
判定信号2007を出力する。例えば0/1/2を2bitの信号で出力する構成とする。実施例1に
て記載した1/0の判定に対して、閾値制御を設けることにより0/1/2への切替を実現する。
制御例を以下図18のフローチャートを参照しながら説明する。
【0045】
まず、ベクトル集中度に関しては、ベクトルカウント閾値TH1以上の箇所がいくつ存在
するかの集中度分布値をカウントする(F101)。境界分布度に関しては、検索範囲境界部分
において、境界ベクトルカウント閾値TH4以上の箇所いくつ存在するかの境界分布値をカ
ウントする(F102)。
【0046】
次に前記集中度分布値と分布閾値TH2、TH3を比較する(F103,104)。さらに、前記境界分
布値と境界閾値TH5、TH6を比較する(F105,106)。集中度分布値がTH2以下であり、且つ境
界分布値がTH5以下の場合にベクトルFRC動作(F109)となる。集中度分布値がTH2以下であ
り、且つ境界分布値がTH5以上TH6以下の場合には、中間動作(F108)となる。さらに、集中
度分布値がTH2以上TH3以下であり、且つ境界分布がTH5以上TH6以下の場合にも中間動作(F
108)となる。集中度分布値がTH3以上の場合には、非FRC動作(F107)となる。さらに、集中
度分布値がTH2以下であり、且つ境界分布値がTH6以上の場合、また集中度分布値がTH2以
上TH3以下であり、且つ境界分布値がTH5以上の場合にも非FRC動作(F107)となる。
【0047】
本制御により、画像特徴検出部2006から判定信号0(ベクトルFRC動作)/1(中間動作)/2(
非FRC動作) 2007を出力する。
【0048】
図19は、本ダイナミックFRC制御による動作イメージを説明するための図である。図
に示すように、3つの動作状態をダイナミックに切り替える。ベクトルFRC動作から非FRC
動作への遷移(その逆も含む)の間には、基本的に中間動作が入る。これにより、動作切
替の際の画像の違和感を軽減することが可能となる。
【0049】
また、本実施例においては、ベクトルの集中度分布、境界分布を用いて、各値に対して
3つの閾値使用による状態分けを行っているが、閾値の数は任意であり、且つ集中度とい
う考え方ではなく、分散度という考え方、または境界分布に関しても、水平/垂直方向独
立に制御する考え方を利用してもよい
また、第一の実施例同様、各動作状態への移行の際にはヒステリシス特性を持たせる構
成としても良い。
【0050】
また、中間動作における補間フレームに関しては、図17において、4枚の補間フレー
ム中2枚を繰り返しフレーム、もしくは、時間方向の重心位置を考慮した線形補間フレー
ムに置き換える方式としているが、これに限るものではなく、4枚全てを前記線形フレー
ムに置き換える方式としても良い。当然1枚のみ置き換える、3枚置き換える方式としても
良い。前記置き換える枚数の違いに応じて、中間動作を分類し状態遷移を3以上に細分化
してもよい。
【0051】
また、2枚の繰り返しフレーム、もしくは、線形フレーム置き換え位置に関しても、170
05、17006の位置に限るものではなく、17004、17007を置き換えても良い。さらには例え
ば図20に示すように、所定周期毎に、あるいは画像の特徴に応じて、置き換える枚数、
位置を切り替える方式としても良い。例えば前記したようなベクトルの集中度分布情報を
用いて、中間動作の中で、図21に示すように集中度が高い場合は置き換えフレーム数を
少なくし、低い場合には、置き換えフレーム数を増やしていくような制御を行ってもよい

【0052】
以上のように本実施例によれば、FRCの状態をON/OFFモードに加えて、中間モードを持
つ3段階とすることで、より画像に最適な制御が可能となる。
【実施例3】
【0053】
図22は、本発明の第三の実施形態である画像処理装置の構成の一例を示すブロック図
である。
【0054】
図22において、図1に示した構成要素と同一の構成要素に関しては、同一の符号を付
してその説明を省略する。
【0055】
本実施の形態によれば、スポーツ、ニュース、映画等の番組のジャンルに応じて最適な
補間制御へ切り替えることにができる。
【0056】
また、ワイドモードに応じて最適な補間制御へ切り替えることができる。
【0057】
以下、上述した第一、第二の実施の形態と異なる部分についてその動作を説明する。
【0058】
図22において、22001はEIT(Event Information Table)データ、22002はEITデータ
処理部、22003はEIT判定信号、22004はワイドモード信号、22005はダイナミックFRC動作
モード選択部、22006はダイナミックFRC動作モード信号である。
【0059】
BS/CS/地上デジタルテレビ放送では、映像/音声/データ放送以外に番組に関する情
報(例えば番組の名称、番組内容、番組放送日、番組放送開始時間、番組放送継続時間、
放送チャンネル、番組ジャンルコードなど)も電波に重畳して送出されている。BS/CS/
地上デジタルテレビ放送受信装置では、放送局から送出されるEITと呼ばれる番組情報を
利用し、これらを取得/構成することにより、電子番組表機能をユーザに提供している。
図22においてEITデータ処理部22002では、EIT内のコンテント記述子で使用されている
1バイトの番組ジャンルコードによって、例えば図23のような分類を行う。つまり、入
力されたコンテンツが、スポーツ、アニメ・特撮、映画、ドラマ、バラエティといった動
きの激しいシーンが多く存在する可能性のあるものは1を、ニュース、ワイドショーとい
った動きの激しいシーンが多くは存在しないであろうものには0をEIT判定信号22003とし
て出力する。
【0060】
ワイドモード信号22004は、4:3映像を16:9へ拡大表示、上下黒帯の付いている映像を拡
大して表示等しているかどうかを示す信号であり、ユーザが設定した現在のモードを示す
信号である。各メーカによってモードの名称は異なるが、本実施例においては、スムーズ
(拡大有り)とフル(拡大無し)の2種類で考える。
【0061】
ダイナミックFRCモード選択部22005では、上記EIT判定信号22003と、ワイドモード信号
22004から、ダイナミックFRC動作モード信号22006を生成する。ここで言うダイナミックF
RCの動作モードとは、例えば第二の実施例にて記載した、3つの動作モードを切替るため
の閾値を切り替えることを示している。つまり、本モード設定により、図2における画像
特徴検出部2006の動作が決定する。図19で示したダイナミックFRCの動作においては、
閾値を上げることによってベクトルFRC動作時間が増加する。例えば閾値が低めの設定と
、高めの設定の2種類のテーブルを持つことによって、高めの設定ではFRC動作時間が増加
するため、効果が出やすいが破綻が見える可能性が残る。低めの設定では効果は限定され
るが、破綻は見え難い、といった動作が可能となる。
【0062】
従って上記を踏まえ、例えばダイナミックFRCモード選択部22005では、図24に示すよ
うなダイナミックFRC動作モード信号22006を出力する。
【0063】
EIT判定信号22003により、動きの激しいシーンが多い番組ジャンルであれば1、動きの
激しいシーンの少ない番組ジャンルでる場合は、ワイドモードがスムーズのときは1、フ
ルのときは0を出力する。
【0064】
ダイナミックFRC動作モード信号22006を受け取った画像特徴検出部2006は、その値が1
の時は閾値が低めの設定、0の時は高めの設定に切り替える。
【0065】
以上のように本実施例では、ユーザが視聴する番組のジャンルデータ、表示モードに応
じて補間制御を切り替えることが可能となる。
【0066】
尚本実施例においては、番組ジャンルとして大分類の中の8種類のみで分類を行ってい
るが、当然これに限るものではなく、その下の中分類にまで及ぶ切り替えを行う構成とし
ても良い。また、本実施例においては、制御切替として2種類のみの説明を行ったが、こ
れに限るものではなく、さらに細分化する構成とすれば尚良い。また、制御切替項目とし
て、閾値の値を例に説明を行ったが、これに限ることはなく、例えば各動作状態のヒステ
リシス期間を切り替えることにより、各動作モードのバランスを可変する制御としても良
い。
【符号の説明】
【0067】
1001…入力信号、1002…解像度変換部、1003…フレームレート変換(FRC:Frame Rate Co
nversion)部、1004…画像メモリ、1005…タイミングコントロール部、1006…表示部、10
07…FRC変換モード信号、2001…現フレーム信号、2002…1フレーム前信号、2003…FRC変
換モード信号、2004…動きベクトル検出部、2005…動きベクトル、2006…画像特徴検出部
、2007…判定信号、2008…補間フレーム生成部、2009…補間フレーム信号、2010…フレー
ムレート変換出力信号、2011 メモリインターフェース部、3001…現フレーム信号、3002
…1フレーム前信号、3003…補間フレーム信号、3004…対象ブロック、3005…動きベクト
ル検索範囲、3006…最小差分値ブロックペア、3007…動きベクトル、4001…動きベクトル
検索範囲1、4002…動きベクトル検索範囲2、4003…補間フレーム1、4004…補間フレー
ム2、4005…対象ブロック1、4006…対象ブロック2、4007…動きベクトル1、4008…動
きベクトル2、5001〜5003…24Hzの映像フレーム、5004〜5009…60Hzの映像フレーム、60
01〜6003…24Hzの映像フレーム、6004〜6009…60Hzの映像フレーム、7001…現フレーム信
号、7002…1フレーム前信号、7003…動きベクトル、7004…FRCモード信号、7005…水平/
垂直方向補間画素選択部、7006…時間方向補間処理部、7007…Fセレクタ部、7008…判定
信号、S101…ベクトルFRC動作状態、S102…ベクトルFRC非動作状態、S103,S104…状態遷
移、S201…中間動作状態、S202〜S205…状態遷移、17001〜17003 入力キーフレーム、170
04〜17007 補間フレーム、20001〜20002…入力キーフレーム、20003〜20006…補間フレー
ム、22001…EIT(Event Information Table)データ、22002…EITデータ処理部、22003 E
IT判定信号、22004…ワイドモード信号、22005…ダイナミックFRC動作モード選択部、220
06…ダイナミックFRC動作モード信号。

【特許請求の範囲】
【請求項1】
映像処理装置において、
現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを少なくと
も1つ以上用いて物体の動き情報を検出する動きベクトル検出部と、
前記動きベクトル検出部によって得られる動きベクトルに応じて、水平・垂直方向、且
つ時間方向の補間を行う補間フレーム生成部と、
前記フレーム間の動きの特徴を検出する動き特徴検出部と、を備え、
前記動き特徴検出部で検出された特徴に応じて、前記補間フレーム生成部における水平
・垂直・時間方向の補間方法を切り替えることを特徴とする映像処理装置。
【請求項2】
請求項1記載映像処理装置において、前記動き特徴検出部は、画面全体で検出された動
きベクトルの総カウント数による各ベクトルの出現度数を表すヒストグラム情報を検出す
ることを特徴とする映像処理装置。
【請求項3】
請求項1または2記載の映像処理装置において、前記動き特徴検出部は、動き探索範囲
内の動きベクトルのヒストグラム情報を検出し、前記ヒストグラム情報を元に、画面中支
配的な動きがあるか否かを判定するベクトル集中度検出部を含むことを特徴とする映像処
理装置。
【請求項4】
請求項1または2記載の映像処理装置において、前記動き特徴検出部は、動き探索範囲
内の動きベクトルのヒストグラム情報を検出し、前記ヒストグラム情報を元に、画面中複
数の動きが存在するか否かを判定するベクトル分散度検出部を含むことを特徴とする映像
処理装置。
【請求項5】
請求項1または2記載の映像処理装置において、前記動き特徴検出部は、動き探索範囲
内の動きベクトルのヒストグラム情報を検出し、前記ヒストグラム情報を元に、動き探索
範囲外の動きが存在するか否かを判定する検索範囲境界ベクトル集中度検出部を含むこと
を特徴とする映像処理装置。
【請求項6】
請求項1、2または3記載の映像処理装置において、前記動き特徴検出部によってベク
トルが任意の方向に集中していると判定された場合には、動きベクトルを用いた補間フレ
ームを生成し、ベクトルが集中していない場合には、フレーム繰り返しによる補間フレー
ム生成をすることを特徴とする映像処理装置。
【請求項7】
請求項6記載の映像処理装置において、前記動き特徴検出部によってベクトルが集中し
ていないと判定された場合には、フレーム間の線形補間による補間フレームを生成するこ
とを特徴とする映像処理装置。
【請求項8】
請求項6または7記載の映像処理装置において、前記動き特徴検出部は、ベクトルが集
中しているか否かの度合いを判定するためのベクトル集中度判定部を含み、前記ベクトル
集中度の度合いに応じて、前記補間フレーム生成部における、動きベクトルを用いた補間
フレーム生成、フレーム繰り返しによる補間フレーム生成、フレーム間の線形補間による
補間フレーム生成、を適応的に切り替えることを特徴とする映像処理装置。
【請求項9】
請求項1、2または4記載の映像処理装置において、前記動き特徴検出部によって、画
面中複数の動きが存在しないと判定された場合には、動きベクトルを用いた補間フレーム
を生成し、複数の動きが存在すると判定された場合には、フレーム繰り返しによる補間フ
レーム生成をすることを特徴とする映像処理装置。
【請求項10】
請求項9記載の映像処理装置において、前記動き特徴検出部によって、画面中複数の動
きが存在すると判定された場合には、フレーム間の線形補間による補間フレームを生成す
ることを特徴とする映像処理装置。
【請求項11】
請求項9または10記載の映像処理装置において、前期動き特徴検出部は、画面中存在
する複数動きの度合いを判定するベクトル分散度判定部を含み、前記ベクトル分散度の度
合いに応じて、前記補間フレーム生成部における、動きベクトルを用いた補間フレーム生
成、フレーム繰り返しによる補間フレーム生成、フレーム間の線形補間による補間フレー
ム生成、を適応的に切り替えることを特徴とする映像処理装置。
【請求項12】
請求項1、2または5記載の映像処理装置において、前記動き特徴検出部によって、動
き探索範囲外の動きが存在しないと判定された場合には、動きベクトルを用いた補間フレ
ームを生成し、動き探索範囲外の動きが存在すると判定された場合には、フレーム繰り返
しによる補間フレーム生成をすることを特徴とする映像処理装置。
【請求項13】
請求項12記載の映像処理装置において、前記動き特徴検出部によって、動き探索範囲
外の動きが存在すると判定された場合には、フレーム間の線形補間による補間フレームを
生成することを特徴とする映像処理装置。
【請求項14】
請求項12または13記載映像処理装置において、前記動き特徴検出部は、動き探索範
囲外の動きの度合いを判定する境界ベクトル集中度判定部を含み、前記境界ベクトル集中
度の度合いに応じて、前記補間フレーム生成部における、動きベクトルを用いた補間フレ
ーム生成、フレーム繰り返しによる補間フレーム生成、フレーム間の線形補間による補間
フレーム生成を適応的に切り替えることを特徴とする映像処理装置。
【請求項15】
請求項8、11または14記載の映像処理装置において、前期補間フレーム生成部は、
前記動きベクトルを用いた補間フレームとフレーム繰り返しによる補間フレーム、及び線
形補間による補間フレームを混在させた補間フレームを生成し、切り替えることを特徴と
する映像処理装置。
【請求項16】
請求項8、11、14または15記載の映像処理装置において、前記補間フレーム生成
部は、補間フレームの生成方法、もしくは時間的配置位置を、所定周期毎に切り替えるこ
とを特徴とする、フレームレート変換装置。
【請求項17】
請求項1または2記載の映像処理装置において、前記動き特徴検出部による動きベクト
ルのヒストグラム情報で、中央にベクトル情報が所定閾値以上集まっている場合には、静
止画像、もしくはシーン切替わりと判定し、補間フレーム生成部において、フレーム繰り
返しによる補間フレーム生成をすることを特徴とする、フレームレート変換装置。
【請求項18】
請求項1〜17のいずれかに記載の映像処理装置は、前記補間フレーム生成部で生成さ
れて補間フレームによりフレームレート変換を行うことを特徴とする映像処理装置。
【請求項19】
請求項18記載の映像表示装置において、映像表示時の、4:3表示、16:9表示、ま
たはワイドモードを含む表示モードに応じて、前記補間フレーム生成部における適応制御
方法を変更することを特徴とする映像処理装置。
【請求項20】
請求項18記載の映像表示装置において、更に、番組のジャンルを検出する番組ジャン
ル検出部を有し、前記番組のジャンルに応じて前記補間フレーム生成部における適応制御
方法を変更することを特徴とする補間フレーム生成部。
【請求項21】
請求項1〜20のいずれかに記載の映像処理装置で処理された映像を表示するための表
示部を備えた映像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate


【公開番号】特開2010−213287(P2010−213287A)
【公開日】平成22年9月24日(2010.9.24)
【国際特許分類】
【出願番号】特願2010−74076(P2010−74076)
【出願日】平成22年3月29日(2010.3.29)
【分割の表示】特願2007−69758(P2007−69758)の分割
【原出願日】平成19年3月19日(2007.3.19)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】