映像補間装置及び映像表示装置
【課題】
より好適に映像を補間する。
【解決手段】
映像に含まれる時間的に異なる複数のフレームの情報を用いて補間フレームを生成する映像補間処理において、映像の特徴を抽出し、抽出した特徴に応じて、映像を複数の領域に領域分割し、映像の領域ごとに補間フレーム生成処理を指定する補間フレーム生成処理指示信号を生成し、前記補間フレーム生成処理指示信号に応じて、前記複数の領域ごとに補間フレーム生成処理を変更する。
より好適に映像を補間する。
【解決手段】
映像に含まれる時間的に異なる複数のフレームの情報を用いて補間フレームを生成する映像補間処理において、映像の特徴を抽出し、抽出した特徴に応じて、映像を複数の領域に領域分割し、映像の領域ごとに補間フレーム生成処理を指定する補間フレーム生成処理指示信号を生成し、前記補間フレーム生成処理指示信号に応じて、前記複数の領域ごとに補間フレーム生成処理を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の映像補間技術に関する。
【背景技術】
【０００２】
近年、画像のフレーム数を増やし、時間方向の高解像度化を図ることにより、動画表示におけるぼやけ感やガタガタ感といった不自然な動きを改善することを目的として、フレームレート変換機能などの映像補間機能を高画質化技術として映像表示装置へ適用している動きがある。このような動画表示性能向上に対する明確な改善効果を得るためには、精度の高い補間フレーム生成が必要となる。
【０００３】
従来からよく用いられている補間方法として、複数のフレーム間の動きベクトルを利用した動き補償処理を用いる方法がある。この方法では、得られた動きベクトル情報をもとにフレーム間の動きを特定し、補間フレームを作成する。
【０００４】
ここで、精度の高い補間フレームを得るためには、この動きベクトルの精度を上げる必要がある。動きベクトルの精度を向上する技術として、例えば特許文献１の図9に、周囲の動きベクトルとの比較を行うことで、不適切な動きベクトルを除去するスムージング処理を行う等の手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2002-27414
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、例えば、映像中において、走る人物の速さを強調するために背景がぼやけている方がその雰囲気が伝わるようなシーンにおいては、特許文献１に記載の技術を用いることで、背景のぼやけ感がなくなってしまい、かえって映像のイメージが本来とは異なってしまう場合があるという課題があった。
【０００７】
また、ガタガタ感に関しても画面全体を一律になめらかな動きにしてしまうことで、なめらかに表現したい部分とそうでない部分の差がなくなり、コンテンツが本来表現したい映像に近づけることができないという課題があった。
【０００８】
本発明は上記問題を鑑みてなされたものであり、その目的は、より好適に映像を補間することにある。
【課題を解決するための手段】
【０００９】
本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【００１０】
本発明によれば、より好適に映像を補間することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の第一の実施の形態を示すブロック図である。
【図２】本発明の第一の実施の形態におけるFRC部の構成の一例を示すものである。
【図３】ブロックマッチング法による補間フレーム生成例を説明するための図である。
【図４】本発明の第一の実施の形態における特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部の構成の一例を示すものである。
【図５】本発明の第一の実施の形態における領域抽出部の構成の一例を示すものである。
【図６】本発明の第一の実施の形態における領域抽出部の動作の説明をするための図である。
【図７】本発明の第一の実施の形態における領域抽出部の動作の説明をするための図である。
【図８】本発明の第二の実施の形態を示すブロック図である。
【図９】本発明の第二の実施の形態における特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部の動作を説明するための図である。
【図１０】本発明の第三の実施の形態の領域抽出部を示すブロック図である。
【図１１】本発明の第四の実施の形態の特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部を示すブロック図である。
【図１２】本発明の第四の実施の形態における境界補正信号を説明するための図である。
【図１３】本発明の第四の実施の形態における境界補正信号を説明するための図である。
【発明を実施するための形態】
【実施例１】
【００１２】
図１は、本発明の第一の実施形態である画像処理装置の構成の一例を示すブロック図である。
【００１３】
図１において、1001は入力信号、1002は解像度変換部、1003はフレームレート変換（以下、FRC：Frame Rate Conversionと呼ぶ）部、1004はSDRAM等の画像メモリ、1005はタイミングコントロール部、1006は表示部、1007はFRC変換モード信号である。
【００１４】
解像度変換部1002では、入力画像を表示部1006に合わせた画像フォーマットへ拡大・縮小処理を行う。尚、本解像度変換処理は、FRC部1003後段に持たせる構成としても良い。FRC部1003では、外部から設定されるFRC変換モード信号1007に応じたフレームレートの変換を行い、タイミングコントローラ部1005では前記FRC部1003から得られたフレームレート変換出力を表示部1006に表示するためのタイミング調整を行う。
【００１５】
図２は、図１におけるFRC部1003の構成の一例を示すものである。
【００１６】
図2において、2001は現フレーム信号、2002は1フレーム前信号、2003はFRC変換モード信号、2004は動きベクトル検出部、2005は動きベクトル、2006は映像特徴領域抽出・領域分割・補間フレーム生成指示信号生成部、2007は補間フレーム生成処理指示信号、2008は補正エリアベクトル（補正領域ベクトル）、2009は補間フレーム生成部、2010は補間フレーム信号、2011はフレームレート変換出力信号、2012はメモリインターフェース部である。
【００１７】
動きベクトル検出部2004では、現フレーム信号2001と1フレーム前信号2002により、動きベクトル2005を検出する。検出方法としては、前記従来技術で記したようなブロックマッチング法や勾配法、位相限定相関法等どれを用いても良いが、ここでは、図３に示すようなN×N（Nは整数）のブロックマッチング法を用いる場合で以下説明する。図３において、3001は現フレーム信号、3002は1フレーム前信号、3003は補間フレーム信号、3004は対象ブロック、3005は動きベクトル検索範囲、3006は最小差分値ブロック、3007は補間ブロックである。
【００１８】
1フレーム前信号3002上の対象ブロック3004が、現フレーム信号3001上のどこに移動したかを検出する。対象ブロック3004に対して、現フレーム信号3001において点対称の位置のブロックを中心として、所定ブロック数の検索範囲3005を設ける。図3の場合は水平11ブロック、垂直5ブロックと設定している。対象ブロック3004と、検索範囲3005内の各ブロックとの差分値マッチングにより、最も差分値が小さいブロック3006を検出し、その方向を動きベクトル2005として出力する。
【００１９】
得られた動きベクトル2005は、補間フレーム生成部2009へ入力される。補間フレーム生成部2009では、補間フレーム3003上、得られた動きベクトルの半分の位置のブロック3007の画素値を、ブロック3004と3006画素値の線形補間処理（平均値）にて算出する。以上の動作を1フレーム前信号3002上全てのブロックに対して行う。
【００２０】
映像特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部2006では、入力される現フレーム信号2001、1フレーム前信号2002、及び得られた動きベクトル2005から、1フレーム映像中の領域毎の特徴を判定し、補間フレーム生成処理指示信号2007、及び補正エリアベクトル2008を出力する。
【００２１】
補間フレーム生成部2009は、前記補間フレーム生成処理指示信号2007、補正エリアベクトル2008をもとに、より好適なレート制御を実現するための補間フレーム信号2010を生成、出力する。
【００２２】
メモリインターフェース部2012では、補間フレーム生成部2009からの補間フレーム出力2010の画像メモリ1004へのデータ書き込み、及びFRC変換モード 1007(2003)に応じたフレームレートでのフレームデータ読み出しを行い、フレームレート変換出力2011を出力する。
【００２３】
図４は、図２における映像特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部2006の構成の一例を示すものである。図４において、図２に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００２４】
図４において、4001は領域抽出部、4002は領域内動き特性判定／分割部、4003は補間フレーム生成処理指示信号生成部、4004はエリア特定信号、4005はエリアベクトル（領域ベクトル）である。
【００２５】
図５は、図４における、領域抽出部4001の構成の一例を示すものである。
【００２６】
図５において、5001は周波数領域変換部、5002は領域指定部、5003は領域指定信号である。周波数変換部5001では、FFT(高速フーリエ変換)やDCT(離散コサイン変換)といった直交変換により、入力映像情報を周波数領域へ変換する。領域指定部5002では、前記周波数領域へ変換された映像信号から、例えばその映像を高周波成分領域、低周波成分領域、中間周波数成分領域に分割し、高周波数成分が所定以上の領域に固まって分布している領域を検出、指定、前記指定領域を示す識別信号5003を出力する。領域内動き特性判定／分割部4002では、前記識別信号5003が示す領域の動き情報を動きベクトル検出部2004からの動きベクトルを用いて判定する。例えば前記識別信号5003領域内の動きベクトルをヒストグラム解析（図示せず）し、動きが一様に分布しているか、分散しているかを判定する。また、前識別信号5003領域が現フレーム、1フレーム前両方に存在しているかどうかを判定する。
【００２７】
図６は、上記処理を説明するための一例を示す図である。図６において、6001は1フレーム前信号、6002は現フレーム信号、6003は中間周波数成分領域部、6004は高周波数成分領域部、6005は低周波数成分領域部、そして6006は高周波数成分領域部の領域動きベクトルである。
【００２８】
まず、領域抽出部4001によって、映像の周波数解析を行い、高周波成分領域6004、中間周波数成分領域6003、低周波数成分領域6005に分割し、高周波成分が所定以上固まって分布している領域6004を識別する信号、エリア特定信号4004を出力する。上記検出は現フレーム、1フレーム前信号両者に対して行う。領域内動き特性判定／分割部4002では、前記識エリア信号4004で示される高周波領域が現フレーム、1フレーム前両者に存在し、且つ前記エリア信号内の動きベクトルが一様（ばらつきが少なく、ほぼ同じ方向に向いている）であるかどうかを判定する。つまり、6004のトラックが一様な動きベクトル6006で動いていることを判定する。領域内動き特性判定／分割部4002では、高周波数成分領域識別信号6004(エリア特定信号4004)に加え、この一様動きベクトル(以下、エリアベクトル)6006(4005)を出力する。補間フレーム生成処理指示信号生成部4003では、前記エリア特定信号4004とエリアベクトル4005から、FRC変換モード信号1007に応じた補間フレームの時間方向の配置に応じた識別信号、及び動きベクトルへ補正した補間フレーム生成処理指示信号、補正エリアベクトルをそれぞれ出力する。
【００２９】
図７は上記補正動作を説明するための図である。図７において、7001は補間フレーム、7002は補間フレーム生成処理指示信号、7003は補正ベクトルである。つまり、フレームレート60fpsから120fps等のFRC変換モードが2倍速であり、補間フレームが2枚のキーフレーム間の時間的にちょうど中心に位置する場合を考える。領域内動き特性判定／分割部4002で得られたエリアベクトル6006を1/2した補正ベクトル7003を得て、前記補正ベクトルに応じて高周波数成分領域識別信号6004を補正した補間フレーム生成処理指示信号7002を出力する。補間フレーム生成部2008は、前記補間フレーム生成処理指示信号7002が有効な領域にのみ前記補正ベクトル7003による補間フレームの生成処理を行い、無効な領域では例えば、補間フレームに時間的に直前に位置する前フレームの繰り返し出力とする。ここで、当該繰り返し出力とは、補間フレームの時間的に前に位置するフレーム上の画素であって補間対象画素に対応する位置の画素を用いて補間対象画素を生成する補間フレーム生成処理である。
【００３０】
以上のように本実施例によれば、所定の周波数特性を持つ領域にのみ補間フレームを生成し、それ以外の領域には前フレームの繰り返しの出力とすることにより、ぼやけを改善したい部分、動きのガタガタ感を解消したい部分をより強調することが可能となり、時間方向で見た動きのコントラスト感を高めることが可能となる。
【００３１】
また、本実施例においては、補間フレーム生成処理指示信号7002が無効な領域に対しては、前フレームの繰り返し出力とする構成として説明した。しかし、これに限るものではなく、後フレーム側の繰り返し出力、すなわち、補間フレームの時間的に後に位置するフレーム上の画素であって補間対象画素に対応する位置の画素を用いて補間対象画素を生成する補間フレーム生成処理を行う構成としてもよい。また、補間フレームの時間的に異なる位置にある複数のフレーム上で前記補間対象画素に対応する位置の複数の画素を用いた線形補間により前記補間対象画素を生成する線形補間出力としても良い。さらに、表示フレームを少なくすることで表示レートを落とし、補間フレーム生成部との差をより強調する構成としても良い。
【００３２】
また、本実施例においては、所定の周波数特性を持つ領域に対しては、エリアベクトルをベースとした補正エリアベクトルで補間フレームを生成するようにしているが、補間フレーム生成処理指示信号で現される領域における、動きベクトル検出部2004で得られる画素単位、ブロック単位のベクトルを補正したベクトルを用いて補間フレームを生成する構成としても良い。
【００３３】
すなわち、本実施例においては、映像の特徴に応じて補間処理の好適化を行い、映像の立体感や動きのコントラスト感を好適に表現することにより、臨場感のある映像表現が可能となる。
【実施例２】
【００３４】
次に、本発明の第二の実施形態の画像処理装置の構成について説明する。
【００３５】
第二の実施形態の画像処理装置の構成は、第一の実施形態の画像処理装置の構成のうち、図４に示した映像特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部の構成を図８に示す構成に置き換えたものである。その他の構成は、既に説明したとおりであるので、説明を省略する。
【００３６】
ここで、図８において、図４に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００３７】
本実施の形態によれば、複数の領域に対して複数の補間フレーム生成を行うことができ、より好適な画質調整が可能となる。
【００３８】
以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【００３９】
図８において領域抽出部4001は、3種類の識別信号を出力し、領域内動き特性判定／分割部4002では、前記識別信号から生成されるエリア特定信号4004に対応するエリアベクトル4005を3種類出力する構成としている。補間フレーム生成処理指示信号生成部4003では、前記3種類のエリア特定信号、エリアベクトルに対して、FRC変換モードによる補間フレームの時間方向の配置に応じた補正をそれぞれ実施し、補間フレーム生成処理指示信号2007と補正ベクトル2008を出力する。
【００４０】
一例として図９にて動作概要を説明する。図9では、フレームレート60fpsから120fps等のFRC変換モードが2倍速であり、補間フレームが2枚のキーフレーム間の時間的にちょうど中心に位置する場合を考える。領域抽出部4001にて、高周波数成分領域部6004、中間周波数成分領域部6003、低周波数領域部6005を抽出する。領域内動き特性判定／分割部4002では、前記各領域におけるエリアベクトル9001、9002を検出する。尚、低周波領域部6005に関しては、同じ領域が前後のフレームで見つけられないため、エリアベクトルは検出できない。補間フレーム生成処理指示信号生成部4003では、エリア特定信号とエリアベクトルから、エリアベクトルを1/2した補正エリアベクトル9005、9006と、前記補正ベクトル位置によりエリア特定信号を補正した補間フレーム生成処理指示信号9003、9004を出力する。
【００４１】
以上のように本実施例によれば、第一の実施形態の効果に加え、複数の領域に対してより好適な補間フレーム生成を適用することが可能となる。
【００４２】
例えば図9においては、高周波数領域6004の補間フレーム9004は補間フレーム生成による動画画質改善を最大限図り、中間周波数領域6003の補間フレーム9003は2回に1回補間フレームを生成する構成とし、低周波数領域6005に関しては、その他の領域と共に前フレームの繰返しを補間フレームとして出力する。これにより、動きのメリハリ(コントラスト感)がつき、本来人間の眼が追うと想定される高周波数の物体の動きの改善をより引き立たせることが可能となる。
【実施例３】
【００４３】
次に、本発明の第三の実施形態の画像処理装置の構成について説明する。
【００４４】
第二の実施形態の画像処理装置の構成は、第一の実施形態または第二の実施形態の画像処理装置の構成のうち、図５に示した領域抽出部の構成を図１０に示す構成に置き換えたものである。その他の構成は、既に説明したとおりであるので、説明を省略する。
【００４５】
ここで、図１０において、図5に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００４６】
本実施の形態によれば、特定色の存在する領域に対して、適応的な補間フレーム生成制御が可能となり、より緻密な映像制御を行うことができる。
【００４７】
以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【００４８】
図１０において、肌色検出部10001は、入力映像信号2001、2002における肌色の領域を検出し、領域分割部5002へ出力する。肌色検出部10001での肌色の検出方法に関しては本出願の本質ではないため詳細記載しないが、例えば入力信号をHSV空間へ変換し、以下の数式１の範囲の値をもつ領域を肌色領域として検出する。
（数１）
0≦H≦0.2
0.3≦S≦0.9
0.3≦V≦0.9
周波数領域変換部5001による周波数領域情報に加え、前記肌色領域情報を組み合わせることで、より詳細な領域分割を行う。
【００４９】
以上のように本実施例では、領域分割の際に肌色領域情報を考慮することにより、例えば動いている人に適した補間フレーム制御を行うことができ、従来にはない動画画質を提供することができる。
【００５０】
また、本実施例においては、第一の実施形態または第二の実施形態の効果に加え、肌色の例を説明したが、これに限ることはなく、各色へ適応した制御を実施する構成としても良い。
【実施例４】
【００５１】
次に、本発明の第四の実施形態の画像処理装置の構成について説明する。
【００５２】
第四の実施形態の画像処理装置の構成は、第一の実施形態乃至第三の実施形態の画像処理装置の構成のうち、図４または図８に示した映像特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部の構成を図１１に示す構成に置き換えたものである。その他の構成は、既に説明したとおりであるので、説明を省略する。
【００５３】
図１１において、図４または図８に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００５４】
本実施の形態によれば、補間フレーム生成方法の切替わり部分を目立たなくすることができ、より自然な映像を表現することが可能となる。
【００５５】
以下、上述した第一、第二、第三の実施の形態と異なる部分についてその動作を説明する。
【００５６】
図１１において、11001は境界補正部である。境界補正部11001は、例えば図１２に示すように、補間フレーム生成処理指示信号生成部4003より得られた補間フレーム生成処理指示信号を補正する。図１２において、12001は補間フレーム生成処理指示信号、12002は補正後の補間フレーム生成処理指示信号である。補間フレーム生成処理指示信号生成部4003より入力される補間フレーム生成処理指示信号が12001のような場合、”Ｈ（１）”の領域と”Ｌ（０）”の領域で、補間フレームの生成方法が異なるため、その境界で映像の切れ目が認識されてしまう可能性がある。これを防ぐため、前記”１”と”０”の切替わり部において、段階的に切替わるよう境界補正信号12002のように補正する。例えば補間フレーム生成部2009では、この0と1の間の領域は、境界領域と判定し、前後フレームの線形補間にてフレーム生成を行う。すなわち、この例では、補間フレーム生成処理指示信号が0より大きく1より小さい場合は、境界領域であることを示す信号の役割を果たす。
【００５７】
また、別の例としては、図１３に示すような制御を行ってもよい。図１３において、横軸は境界補正付き補間フレーム生成処理指示信号の値、縦軸は補正エリアベクトルの値に掛けるベクトルゲイン値を示している。つまり、補正信号の値が1の部分は補正エリアベクトルの値そのもので補間フレームを生成する。補正信号が0〜1の間、境界部に位置している場合においては、境界位置から遠ざかるにつれて補正エリアベクトルの値が0になるように、ベクトルゲイン値（0〜1）を設定する。元の補正エリアベクトルに前記ベクトルゲイン値を掛けたものを新たなエリアベクトル値として補間フレーム生成を行う。この場合、
すなわち、上記の例では、この例では、補間フレーム生成処理指示信号が0より大きく1より小さい場合は、補間フレーム生成処理指示信号は境界からの距離に応じた識別信号の役割を果たし、当該識別信号に応じた補正エリアベクトルの補正処理を行うことが可能となる。
【００５８】
以上のように本実施例では、第一の実施形態乃至第三の実施形態の効果に加え、補間フレームの生成方法が異なる部分の境界に対する映像の切替わりによる不自然さを軽減し、より自然で好適な映像を提供することが可能となる。
【符号の説明】
【００５９】
1001 入力信号、1002 解像度変換部、1003 フレームレート変換（FRC：Frame Rate Conversion）部、1004 画像メモリ、1005 タイミングコントロール部、1006 表示部、1007 FRC変換モード信号2001 現フレーム信号、2002 1フレーム前信号、2003 FRC変換モード信号、2004動きベクトル検出部、2005 動きベクトル、2006映像特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部、2007動コントラスト補正信号、2008補正エリアベクトル、2009補間フレーム生成部、2010補間フレーム信号、2011フレームレート変換出力信号、2012メモリインターフェース部、3001 現フレーム信号、3002 1フレーム前信号、3003 補間フレーム信号、3004 対象ブロック、3005 動きベクトル検索範囲、3006 最小差分値ブロック、3007 補間ブロック、4001領域抽出部、4002領域内動き特性判定／分割部、4003補間フレーム生成処理指示信号生成部、4004エリア特定信号、4005エリアベクトル、5001周波数領域変換部、5002領域指定部、5003領域指定信号、6001 1フレーム前信号、6002現フレーム信号、6003中間周波数成分領域部、6004高周波数成分領域部、6005低周波数成分領域部、6006高周波数成分領域部の領域動きベクトル、7001補間フレーム、7002補間フレーム生成処理指示信号、7003補正ベクトル、9001、9002エリアベクトル、10001肌色検出部、11001境界補正部、12001補間フレーム生成処理指示信号、12002補正後の補間フレーム生成処理指示信号、
【技術分野】
【０００１】
本発明は、映像信号の映像補間技術に関する。
【背景技術】
【０００２】
近年、画像のフレーム数を増やし、時間方向の高解像度化を図ることにより、動画表示におけるぼやけ感やガタガタ感といった不自然な動きを改善することを目的として、フレームレート変換機能などの映像補間機能を高画質化技術として映像表示装置へ適用している動きがある。このような動画表示性能向上に対する明確な改善効果を得るためには、精度の高い補間フレーム生成が必要となる。
【０００３】
従来からよく用いられている補間方法として、複数のフレーム間の動きベクトルを利用した動き補償処理を用いる方法がある。この方法では、得られた動きベクトル情報をもとにフレーム間の動きを特定し、補間フレームを作成する。
【０００４】
ここで、精度の高い補間フレームを得るためには、この動きベクトルの精度を上げる必要がある。動きベクトルの精度を向上する技術として、例えば特許文献１の図9に、周囲の動きベクトルとの比較を行うことで、不適切な動きベクトルを除去するスムージング処理を行う等の手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2002-27414
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、例えば、映像中において、走る人物の速さを強調するために背景がぼやけている方がその雰囲気が伝わるようなシーンにおいては、特許文献１に記載の技術を用いることで、背景のぼやけ感がなくなってしまい、かえって映像のイメージが本来とは異なってしまう場合があるという課題があった。
【０００７】
また、ガタガタ感に関しても画面全体を一律になめらかな動きにしてしまうことで、なめらかに表現したい部分とそうでない部分の差がなくなり、コンテンツが本来表現したい映像に近づけることができないという課題があった。
【０００８】
本発明は上記問題を鑑みてなされたものであり、その目的は、より好適に映像を補間することにある。
【課題を解決するための手段】
【０００９】
本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【００１０】
本発明によれば、より好適に映像を補間することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の第一の実施の形態を示すブロック図である。
【図２】本発明の第一の実施の形態におけるFRC部の構成の一例を示すものである。
【図３】ブロックマッチング法による補間フレーム生成例を説明するための図である。
【図４】本発明の第一の実施の形態における特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部の構成の一例を示すものである。
【図５】本発明の第一の実施の形態における領域抽出部の構成の一例を示すものである。
【図６】本発明の第一の実施の形態における領域抽出部の動作の説明をするための図である。
【図７】本発明の第一の実施の形態における領域抽出部の動作の説明をするための図である。
【図８】本発明の第二の実施の形態を示すブロック図である。
【図９】本発明の第二の実施の形態における特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部の動作を説明するための図である。
【図１０】本発明の第三の実施の形態の領域抽出部を示すブロック図である。
【図１１】本発明の第四の実施の形態の特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部を示すブロック図である。
【図１２】本発明の第四の実施の形態における境界補正信号を説明するための図である。
【図１３】本発明の第四の実施の形態における境界補正信号を説明するための図である。
【発明を実施するための形態】
【実施例１】
【００１２】
図１は、本発明の第一の実施形態である画像処理装置の構成の一例を示すブロック図である。
【００１３】
図１において、1001は入力信号、1002は解像度変換部、1003はフレームレート変換（以下、FRC：Frame Rate Conversionと呼ぶ）部、1004はSDRAM等の画像メモリ、1005はタイミングコントロール部、1006は表示部、1007はFRC変換モード信号である。
【００１４】
解像度変換部1002では、入力画像を表示部1006に合わせた画像フォーマットへ拡大・縮小処理を行う。尚、本解像度変換処理は、FRC部1003後段に持たせる構成としても良い。FRC部1003では、外部から設定されるFRC変換モード信号1007に応じたフレームレートの変換を行い、タイミングコントローラ部1005では前記FRC部1003から得られたフレームレート変換出力を表示部1006に表示するためのタイミング調整を行う。
【００１５】
図２は、図１におけるFRC部1003の構成の一例を示すものである。
【００１６】
図2において、2001は現フレーム信号、2002は1フレーム前信号、2003はFRC変換モード信号、2004は動きベクトル検出部、2005は動きベクトル、2006は映像特徴領域抽出・領域分割・補間フレーム生成指示信号生成部、2007は補間フレーム生成処理指示信号、2008は補正エリアベクトル（補正領域ベクトル）、2009は補間フレーム生成部、2010は補間フレーム信号、2011はフレームレート変換出力信号、2012はメモリインターフェース部である。
【００１７】
動きベクトル検出部2004では、現フレーム信号2001と1フレーム前信号2002により、動きベクトル2005を検出する。検出方法としては、前記従来技術で記したようなブロックマッチング法や勾配法、位相限定相関法等どれを用いても良いが、ここでは、図３に示すようなN×N（Nは整数）のブロックマッチング法を用いる場合で以下説明する。図３において、3001は現フレーム信号、3002は1フレーム前信号、3003は補間フレーム信号、3004は対象ブロック、3005は動きベクトル検索範囲、3006は最小差分値ブロック、3007は補間ブロックである。
【００１８】
1フレーム前信号3002上の対象ブロック3004が、現フレーム信号3001上のどこに移動したかを検出する。対象ブロック3004に対して、現フレーム信号3001において点対称の位置のブロックを中心として、所定ブロック数の検索範囲3005を設ける。図3の場合は水平11ブロック、垂直5ブロックと設定している。対象ブロック3004と、検索範囲3005内の各ブロックとの差分値マッチングにより、最も差分値が小さいブロック3006を検出し、その方向を動きベクトル2005として出力する。
【００１９】
得られた動きベクトル2005は、補間フレーム生成部2009へ入力される。補間フレーム生成部2009では、補間フレーム3003上、得られた動きベクトルの半分の位置のブロック3007の画素値を、ブロック3004と3006画素値の線形補間処理（平均値）にて算出する。以上の動作を1フレーム前信号3002上全てのブロックに対して行う。
【００２０】
映像特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部2006では、入力される現フレーム信号2001、1フレーム前信号2002、及び得られた動きベクトル2005から、1フレーム映像中の領域毎の特徴を判定し、補間フレーム生成処理指示信号2007、及び補正エリアベクトル2008を出力する。
【００２１】
補間フレーム生成部2009は、前記補間フレーム生成処理指示信号2007、補正エリアベクトル2008をもとに、より好適なレート制御を実現するための補間フレーム信号2010を生成、出力する。
【００２２】
メモリインターフェース部2012では、補間フレーム生成部2009からの補間フレーム出力2010の画像メモリ1004へのデータ書き込み、及びFRC変換モード 1007(2003)に応じたフレームレートでのフレームデータ読み出しを行い、フレームレート変換出力2011を出力する。
【００２３】
図４は、図２における映像特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部2006の構成の一例を示すものである。図４において、図２に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００２４】
図４において、4001は領域抽出部、4002は領域内動き特性判定／分割部、4003は補間フレーム生成処理指示信号生成部、4004はエリア特定信号、4005はエリアベクトル（領域ベクトル）である。
【００２５】
図５は、図４における、領域抽出部4001の構成の一例を示すものである。
【００２６】
図５において、5001は周波数領域変換部、5002は領域指定部、5003は領域指定信号である。周波数変換部5001では、FFT(高速フーリエ変換)やDCT(離散コサイン変換)といった直交変換により、入力映像情報を周波数領域へ変換する。領域指定部5002では、前記周波数領域へ変換された映像信号から、例えばその映像を高周波成分領域、低周波成分領域、中間周波数成分領域に分割し、高周波数成分が所定以上の領域に固まって分布している領域を検出、指定、前記指定領域を示す識別信号5003を出力する。領域内動き特性判定／分割部4002では、前記識別信号5003が示す領域の動き情報を動きベクトル検出部2004からの動きベクトルを用いて判定する。例えば前記識別信号5003領域内の動きベクトルをヒストグラム解析（図示せず）し、動きが一様に分布しているか、分散しているかを判定する。また、前識別信号5003領域が現フレーム、1フレーム前両方に存在しているかどうかを判定する。
【００２７】
図６は、上記処理を説明するための一例を示す図である。図６において、6001は1フレーム前信号、6002は現フレーム信号、6003は中間周波数成分領域部、6004は高周波数成分領域部、6005は低周波数成分領域部、そして6006は高周波数成分領域部の領域動きベクトルである。
【００２８】
まず、領域抽出部4001によって、映像の周波数解析を行い、高周波成分領域6004、中間周波数成分領域6003、低周波数成分領域6005に分割し、高周波成分が所定以上固まって分布している領域6004を識別する信号、エリア特定信号4004を出力する。上記検出は現フレーム、1フレーム前信号両者に対して行う。領域内動き特性判定／分割部4002では、前記識エリア信号4004で示される高周波領域が現フレーム、1フレーム前両者に存在し、且つ前記エリア信号内の動きベクトルが一様（ばらつきが少なく、ほぼ同じ方向に向いている）であるかどうかを判定する。つまり、6004のトラックが一様な動きベクトル6006で動いていることを判定する。領域内動き特性判定／分割部4002では、高周波数成分領域識別信号6004(エリア特定信号4004)に加え、この一様動きベクトル(以下、エリアベクトル)6006(4005)を出力する。補間フレーム生成処理指示信号生成部4003では、前記エリア特定信号4004とエリアベクトル4005から、FRC変換モード信号1007に応じた補間フレームの時間方向の配置に応じた識別信号、及び動きベクトルへ補正した補間フレーム生成処理指示信号、補正エリアベクトルをそれぞれ出力する。
【００２９】
図７は上記補正動作を説明するための図である。図７において、7001は補間フレーム、7002は補間フレーム生成処理指示信号、7003は補正ベクトルである。つまり、フレームレート60fpsから120fps等のFRC変換モードが2倍速であり、補間フレームが2枚のキーフレーム間の時間的にちょうど中心に位置する場合を考える。領域内動き特性判定／分割部4002で得られたエリアベクトル6006を1/2した補正ベクトル7003を得て、前記補正ベクトルに応じて高周波数成分領域識別信号6004を補正した補間フレーム生成処理指示信号7002を出力する。補間フレーム生成部2008は、前記補間フレーム生成処理指示信号7002が有効な領域にのみ前記補正ベクトル7003による補間フレームの生成処理を行い、無効な領域では例えば、補間フレームに時間的に直前に位置する前フレームの繰り返し出力とする。ここで、当該繰り返し出力とは、補間フレームの時間的に前に位置するフレーム上の画素であって補間対象画素に対応する位置の画素を用いて補間対象画素を生成する補間フレーム生成処理である。
【００３０】
以上のように本実施例によれば、所定の周波数特性を持つ領域にのみ補間フレームを生成し、それ以外の領域には前フレームの繰り返しの出力とすることにより、ぼやけを改善したい部分、動きのガタガタ感を解消したい部分をより強調することが可能となり、時間方向で見た動きのコントラスト感を高めることが可能となる。
【００３１】
また、本実施例においては、補間フレーム生成処理指示信号7002が無効な領域に対しては、前フレームの繰り返し出力とする構成として説明した。しかし、これに限るものではなく、後フレーム側の繰り返し出力、すなわち、補間フレームの時間的に後に位置するフレーム上の画素であって補間対象画素に対応する位置の画素を用いて補間対象画素を生成する補間フレーム生成処理を行う構成としてもよい。また、補間フレームの時間的に異なる位置にある複数のフレーム上で前記補間対象画素に対応する位置の複数の画素を用いた線形補間により前記補間対象画素を生成する線形補間出力としても良い。さらに、表示フレームを少なくすることで表示レートを落とし、補間フレーム生成部との差をより強調する構成としても良い。
【００３２】
また、本実施例においては、所定の周波数特性を持つ領域に対しては、エリアベクトルをベースとした補正エリアベクトルで補間フレームを生成するようにしているが、補間フレーム生成処理指示信号で現される領域における、動きベクトル検出部2004で得られる画素単位、ブロック単位のベクトルを補正したベクトルを用いて補間フレームを生成する構成としても良い。
【００３３】
すなわち、本実施例においては、映像の特徴に応じて補間処理の好適化を行い、映像の立体感や動きのコントラスト感を好適に表現することにより、臨場感のある映像表現が可能となる。
【実施例２】
【００３４】
次に、本発明の第二の実施形態の画像処理装置の構成について説明する。
【００３５】
第二の実施形態の画像処理装置の構成は、第一の実施形態の画像処理装置の構成のうち、図４に示した映像特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部の構成を図８に示す構成に置き換えたものである。その他の構成は、既に説明したとおりであるので、説明を省略する。
【００３６】
ここで、図８において、図４に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００３７】
本実施の形態によれば、複数の領域に対して複数の補間フレーム生成を行うことができ、より好適な画質調整が可能となる。
【００３８】
以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【００３９】
図８において領域抽出部4001は、3種類の識別信号を出力し、領域内動き特性判定／分割部4002では、前記識別信号から生成されるエリア特定信号4004に対応するエリアベクトル4005を3種類出力する構成としている。補間フレーム生成処理指示信号生成部4003では、前記3種類のエリア特定信号、エリアベクトルに対して、FRC変換モードによる補間フレームの時間方向の配置に応じた補正をそれぞれ実施し、補間フレーム生成処理指示信号2007と補正ベクトル2008を出力する。
【００４０】
一例として図９にて動作概要を説明する。図9では、フレームレート60fpsから120fps等のFRC変換モードが2倍速であり、補間フレームが2枚のキーフレーム間の時間的にちょうど中心に位置する場合を考える。領域抽出部4001にて、高周波数成分領域部6004、中間周波数成分領域部6003、低周波数領域部6005を抽出する。領域内動き特性判定／分割部4002では、前記各領域におけるエリアベクトル9001、9002を検出する。尚、低周波領域部6005に関しては、同じ領域が前後のフレームで見つけられないため、エリアベクトルは検出できない。補間フレーム生成処理指示信号生成部4003では、エリア特定信号とエリアベクトルから、エリアベクトルを1/2した補正エリアベクトル9005、9006と、前記補正ベクトル位置によりエリア特定信号を補正した補間フレーム生成処理指示信号9003、9004を出力する。
【００４１】
以上のように本実施例によれば、第一の実施形態の効果に加え、複数の領域に対してより好適な補間フレーム生成を適用することが可能となる。
【００４２】
例えば図9においては、高周波数領域6004の補間フレーム9004は補間フレーム生成による動画画質改善を最大限図り、中間周波数領域6003の補間フレーム9003は2回に1回補間フレームを生成する構成とし、低周波数領域6005に関しては、その他の領域と共に前フレームの繰返しを補間フレームとして出力する。これにより、動きのメリハリ(コントラスト感)がつき、本来人間の眼が追うと想定される高周波数の物体の動きの改善をより引き立たせることが可能となる。
【実施例３】
【００４３】
次に、本発明の第三の実施形態の画像処理装置の構成について説明する。
【００４４】
第二の実施形態の画像処理装置の構成は、第一の実施形態または第二の実施形態の画像処理装置の構成のうち、図５に示した領域抽出部の構成を図１０に示す構成に置き換えたものである。その他の構成は、既に説明したとおりであるので、説明を省略する。
【００４５】
ここで、図１０において、図5に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００４６】
本実施の形態によれば、特定色の存在する領域に対して、適応的な補間フレーム生成制御が可能となり、より緻密な映像制御を行うことができる。
【００４７】
以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【００４８】
図１０において、肌色検出部10001は、入力映像信号2001、2002における肌色の領域を検出し、領域分割部5002へ出力する。肌色検出部10001での肌色の検出方法に関しては本出願の本質ではないため詳細記載しないが、例えば入力信号をHSV空間へ変換し、以下の数式１の範囲の値をもつ領域を肌色領域として検出する。
（数１）
0≦H≦0.2
0.3≦S≦0.9
0.3≦V≦0.9
周波数領域変換部5001による周波数領域情報に加え、前記肌色領域情報を組み合わせることで、より詳細な領域分割を行う。
【００４９】
以上のように本実施例では、領域分割の際に肌色領域情報を考慮することにより、例えば動いている人に適した補間フレーム制御を行うことができ、従来にはない動画画質を提供することができる。
【００５０】
また、本実施例においては、第一の実施形態または第二の実施形態の効果に加え、肌色の例を説明したが、これに限ることはなく、各色へ適応した制御を実施する構成としても良い。
【実施例４】
【００５１】
次に、本発明の第四の実施形態の画像処理装置の構成について説明する。
【００５２】
第四の実施形態の画像処理装置の構成は、第一の実施形態乃至第三の実施形態の画像処理装置の構成のうち、図４または図８に示した映像特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部の構成を図１１に示す構成に置き換えたものである。その他の構成は、既に説明したとおりであるので、説明を省略する。
【００５３】
図１１において、図４または図８に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００５４】
本実施の形態によれば、補間フレーム生成方法の切替わり部分を目立たなくすることができ、より自然な映像を表現することが可能となる。
【００５５】
以下、上述した第一、第二、第三の実施の形態と異なる部分についてその動作を説明する。
【００５６】
図１１において、11001は境界補正部である。境界補正部11001は、例えば図１２に示すように、補間フレーム生成処理指示信号生成部4003より得られた補間フレーム生成処理指示信号を補正する。図１２において、12001は補間フレーム生成処理指示信号、12002は補正後の補間フレーム生成処理指示信号である。補間フレーム生成処理指示信号生成部4003より入力される補間フレーム生成処理指示信号が12001のような場合、”Ｈ（１）”の領域と”Ｌ（０）”の領域で、補間フレームの生成方法が異なるため、その境界で映像の切れ目が認識されてしまう可能性がある。これを防ぐため、前記”１”と”０”の切替わり部において、段階的に切替わるよう境界補正信号12002のように補正する。例えば補間フレーム生成部2009では、この0と1の間の領域は、境界領域と判定し、前後フレームの線形補間にてフレーム生成を行う。すなわち、この例では、補間フレーム生成処理指示信号が0より大きく1より小さい場合は、境界領域であることを示す信号の役割を果たす。
【００５７】
また、別の例としては、図１３に示すような制御を行ってもよい。図１３において、横軸は境界補正付き補間フレーム生成処理指示信号の値、縦軸は補正エリアベクトルの値に掛けるベクトルゲイン値を示している。つまり、補正信号の値が1の部分は補正エリアベクトルの値そのもので補間フレームを生成する。補正信号が0〜1の間、境界部に位置している場合においては、境界位置から遠ざかるにつれて補正エリアベクトルの値が0になるように、ベクトルゲイン値（0〜1）を設定する。元の補正エリアベクトルに前記ベクトルゲイン値を掛けたものを新たなエリアベクトル値として補間フレーム生成を行う。この場合、
すなわち、上記の例では、この例では、補間フレーム生成処理指示信号が0より大きく1より小さい場合は、補間フレーム生成処理指示信号は境界からの距離に応じた識別信号の役割を果たし、当該識別信号に応じた補正エリアベクトルの補正処理を行うことが可能となる。
【００５８】
以上のように本実施例では、第一の実施形態乃至第三の実施形態の効果に加え、補間フレームの生成方法が異なる部分の境界に対する映像の切替わりによる不自然さを軽減し、より自然で好適な映像を提供することが可能となる。
【符号の説明】
【００５９】
1001 入力信号、1002 解像度変換部、1003 フレームレート変換（FRC：Frame Rate Conversion）部、1004 画像メモリ、1005 タイミングコントロール部、1006 表示部、1007 FRC変換モード信号2001 現フレーム信号、2002 1フレーム前信号、2003 FRC変換モード信号、2004動きベクトル検出部、2005 動きベクトル、2006映像特徴領域抽出・領域分割・補間フレーム生成処理指示信号生成部、2007動コントラスト補正信号、2008補正エリアベクトル、2009補間フレーム生成部、2010補間フレーム信号、2011フレームレート変換出力信号、2012メモリインターフェース部、3001 現フレーム信号、3002 1フレーム前信号、3003 補間フレーム信号、3004 対象ブロック、3005 動きベクトル検索範囲、3006 最小差分値ブロック、3007 補間ブロック、4001領域抽出部、4002領域内動き特性判定／分割部、4003補間フレーム生成処理指示信号生成部、4004エリア特定信号、4005エリアベクトル、5001周波数領域変換部、5002領域指定部、5003領域指定信号、6001 1フレーム前信号、6002現フレーム信号、6003中間周波数成分領域部、6004高周波数成分領域部、6005低周波数成分領域部、6006高周波数成分領域部の領域動きベクトル、7001補間フレーム、7002補間フレーム生成処理指示信号、7003補正ベクトル、9001、9002エリアベクトル、10001肌色検出部、11001境界補正部、12001補間フレーム生成処理指示信号、12002補正後の補間フレーム生成処理指示信号、
【特許請求の範囲】
【請求項１】
映像に含まれる時間的に異なる複数のフレームの情報を用いて補間フレームを生成する映像補間装置であって、
映像の特徴を抽出し、抽出した特徴に応じて、映像を複数の領域に領域分割し、映像の領域ごとに補間フレーム生成処理を指定する補間フレーム生成処理指示信号を生成する補間フレーム生成処理指示信号生成部と、
前記補間フレーム生成処理指示信号に応じて、前記複数の領域ごとに補間フレーム生成処理を変更して補間フレームを生成する補間フレーム生成部と
を備えることを特徴とする映像補間装置。
【請求項２】
請求項１に記載の映像補間装置であって、
前記時間的に異なる複数のフレーム間で動きベクトルの検出処理を行う動き検出処理部とを備え、
補間フレーム生成処理指示信号生成部は、前記補間フレーム生成処理指示信号に応じて、前記動き検出処理部が検出した動きベクトルに基づいて、前記複数の領域ごとに領域単位動きベクトルを生成し、
前記補間フレーム生成部は、前記補間フレーム生成処理指示信号に応じて、前記領域単位動きベクトルに基づいて補間対象領域の補間対象画素を生成する補間フレーム生成処理と、前記時間的に異なる複数のフレームのうちの一つのフレーム上の画素であって前記補間対象画素に対応する位置の画素を用いて前記補間対象画素を生成する補間フレーム生成処理または前記時間的に異なる複数のフレーム上における複数の画素であって、前記補間対象画素に対応する位置の複数の画素を用いた線形補間により前記補間対象画素を生成する補間フレーム生成処理とを切り替える
ことを特徴とする映像補間装置。
【請求項３】
請求項１に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理は、入力映像を周波数変換処理によりパタン分けして領域分割する領域分割処理である
ことを特徴とする映像補間装置。
【請求項４】
請求項３に記載の映像補間装置であって、
前記周波数変換は、直交変換による周波数変換処理であることを特徴とする映像補間装置。
【請求項５】
請求項１に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理は、映像のエッジ情報を検出し、該エッジ量のヒストグラム解析に基づく領域分割処理であるであることを特徴とする映像補間装置。
【請求項６】
請求項３乃至５のいずれか一つの請求項に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理には、特定色領域を検出する特定色領域検出処理を含み、前記特定色領域検出処理結果に応じた領域分割処理をさらに行うことを特徴とする映像補間装置。
【請求項７】
請求項１に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部は、前記複数の領域ごとの表示フレームレートを指定する表示フレームレート指定情報を生成し、
前記補間フレーム生成部は、前記複数の領域ごとに、前記表示フレームレート指定情報に応じて異なる表示フレームレートとなるように補間フレーム生成処理を変更する
ことを特徴とする映像補間装置。
【請求項８】
請求項７に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部は、前記表示フレームレート指定情報が異なる隣接した領域間の境界領域について、境界領域であることを示す信号を生成し、
前記補間フレーム生成部は、前記境界領域であることを示す信号にもとづいて前記境界領域については、前記時間的に異なる複数のフレーム上における複数の画素であって、前記補間対象画素に対応する位置の複数の画素を用いた線形補間により補間対象領域の補間対象画素を生成する補間フレーム生成処理を行う
ことを特徴とする映像補間装置。
【請求項９】
請求項２に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部は、前記複数の領域ごとの表示フレームレートを指定する表示フレームレート指定情報と、前記指定番号情報が異なる隣接した領域間の境界からの距離に応じた識別信号とを生成し、
前記補間フレーム生成部は、前記複数の領域ごとに、前記指定番号情報に応じて異なる表示フレームレートとなるように補間フレーム生成処理を変更し、前記領域単位動きベクトルに基づいて補間対象領域の補間対象画素を生成する補間フレーム生成処理を行う場合に、該補間フレーム生成処理において用いる領域単位動きベクトルのベクトル量を前記識別信号に応じて補正する
ことを特徴とする映像補間装置。
【請求項１０】
請求項９に記載の映像補間装置であって、
前記補間フレーム生成部は、前記領域単位動きベクトルのベクトル量の補正において、前記識別信号に応じて、前記指定番号情報が異なる隣接した領域間の境界から遠いほど前記ベクトル量を小さくする
ことを特徴とする映像補間装置。
【請求項１１】
請求項１０に記載の映像補間装置であって、
前記領域単位動きベクトルのベクトル量の補正量を映像特徴に応じて適応的に可変することを特徴とする映像補間装置。
【請求項１２】
映像に含まれる時間的に異なる複数のフレームの情報を用いて補間フレームを生成した映像を表示する映像表示装置であって、
映像の特徴を抽出し、抽出した特徴に応じて、映像を複数の領域に領域分割し、映像の領域ごとに補間フレーム生成処理を指定する補間フレーム生成処理指示信号を生成する補間フレーム生成処理指示信号生成部と、
前記補間フレーム生成処理指示信号に応じて、前記複数の領域ごとに補間フレーム生成処理を変更して補間フレームを生成する補間フレーム生成部と、
前記補間フレーム生成部で生成した補間フレームを含む映像を表示する表示部と
を備えることを特徴とする映像表示装置。
【請求項１３】
請求項１２に記載の映像表示装置であって、
前記時間的に異なる複数のフレーム間で動きベクトルの検出処理を行う動き検出処理部とを備え、
補間フレーム生成処理指示信号生成部は、前記補間フレーム生成処理指示信号に応じて、前記動き検出処理部が検出した動きベクトルに基づいて、前記複数の領域ごとに領域単位動きベクトルを生成し、
前記補間フレーム生成部は、前記補間フレーム生成処理指示信号に応じて、前記領域単位動きベクトルに基づいて補間対象領域の補間対象画素を生成する補間フレーム生成処理と、前記時間的に異なる複数のフレームのうちの一つのフレーム上の画素であって前記補間対象画素に対応する位置の画素を用いて前記補間対象画素を生成する補間フレーム生成処理または前記時間的に異なる複数のフレーム上における複数の画素であって、前記補間対象画素に対応する位置の複数の画素を用いた線形補間により前記補間対象画素を生成する補間フレーム生成処理とを切り替える
ことを特徴とする映像表示装置。
【請求項１４】
請求項１２に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理は、入力映像を周波数変換処理によりパタン分けして領域分割する領域分割処理である
ことを特徴とする映像表示装置。
【請求項１５】
請求項１４に記載の映像表示装置であって、
前記周波数変換は、直交変換による周波数変換処理であることを特徴とする映像表示装置。
【請求項１６】
請求項１２に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理は、映像のエッジ情報を検出し、該エッジ量のヒストグラム解析に基づく領域分割処理であるであることを特徴とする映像表示装置。
【請求項１７】
請求項１４乃至１６のいずれか一つの請求項に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理には、特定色領域を検出する特定色領域検出処理を含み、前記特定色領域検出処理結果に応じた領域分割処理をさらに行うことを特徴とする映像表示装置。
【請求項１８】
請求項１２に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部は、前記複数の領域ごとの表示フレームレートを指定する表示フレームレート指定情報を生成し、
前記補間フレーム生成部は、前記複数の領域ごとに、前記表示フレームレート指定情報に応じて異なる表示フレームレートとなるように補間フレーム生成処理を変更する
ことを特徴とする映像表示装置。
【請求項１９】
請求項１８に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部は、前記表示フレームレート指定情報が異なる隣接した領域間の境界領域について、境界領域であることを示す信号を生成し、
前記補間フレーム生成部は、前記境界領域であることを示す信号にもとづいて前記境界領域については、前記時間的に異なる複数のフレーム上における複数の画素であって、前記補間対象画素に対応する位置の複数の画素を用いた線形補間により補間対象領域の補間対象画素を生成する補間フレーム生成処理を行う
ことを特徴とする映像表示装置。
【請求項２０】
請求項１３に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部は、前記複数の領域ごとの表示フレームレートを指定する表示フレームレート指定情報と、前記指定番号情報が異なる隣接した領域間の境界からの距離に応じた識別信号とを生成し、
前記補間フレーム生成部は、前記複数の領域ごとに、前記指定番号情報に応じて異なる表示フレームレートとなるように補間フレーム生成処理を変更し、前記領域単位動きベクトルに基づいて補間対象領域の補間対象画素を生成する補間フレーム生成処理を行う場合に、該補間フレーム生成処理において用いる領域単位動きベクトルのベクトル量を前記識別信号に応じて補正する
ことを特徴とする映像表示装置。
【請求項２１】
請求項２０に記載の映像表示装置であって、
前記補間フレーム生成部は、前記領域単位動きベクトルのベクトル量の補正において、前記識別信号に応じて、前記指定番号情報が異なる隣接した領域間の境界から遠いほど前記ベクトル量を小さくする
ことを特徴とする映像表示装置。
【請求項２２】
請求項２１に記載の映像表示装置であって、
前記領域単位動きベクトルのベクトル量の補正量を映像特徴に応じて適応的に可変することを特徴とする映像表示装置。
【請求項１】
映像に含まれる時間的に異なる複数のフレームの情報を用いて補間フレームを生成する映像補間装置であって、
映像の特徴を抽出し、抽出した特徴に応じて、映像を複数の領域に領域分割し、映像の領域ごとに補間フレーム生成処理を指定する補間フレーム生成処理指示信号を生成する補間フレーム生成処理指示信号生成部と、
前記補間フレーム生成処理指示信号に応じて、前記複数の領域ごとに補間フレーム生成処理を変更して補間フレームを生成する補間フレーム生成部と
を備えることを特徴とする映像補間装置。
【請求項２】
請求項１に記載の映像補間装置であって、
前記時間的に異なる複数のフレーム間で動きベクトルの検出処理を行う動き検出処理部とを備え、
補間フレーム生成処理指示信号生成部は、前記補間フレーム生成処理指示信号に応じて、前記動き検出処理部が検出した動きベクトルに基づいて、前記複数の領域ごとに領域単位動きベクトルを生成し、
前記補間フレーム生成部は、前記補間フレーム生成処理指示信号に応じて、前記領域単位動きベクトルに基づいて補間対象領域の補間対象画素を生成する補間フレーム生成処理と、前記時間的に異なる複数のフレームのうちの一つのフレーム上の画素であって前記補間対象画素に対応する位置の画素を用いて前記補間対象画素を生成する補間フレーム生成処理または前記時間的に異なる複数のフレーム上における複数の画素であって、前記補間対象画素に対応する位置の複数の画素を用いた線形補間により前記補間対象画素を生成する補間フレーム生成処理とを切り替える
ことを特徴とする映像補間装置。
【請求項３】
請求項１に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理は、入力映像を周波数変換処理によりパタン分けして領域分割する領域分割処理である
ことを特徴とする映像補間装置。
【請求項４】
請求項３に記載の映像補間装置であって、
前記周波数変換は、直交変換による周波数変換処理であることを特徴とする映像補間装置。
【請求項５】
請求項１に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理は、映像のエッジ情報を検出し、該エッジ量のヒストグラム解析に基づく領域分割処理であるであることを特徴とする映像補間装置。
【請求項６】
請求項３乃至５のいずれか一つの請求項に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理には、特定色領域を検出する特定色領域検出処理を含み、前記特定色領域検出処理結果に応じた領域分割処理をさらに行うことを特徴とする映像補間装置。
【請求項７】
請求項１に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部は、前記複数の領域ごとの表示フレームレートを指定する表示フレームレート指定情報を生成し、
前記補間フレーム生成部は、前記複数の領域ごとに、前記表示フレームレート指定情報に応じて異なる表示フレームレートとなるように補間フレーム生成処理を変更する
ことを特徴とする映像補間装置。
【請求項８】
請求項７に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部は、前記表示フレームレート指定情報が異なる隣接した領域間の境界領域について、境界領域であることを示す信号を生成し、
前記補間フレーム生成部は、前記境界領域であることを示す信号にもとづいて前記境界領域については、前記時間的に異なる複数のフレーム上における複数の画素であって、前記補間対象画素に対応する位置の複数の画素を用いた線形補間により補間対象領域の補間対象画素を生成する補間フレーム生成処理を行う
ことを特徴とする映像補間装置。
【請求項９】
請求項２に記載の映像補間装置であって、
前記補間フレーム生成処理指示信号生成部は、前記複数の領域ごとの表示フレームレートを指定する表示フレームレート指定情報と、前記指定番号情報が異なる隣接した領域間の境界からの距離に応じた識別信号とを生成し、
前記補間フレーム生成部は、前記複数の領域ごとに、前記指定番号情報に応じて異なる表示フレームレートとなるように補間フレーム生成処理を変更し、前記領域単位動きベクトルに基づいて補間対象領域の補間対象画素を生成する補間フレーム生成処理を行う場合に、該補間フレーム生成処理において用いる領域単位動きベクトルのベクトル量を前記識別信号に応じて補正する
ことを特徴とする映像補間装置。
【請求項１０】
請求項９に記載の映像補間装置であって、
前記補間フレーム生成部は、前記領域単位動きベクトルのベクトル量の補正において、前記識別信号に応じて、前記指定番号情報が異なる隣接した領域間の境界から遠いほど前記ベクトル量を小さくする
ことを特徴とする映像補間装置。
【請求項１１】
請求項１０に記載の映像補間装置であって、
前記領域単位動きベクトルのベクトル量の補正量を映像特徴に応じて適応的に可変することを特徴とする映像補間装置。
【請求項１２】
映像に含まれる時間的に異なる複数のフレームの情報を用いて補間フレームを生成した映像を表示する映像表示装置であって、
映像の特徴を抽出し、抽出した特徴に応じて、映像を複数の領域に領域分割し、映像の領域ごとに補間フレーム生成処理を指定する補間フレーム生成処理指示信号を生成する補間フレーム生成処理指示信号生成部と、
前記補間フレーム生成処理指示信号に応じて、前記複数の領域ごとに補間フレーム生成処理を変更して補間フレームを生成する補間フレーム生成部と、
前記補間フレーム生成部で生成した補間フレームを含む映像を表示する表示部と
を備えることを特徴とする映像表示装置。
【請求項１３】
請求項１２に記載の映像表示装置であって、
前記時間的に異なる複数のフレーム間で動きベクトルの検出処理を行う動き検出処理部とを備え、
補間フレーム生成処理指示信号生成部は、前記補間フレーム生成処理指示信号に応じて、前記動き検出処理部が検出した動きベクトルに基づいて、前記複数の領域ごとに領域単位動きベクトルを生成し、
前記補間フレーム生成部は、前記補間フレーム生成処理指示信号に応じて、前記領域単位動きベクトルに基づいて補間対象領域の補間対象画素を生成する補間フレーム生成処理と、前記時間的に異なる複数のフレームのうちの一つのフレーム上の画素であって前記補間対象画素に対応する位置の画素を用いて前記補間対象画素を生成する補間フレーム生成処理または前記時間的に異なる複数のフレーム上における複数の画素であって、前記補間対象画素に対応する位置の複数の画素を用いた線形補間により前記補間対象画素を生成する補間フレーム生成処理とを切り替える
ことを特徴とする映像表示装置。
【請求項１４】
請求項１２に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理は、入力映像を周波数変換処理によりパタン分けして領域分割する領域分割処理である
ことを特徴とする映像表示装置。
【請求項１５】
請求項１４に記載の映像表示装置であって、
前記周波数変換は、直交変換による周波数変換処理であることを特徴とする映像表示装置。
【請求項１６】
請求項１２に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理は、映像のエッジ情報を検出し、該エッジ量のヒストグラム解析に基づく領域分割処理であるであることを特徴とする映像表示装置。
【請求項１７】
請求項１４乃至１６のいずれか一つの請求項に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部による領域分割処理には、特定色領域を検出する特定色領域検出処理を含み、前記特定色領域検出処理結果に応じた領域分割処理をさらに行うことを特徴とする映像表示装置。
【請求項１８】
請求項１２に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部は、前記複数の領域ごとの表示フレームレートを指定する表示フレームレート指定情報を生成し、
前記補間フレーム生成部は、前記複数の領域ごとに、前記表示フレームレート指定情報に応じて異なる表示フレームレートとなるように補間フレーム生成処理を変更する
ことを特徴とする映像表示装置。
【請求項１９】
請求項１８に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部は、前記表示フレームレート指定情報が異なる隣接した領域間の境界領域について、境界領域であることを示す信号を生成し、
前記補間フレーム生成部は、前記境界領域であることを示す信号にもとづいて前記境界領域については、前記時間的に異なる複数のフレーム上における複数の画素であって、前記補間対象画素に対応する位置の複数の画素を用いた線形補間により補間対象領域の補間対象画素を生成する補間フレーム生成処理を行う
ことを特徴とする映像表示装置。
【請求項２０】
請求項１３に記載の映像表示装置であって、
前記補間フレーム生成処理指示信号生成部は、前記複数の領域ごとの表示フレームレートを指定する表示フレームレート指定情報と、前記指定番号情報が異なる隣接した領域間の境界からの距離に応じた識別信号とを生成し、
前記補間フレーム生成部は、前記複数の領域ごとに、前記指定番号情報に応じて異なる表示フレームレートとなるように補間フレーム生成処理を変更し、前記領域単位動きベクトルに基づいて補間対象領域の補間対象画素を生成する補間フレーム生成処理を行う場合に、該補間フレーム生成処理において用いる領域単位動きベクトルのベクトル量を前記識別信号に応じて補正する
ことを特徴とする映像表示装置。
【請求項２１】
請求項２０に記載の映像表示装置であって、
前記補間フレーム生成部は、前記領域単位動きベクトルのベクトル量の補正において、前記識別信号に応じて、前記指定番号情報が異なる隣接した領域間の境界から遠いほど前記ベクトル量を小さくする
ことを特徴とする映像表示装置。
【請求項２２】
請求項２１に記載の映像表示装置であって、
前記領域単位動きベクトルのベクトル量の補正量を映像特徴に応じて適応的に可変することを特徴とする映像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−２８３５４８（Ｐ２０１０−２８３５４８Ａ）
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願番号】特願２００９−１３４６０３（Ｐ２００９−１３４６０３）
【出願日】平成２１年６月４日（２００９．６．４）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願日】平成２１年６月４日（２００９．６．４）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]