画像処理装置及び画像処理方法
【課題】動体の動きベクトルに影響を受けた背景補間画素と影響を受けていない背景補間画素の境界に発生する不連続点をなだらかにする。
【解決手段】画像処理装置１００は、補間の中心となる注目画素の注目動きベクトルと、注目画素に隣接する隣接画素群の各々の隣接動きベクトルを検出する動きベクトル検出部１２と、注目動きベクトルと隣接動きベクトルの差分絶対値を算出する動きベクトル差分計算回路４２と、各差分絶対値を加算した差分絶対値和を算出し、差分絶対値和が閾値を超える場合、差分絶対値和が閾値を超えた注目画素及び隣接画素群について動きベクトル境界判定信号を出力する差分絶対値和比較回路４３と、動きベクトル境界判定信号が入力されると、差分絶対値和が閾値を超えた注目画素及び隣接画素群にフィルタ処理を行う補間フレームフィルタ回路１５とを備える。
【解決手段】画像処理装置１００は、補間の中心となる注目画素の注目動きベクトルと、注目画素に隣接する隣接画素群の各々の隣接動きベクトルを検出する動きベクトル検出部１２と、注目動きベクトルと隣接動きベクトルの差分絶対値を算出する動きベクトル差分計算回路４２と、各差分絶対値を加算した差分絶対値和を算出し、差分絶対値和が閾値を超える場合、差分絶対値和が閾値を超えた注目画素及び隣接画素群について動きベクトル境界判定信号を出力する差分絶対値和比較回路４３と、動きベクトル境界判定信号が入力されると、差分絶対値和が閾値を超えた注目画素及び隣接画素群にフィルタ処理を行う補間フレームフィルタ回路１５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補間フレーム挿入に伴い、動画内の動きの境界で発生する不連続点を目立たなくするための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
液晶ディスプレイ等の映像信号表示装置においては、動画特性の向上等の理由により入力信号のフレーム周波数よりも速いフレーム周波数に変換して表示することがある。この場合、フレーム周波数を速めることで不足するフレーム画像は、映像信号の前後のフレームから動きベクトルを検出して本来存在しない補間フレームとして生成され、当該前後フレーム間に挿入される。この補間フレームを生成し、動画内で視覚的に自然に見せる手法については様々な技術が開示されている。例えば特許文献１には、動きベクトルの誤検出に起因する不自然さの少ない補間画像を生成する為の動きベクトル検出手法が開示されており、特に、動きベクトルを検出する際に、既に動きベクトルが検出された１フレーム前の動きベクトルを参照動きベクトルとし、その参照動きベクトルが示すベクトル方向に最も近いベクトル方向の動きベクトル候補を動きベクトルとして検出し、連続するフレームの流れの中で、より相関のある動きベクトルを検出する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３１１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１等に開示されるような動きベクトル検出手法においては、動きベクトルを広く検出すると、動く方向によって動体とは関係ない背景の補間画像生成に影響を与え、影響を受けていない背景の補間画像との境界に不連続点が発生するという問題があった。
【０００５】
そこで本発明は、動体の動きベクトルに影響を受けた背景補間画素と影響を受けていない背景補間画素の境界に発生する不連続点をなだらかな変化に抑え、動画視聴者の視覚的な違和感を緩和する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明は次の（ａ）〜（ｆ）の画像処理装置を提供するものである。
【０００７】
（ａ）フレーム間の補間フレームを生成する際、補間の中心となる注目画素の注目動きベクトルと、前記注目画素に隣接する隣接画素群の各々の隣接動きベクトルを検出する動きベクトル検出部（１２）と、前記フレーム間の動きベクトルに基づいて、前記フレーム間の補間フレームを生成する補間フレーム生成回路（１３）と、前記注目動きベクトルと、前記隣接動きベクトルの各々の差分絶対値を算出する動きベクトル差分計算回路（４２）と、前記各々の差分絶対値の算出結果を加算した差分絶対値和を算出し、前記差分絶対値和が所定の閾値を超える場合、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群についての動きベクトル境界判定信号を出力する差分絶対値和比較回路（４３）と、前記動きベクトル境界判定信号が入力されると、前記補間フレーム生成回路（１３）により生成された前記補間フレームを構成する画素のうち、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群にフィルタ処理を行う補間フレームフィルタ回路（１５）とを備えることを特徴とする画像処理装置。
【０００８】
（ｂ）前記フィルタ処理とはローパスフィルタ処理であることを特徴とする（ａ）に記載の画像処理装置。
【０００９】
（ｃ）前記差分絶対値和比較回路は複数の閾値を有し、前記補間フレームフィルタ回路は、前記差分絶対値和が前記複数の閾値のうち最大の閾値を超えた時に複数の前記フィルタ処理を行う隣接画素群の範囲のうち最大範囲にすることを特徴とする（ａ）又は（ｂ）に記載の画像処理装置。
【００１０】
（ｄ）入力される映像信号の連続するフレーム間の補間フレームを生成する画像処理装置における映像処理方法であって、補間の中心となる注目画素の注目動きベクトルと、前記注目画素に隣接する隣接画素群の各々の隣接動きベクトルを検出するステップと、前記フレーム間の動きベクトルに基づいて、前記フレーム間の補間フレームを生成するステップと、前記注目動きベクトルと、前記隣接動きベクトルの各々の差分絶対値を算出するステップと、前記各々の差分絶対値の算出結果を加算した差分絶対値和を算出し、前記差分絶対値和が所定の閾値を超える場合、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群についての動きベクトル境界判定信号を出力するステップと、前記動きベクトル境界判定信号が入力されると、前記補間フレームを構成する画素のうち、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群にフィルタ処理を行うステップとを備えることを特徴とする画像処理方法。
【００１１】
（ｅ）前記フィルタ処理とはローパスフィルタ処理であることを特徴とする（ｄ）に記載の画像処理方法。
【００１２】
（ｆ）複数の前記閾値と、各閾値に対応するフィルタ処理を行う複数の隣接画素群の範囲とを設け、前記差分絶対値和が前記複数の閾値のうち最大の閾値を超えた時に、前記フィルタ処理における隣接画素群の範囲が最大であることを特徴とする（ｅ）又（ｄ）に記載の画像処理方法。
【発明の効果】
【００１３】
本発明の画像処理装置及び画像処理方法によれば、動体の動きベクトルに影響を受けた背景補間画素と影響を受けていない背景補間画素の境界に発生する不連続点をなだらかな変化に抑えることで、画像を見る者の視覚的な違和感を緩和することが出来る。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る画像処理装置の全体構成図である。
【図２】補間フレームの動きベクトルを模式的に示す為の模式図である。
【図３】補間フレームの動きベクトルを模式的に示す為の模式図である。
【図４】背景画像における動きベクトルはみ出し領域の連続点を示す図である。
【図５】背景画像における動きベクトルはみ出し領域の連続点を示す図である。
【図６】注目画素及び隣接画素を示すブロック図である。
【図７】注目画素及び隣接画素を示すブロック図である。
【図８】注目画素及び隣接画素の動きベクトル及び速度を示すブロック図である。
【図９】注目画素及び隣接画素の動きベクトルを示すブロック図である。
【発明を実施するための形態】
【００１５】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。更に以下に記載される数式は一例であり、その本質を同一とする範囲において適宜変更可能であることに留意すべきである。
【００１６】
（実施の形態）
（画像処理装置）
本発明の実施の形態に係る画像処理装置１００について図１を参照して説明する。
【００１７】
画像処理装置１００は、フレームメモリ１１、動きベクトル検出回路１２、補間フレーム生成回路１３、隣接動きベクトル比較回路１４、補間フレームフィルタ回路１５およびフレーム周波数変換回路１６を備えている。
【００１８】
フレームメモリ１１は、外部より入力される映像信号ｆ０を１フレーム分遅延させる。１フレーム遅延させた信号は映像信号ｆ１として出力する。
【００１９】
動きベクトル検出回路１２は、映像信号ｆ０及びｆ１を比較し、マッチング法等を使用して双フレーム間の動きベクトルＶ１を出力する。図２は動きベクトル検出の様子を表している。相関検出はあらゆる移動方向において行われるが、説明の簡略化のために図２では移動する物体が水平移動をしている状態のみを表している。１フレーム目、補間フレーム、２フレーム目の横線は互いに異なる画像信号上での同一走査線ラインを表しており、複数の動きベクトルにて相関比較が行われ、その結果太い矢印で示されたベクトルが最も高い相関の動きベクトルであるとして検出される。尚、動きベクトル検出回路１２は、１画素（１対象画素）または複数画素から構成される１画素ブロックにつき１動きベクトルＶ１を出力する。１画素につき１つの動きベクトルを出力することにより、精密な画像補間処理を行うことができる。一方、複数画素から構成される１画素ブロックにつき１つの動きベクトルを出力することにより、画像処理装置１００を構成する各回路の回路規模を小さく抑えることができる。画像処理装置１００による画像処理の単位としての「画素」には、１画素のみならず１画素ブロックの意味も含まれるものとする。以後、実施の形態では、１画素ブロックにつき１動きベクトルＶ１を出力する場合を例に取り説明を続ける。
【００２０】
補間フレーム生成回路１３は、動きベクトル検出回路１２で検出された動きベクトルＶ１に合わせて、映像信号ｆ０及びｆ１間に来るべきであるフレームを予測して補間フレームｆ０．５を生成し、出力する。なお、１画素ブロックにつき１動きベクトルを出力する場合であっても、補間画素生成は１画素単位で行う。もちろん、動きベクトルの検出を１画素単位で行い、後述する境界の検出を画素ブロック単位で行っても構わない。
【００２１】
隣接動きベクトル比較回路１４は、動きベクトルＶ１を基に注目画素ブロックとそれに隣接する隣接画素ブロックの動きベクトルを比較する。注目画素ブロック及び隣接画素ブロックについての詳細は後述する。隣接動きベクトル比較回路１４は、動きベクトルメモリ４１、動きベクトル差分計算回路４２および差分絶対値和比較回路４３を備える。
【００２２】
動きベクトルメモリ４１は、注目画素ブロック及び隣接画素ブロックの各動きベクトルＶ１を一時記憶する。
【００２３】
動きベクトル差分計算回路４２は、注目画素ブロック及び隣接画素ブロックの動きベクトルＶ１を水平成分、垂直成分に分解し、双方の動きベクトルの水平成分同士、垂直成分同士の差分絶対値を算出する。詳細は後述する。
【００２４】
差分絶対値和比較回路４３は、注目画素ブロック及び隣接画素ブロックの動きベクトルＶ１の水平成分および垂直成分の差分絶対値を加算した差分絶対値和を算出する。差分絶対値和の算出は隣接画素8方向を１組として行う。差分絶対値和が所定の閾値を超えた場合、注目画素ブロックは動きベクトルの境界に位置していると判断し、動きベクトル境界判定信号Ｃ１を出力する。尚、閾値の設定は予め設定しておいてもよいし、インターインテグレイテッドサーキット（Ｉ２Ｃ）等の電子回路シリアル通信方式を用いて適宜外部より入力したりしてもよい。
【００２５】
補間フレームフィルタ回路１５は、補間フレームｆ０．５および動きベクトル境界判定信号Ｃ１を受信し、動きベクトルの境界判定信号Ｃ１により動きベクトルの変化点と判定された補間フレームｆ０．５内の特定画素に対しローパスフィルタをかけ、動きベクトル境界点を視覚的に目立たないようにする処理を行う。
【００２６】
フレーム周波数変換回路１６はローパスフィルタ処理が行われた新たな補間フレームｆ０．５'を、映像入力信号ｆ０と共に入力と比しての2倍のフレーム周波数に変換し、新たな補間フレームｆ０．５'から基の映像信号ｆ０の順番で交互に映像信号として出力する。
【００２７】
（画像処理装置の動作）
次に画像処理装置１００の動作について説明する。
【００２８】
（ａ）まず、フレームメモリ１１は、外部より入力される映像信号ｆ０を一時格納し、１フレーム分遅延させる。遅延された映像信号ｆ１は動きベクトル検出回路１２および補間フレーム生成回路１３に向けて出力される。
【００２９】
（ｂ）映像信号ｆ１とｆ０が入力されると、動きベクトル検出回路１２は映像信号ｆ１から成るフレームと映像信号ｆ０から成るフレーム間における動きベクトルＶ１の検出処理を行う。図２に示すように、動きベクトル検出回路１２は、検索対象である１フレーム目（映像信号ｆ１）と動きベクトル検出基準である２フレーム目（映像信号ｆ０）における相関比較、例えば映像信号の輝度値を比較して相関が最も高い方向の動きベクトルを検出する。この際、動きベクトル検出を１フレーム目を基準に行う限り、実際の補間位置と動きベクトルの位置がずれることがある。この為、正しい補間位置を２フレーム目においてもカバーできるように２フレーム目において動きベクトルは図３に示すように動体の輪郭をはみ出す程度まで広く検出する。補間フレーム生成回路１３はこの動きベクトルを基に補間フレームｆ０．５を生成する。
【００３０】
図４（ａ）は補間処理を行っていない原画像を示し、図４（ｂ）は、この原画像に対して動きベクトルがはみ出た状態で生成した補間フレームｆ０．５を示す。図４（ａ）に示すように、原画像は、動きベクトルはみ出し領域の端部における明度の変化が連続した自然な状態である。ところが、原画aに対して動きベクトルがはみ出た状態で補間フレームｆ０．５を生成すると、図４（ｂ）に示すように、補間画素が受け取る動きベクトルが背景にはみ出してしまい、背景画像と補間フレームの境界に不連続点が発生する場合がある。
【００３１】
（ｃ）この不連続点の発生を防ぐために、隣接動きベクトル比較回路１４では、図５（ａ）に示すローパスフィルタをかけるべき動きベクトル境界領域を決定し、図５（ｂ）に示すように動きベクトル境界における視覚的違和感を和らげるようにする。このローパスフィルタ処理を行う位置を決定する為、図６に示す注目画素ブロック１と注目画素に隣接する隣接画素ブロック群２における動きベクトル、速度等の差分を検出する。
【００３２】
具体的には、隣接動きベクトル比較回路１４は、動きベクトル検出回路１２より各画素ブロックに対応する各動きベクトルＶ１を取得すると、各動きベクトルＶ１を動きベクトルメモリ４１において一時記憶させる。動きベクトルメモリ４１に一時記憶された各動きベクトルＶ１は、図６のように注目画素ブロック１および隣接画素ブロック群２を構成する８つの隣接画素ブロックの各々について取得されたものであり、注目画素ブロックの動きベクトルと隣接画素ブロックの動きベクトルの比較に用いられる。１つの注目画素ブロック１及び８つの隣接画素ブロックから成る隣接画素ブロック群２は、（ｘ１、ｙ１）、（ｘ２、ｙ２）、…（ｘ９、ｙ９）と９つのブロックから構成され、その中心（ｘ５、ｙ５）が注目画素ブロック１となり、注目画素ブロック１の周囲を取り囲む８つの隣接画素ブロックが隣接画素ブロック群２を構成する。１つの画素ブロックは２画素×２画素から構成される。なお、図６において、（ｘ５、ｙ５）は、注目画素ブロック１の動きベクトル（注目動きベクトル）の水平成分および垂直成分をそれぞれ示し、（ｘ１、ｙ１）、（ｘ２、ｙ２）、…（ｘ４、ｙ４）、（ｘ６、ｙ６）、…（ｘ９、ｙ９）は、それぞれ、隣接画素ブロック群２に含まれる８つの隣接画素ブロックの動きベクトル（隣接動きベクトル）の水平成分および垂直成分を示す。
【００３３】
動きベクトル差分計算回路４２は、動きベクトルメモリ４１より取得する動きベクトル及び動きベクトル検出回路１２より取得する注目動きベクトルＶ１を水平成分、垂直成分に分解し、更に隣接動きベクトルも水平成分、垂直成分に分解する。次に分解された注目動きベクトル及び隣接動きベクトルの水平成分同士、垂直成分同士の差分絶対値を算出し、算出された水平成分および垂直成分の差分絶対値を加算した差分絶対値和を出力する。差分絶対値和は注目画素ブロック１と隣接画素ブロック群２に属する各隣接画素ブロックの間の差分絶対値の和である。算出された差分絶対値和は差分絶対値和比較回路４３に出力される。
【００３４】
動きベクトル差分計算回路４２から差分絶対値和が入力されると、差分絶対値和比較回路４３は、注目画素ブロック１に対し８方向の隣接画素ブロックの水平成分および垂直成分の差分絶対値を加算した差分絶対値和が、所定の閾値を超えるか否かを判断する。差分絶対値和比較回路４３は、差分絶対値和が閾値を超えない値であれば補間フレームにおける不連続発生点は無い又は補間結果による影響は小さいと判断し、補間フレームフィルタ回路１５におけるローパスフィルタ処理は不要であると判断する。一方で差分絶対値和が閾値を超える値であれば補間フレームにおける不連続発生点が存在すると判断し、補間フレームフィルタ回路１５におけるローパスフィルタ処理が必要であると判断する。
【００３５】
例えば、図７では注目画素ブロック１の動きベクトルと、隣接画素ブロック群２の一部である隣接画素ブロック２ａの動きベクトルは異なる。この場合注目画素ブロック１と隣接画素ブロック２ａの間に境界線が発生する。この境界線の発生を算出するための具体的な例を以下に述べる。図８に示すブロック内の矢印が動きベクトルの向き、矢印上の数字がベクトルの向きに対する各画素の速度を示す動き速度であるとする。
【００３６】
まず、注目画素ブロック１の画素と隣接画素ブロック群２ｂの各画素の各動きベクトルについて、水平成分及び垂直成分を算出する。ここで、水平成分及び垂直成分の符号は、水平成分について右方向を正とし、左方向を負とし、垂直成分について上方向を正とし、下方向を負とする。
【００３７】
次に、算出された注目動きベクトルの水平成分及び垂直成分から、算出された各隣接動きベクトルの水平成分及び垂直成分をそれぞれ減算し、減算した値の絶対値を差分絶対値としてそれぞれ算出する。例えば、注目動きベクトルの水平成分が左５で、ある隣接動きベクトルの水平成分が右６であれば、その差分絶対値は|(-5)-(6)|=11となり、或いは、図８に示すように、注目動きベクトルの水平成分が右１０で、隣接画素ブロック２ｂの動きベクトルの水平成分が右１５であれば、その差分絶対値は|(10)-(15)|=5となる。垂直成分についても同様にして差分絶対値を求める。
【００３８】
図８のように、注目画素ブロック１と隣接画素ブロック群２における動きベクトルＶ１の方向は同じであるが、注目動きベクトルの水平成分は「１０」であるのに対し、隣接画素ブロック２ｂの動きベクトルの水平成分は「１５」であって、その他の隣接画素ブロックの動きベクトルの水平成分は「１０」である。したがって、総ての動きベクトルについて垂直成分に差が無いと仮定した場合、注目画素ブロック１の水平成分「１０」と隣接画素ブロック群２に属する各隣接画素ベクトルの水平成分との差分絶対値の和は、０＋５＋０＋０＋０＋０＋０＋０＝５となる。本実施形態では閾値を４とすると、図８の例では、差分絶対値の和（＝５）が閾値（＝４）を超えている。よってこの場合、差分絶対値和比較回路４３は、注目画素ブロック１は動きベクトルの境界に位置していると判断する。
【００３９】
他の算出例について図９を用いて説明する。図９では、注目画素ブロック１の動きベクトルの水平成分および垂直成分（ｘ５、ｙ５）の値が（１０、０）であるのに対し、隣接画素フレーム群２内の１つの隣接画素ブロック２ｃの動きベクトルの水平成分および垂直成分（ｘ１、ｙ１）の値が（１１、４）であって、その他の隣接画素ブロックの動きベクトルの水平成分および垂直成分は、総て（１０、０）である。閾値は４とする。注目画素ブロック１の動きベクトルの水平成分と隣接画素ブロック２ｃの動きベクトルの水平成分との差分絶対値は、｜ｘ５−ｘ１｜＝｜１０−１１｜＝１であり、注目画素ブロック１の動きベクトルの垂直成分と隣接画素ブロック２ｃの動きベクトルの垂直成分との差分絶対値は、｜ｙ５−ｙ１｜＝｜０−４｜＝４である。その他の隣接画素ブロックについて差分絶対値はゼロである。したがって、注目画素ブロック１の動きベクトルと隣接画素ブロック群２の動きベクトルの差分絶対値の和は、（１+４）＋０＋０＋０＋０＋０＋０＋０＝５となるため、閾値を超えている。よってこの場合、差分絶対値和比較回路４３は、注目画素ブロック１は動きベクトルの境界に位置していると判断する。
【００４０】
差分絶対値和比較回路４３は、動きベクトル境界にある注目画素ブロック１及び隣接画素ブロック群２の情報を動きベクトル境界判定信号Ｃ１として補間フレームフィルタ回路１５に出力する。
【００４１】
（ｄ）補間フレームフィルタ回路１５は、動きベクトル境界判定信号Ｃ１を受信すると、図５（ａ）に示すような動きベクトルの変化点と判定された注目画素ブロック１及び隣接画素ブロック群２の補間フレームｆ０．５内の該当画素に対しローパスフィルタ等の処理を行う。これにより図５（ｂ）に示すように境界点が視覚的に目立たなくなる効果が得られる。この後、フレーム周波数変換回路１６はローパスフィルタ処理が行われた新たな補間フレームｆ０．５’を、映像入力信号ｆ０と共に入力と比しての2倍のフレーム周波数に変換し、新たな補間フレームｆ０．５’から基の映像信号ｆ０の順番で交互に映像信号として出力する。
【００４２】
（ｅ）尚、隣接動きベクトル比較回路１４において、差分絶対値和の閾値を何段階かに分けて設定しても構わない。隣接動きベクトルの動きや速さがどの程度異なっていたかを複数の閾値を設定することで段階的に判断し、超えた閾値に応じて、フィルタ処理を施す隣接画素ブロック数を増加させる。例えば第１の閾値（＝１０）を越えた場合は、第１の範囲として注目画素と隣接画素群とを含む５×５ブロック領域にフィルタ処理を行い、第１の閾値より大きい第２の閾値（＝４０）を越えた場合は第２の範囲として注目画素と隣接画素群とを含む１５×１５ブロック領域へフィルタする範囲を変化させる。すなわち本実施形態では、第１の閾値を超えた場合にフィルタ処理の対象となる第１の範囲より、第２の閾値を超えた場合の第２の範囲が大きくなるよう設定した。これにより、動きベクトルの境界が分かり易い速い動画に対して大きな効果を得ながら、遅い動画の画質は保つと言った適応処理が可能となる。
【００４３】
なお、フィルタ処理の対象となる範囲は、注目画素を中心とした対称な範囲となるよう隣接画素ブロックを増加させて構成することが好ましいが、これに限定されない。
【産業上の利用可能性】
【００４４】
本発明の画像処理装置及び画像処理方法によれば、動体の動きベクトルに影響を受けた背景補間画素と影響を受けていない背景補間画素の境界に発生する不連続点をなだらかな変化にすることで、視覚的な違和感を緩和することが出来る。
【符号の説明】
【００４５】
１ … 注目画素ブロック
２ … 隣接画素ブロック群
１１ … フレームメモリ
１２ … 動きベクトル検出回路
１３ … 補間フレーム生成回路
１４ … 隣接動きベクトル比較回路
１５ … 補間フレームフィルタ回路
１６ … フレーム周波数変換回路
４１ … 動きベクトルメモリ
４２ … 動きベクトル差分計算回路
４３ … 差分絶対値和比較回路
【技術分野】
【０００１】
本発明は、補間フレーム挿入に伴い、動画内の動きの境界で発生する不連続点を目立たなくするための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
液晶ディスプレイ等の映像信号表示装置においては、動画特性の向上等の理由により入力信号のフレーム周波数よりも速いフレーム周波数に変換して表示することがある。この場合、フレーム周波数を速めることで不足するフレーム画像は、映像信号の前後のフレームから動きベクトルを検出して本来存在しない補間フレームとして生成され、当該前後フレーム間に挿入される。この補間フレームを生成し、動画内で視覚的に自然に見せる手法については様々な技術が開示されている。例えば特許文献１には、動きベクトルの誤検出に起因する不自然さの少ない補間画像を生成する為の動きベクトル検出手法が開示されており、特に、動きベクトルを検出する際に、既に動きベクトルが検出された１フレーム前の動きベクトルを参照動きベクトルとし、その参照動きベクトルが示すベクトル方向に最も近いベクトル方向の動きベクトル候補を動きベクトルとして検出し、連続するフレームの流れの中で、より相関のある動きベクトルを検出する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３１１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１等に開示されるような動きベクトル検出手法においては、動きベクトルを広く検出すると、動く方向によって動体とは関係ない背景の補間画像生成に影響を与え、影響を受けていない背景の補間画像との境界に不連続点が発生するという問題があった。
【０００５】
そこで本発明は、動体の動きベクトルに影響を受けた背景補間画素と影響を受けていない背景補間画素の境界に発生する不連続点をなだらかな変化に抑え、動画視聴者の視覚的な違和感を緩和する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明は次の（ａ）〜（ｆ）の画像処理装置を提供するものである。
【０００７】
（ａ）フレーム間の補間フレームを生成する際、補間の中心となる注目画素の注目動きベクトルと、前記注目画素に隣接する隣接画素群の各々の隣接動きベクトルを検出する動きベクトル検出部（１２）と、前記フレーム間の動きベクトルに基づいて、前記フレーム間の補間フレームを生成する補間フレーム生成回路（１３）と、前記注目動きベクトルと、前記隣接動きベクトルの各々の差分絶対値を算出する動きベクトル差分計算回路（４２）と、前記各々の差分絶対値の算出結果を加算した差分絶対値和を算出し、前記差分絶対値和が所定の閾値を超える場合、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群についての動きベクトル境界判定信号を出力する差分絶対値和比較回路（４３）と、前記動きベクトル境界判定信号が入力されると、前記補間フレーム生成回路（１３）により生成された前記補間フレームを構成する画素のうち、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群にフィルタ処理を行う補間フレームフィルタ回路（１５）とを備えることを特徴とする画像処理装置。
【０００８】
（ｂ）前記フィルタ処理とはローパスフィルタ処理であることを特徴とする（ａ）に記載の画像処理装置。
【０００９】
（ｃ）前記差分絶対値和比較回路は複数の閾値を有し、前記補間フレームフィルタ回路は、前記差分絶対値和が前記複数の閾値のうち最大の閾値を超えた時に複数の前記フィルタ処理を行う隣接画素群の範囲のうち最大範囲にすることを特徴とする（ａ）又は（ｂ）に記載の画像処理装置。
【００１０】
（ｄ）入力される映像信号の連続するフレーム間の補間フレームを生成する画像処理装置における映像処理方法であって、補間の中心となる注目画素の注目動きベクトルと、前記注目画素に隣接する隣接画素群の各々の隣接動きベクトルを検出するステップと、前記フレーム間の動きベクトルに基づいて、前記フレーム間の補間フレームを生成するステップと、前記注目動きベクトルと、前記隣接動きベクトルの各々の差分絶対値を算出するステップと、前記各々の差分絶対値の算出結果を加算した差分絶対値和を算出し、前記差分絶対値和が所定の閾値を超える場合、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群についての動きベクトル境界判定信号を出力するステップと、前記動きベクトル境界判定信号が入力されると、前記補間フレームを構成する画素のうち、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群にフィルタ処理を行うステップとを備えることを特徴とする画像処理方法。
【００１１】
（ｅ）前記フィルタ処理とはローパスフィルタ処理であることを特徴とする（ｄ）に記載の画像処理方法。
【００１２】
（ｆ）複数の前記閾値と、各閾値に対応するフィルタ処理を行う複数の隣接画素群の範囲とを設け、前記差分絶対値和が前記複数の閾値のうち最大の閾値を超えた時に、前記フィルタ処理における隣接画素群の範囲が最大であることを特徴とする（ｅ）又（ｄ）に記載の画像処理方法。
【発明の効果】
【００１３】
本発明の画像処理装置及び画像処理方法によれば、動体の動きベクトルに影響を受けた背景補間画素と影響を受けていない背景補間画素の境界に発生する不連続点をなだらかな変化に抑えることで、画像を見る者の視覚的な違和感を緩和することが出来る。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る画像処理装置の全体構成図である。
【図２】補間フレームの動きベクトルを模式的に示す為の模式図である。
【図３】補間フレームの動きベクトルを模式的に示す為の模式図である。
【図４】背景画像における動きベクトルはみ出し領域の連続点を示す図である。
【図５】背景画像における動きベクトルはみ出し領域の連続点を示す図である。
【図６】注目画素及び隣接画素を示すブロック図である。
【図７】注目画素及び隣接画素を示すブロック図である。
【図８】注目画素及び隣接画素の動きベクトル及び速度を示すブロック図である。
【図９】注目画素及び隣接画素の動きベクトルを示すブロック図である。
【発明を実施するための形態】
【００１５】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。更に以下に記載される数式は一例であり、その本質を同一とする範囲において適宜変更可能であることに留意すべきである。
【００１６】
（実施の形態）
（画像処理装置）
本発明の実施の形態に係る画像処理装置１００について図１を参照して説明する。
【００１７】
画像処理装置１００は、フレームメモリ１１、動きベクトル検出回路１２、補間フレーム生成回路１３、隣接動きベクトル比較回路１４、補間フレームフィルタ回路１５およびフレーム周波数変換回路１６を備えている。
【００１８】
フレームメモリ１１は、外部より入力される映像信号ｆ０を１フレーム分遅延させる。１フレーム遅延させた信号は映像信号ｆ１として出力する。
【００１９】
動きベクトル検出回路１２は、映像信号ｆ０及びｆ１を比較し、マッチング法等を使用して双フレーム間の動きベクトルＶ１を出力する。図２は動きベクトル検出の様子を表している。相関検出はあらゆる移動方向において行われるが、説明の簡略化のために図２では移動する物体が水平移動をしている状態のみを表している。１フレーム目、補間フレーム、２フレーム目の横線は互いに異なる画像信号上での同一走査線ラインを表しており、複数の動きベクトルにて相関比較が行われ、その結果太い矢印で示されたベクトルが最も高い相関の動きベクトルであるとして検出される。尚、動きベクトル検出回路１２は、１画素（１対象画素）または複数画素から構成される１画素ブロックにつき１動きベクトルＶ１を出力する。１画素につき１つの動きベクトルを出力することにより、精密な画像補間処理を行うことができる。一方、複数画素から構成される１画素ブロックにつき１つの動きベクトルを出力することにより、画像処理装置１００を構成する各回路の回路規模を小さく抑えることができる。画像処理装置１００による画像処理の単位としての「画素」には、１画素のみならず１画素ブロックの意味も含まれるものとする。以後、実施の形態では、１画素ブロックにつき１動きベクトルＶ１を出力する場合を例に取り説明を続ける。
【００２０】
補間フレーム生成回路１３は、動きベクトル検出回路１２で検出された動きベクトルＶ１に合わせて、映像信号ｆ０及びｆ１間に来るべきであるフレームを予測して補間フレームｆ０．５を生成し、出力する。なお、１画素ブロックにつき１動きベクトルを出力する場合であっても、補間画素生成は１画素単位で行う。もちろん、動きベクトルの検出を１画素単位で行い、後述する境界の検出を画素ブロック単位で行っても構わない。
【００２１】
隣接動きベクトル比較回路１４は、動きベクトルＶ１を基に注目画素ブロックとそれに隣接する隣接画素ブロックの動きベクトルを比較する。注目画素ブロック及び隣接画素ブロックについての詳細は後述する。隣接動きベクトル比較回路１４は、動きベクトルメモリ４１、動きベクトル差分計算回路４２および差分絶対値和比較回路４３を備える。
【００２２】
動きベクトルメモリ４１は、注目画素ブロック及び隣接画素ブロックの各動きベクトルＶ１を一時記憶する。
【００２３】
動きベクトル差分計算回路４２は、注目画素ブロック及び隣接画素ブロックの動きベクトルＶ１を水平成分、垂直成分に分解し、双方の動きベクトルの水平成分同士、垂直成分同士の差分絶対値を算出する。詳細は後述する。
【００２４】
差分絶対値和比較回路４３は、注目画素ブロック及び隣接画素ブロックの動きベクトルＶ１の水平成分および垂直成分の差分絶対値を加算した差分絶対値和を算出する。差分絶対値和の算出は隣接画素8方向を１組として行う。差分絶対値和が所定の閾値を超えた場合、注目画素ブロックは動きベクトルの境界に位置していると判断し、動きベクトル境界判定信号Ｃ１を出力する。尚、閾値の設定は予め設定しておいてもよいし、インターインテグレイテッドサーキット（Ｉ２Ｃ）等の電子回路シリアル通信方式を用いて適宜外部より入力したりしてもよい。
【００２５】
補間フレームフィルタ回路１５は、補間フレームｆ０．５および動きベクトル境界判定信号Ｃ１を受信し、動きベクトルの境界判定信号Ｃ１により動きベクトルの変化点と判定された補間フレームｆ０．５内の特定画素に対しローパスフィルタをかけ、動きベクトル境界点を視覚的に目立たないようにする処理を行う。
【００２６】
フレーム周波数変換回路１６はローパスフィルタ処理が行われた新たな補間フレームｆ０．５'を、映像入力信号ｆ０と共に入力と比しての2倍のフレーム周波数に変換し、新たな補間フレームｆ０．５'から基の映像信号ｆ０の順番で交互に映像信号として出力する。
【００２７】
（画像処理装置の動作）
次に画像処理装置１００の動作について説明する。
【００２８】
（ａ）まず、フレームメモリ１１は、外部より入力される映像信号ｆ０を一時格納し、１フレーム分遅延させる。遅延された映像信号ｆ１は動きベクトル検出回路１２および補間フレーム生成回路１３に向けて出力される。
【００２９】
（ｂ）映像信号ｆ１とｆ０が入力されると、動きベクトル検出回路１２は映像信号ｆ１から成るフレームと映像信号ｆ０から成るフレーム間における動きベクトルＶ１の検出処理を行う。図２に示すように、動きベクトル検出回路１２は、検索対象である１フレーム目（映像信号ｆ１）と動きベクトル検出基準である２フレーム目（映像信号ｆ０）における相関比較、例えば映像信号の輝度値を比較して相関が最も高い方向の動きベクトルを検出する。この際、動きベクトル検出を１フレーム目を基準に行う限り、実際の補間位置と動きベクトルの位置がずれることがある。この為、正しい補間位置を２フレーム目においてもカバーできるように２フレーム目において動きベクトルは図３に示すように動体の輪郭をはみ出す程度まで広く検出する。補間フレーム生成回路１３はこの動きベクトルを基に補間フレームｆ０．５を生成する。
【００３０】
図４（ａ）は補間処理を行っていない原画像を示し、図４（ｂ）は、この原画像に対して動きベクトルがはみ出た状態で生成した補間フレームｆ０．５を示す。図４（ａ）に示すように、原画像は、動きベクトルはみ出し領域の端部における明度の変化が連続した自然な状態である。ところが、原画aに対して動きベクトルがはみ出た状態で補間フレームｆ０．５を生成すると、図４（ｂ）に示すように、補間画素が受け取る動きベクトルが背景にはみ出してしまい、背景画像と補間フレームの境界に不連続点が発生する場合がある。
【００３１】
（ｃ）この不連続点の発生を防ぐために、隣接動きベクトル比較回路１４では、図５（ａ）に示すローパスフィルタをかけるべき動きベクトル境界領域を決定し、図５（ｂ）に示すように動きベクトル境界における視覚的違和感を和らげるようにする。このローパスフィルタ処理を行う位置を決定する為、図６に示す注目画素ブロック１と注目画素に隣接する隣接画素ブロック群２における動きベクトル、速度等の差分を検出する。
【００３２】
具体的には、隣接動きベクトル比較回路１４は、動きベクトル検出回路１２より各画素ブロックに対応する各動きベクトルＶ１を取得すると、各動きベクトルＶ１を動きベクトルメモリ４１において一時記憶させる。動きベクトルメモリ４１に一時記憶された各動きベクトルＶ１は、図６のように注目画素ブロック１および隣接画素ブロック群２を構成する８つの隣接画素ブロックの各々について取得されたものであり、注目画素ブロックの動きベクトルと隣接画素ブロックの動きベクトルの比較に用いられる。１つの注目画素ブロック１及び８つの隣接画素ブロックから成る隣接画素ブロック群２は、（ｘ１、ｙ１）、（ｘ２、ｙ２）、…（ｘ９、ｙ９）と９つのブロックから構成され、その中心（ｘ５、ｙ５）が注目画素ブロック１となり、注目画素ブロック１の周囲を取り囲む８つの隣接画素ブロックが隣接画素ブロック群２を構成する。１つの画素ブロックは２画素×２画素から構成される。なお、図６において、（ｘ５、ｙ５）は、注目画素ブロック１の動きベクトル（注目動きベクトル）の水平成分および垂直成分をそれぞれ示し、（ｘ１、ｙ１）、（ｘ２、ｙ２）、…（ｘ４、ｙ４）、（ｘ６、ｙ６）、…（ｘ９、ｙ９）は、それぞれ、隣接画素ブロック群２に含まれる８つの隣接画素ブロックの動きベクトル（隣接動きベクトル）の水平成分および垂直成分を示す。
【００３３】
動きベクトル差分計算回路４２は、動きベクトルメモリ４１より取得する動きベクトル及び動きベクトル検出回路１２より取得する注目動きベクトルＶ１を水平成分、垂直成分に分解し、更に隣接動きベクトルも水平成分、垂直成分に分解する。次に分解された注目動きベクトル及び隣接動きベクトルの水平成分同士、垂直成分同士の差分絶対値を算出し、算出された水平成分および垂直成分の差分絶対値を加算した差分絶対値和を出力する。差分絶対値和は注目画素ブロック１と隣接画素ブロック群２に属する各隣接画素ブロックの間の差分絶対値の和である。算出された差分絶対値和は差分絶対値和比較回路４３に出力される。
【００３４】
動きベクトル差分計算回路４２から差分絶対値和が入力されると、差分絶対値和比較回路４３は、注目画素ブロック１に対し８方向の隣接画素ブロックの水平成分および垂直成分の差分絶対値を加算した差分絶対値和が、所定の閾値を超えるか否かを判断する。差分絶対値和比較回路４３は、差分絶対値和が閾値を超えない値であれば補間フレームにおける不連続発生点は無い又は補間結果による影響は小さいと判断し、補間フレームフィルタ回路１５におけるローパスフィルタ処理は不要であると判断する。一方で差分絶対値和が閾値を超える値であれば補間フレームにおける不連続発生点が存在すると判断し、補間フレームフィルタ回路１５におけるローパスフィルタ処理が必要であると判断する。
【００３５】
例えば、図７では注目画素ブロック１の動きベクトルと、隣接画素ブロック群２の一部である隣接画素ブロック２ａの動きベクトルは異なる。この場合注目画素ブロック１と隣接画素ブロック２ａの間に境界線が発生する。この境界線の発生を算出するための具体的な例を以下に述べる。図８に示すブロック内の矢印が動きベクトルの向き、矢印上の数字がベクトルの向きに対する各画素の速度を示す動き速度であるとする。
【００３６】
まず、注目画素ブロック１の画素と隣接画素ブロック群２ｂの各画素の各動きベクトルについて、水平成分及び垂直成分を算出する。ここで、水平成分及び垂直成分の符号は、水平成分について右方向を正とし、左方向を負とし、垂直成分について上方向を正とし、下方向を負とする。
【００３７】
次に、算出された注目動きベクトルの水平成分及び垂直成分から、算出された各隣接動きベクトルの水平成分及び垂直成分をそれぞれ減算し、減算した値の絶対値を差分絶対値としてそれぞれ算出する。例えば、注目動きベクトルの水平成分が左５で、ある隣接動きベクトルの水平成分が右６であれば、その差分絶対値は|(-5)-(6)|=11となり、或いは、図８に示すように、注目動きベクトルの水平成分が右１０で、隣接画素ブロック２ｂの動きベクトルの水平成分が右１５であれば、その差分絶対値は|(10)-(15)|=5となる。垂直成分についても同様にして差分絶対値を求める。
【００３８】
図８のように、注目画素ブロック１と隣接画素ブロック群２における動きベクトルＶ１の方向は同じであるが、注目動きベクトルの水平成分は「１０」であるのに対し、隣接画素ブロック２ｂの動きベクトルの水平成分は「１５」であって、その他の隣接画素ブロックの動きベクトルの水平成分は「１０」である。したがって、総ての動きベクトルについて垂直成分に差が無いと仮定した場合、注目画素ブロック１の水平成分「１０」と隣接画素ブロック群２に属する各隣接画素ベクトルの水平成分との差分絶対値の和は、０＋５＋０＋０＋０＋０＋０＋０＝５となる。本実施形態では閾値を４とすると、図８の例では、差分絶対値の和（＝５）が閾値（＝４）を超えている。よってこの場合、差分絶対値和比較回路４３は、注目画素ブロック１は動きベクトルの境界に位置していると判断する。
【００３９】
他の算出例について図９を用いて説明する。図９では、注目画素ブロック１の動きベクトルの水平成分および垂直成分（ｘ５、ｙ５）の値が（１０、０）であるのに対し、隣接画素フレーム群２内の１つの隣接画素ブロック２ｃの動きベクトルの水平成分および垂直成分（ｘ１、ｙ１）の値が（１１、４）であって、その他の隣接画素ブロックの動きベクトルの水平成分および垂直成分は、総て（１０、０）である。閾値は４とする。注目画素ブロック１の動きベクトルの水平成分と隣接画素ブロック２ｃの動きベクトルの水平成分との差分絶対値は、｜ｘ５−ｘ１｜＝｜１０−１１｜＝１であり、注目画素ブロック１の動きベクトルの垂直成分と隣接画素ブロック２ｃの動きベクトルの垂直成分との差分絶対値は、｜ｙ５−ｙ１｜＝｜０−４｜＝４である。その他の隣接画素ブロックについて差分絶対値はゼロである。したがって、注目画素ブロック１の動きベクトルと隣接画素ブロック群２の動きベクトルの差分絶対値の和は、（１+４）＋０＋０＋０＋０＋０＋０＋０＝５となるため、閾値を超えている。よってこの場合、差分絶対値和比較回路４３は、注目画素ブロック１は動きベクトルの境界に位置していると判断する。
【００４０】
差分絶対値和比較回路４３は、動きベクトル境界にある注目画素ブロック１及び隣接画素ブロック群２の情報を動きベクトル境界判定信号Ｃ１として補間フレームフィルタ回路１５に出力する。
【００４１】
（ｄ）補間フレームフィルタ回路１５は、動きベクトル境界判定信号Ｃ１を受信すると、図５（ａ）に示すような動きベクトルの変化点と判定された注目画素ブロック１及び隣接画素ブロック群２の補間フレームｆ０．５内の該当画素に対しローパスフィルタ等の処理を行う。これにより図５（ｂ）に示すように境界点が視覚的に目立たなくなる効果が得られる。この後、フレーム周波数変換回路１６はローパスフィルタ処理が行われた新たな補間フレームｆ０．５’を、映像入力信号ｆ０と共に入力と比しての2倍のフレーム周波数に変換し、新たな補間フレームｆ０．５’から基の映像信号ｆ０の順番で交互に映像信号として出力する。
【００４２】
（ｅ）尚、隣接動きベクトル比較回路１４において、差分絶対値和の閾値を何段階かに分けて設定しても構わない。隣接動きベクトルの動きや速さがどの程度異なっていたかを複数の閾値を設定することで段階的に判断し、超えた閾値に応じて、フィルタ処理を施す隣接画素ブロック数を増加させる。例えば第１の閾値（＝１０）を越えた場合は、第１の範囲として注目画素と隣接画素群とを含む５×５ブロック領域にフィルタ処理を行い、第１の閾値より大きい第２の閾値（＝４０）を越えた場合は第２の範囲として注目画素と隣接画素群とを含む１５×１５ブロック領域へフィルタする範囲を変化させる。すなわち本実施形態では、第１の閾値を超えた場合にフィルタ処理の対象となる第１の範囲より、第２の閾値を超えた場合の第２の範囲が大きくなるよう設定した。これにより、動きベクトルの境界が分かり易い速い動画に対して大きな効果を得ながら、遅い動画の画質は保つと言った適応処理が可能となる。
【００４３】
なお、フィルタ処理の対象となる範囲は、注目画素を中心とした対称な範囲となるよう隣接画素ブロックを増加させて構成することが好ましいが、これに限定されない。
【産業上の利用可能性】
【００４４】
本発明の画像処理装置及び画像処理方法によれば、動体の動きベクトルに影響を受けた背景補間画素と影響を受けていない背景補間画素の境界に発生する不連続点をなだらかな変化にすることで、視覚的な違和感を緩和することが出来る。
【符号の説明】
【００４５】
１ … 注目画素ブロック
２ … 隣接画素ブロック群
１１ … フレームメモリ
１２ … 動きベクトル検出回路
１３ … 補間フレーム生成回路
１４ … 隣接動きベクトル比較回路
１５ … 補間フレームフィルタ回路
１６ … フレーム周波数変換回路
４１ … 動きベクトルメモリ
４２ … 動きベクトル差分計算回路
４３ … 差分絶対値和比較回路
【特許請求の範囲】
【請求項１】
フレーム間の補間フレームを生成する際、補間の中心となる注目画素の注目動きベクトルと、前記注目画素に隣接する隣接画素群の各々の隣接動きベクトルを検出する動きベクトル検出部と、
前記フレーム間の動きベクトルに基づいて、前記フレーム間の補間フレームを生成する補間フレーム生成回路と、
前記注目動きベクトルと、前記隣接動きベクトルの各々の差分絶対値を算出する動きベクトル差分計算回路と、
前記各々の差分絶対値の算出結果を加算した差分絶対値和を算出し、前記差分絶対値和が所定の閾値を超える場合、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群についての動きベクトル境界判定信号を出力する差分絶対値和比較回路と、
前記動きベクトル境界判定信号が入力されると、前記補間フレーム生成回路により生成された前記補間フレームを構成する画素のうち、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群にフィルタ処理を行う補間フレームフィルタ回路
とを備えることを特徴とする画像処理装置。
【請求項２】
前記フィルタ処理とはローパスフィルタ処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記差分絶対値和比較回路は複数の閾値を有し、
前記補間フレームフィルタ回路は、前記差分絶対値和が前記複数の閾値のうち最大の閾値を超えた時に複数の前記フィルタ処理を行う隣接画素群の範囲のうち最大範囲にする
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
入力される映像信号の連続するフレーム間の補間フレームを生成する画像処理装置における映像処理方法であって、
補間の中心となる注目画素の注目動きベクトルと、前記注目画素に隣接する隣接画素群の各々の隣接動きベクトルを検出するステップと、
前記フレーム間の動きベクトルに基づいて、前記フレーム間の補間フレームを生成するステップと、
前記注目動きベクトルと、前記隣接動きベクトルの各々の差分絶対値を算出するステップと、
前記各々の差分絶対値の算出結果を加算した差分絶対値和を算出し、前記差分絶対値和が所定の閾値を超える場合、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群についての動きベクトル境界判定信号を出力するステップと、
前記動きベクトル境界判定信号が入力されると、前記補間フレームを構成する画素のうち、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群にフィルタ処理を行うステップ
とを備えることを特徴とする画像処理方法。
【請求項５】
前記フィルタ処理とはローパスフィルタ処理であることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
複数の前記閾値と、各閾値に対応するフィルタ処理を行う複数の隣接画素群の範囲とを設け、前記差分絶対値和が前記複数の閾値のうち最大の閾値を超えた時に、前記フィルタ処理における隣接画素群の範囲が最大であることを特徴とする請求項４又は５に記載の画像処理方法。
【請求項１】
フレーム間の補間フレームを生成する際、補間の中心となる注目画素の注目動きベクトルと、前記注目画素に隣接する隣接画素群の各々の隣接動きベクトルを検出する動きベクトル検出部と、
前記フレーム間の動きベクトルに基づいて、前記フレーム間の補間フレームを生成する補間フレーム生成回路と、
前記注目動きベクトルと、前記隣接動きベクトルの各々の差分絶対値を算出する動きベクトル差分計算回路と、
前記各々の差分絶対値の算出結果を加算した差分絶対値和を算出し、前記差分絶対値和が所定の閾値を超える場合、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群についての動きベクトル境界判定信号を出力する差分絶対値和比較回路と、
前記動きベクトル境界判定信号が入力されると、前記補間フレーム生成回路により生成された前記補間フレームを構成する画素のうち、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群にフィルタ処理を行う補間フレームフィルタ回路
とを備えることを特徴とする画像処理装置。
【請求項２】
前記フィルタ処理とはローパスフィルタ処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記差分絶対値和比較回路は複数の閾値を有し、
前記補間フレームフィルタ回路は、前記差分絶対値和が前記複数の閾値のうち最大の閾値を超えた時に複数の前記フィルタ処理を行う隣接画素群の範囲のうち最大範囲にする
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
入力される映像信号の連続するフレーム間の補間フレームを生成する画像処理装置における映像処理方法であって、
補間の中心となる注目画素の注目動きベクトルと、前記注目画素に隣接する隣接画素群の各々の隣接動きベクトルを検出するステップと、
前記フレーム間の動きベクトルに基づいて、前記フレーム間の補間フレームを生成するステップと、
前記注目動きベクトルと、前記隣接動きベクトルの各々の差分絶対値を算出するステップと、
前記各々の差分絶対値の算出結果を加算した差分絶対値和を算出し、前記差分絶対値和が所定の閾値を超える場合、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群についての動きベクトル境界判定信号を出力するステップと、
前記動きベクトル境界判定信号が入力されると、前記補間フレームを構成する画素のうち、前記差分絶対値和が所定の閾値を超えた前記注目画素及び前記隣接画素群にフィルタ処理を行うステップ
とを備えることを特徴とする画像処理方法。
【請求項５】
前記フィルタ処理とはローパスフィルタ処理であることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
複数の前記閾値と、各閾値に対応するフィルタ処理を行う複数の隣接画素群の範囲とを設け、前記差分絶対値和が前記複数の閾値のうち最大の閾値を超えた時に、前記フィルタ処理における隣接画素群の範囲が最大であることを特徴とする請求項４又は５に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−７４３８４（Ｐ２０１３−７４３８４Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０６１５（Ｐ２０１１−２１０６１５）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]