映像信号処理装置及び方法
【課題】補間フレームを生成する性能をさほど落とすことなく回路規模の増大を抑えることができる映像信号処理装置を提供する。
【解決手段】動きベクトル検出部２は動きベクトルＭＶを検出する。遅延部３１，３２は、補間画素データを生成する際に必要な２つの実フレームそれぞれのフレーム内の複数の画素データを生成する。判定部３３〜３５は、動きベクトルＭＶに応じて補間画素データを生成するための２つの実フレーム内の画素データの内、一方のフレーム内の画素データが遅延部３１，３２によって生成されない状況が発生するか否かを判定する。補間画素データ生成部３６〜３８は、上記の状況が発生する場合に、一方のフレームの画素データを除く２つの実フレームの内の他方のフレーム内の画素データを用いて補間画素データを生成する。
【解決手段】動きベクトル検出部２は動きベクトルＭＶを検出する。遅延部３１，３２は、補間画素データを生成する際に必要な２つの実フレームそれぞれのフレーム内の複数の画素データを生成する。判定部３３〜３５は、動きベクトルＭＶに応じて補間画素データを生成するための２つの実フレーム内の画素データの内、一方のフレーム内の画素データが遅延部３１，３２によって生成されない状況が発生するか否かを判定する。補間画素データ生成部３６〜３８は、上記の状況が発生する場合に、一方のフレームの画素データを除く２つの実フレームの内の他方のフレーム内の画素データを用いて補間画素データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレート変換装置やフィルムジャダ除去装置のような映像信号の実フレーム間に補間フレームを内挿する映像信号処理装置及び方法に関する。
【背景技術】
【０００２】
液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させるため、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上の垂直周波数に変換して画像表示することが行われている。フレームレート変換を行う映像信号処理装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。
【０００３】
また、フィルム画像を例えば２−３プルダウンによって垂直周波数６０Ｈｚの映像信号に変換した場合、画像の動きに不自然さが発生しやすい。この画像の動きの不自然さをフィルムジャダと称している。フィルムジャダを除去（軽減）するために、実フレーム間に補間フレームを内挿するフィルムジャダ除去装置がある。フィルムジャダ除去装置においても、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、補間フレームを生成する。なお、フィルムジャダ除去装置では、フレームレートを変換しない場合と変換する場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３３７４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、補間フレームを生成する映像信号処理装置においては、高画質な映像とするため、誤補間を極力少なくすることが求められる。誤補間を少なくして補間フレームを生成する性能を向上させるには、一般的に、動きベクトル検出部や、動きベクトルに基づいて補間画素データを生成する補間部の回路規模が増大する。しかしながら、動きベクトル検出部や補間部の回路規模を大きくするとコストが高くなってしまう。そこで、補間フレームを生成する性能をさほど落とすことなく回路規模の増大を抑えることができる映像信号処理装置及び方法が求められる。
【０００６】
本発明はこのような問題点に鑑みなされたものであり、補間フレームを生成する性能をさほど落とすことなく回路規模の増大を抑えることができる映像信号処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した従来の技術の課題を解決するため、入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出部（２）と、前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成部（３１，３２）と、前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成部によって生成されない状況が発生するか否かを判定する判定部（３３〜３５）と、前記判定部が、前記状況が発生しないと判定した場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定部が、前記状況が発生すると判定した場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成部（３６〜３８）とを備えることを特徴とする映像信号処理装置を提供する。
【０００８】
上記の構成において、前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成する。
また、前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成する。
【０００９】
また、本発明は、上述した従来の技術の課題を解決するため、入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出ステップと、前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成ステップと、前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成ステップにて生成されない状況が発生するか否かを判定する判定ステップと、前記判定ステップにて前記状況が発生しないと判定された場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定ステップにて前記状況が発生すると判定された場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成ステップとを含むことを特徴とする映像信号処理方法を提供する。
【００１０】
上記の構成において、前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成する。
また、前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成する。
【発明の効果】
【００１１】
本発明の映像信号処理装置及び方法によれば、補間フレームを生成する性能をさほど落とすことなく回路規模の増大を抑えることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の映像信号処理装置の一実施形態を示すブロック図である。
【図２】図１における動きベクトル検出部２の動作を説明するための図である。
【図３】図１における遅延部３１，３２の具体的構成例を示すブロック図である。
【図４】一実施形態による補間画素の生成方法を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明の映像信号処理装置について、添付図面を参照して説明する。図１に示す本発明の一実施形態は、映像信号処理装置の一例として、映像信号の実フレーム間に３フレーム分の補間フレームを内挿して、フレームレートを４倍に変換するフレームレート変換装置を示している。本発明の映像信号処理装置は、フレームレート変換装置に限定されるものではなく、フィルムジャダ除去装置であってもよく、映像信号の実フレーム間に補間フレームを内挿するものであればよい。
【００１４】
図１において、６０Ｈｚのフレーム周波数を有する映像信号Ｓinの各画素データは、フレームメモリ１，動きベクトル検出部２，補間部３，フレーム周波数変換部４に順次入力される。フレーム周波数変換部４は時系列変換メモリによって構成されている。フレームメモリ１は入力された画素データを１フレーム遅延して出力する。入力された映像信号Ｓinの現在フレームをＦ０、フレームメモリ１より出力された現在フレームより１フレーム前のフレームをＦ１とする。現在フレームＦ０及びフレームＦ１は実フレームである。
【００１５】
動きベクトル検出部２は、例えばマッチング法を用い、現在フレームＦ０とフレームＦ１の画素データを用いて、現在フレームＦ０とフレームＦ１との間に内挿する補間フレームの各補間画素データを生成するための動きベクトルＭＶを検出する。特に図示しないが、動きベクトル検出部２は複数のラインメモリと画素遅延器、画素データの差分を求める減算器等を含んで構成される。動きベクトルＭＶは、遅延部３１，３２及び判定部３３〜３５に入力される。現在フレームＦ０とフレームＦ１に加えて、フレームＦ１よりも過去のフレームを用いて動きベクトルＭＶを検出してもよい。
【００１６】
図２に示すように、現在フレームＦ０と１フレーム前のフレームＦ１との間に３つの補間フレームＦi1，Ｆi2，Ｆi3を挿入する場合、現在フレームＦ０の画素データＰf00とフレームＦ１の画素データＰf10との間には、破線で示す補間画素データＰfi1，Ｐfi2，Ｐfi3を挿入する必要がある。動きベクトル検出部２は、画素データＰf00と画素データＰf10との中央に位置する補間画素データＰfi2を生成するための動きベクトルＭＶi2を生成する。そして、動きベクトル検出部２は、動きベクトルＭＶi2をずらすことによって、補間画素データＰfi1を生成するための動きベクトルＭＶi1と間画素データＰfi3を生成するための動きベクトルＭＶi3とを生成する。動きベクトルＭＶは動きベクトルＭＶi1〜ＭＶi3の総称である。
【００１７】
遅延部３１は、入力された現在フレームＦ０の画素データＰf0を水平方向に画素単位で順次遅延させ、ライン単位で順次遅延させることによって、補間画素データＰfi1，Ｐfi2，Ｐfi3を生成するのに必要な現在フレームＦ０上の複数の画素データを生成する。同様に、遅延部３２は、入力されたフレームＦ１の画素データＰf1を水平方向に画素単位で順次遅延させ、ライン単位で順次遅延させることによって、補間画素データＰfi1，Ｐfi2，Ｐfi3を生成するのに必要なフレームＦ１上の複数の画素データを生成する。即ち、遅延部３１，３２は、補間画素データを生成する際に必要な２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成部となっている。
【００１８】
図３を用いて遅延部３１，３２の具体的構成例について説明する。遅延部３１と遅延部３２とは同一の構成である。遅延部３１には現在フレームＦ０の画素データＰf0が順次入力され、遅延部３２にはフレームメモリ１より出力されたフレームＦ１の画素データＰf1が順次入力される。画素データＰf0は図２における画素データＰf0-4，Ｐf0-3，Ｐf0-2，Ｐf0-1，Ｐf00，Ｐf01，Ｐf02…等の任意の画素データであり、画素データＰf1は図２における画素データＰf1-4，Ｐf1-3，Ｐf1-2，Ｐf1-1，Ｐf10，Ｐf11，Ｐf12…等の任意の画素データである。
【００１９】
以下、代表して画素データＰf0が入力される遅延部３１について説明する。図３において、ラインメモリ３０１1〜３０１mのｍ個（ｍは２以上の整数）のラインメモリが直列に接続されており、入力された画素データＰf0はラインメモリ３０１1〜３０１mによって１ラインずつ遅延される。画素データＰf0は直列に接続された画素遅延器３０２01〜３０２0nのｎ個（ｎは２以上の整数）の画素遅延器によって１画素ずつ遅延される。ラインメモリ３０１1より出力された画素データは直列に接続された画素遅延器３０２11〜３０２1nによって１画素ずつ遅延される。ラインメモリ３０１1〜３０１m間の図示を省略しているラインメモリより出力された画素データも同様にｎ個の画素遅延器によって１画素ずつ遅延される。ラインメモリ３０１mより出力された画素データは直列に接続された画素遅延器３０２m1〜３０２mnによって１画素ずつ遅延される。
【００２０】
図３に示すラインメモリの数ｍ及び画素遅延器の数ｎは、動きベクトルＭＶが示すシフト量に基づいて補間画素データＰfi1，Ｐfi2，Ｐfi3を生成する際に必要な水平方向及び垂直方向の画素データ数となるよう設定すればよい。数ｍ，ｎは任意の数であり、補間フレームを生成する性能（補間画素データ生成の精度）と回路規模との双方を考慮して最適な数とする。
【００２１】
画素遅延器３０２01〜３０２0n，３０２11〜３０２1n，…，３０２m1〜３０２mnより出力された画素データは選択部３０３に入力される。選択部３０３には、動きベクトル検出部２より出力された動きベクトルＭＶi1〜ＭＶi3が入力される。遅延部３１内の選択部３０３は、動きベクトルＭＶi1が示すシフト量に基づいて補間画素データＰfi1を生成するのに必要な現在フレームＦ０の画素データＰf0と、動きベクトルＭＶi2が示すシフト量に基づいて補間画素データＰfi2を生成するのに必要な現在フレームＦ０の画素データＰf0と、動きベクトルＭＶi3が示すシフト量に基づいて補間画素データＰfi3を生成するのに必要な現在フレームＦ０の画素データＰf0とを選択して出力する。
【００２２】
遅延部３２内の選択部３０３は、動きベクトルＭＶi1が示すシフト量に基づいて補間画素データＰfi1を生成するのに必要なフレームＦ１の画素データＰf1と、動きベクトルＭＶi2が示すシフト量に基づいて補間画素データＰfi2を生成するのに必要なフレームＦ１の画素データＰf1と、動きベクトルＭＶi3が示すシフト量に基づいて補間画素データＰfi3を生成するのに必要なフレームＦ１の画素データＰf1とを選択して出力する。
【００２３】
図２の例では、遅延部３１内の選択部３０３は、画素データＰf0-1，Ｐf0-2，Ｐf0-3を選択して出力し、遅延部３２内の選択部３０３は、画素データＰf13，Ｐf12，Ｐf11を選択して出力する。ここでは、遅延部３１，３２で一対の画素データを出力する場合を説明したが、後述するように、動きベクトルＭＶに基づいて本来必要とする一対の画素データの内の一方の画素データが遅延部３１，３２より出力されない場合がある。
【００２４】
図４に示すように、遅延部３１で生成する画素データＰf0が水平方向に画素データＰf0-4から画素データＰf04までの範囲であり、遅延部３２で生成する画素データＰf1が水平方向に画素データＰf1-4から画素データＰf14までの範囲であるとする。実際には水平方向の画素範囲はもっと広いがここでは簡略化のため９画素分の画素データＰf0，Ｐf1としている。この場合、動きベクトルＭＶi1に基づいて遅延部３１，３２が本来出力すべき一対の画素データは画素データＰf0-2，Ｐf16であるが、画素データＰf16は二点鎖線で示しているように、遅延部３２から出力されない画素データである。同様に、動きベクトルＭＶi3に基づいて遅延部３１，３２が本来出力すべき一対の画素データは画素データＰf0-6，Ｐf12であるが、画素データＰf0-6は二点鎖線で示しているように、遅延部３１から出力されない画素データである。
【００２５】
図４では、水平方向の場合について示したが、垂直方向でも一方の画素データが遅延部３１，３２から出力されないことが起こり得る。
【００２６】
図１の判定部３３〜３５は、動きベクトルＭＶに応じて補間画素データＰfi1，Ｐfi2，Ｐfi3を生成するための２つの実フレーム内の画素データの内、一方のフレーム内の画素データが遅延部３１，３２によって生成されない状況が発生するか否かを判定する。判定部３３〜３５は、遅延部３１，３２が水平方向及び垂直方向のどれだけの範囲で補間画素データを生成するための画素データを生成するかが分かっているため、入力された動きベクトルＭＶに基づいて上記の状況が発生するか否かを判定することができる。
【００２７】
判定部３３〜３５は、一方の画素データが出力されない場合が発生すると判定した場合、現在フレームＦ０とフレームＦ１の内のいずれの画素データが出力され、いずれの画素データが出力されないかを示す判定信号を生成して補間画素データ生成部３６〜３８に供給する。補間画素データ生成部３６は補間画素データＰfi1を生成する。補間画素データ生成部３７は補間画素データＰfi2を生成する。補間画素データ生成部３８は補間画素データＰfi3を生成する。
【００２８】
図１では、補間画素データ生成部３７に判定信号を供給する判定部３４を設けているが、現在フレームＦ０とフレームＦ１との中央に位置する補間フレームＦi2の補間画素データＰfi2を生成する場合には、遅延部３１，３２からは必ず一対の画素データが出力されることになる。従って、判定部３４を削除してもよい。
【００２９】
補間画素データ生成部３６〜３８は、遅延部３１，３２から一対の画素データが供給される場合には、一対の画素データを距離に応じて適応混合して補間画素データＰfi1〜Ｐfi3を生成する。図２の場合、補間画素データ生成部３６は、（２／３×Ｐf0-1＋１／３×Ｐf13）を演算して補間画素データＰfi1を生成し、補間画素データ生成部３７は、（１／２×Ｐf0-2＋１／２×Ｐf12）を演算して補間画素データＰfi2を生成し、補間画素データ生成部３８は、（１／３×Ｐf0-3＋２／３×Ｐf11）を演算して補間画素データＰfi3を生成すればよい。
【００３０】
図４の場合には、補間画素データ生成部３６は、画素データＰf0-2をそのまま補間画素データＰfi1とし、補間画素データ生成部３８は、画素データＰf12をそのまま補間画素データＰfi3とする。このように、本実施形態においては、補間画素データＰfi1，Ｐfi3を生成する際に、本来使用すべき一対の画素データの内の一方の画素データが存在しない場合に、補間画素データＰfi1，Ｐfi3に距離が近い一方の画素データのみを用いて補間画素データＰfi1，Ｐfi3を生成する。
【００３１】
一方の画素データをそのまま補間画素データＰfi1，Ｐfi3とすると誤補間となる可能性が高い場合には、一方の画素データと他の画素データとを混合して補間画素データＰfi1，Ｐfi3を生成することが好ましい。他の画素データの好適な例としては、補間画素データＰfi1，Ｐfi3と同一の水平及び垂直位置にある画素データＰf00，Ｐf10である。画素データＰf00，Ｐf10は、静止画補間のときに補間画素データＰfi1〜Ｐfi3を生成する際に用いられる画素データである。この場合、遅延部３１，３２より補間画素データ生成部３６，３８に画素データＰf00，Ｐf10を供給すればよい。
【００３２】
補間画素データ生成部３６，３８は、動きベクトル検出部２によって動きが所定の値より大きいと判定された場合に上記の一方の画素データと画素データＰf00，Ｐf10とを混合することが好ましい。動きが所定の値より大きい場合に上記の一方の画素データに対して画素データＰf00，Ｐf10を混合すると、補間における破綻の可能性を少なくすることができる。
【００３３】
本実施形態では２つの実フレーム内の画素データを用いて補間画素データＰfi1〜Ｐfi3を生成しているが、３つ以上の実フレーム内の画素データを用いて補間画素データＰfi1〜Ｐfi3を生成してもよい。
【００３４】
フレーム周波数変換部４には、フレームＦ０の画素データと補間画素データ生成部３６〜３８より出力された補間画素データＰfi1，Ｐfi2，Ｐfi3とが順次入力される。フレーム周波数変換部４は、順次入力されるフレームＦ０の画素データに基づいて実フレームであるフレームＦ０の画像データと、順次入力される補間画素データＰfi1に基づいて補間フレームである補間フレームＦi1の画像データと、順次入力される補間画素データＰfi2に基づいて補間フレームである補間フレームＦi2の画像データと、順次入力される補間画素データＰfi3に基づいて補間フレームである補間フレームＦi3の画像データとを生成する。
【００３５】
そして、フレーム周波数変換部４は、フレームＦ０の画像データと補間フレームＦi1〜Ｆi3の画像データとを、周波数２４０Ｈｚで補間フレームＦi3，補間フレームＦi2，補間フレームＦi1，フレームＦ０の順で出力して、２４０Ｈｚのフレーム周波数を有する映像信号Ｓoutを出力する。
【００３６】
本発明は以上説明した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態では、映像信号処理装置の一例としてフレームレートを４倍に変換するフレームレート変換装置について説明したが、フレームレートを３倍に変換するフレームレート変換装置であってもよい。本発明の映像信号処理装置をフレームレート変換装置に適用する場合には、フレームレートを３倍以上に変換するフレームレート変換装置に用いて好適である。
【符号の説明】
【００３７】
１ フレームメモリ
２ 動きベクトル検出部
３ 補間部
４ フレーム周波数変換部
３１，３２ 遅延部（画素データ生成部）
３３〜３５ 判定部
３６〜３８ 補間画素データ生成部
【技術分野】
【０００１】
本発明は、フレームレート変換装置やフィルムジャダ除去装置のような映像信号の実フレーム間に補間フレームを内挿する映像信号処理装置及び方法に関する。
【背景技術】
【０００２】
液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させるため、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上の垂直周波数に変換して画像表示することが行われている。フレームレート変換を行う映像信号処理装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。
【０００３】
また、フィルム画像を例えば２−３プルダウンによって垂直周波数６０Ｈｚの映像信号に変換した場合、画像の動きに不自然さが発生しやすい。この画像の動きの不自然さをフィルムジャダと称している。フィルムジャダを除去（軽減）するために、実フレーム間に補間フレームを内挿するフィルムジャダ除去装置がある。フィルムジャダ除去装置においても、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、補間フレームを生成する。なお、フィルムジャダ除去装置では、フレームレートを変換しない場合と変換する場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３３７４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、補間フレームを生成する映像信号処理装置においては、高画質な映像とするため、誤補間を極力少なくすることが求められる。誤補間を少なくして補間フレームを生成する性能を向上させるには、一般的に、動きベクトル検出部や、動きベクトルに基づいて補間画素データを生成する補間部の回路規模が増大する。しかしながら、動きベクトル検出部や補間部の回路規模を大きくするとコストが高くなってしまう。そこで、補間フレームを生成する性能をさほど落とすことなく回路規模の増大を抑えることができる映像信号処理装置及び方法が求められる。
【０００６】
本発明はこのような問題点に鑑みなされたものであり、補間フレームを生成する性能をさほど落とすことなく回路規模の増大を抑えることができる映像信号処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した従来の技術の課題を解決するため、入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出部（２）と、前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成部（３１，３２）と、前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成部によって生成されない状況が発生するか否かを判定する判定部（３３〜３５）と、前記判定部が、前記状況が発生しないと判定した場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定部が、前記状況が発生すると判定した場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成部（３６〜３８）とを備えることを特徴とする映像信号処理装置を提供する。
【０００８】
上記の構成において、前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成する。
また、前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成する。
【０００９】
また、本発明は、上述した従来の技術の課題を解決するため、入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出ステップと、前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成ステップと、前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成ステップにて生成されない状況が発生するか否かを判定する判定ステップと、前記判定ステップにて前記状況が発生しないと判定された場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定ステップにて前記状況が発生すると判定された場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成ステップとを含むことを特徴とする映像信号処理方法を提供する。
【００１０】
上記の構成において、前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成する。
また、前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成する。
【発明の効果】
【００１１】
本発明の映像信号処理装置及び方法によれば、補間フレームを生成する性能をさほど落とすことなく回路規模の増大を抑えることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の映像信号処理装置の一実施形態を示すブロック図である。
【図２】図１における動きベクトル検出部２の動作を説明するための図である。
【図３】図１における遅延部３１，３２の具体的構成例を示すブロック図である。
【図４】一実施形態による補間画素の生成方法を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明の映像信号処理装置について、添付図面を参照して説明する。図１に示す本発明の一実施形態は、映像信号処理装置の一例として、映像信号の実フレーム間に３フレーム分の補間フレームを内挿して、フレームレートを４倍に変換するフレームレート変換装置を示している。本発明の映像信号処理装置は、フレームレート変換装置に限定されるものではなく、フィルムジャダ除去装置であってもよく、映像信号の実フレーム間に補間フレームを内挿するものであればよい。
【００１４】
図１において、６０Ｈｚのフレーム周波数を有する映像信号Ｓinの各画素データは、フレームメモリ１，動きベクトル検出部２，補間部３，フレーム周波数変換部４に順次入力される。フレーム周波数変換部４は時系列変換メモリによって構成されている。フレームメモリ１は入力された画素データを１フレーム遅延して出力する。入力された映像信号Ｓinの現在フレームをＦ０、フレームメモリ１より出力された現在フレームより１フレーム前のフレームをＦ１とする。現在フレームＦ０及びフレームＦ１は実フレームである。
【００１５】
動きベクトル検出部２は、例えばマッチング法を用い、現在フレームＦ０とフレームＦ１の画素データを用いて、現在フレームＦ０とフレームＦ１との間に内挿する補間フレームの各補間画素データを生成するための動きベクトルＭＶを検出する。特に図示しないが、動きベクトル検出部２は複数のラインメモリと画素遅延器、画素データの差分を求める減算器等を含んで構成される。動きベクトルＭＶは、遅延部３１，３２及び判定部３３〜３５に入力される。現在フレームＦ０とフレームＦ１に加えて、フレームＦ１よりも過去のフレームを用いて動きベクトルＭＶを検出してもよい。
【００１６】
図２に示すように、現在フレームＦ０と１フレーム前のフレームＦ１との間に３つの補間フレームＦi1，Ｆi2，Ｆi3を挿入する場合、現在フレームＦ０の画素データＰf00とフレームＦ１の画素データＰf10との間には、破線で示す補間画素データＰfi1，Ｐfi2，Ｐfi3を挿入する必要がある。動きベクトル検出部２は、画素データＰf00と画素データＰf10との中央に位置する補間画素データＰfi2を生成するための動きベクトルＭＶi2を生成する。そして、動きベクトル検出部２は、動きベクトルＭＶi2をずらすことによって、補間画素データＰfi1を生成するための動きベクトルＭＶi1と間画素データＰfi3を生成するための動きベクトルＭＶi3とを生成する。動きベクトルＭＶは動きベクトルＭＶi1〜ＭＶi3の総称である。
【００１７】
遅延部３１は、入力された現在フレームＦ０の画素データＰf0を水平方向に画素単位で順次遅延させ、ライン単位で順次遅延させることによって、補間画素データＰfi1，Ｐfi2，Ｐfi3を生成するのに必要な現在フレームＦ０上の複数の画素データを生成する。同様に、遅延部３２は、入力されたフレームＦ１の画素データＰf1を水平方向に画素単位で順次遅延させ、ライン単位で順次遅延させることによって、補間画素データＰfi1，Ｐfi2，Ｐfi3を生成するのに必要なフレームＦ１上の複数の画素データを生成する。即ち、遅延部３１，３２は、補間画素データを生成する際に必要な２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成部となっている。
【００１８】
図３を用いて遅延部３１，３２の具体的構成例について説明する。遅延部３１と遅延部３２とは同一の構成である。遅延部３１には現在フレームＦ０の画素データＰf0が順次入力され、遅延部３２にはフレームメモリ１より出力されたフレームＦ１の画素データＰf1が順次入力される。画素データＰf0は図２における画素データＰf0-4，Ｐf0-3，Ｐf0-2，Ｐf0-1，Ｐf00，Ｐf01，Ｐf02…等の任意の画素データであり、画素データＰf1は図２における画素データＰf1-4，Ｐf1-3，Ｐf1-2，Ｐf1-1，Ｐf10，Ｐf11，Ｐf12…等の任意の画素データである。
【００１９】
以下、代表して画素データＰf0が入力される遅延部３１について説明する。図３において、ラインメモリ３０１1〜３０１mのｍ個（ｍは２以上の整数）のラインメモリが直列に接続されており、入力された画素データＰf0はラインメモリ３０１1〜３０１mによって１ラインずつ遅延される。画素データＰf0は直列に接続された画素遅延器３０２01〜３０２0nのｎ個（ｎは２以上の整数）の画素遅延器によって１画素ずつ遅延される。ラインメモリ３０１1より出力された画素データは直列に接続された画素遅延器３０２11〜３０２1nによって１画素ずつ遅延される。ラインメモリ３０１1〜３０１m間の図示を省略しているラインメモリより出力された画素データも同様にｎ個の画素遅延器によって１画素ずつ遅延される。ラインメモリ３０１mより出力された画素データは直列に接続された画素遅延器３０２m1〜３０２mnによって１画素ずつ遅延される。
【００２０】
図３に示すラインメモリの数ｍ及び画素遅延器の数ｎは、動きベクトルＭＶが示すシフト量に基づいて補間画素データＰfi1，Ｐfi2，Ｐfi3を生成する際に必要な水平方向及び垂直方向の画素データ数となるよう設定すればよい。数ｍ，ｎは任意の数であり、補間フレームを生成する性能（補間画素データ生成の精度）と回路規模との双方を考慮して最適な数とする。
【００２１】
画素遅延器３０２01〜３０２0n，３０２11〜３０２1n，…，３０２m1〜３０２mnより出力された画素データは選択部３０３に入力される。選択部３０３には、動きベクトル検出部２より出力された動きベクトルＭＶi1〜ＭＶi3が入力される。遅延部３１内の選択部３０３は、動きベクトルＭＶi1が示すシフト量に基づいて補間画素データＰfi1を生成するのに必要な現在フレームＦ０の画素データＰf0と、動きベクトルＭＶi2が示すシフト量に基づいて補間画素データＰfi2を生成するのに必要な現在フレームＦ０の画素データＰf0と、動きベクトルＭＶi3が示すシフト量に基づいて補間画素データＰfi3を生成するのに必要な現在フレームＦ０の画素データＰf0とを選択して出力する。
【００２２】
遅延部３２内の選択部３０３は、動きベクトルＭＶi1が示すシフト量に基づいて補間画素データＰfi1を生成するのに必要なフレームＦ１の画素データＰf1と、動きベクトルＭＶi2が示すシフト量に基づいて補間画素データＰfi2を生成するのに必要なフレームＦ１の画素データＰf1と、動きベクトルＭＶi3が示すシフト量に基づいて補間画素データＰfi3を生成するのに必要なフレームＦ１の画素データＰf1とを選択して出力する。
【００２３】
図２の例では、遅延部３１内の選択部３０３は、画素データＰf0-1，Ｐf0-2，Ｐf0-3を選択して出力し、遅延部３２内の選択部３０３は、画素データＰf13，Ｐf12，Ｐf11を選択して出力する。ここでは、遅延部３１，３２で一対の画素データを出力する場合を説明したが、後述するように、動きベクトルＭＶに基づいて本来必要とする一対の画素データの内の一方の画素データが遅延部３１，３２より出力されない場合がある。
【００２４】
図４に示すように、遅延部３１で生成する画素データＰf0が水平方向に画素データＰf0-4から画素データＰf04までの範囲であり、遅延部３２で生成する画素データＰf1が水平方向に画素データＰf1-4から画素データＰf14までの範囲であるとする。実際には水平方向の画素範囲はもっと広いがここでは簡略化のため９画素分の画素データＰf0，Ｐf1としている。この場合、動きベクトルＭＶi1に基づいて遅延部３１，３２が本来出力すべき一対の画素データは画素データＰf0-2，Ｐf16であるが、画素データＰf16は二点鎖線で示しているように、遅延部３２から出力されない画素データである。同様に、動きベクトルＭＶi3に基づいて遅延部３１，３２が本来出力すべき一対の画素データは画素データＰf0-6，Ｐf12であるが、画素データＰf0-6は二点鎖線で示しているように、遅延部３１から出力されない画素データである。
【００２５】
図４では、水平方向の場合について示したが、垂直方向でも一方の画素データが遅延部３１，３２から出力されないことが起こり得る。
【００２６】
図１の判定部３３〜３５は、動きベクトルＭＶに応じて補間画素データＰfi1，Ｐfi2，Ｐfi3を生成するための２つの実フレーム内の画素データの内、一方のフレーム内の画素データが遅延部３１，３２によって生成されない状況が発生するか否かを判定する。判定部３３〜３５は、遅延部３１，３２が水平方向及び垂直方向のどれだけの範囲で補間画素データを生成するための画素データを生成するかが分かっているため、入力された動きベクトルＭＶに基づいて上記の状況が発生するか否かを判定することができる。
【００２７】
判定部３３〜３５は、一方の画素データが出力されない場合が発生すると判定した場合、現在フレームＦ０とフレームＦ１の内のいずれの画素データが出力され、いずれの画素データが出力されないかを示す判定信号を生成して補間画素データ生成部３６〜３８に供給する。補間画素データ生成部３６は補間画素データＰfi1を生成する。補間画素データ生成部３７は補間画素データＰfi2を生成する。補間画素データ生成部３８は補間画素データＰfi3を生成する。
【００２８】
図１では、補間画素データ生成部３７に判定信号を供給する判定部３４を設けているが、現在フレームＦ０とフレームＦ１との中央に位置する補間フレームＦi2の補間画素データＰfi2を生成する場合には、遅延部３１，３２からは必ず一対の画素データが出力されることになる。従って、判定部３４を削除してもよい。
【００２９】
補間画素データ生成部３６〜３８は、遅延部３１，３２から一対の画素データが供給される場合には、一対の画素データを距離に応じて適応混合して補間画素データＰfi1〜Ｐfi3を生成する。図２の場合、補間画素データ生成部３６は、（２／３×Ｐf0-1＋１／３×Ｐf13）を演算して補間画素データＰfi1を生成し、補間画素データ生成部３７は、（１／２×Ｐf0-2＋１／２×Ｐf12）を演算して補間画素データＰfi2を生成し、補間画素データ生成部３８は、（１／３×Ｐf0-3＋２／３×Ｐf11）を演算して補間画素データＰfi3を生成すればよい。
【００３０】
図４の場合には、補間画素データ生成部３６は、画素データＰf0-2をそのまま補間画素データＰfi1とし、補間画素データ生成部３８は、画素データＰf12をそのまま補間画素データＰfi3とする。このように、本実施形態においては、補間画素データＰfi1，Ｐfi3を生成する際に、本来使用すべき一対の画素データの内の一方の画素データが存在しない場合に、補間画素データＰfi1，Ｐfi3に距離が近い一方の画素データのみを用いて補間画素データＰfi1，Ｐfi3を生成する。
【００３１】
一方の画素データをそのまま補間画素データＰfi1，Ｐfi3とすると誤補間となる可能性が高い場合には、一方の画素データと他の画素データとを混合して補間画素データＰfi1，Ｐfi3を生成することが好ましい。他の画素データの好適な例としては、補間画素データＰfi1，Ｐfi3と同一の水平及び垂直位置にある画素データＰf00，Ｐf10である。画素データＰf00，Ｐf10は、静止画補間のときに補間画素データＰfi1〜Ｐfi3を生成する際に用いられる画素データである。この場合、遅延部３１，３２より補間画素データ生成部３６，３８に画素データＰf00，Ｐf10を供給すればよい。
【００３２】
補間画素データ生成部３６，３８は、動きベクトル検出部２によって動きが所定の値より大きいと判定された場合に上記の一方の画素データと画素データＰf00，Ｐf10とを混合することが好ましい。動きが所定の値より大きい場合に上記の一方の画素データに対して画素データＰf00，Ｐf10を混合すると、補間における破綻の可能性を少なくすることができる。
【００３３】
本実施形態では２つの実フレーム内の画素データを用いて補間画素データＰfi1〜Ｐfi3を生成しているが、３つ以上の実フレーム内の画素データを用いて補間画素データＰfi1〜Ｐfi3を生成してもよい。
【００３４】
フレーム周波数変換部４には、フレームＦ０の画素データと補間画素データ生成部３６〜３８より出力された補間画素データＰfi1，Ｐfi2，Ｐfi3とが順次入力される。フレーム周波数変換部４は、順次入力されるフレームＦ０の画素データに基づいて実フレームであるフレームＦ０の画像データと、順次入力される補間画素データＰfi1に基づいて補間フレームである補間フレームＦi1の画像データと、順次入力される補間画素データＰfi2に基づいて補間フレームである補間フレームＦi2の画像データと、順次入力される補間画素データＰfi3に基づいて補間フレームである補間フレームＦi3の画像データとを生成する。
【００３５】
そして、フレーム周波数変換部４は、フレームＦ０の画像データと補間フレームＦi1〜Ｆi3の画像データとを、周波数２４０Ｈｚで補間フレームＦi3，補間フレームＦi2，補間フレームＦi1，フレームＦ０の順で出力して、２４０Ｈｚのフレーム周波数を有する映像信号Ｓoutを出力する。
【００３６】
本発明は以上説明した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態では、映像信号処理装置の一例としてフレームレートを４倍に変換するフレームレート変換装置について説明したが、フレームレートを３倍に変換するフレームレート変換装置であってもよい。本発明の映像信号処理装置をフレームレート変換装置に適用する場合には、フレームレートを３倍以上に変換するフレームレート変換装置に用いて好適である。
【符号の説明】
【００３７】
１ フレームメモリ
２ 動きベクトル検出部
３ 補間部
４ フレーム周波数変換部
３１，３２ 遅延部（画素データ生成部）
３３〜３５ 判定部
３６〜３８ 補間画素データ生成部
【特許請求の範囲】
【請求項１】
入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出部と、
前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成部と、
前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成部によって生成されない状況が発生するか否かを判定する判定部と、
前記判定部が、前記状況が発生しないと判定した場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定部が、前記状況が発生すると判定した場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成部と
を備えることを特徴とする映像信号処理装置。
【請求項２】
前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成することを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成することを特徴とする請求項１記載の映像信号処理装置。
【請求項４】
入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出ステップと、
前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成ステップと、
前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成ステップにて生成されない状況が発生するか否かを判定する判定ステップと、
前記判定ステップにて前記状況が発生しないと判定された場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定ステップにて前記状況が発生すると判定された場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成ステップと
を含むことを特徴とする映像信号処理方法。
【請求項５】
前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成することを特徴とする請求項４記載の映像信号処理方法。
【請求項６】
前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成することを特徴とする請求項４１記載の映像信号処理方法。
【請求項１】
入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出部と、
前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成部と、
前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成部によって生成されない状況が発生するか否かを判定する判定部と、
前記判定部が、前記状況が発生しないと判定した場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定部が、前記状況が発生すると判定した場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成部と
を備えることを特徴とする映像信号処理装置。
【請求項２】
前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成することを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
前記補間画素データ生成部は、前記判定部が、前記状況が発生すると判定した場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成することを特徴とする請求項１記載の映像信号処理装置。
【請求項４】
入力された映像信号における少なくとも２つの実フレーム内の画素データを用いて、前記２つの実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出ステップと、
前記補間画素データを生成する際に必要な前記２つの実フレームそれぞれのフレーム内の複数の画素データを生成する画素データ生成ステップと、
前記動きベクトルに応じて前記補間画素データを生成するための前記２つの実フレーム内の画素データの内、一方のフレーム内の画素データが前記画素データ生成ステップにて生成されない状況が発生するか否かを判定する判定ステップと、
前記判定ステップにて前記状況が発生しないと判定された場合には、前記２つの実フレーム内の画素データを用いて前記補間画素データを生成し、前記判定ステップにて前記状況が発生すると判定された場合には、前記一方のフレームの画素データを除く前記２つの実フレームの内の他方のフレーム内の画素データを用いて前記補間画素データを生成する補間画素データ生成ステップと
を含むことを特徴とする映像信号処理方法。
【請求項５】
前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データのみを用いて前記補間画素データを生成することを特徴とする請求項４記載の映像信号処理方法。
【請求項６】
前記補間画素データ生成ステップは、前記判定ステップにて前記状況が発生すると判定された場合には、前記他方のフレーム内の画素データと、前記補間画素データと同一の水平及び垂直位置にある画素データとを混合して、前記補間画素データを生成することを特徴とする請求項４１記載の映像信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−２０５４７４（Ｐ２０１１−２０５４７４Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７１７７９（Ｐ２０１０−７１７７９）
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]