動きベクトル検出装置及び方法、並びに、映像信号処理装置及び方法
【課題】プルダウン変換された３Ｄ映像信号であっても、動きベクトルを高精度に検出することできる動きベクトル検出装置を提供する。
【解決手段】プルダウン検出部１は、３Ｄ映像信号Ｆ０がプルダウン変換された映像信号であるか否かを検出する。ＬＲ分離部３は、同じ画像内容のそれぞれのフレームにおける左右の映像信号とを分離してＬＲ分離信号Ｍe0を出力する。フレーム遅延ＬＲ分離部２は、１繰り返し期間前のフレームにおける左右の映像信号とを分離したフレーム遅延ＬＲ分離信号Ｍe1を出力する。動きベクトル検出部ＭＶＤは、左右の映像信号の動きベクトルＭＶ１を検出する。ＬＲ結合部８は、左右の映像信号の動きベクトルＭＶ１を結合して動きベクトルＭＶとして出力する。
【解決手段】プルダウン検出部１は、３Ｄ映像信号Ｆ０がプルダウン変換された映像信号であるか否かを検出する。ＬＲ分離部３は、同じ画像内容のそれぞれのフレームにおける左右の映像信号とを分離してＬＲ分離信号Ｍe0を出力する。フレーム遅延ＬＲ分離部２は、１繰り返し期間前のフレームにおける左右の映像信号とを分離したフレーム遅延ＬＲ分離信号Ｍe1を出力する。動きベクトル検出部ＭＶＤは、左右の映像信号の動きベクトルＭＶ１を検出する。ＬＲ結合部８は、左右の映像信号の動きベクトルＭＶ１を結合して動きベクトルＭＶとして出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の動きベクトルを検出する動きベクトル検出装置及び方法、並びに、動きベクトルを用いて動き補償フレームを生成する映像信号処理装置及び方法に関する。
【背景技術】
【０００２】
液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させて動画特性を向上させるために、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上のフレームレートに変換して画像表示することが行われている。映像信号のフレームレートを変換するフレームレート変換装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する動き補償フレームとしての補間フレームを生成する。
【０００３】
映像信号の中には、映画のフィルム映像のように毎秒２４コマ（２４Ｈｚ）のフレームを毎秒６０フレームに変換した映像信号がある。この場合、フィルム映像の１コマを３フレーム連続させ、次の１コマを２フレーム連続させ、さらにその次の１コマを３フレーム連続させるように順次繰り返して６０フレームに変換する２−３プルダウンと称される変換方法が用いられる。従って、２−３プルダウンによって垂直周波数６０Ｈｚに変換された映像信号は動きが滑らかでない。フィルム映像を垂直周波数６０Ｈｚの映像信号に変換した場合の動きが滑らかでない状態をフィルムジャダと称している。
【０００４】
そこで、複数の実フレーム及び動きベクトルを用いて動き補償フレームを生成し、実フレームを動き補償フレームに差し替えることによってフィルムジャダを除去して動きが滑らかな映像信号とするフィルムジャダ除去装置が用いられている。フィルムジャダ除去装置によってフィルムジャダを除去し、さらに、フレームレート変換装置によってフレームレートを増大させることも行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２００８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、立体映像（３Ｄ映像）が普及し始めており、フレームレート変換装置やフィルムジャダ除去装置等の映像信号処理装置に対して、３Ｄ映像信号が供給されるようになってきた。３Ｄ映像信号のフォーマットとして、１フレーム内に左目用画像と右目用画像とを圧縮して並べて水平方向または垂直方向に配置するフォーマットがある。この場合、左目用画像の映像信号と右目用画像の映像信号はそれぞれ水平方向または垂直方向に１／２に圧縮されているので、動きベクトルの検出精度が悪化することになる。３Ｄ映像信号がプルダウン変換された映像信号である場合には、１フレームで画像が動く距離が大きくなるので、動きベクトルの検出精度はさらに悪化することになる。
【０００７】
このように、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号の場合には、動きベクトルを高精度に検出することが難しい。従って、動き補償フレームを生成する映像信号処理装置では、誤補間が発生しやすく、動き補償フレームの画質を悪化させてしまうという問題点があった。
【０００８】
本発明はこのような問題点に鑑み、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することできる動きベクトル検出装置及び方法を提供することを目的とする。また、本発明は、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することでき、高画質の動き補償フレームを生成することができる映像信号処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述した従来の技術の課題を解決するため、左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置された３Ｄ映像信号がプルダウン変換された映像信号であるか否かを検出するプルダウン検出部（１）と、前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、同じ画像内容のフレームを繰り返す繰り返し期間内で、１フレーム毎に左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することによって、同じ画像内容のそれぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したＬＲ分離信号を出力するＬＲ分離部（３）と、前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記ＬＲ分離信号の左目用画像の映像信号と右目用画像の映像信号とに対応させて、１繰り返し期間前のフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したフレーム遅延ＬＲ分離信号を出力するフレーム遅延ＬＲ分離部（２）と、前記ＬＲ分離信号の左目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の左目用画像の映像信号とによって左目用画像の映像信号の第１の動きベクトルを検出し、前記ＬＲ分離信号の右目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の右目用画像の映像信号とによって右目用画像の映像信号の第２の動きベクトルを検出する動きベクトル検出部（ＭＶＤ）と、前記第１の動きベクトルと前記第２の動きベクトルとの一方を遅延させて両者のフレームのタイミングを合わせ、フレーム単位で前記第１の動きベクトルと前記第２の動きベクトルとを結合させて、それぞれのフレームの動きベクトルとして出力するＬＲ結合部（８）とを備えることを特徴とする動きベクトル検出装置を提供する。
【００１０】
上記の動きベクトル検出装置において、前記動きベクトル検出部は、前記３Ｄ映像信号における間引かれている画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することが好ましい。
【００１１】
上記の動きベクトル検出装置において、前記動きベクトル検出部は、前記３Ｄ映像信号における存在しない画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することが好ましい。
【００１２】
上記の動きベクトル検出装置において、前記３Ｄ映像信号が２−３プルダウン変換された映像信号の場合には、前記ＬＲ分離部は、同じ画像内容のフレームを３フレーム繰り返す第１の繰り返し期間内では、３フレームの内の最初のフレームとその次のフレームとで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離し、同じ画像内容のフレームを２フレーム繰り返す第２の繰り返し期間内では、２フレームで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することが好ましい。
【００１３】
上記の動きベクトル検出装置において、前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号ではないことが検出されたとき、前記ＬＲ分離部は、それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せずそれぞれのフレームを出力し、前記フレーム遅延ＬＲ分離部は、それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せず、前記ＬＲ分離部が出力するそれぞれのフレームの１フレーム前のフレームを出力し、前記動きベクトル検出部は、前記ＬＲ分離部より出力されたフレームの映像信号と前記フレーム遅延ＬＲ分離部より出力されたフレームの映像信号とを用いて、それぞれのフレームの動きベクトルを検出することが好ましい。
【００１４】
また、本発明は、上述した従来の技術の課題を解決するため、左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置された３Ｄ映像信号がプルダウン変換された映像信号であるか否かを検出し、前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、同じ画像内容のフレームを繰り返す繰り返し期間内で、１フレーム毎に左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することによって、同じ画像内容のそれぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離してＬＲ分離信号を生成し、前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記ＬＲ分離信号の左目用画像の映像信号と右目用画像の映像信号とに対応させて、１繰り返し期間前のフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したフレーム遅延ＬＲ分離信号を生成し、前記ＬＲ分離信号の左目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の左目用画像の映像信号とによって左目用画像の映像信号の第１の動きベクトルを検出し、前記ＬＲ分離信号の右目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の右目用画像の映像信号とによって右目用画像の映像信号の第２の動きベクトルを検出し、前記第１の動きベクトルと前記第２の動きベクトルとの一方を遅延させて両者のフレームのタイミングを合わせ、フレーム単位で前記第１の動きベクトルと前記第２の動きベクトルとを結合させて、それぞれのフレームの動きベクトルを生成することを特徴とする動きベクトル検出方法を提供する。
【００１５】
上記の動きベクトル検出方法において、前記３Ｄ映像信号における間引かれている画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することが好ましい。
【００１６】
上記の動きベクトル検出方法において、前記３Ｄ映像信号における存在しない画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することが好ましい。
【００１７】
上記の動きベクトル検出方法において、前記３Ｄ映像信号が２−３プルダウン変換された映像信号の場合には、同じ画像内容のフレームを３フレーム繰り返す第１の繰り返し期間内では、３フレームの内の最初のフレームとその次のフレームとで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離し、同じ画像内容のフレームを２フレーム繰り返す第２の繰り返し期間内では、２フレームで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することが好ましい。
【００１８】
上記の動きベクトル検出方法において、前記３Ｄ映像信号がプルダウン変換された映像信号ではないことが検出されたとき、それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せず、互いに１フレーム期間ずれた２つのフレームを対として順次生成し、前記２つのフレームの映像信号を用いて、それぞれのフレームの動きベクトルを検出することが好ましい。
【００１９】
さらに、本発明は、上述した従来の技術の課題を解決するため、上記の動きベクトル検出装置と、前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記３Ｄ映像信号と前記動きベクトル検出装置によって検出された動きベクトルとを用いて動き補償フレームを生成し、前記３Ｄ映像信号における実フレームを少なくとも部分的に前記動き補償フレームに差し替える動き補償フレーム生成部（１０）とを備えることを特徴とする映像信号処理装置を提供する。
【００２０】
さらにまた、本発明は、上述した従来の技術の課題を解決するため、左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置され、プルダウン変換された３Ｄ映像信号と、上記の動きベクトル検出方法によって検出された動きベクトルとを用いて動き補償フレームを生成し、前記３Ｄ映像信号における実フレームを少なくとも部分的に前記動き補償フレームに差し替えることを特徴とする映像信号処理方法を提供する。
【発明の効果】
【００２１】
本発明の動きベクトル検出装置及び方法によれば、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することが可能となる。また、本発明の映像信号処理装置及び方法によれば、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することでき、高画質の動き補償フレームを生成することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の動きベクトル検出装置の一実施形態を示すブロック図である。
【図２】２−３プルダウン及び２−２プルダウンを説明するための図である。
【図３】３Ｄ映像信号のフォーマットの例を説明するための図である。
【図４】図１に示す一実施形態の動きベクトル検出装置にプルダウン変換された映像信号が入力された場合の動作を説明するための図である。
【図５】図１における動きベクトル検出部ＭＶＤの動作を説明するための図である。
【図６】画素が間引かれた状態の左目用画像の映像信号を概念的に示す図である。
【図７】図１に示す一実施形態の動きベクトル検出装置にプルダウン変換された映像信号ではない通常の映像信号が入力された場合の動作を説明するための図である。
【図８】本発明の映像信号処理装置の一実施形態を示すブロック図である。
【図９】図８の動作を説明するための図である。
【図１０】図８に示す一実施形態の映像信号処理装置によるフィルムジャダ除去動作を説明するための図である。
【発明を実施するための形態】
【００２３】
以下、本発明の動きベクトル検出装置及び方法、並びに、映像信号処理装置及び方法の各実施形態について、添付図面を参照して説明する。
【００２４】
＜動きベクトル検出装置及び方法の一実施形態＞
図１において、映像信号の各画素データは、プルダウン検出部１，フレーム遅延ＬＲ分離部２，ＬＲ分離部３に順次入力される。プルダウン検出部１，フレーム遅延ＬＲ分離部２，ＬＲ分離部３に入力される映像信号を映像信号Ｆ０と称することとする。プルダウン検出部１は、映像信号Ｆ０のフレームの繰り返し周期を検出することによって、映像信号Ｆ０がプルダウン変換された映像信号であるか否かを検出する。
【００２５】
図２（Ａ）は、上述した２−３プルダウンによって変換された映像信号を示しており、Ａ，Ｂ，Ｃ，Ｄ，Ｅ…はそれぞれのフレームの画像内容を示している。図２（Ａ）に示すように、同じ画像内容が３フレーム、２フレーム、３フレームと順次繰り返す。図２（Ｂ）は、毎秒３０コマ（３０Ｈｚ）のフレームを毎秒６０フレームに変換した映像信号を示している。図２（Ｂ）においても、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ…はそれぞれのフレームの画像内容を示している。１コマを２フレームずつ連続させて６０フレームに変換する変換方法を２−２プルダウンと称する。
【００２６】
プルダウン検出部１は、好ましくは、映像信号Ｆ０がプルダウン変換された映像信号であることを検出した場合、２−３プルダウンによって変換された映像信号であるのか、２−２プルダウンによって変換された映像信号であるのかも併せて検出する。プルダウン検出部１は、プルダウン変換された映像信号であるか否か、プルダウン変換された映像信号の場合に２−３プルダウンであるか２−２プルダウンであるかを示すモード検出信号Ｓpdmを生成して出力する。
【００２７】
また、プルダウン検出部１は、プルダウンの繰り返し周期であるプルダウンシーケンスに対して番号を割り振ったシーケンス管理番号Ｓpdnを生成して出力する。図２（Ａ），（Ｂ）には、それぞれのフレームに、シーケンス管理番号Ｓpdnが示す番号を併せて示している。２−３プルダウンでは、図２（Ａ）に示すように、同じ画像内容の３フレームと同じ画像内容の２フレームとの計５フレームを１周期とし、シーケンス管理番号Ｓpdnとして０〜４の番号を割り振る。２−２プルダウンでは、図２（Ｂ）に示すように、同じ画像内容の２フレームを１周期とし、シーケンス管理番号Ｓpdnとして０，１の番号を割り振る。
【００２８】
プルダウン検出部１より出力されたモード検出信号Ｓpdmは、フレーム遅延ＬＲ分離部２，ＬＲ分離部３，シフト量設定部７，ＬＲ結合部８に入力される。プルダウン検出部１より出力されたシーケンス管理番号Ｓpdnは、フレーム遅延ＬＲ分離部２，ＬＲ分離部３，ＬＲ結合部８に入力される。以下、映像信号Ｆ０が図２（Ａ）に示す２−３プルダウンによって変換された映像信号である場合を例にして説明する。
【００２９】
フレーム遅延ＬＲ分離部２及びＬＲ分離部３に入力される映像信号Ｆ０は３Ｄ映像信号（以下、３Ｄ映像信号Ｆ０と称する）である。３Ｄ映像信号のフォーマットは、一例として、図３（Ａ）に示すように、Ｌで示す左目用画像の映像信号とＲで示す右目用画像の映像信号とを水平方向に１／２に圧縮してフレームｆ内に水平方向に並べて配置するいわゆるサイド・バイ・サイド方式である。また、３Ｄ映像信号のフォーマットは、他の例として、図３（Ｂ）に示すように、Ｌで示す左目用画像の映像信号とＲで示す右目用画像の映像信号とを垂直方向に１／２に圧縮してフレームｆ内に垂直方向に並べて配置するいわゆるトップ・アンド・ボトム方式である。以下、３Ｄ映像信号Ｆ０のフォーマットをサイド・バイ・サイド方式である場合を例にして説明する。
【００３０】
図４を用いてフレーム遅延ＬＲ分離部２及びＬＲ分離部３の動作について説明する。図４において、（Ｂ）は３Ｄ映像信号Ｆ０のそれぞれのフレームを示しており、（Ａ）はプルダウン検出部１より出力されるシーケンス管理番号Ｓpdnを示している。フレームLR1-1，LR1-2，LR1-3は同じ画像内容のフレームである。フレームLR2-1，LR2-2は同じ画像内容のフレームである。フレームLR3-1，LR3-2，LR3-3は同じ画像内容のフレームである。
【００３１】
フレーム遅延ＬＲ分離部２は２フレーム分のフレームメモリを備えている。フレーム遅延ＬＲ分離部２は、フレームLR1-1の直前のフレームLR0-2を１フレーム期間遅延させ、図４（Ｃ）に示すように、フレームLR1-1のタイミングで、図３（Ａ）で説明した左目用画像の映像信号Ｌに相当する映像信号L0-2を分離してフレーム遅延ＬＲ分離信号Ｍe1として出力する。また、フレーム遅延ＬＲ分離部２は、フレームLR0-2を２フレーム期間遅延させ、図４（Ｃ）に示すように、フレームLR1-2のタイミングで、図３（Ａ）で説明した右目用画像の映像信号Ｒに相当する映像信号R0-2を分離してフレーム遅延ＬＲ分離信号Ｍe1として出力する。
【００３２】
ＬＲ分離部３は、図４（Ｄ）に示すように、フレームLR1-1のタイミングで、フレームLR1-1から左目用画像の映像信号Ｌに相当する映像信号L1-2を分離し、フレームLR1-2のタイミングで、フレームLR1-2から右目用画像の映像信号Ｒに相当する映像信号R1-2を分離して、ＬＲ分離信号Ｍe0として順次出力する。フレームLR1-3のタイミングでは、フレーム遅延ＬＲ分離信号Ｍe1及びＬＲ分離信号Ｍe0は出力されない。
【００３３】
同様にして、フレーム遅延ＬＲ分離部２は、フレームLR1-3を１フレーム期間遅延させ、図４（Ｃ）に示すように、フレームLR2-1のタイミングで映像信号L1-3を分離し、フレームLR2-2のタイミングで映像信号R1-3を分離して、フレーム遅延ＬＲ分離信号Ｍe1として順次出力する。ＬＲ分離部３は、図４（Ｄ）に示すように、フレームLR2-1のタイミングで映像信号L2-1を分離し、フレームLR2-2のタイミングで映像信号R2-2を分離して、ＬＲ分離信号Ｍe0として順次出力する。フレームLR3-1以降のタイミングでも同様の動作を繰り返す。
【００３４】
シーケンス管理番号Ｓpdnは、フレーム遅延ＬＲ分離部２，ＬＲ分離部３において、フレーム遅延ＬＲ分離信号Ｍe1，ＬＲ分離信号Ｍe0をそれぞれどのように分離するかを判断するために必要となる。モード検出信号Ｓpdmは、フレーム遅延ＬＲ分離部２，ＬＲ分離部３において、図４に示すようなプルダウン変換された信号特有の分離動作を行うか否かを切り換えるために必要となる。
【００３５】
以上の説明より分かるように、フレーム遅延ＬＲ分離部２からは、フレーム遅延させた３Ｄ映像信号Ｆ０の左目用画像の映像信号Ｌを構成する各画素データと、右目用画像の映像信号Ｒを構成する各画素データとが、フレーム期間毎にフレーム遅延ＬＲ分離信号Ｍe1として順次出力される。また、ＬＲ分離部３からは、入力されたそれぞれのフレームの３Ｄ映像信号Ｆ０の左目用画像の映像信号Ｌを構成する各画素データと、右目用画像の映像信号Ｒを構成する各画素データとが、ＬＲ分離信号Ｍe0として順次出力される。なお、左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離する順番は図４と逆でもよい。
【００３６】
ＬＲ分離部３は、プルダウン検出部１によって３Ｄ映像信号Ｆ０がプルダウン変換された映像信号であることが検出されたとき、同じ画像内容のフレームを繰り返す繰り返し期間内で、１フレーム毎に左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとをいずれかの順で順次分離することによって、同じ画像内容のそれぞれのフレームにおける左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離したＬＲ分離信号Ｍe0を出力する。
【００３７】
フレーム遅延ＬＲ分離部２は、プルダウン検出部１によって３Ｄ映像信号Ｆ０がプルダウン変換された映像信号であることが検出されたとき、ＬＲ分離信号Ｍe0の左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとに対応させて、１繰り返し期間前のフレームにおける左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離したフレーム遅延ＬＲ分離信号Ｍe1を出力する。１繰り返し期間前のフレームとは、プルダウン変換する前の元のフィルム映像における１フレーム前ということである。
【００３８】
フレーム遅延ＬＲ分離信号Ｍe1とＬＲ分離信号Ｍe0は、動きベクトル検出部ＭＶＤ内の画素ブロック指定部４に入力される。画素ブロック指定部４は、複数のラインメモリと複数の画素遅延器を備えている。画素ブロック指定部４が、フレーム遅延ＬＲ分離信号Ｍe1内の画素データを基点として動きベクトルを検出する場合には、複数のラインメモリと複数の画素遅延器によってＬＲ分離信号Ｍe0を順次遅延させて、水平方向及び垂直方向それぞれ所定の範囲の画素データを生成する。水平方向及び垂直方向それぞれ所定の範囲は動きベクトルの探索範囲である。
【００３９】
図５（Ａ）は、フレーム遅延ＬＲ分離信号Ｍe1内の画素Ｐ１を基点とした場合に、動きベクトル検出部ＭＶＤにおいて行われる動きベクトルの探索動作を概念的に示している。ここでは簡略化のため、動きベクトルの探索範囲を水平方向のみ示し、水平方向の探索範囲を５画素分としている。実際には水平方向及び垂直方向の平面的な所定の範囲が探索範囲であり、さらに多くの画素数が探索範囲となる。
【００４０】
画素ブロック指定部４が、ＬＲ分離信号Ｍe0内の画素Ｐ１を基点として動きベクトルを検出する場合には、複数のラインメモリと複数の画素遅延器によってフレーム遅延ＬＲ分離信号Ｍe1を順次遅延させて、水平方向及び垂直方向それぞれ所定の範囲の画素を示す画素データを生成する。図５（Ｂ）は、ＬＲ分離信号Ｍe0内の画素Ｐ０を基点とした場合に、動きベクトル検出部ＭＶＤにおいて行われる動きベクトルの探索動作を概念的に示している。図５（Ａ）と図５（Ｂ）とのどちらを用いてもよいし、動きベクトルの検出精度を向上させるために図５（Ａ）と図５（Ｂ）との双方を用いて動きベクトルを検出してもよい。
【００４１】
画素ブロック指定部４は、図５（Ａ），（Ｂ）に示すような動きベクトル候補ＭＶｃを生成するための画素ブロックを指定する。動きベクトルを画素単位で検出してもよいし、複数の画素であるブロック単位で検出してもよい。画素ブロックとは１画素を含むものとする。画素ブロック指定部４は、ＬＲ分離信号Ｍe0とフレーム遅延ＬＲ分離信号Ｍe1との内の一方の基点となる画素ブロックと、ＬＲ分離信号Ｍe0とフレーム遅延ＬＲ分離信号Ｍe1との内の他方の探索範囲内の画素ブロックとを対にして動きベクトル検出部ＭＶＤ内のブロックマッチング計算部（ＢＭ計算部）５１〜５ｎに供給する。
【００４２】
ＢＭ計算部５１〜５ｎは、例えば、基点となる画素ブロック内の画素データと探索範囲内の画素ブロック内の画素データとの差分絶対値和をブロックマッチング誤差値として求めて、それぞれの動きベクトル候補ＭＶｃに対応させて、動きベクトル検出部ＭＶＤ内の動きベクトル決定部６に供給する。
【００４３】
動きベクトル決定部６は、ブロックマッチング誤差値が最も小さい動きベクトル候補ＭＶｃを動きベクトルＭＶ１として出力する。ブロックマッチング誤差値が最も小さい動きベクトル候補ＭＶｃが最も相関が高い。
【００４４】
図４（Ｅ）は、動きベクトル決定部６より出力される動きベクトルＭＶ１を示している。図４（Ｃ），（Ｄ）より分かるように、それぞれのフレーム期間において出力されるフレーム遅延ＬＲ分離信号Ｍe1とＬＲ分離信号Ｍe0は、左目用画像の映像信号Ｌのみ、または、右目用画像の映像信号Ｒのみである。図４（Ｅ）に示すように、動きベクトル検出部ＭＶＤは、フレームLR1-1のタイミングで左目用画像の映像信号Ｌの動きベクトルvL01を動きベクトルＭＶ１として出力し、フレームLR1-2のタイミングで右目用画像の映像信号Ｒの動きベクトルvR01を動きベクトルＭＶ１として出力する。
【００４５】
動きベクトル検出部ＭＶＤは、フレームLR2-1のタイミングで動きベクトルvL12を動きベクトルＭＶ１として出力し、フレームLR2-2のタイミングのタイミングで動きベクトルvR12を動きベクトルＭＶ１として出力する。動きベクトル検出部ＭＶＤは、フレームLR3-1のタイミングで動きベクトルvL23を動きベクトルＭＶ１として出力し、フレームLR3-2のタイミングのタイミングで動きベクトルvR23を動きベクトルＭＶ１として出力する。
【００４６】
動きベクトルＭＶ１はＬＲ結合部８に入力される。ＬＲ結合部８はフレームメモリを備えており、図４（Ｆ）に示すように、動きベクトルＭＶ１を１フレーム期間遅延させる。即ち、ＬＲ結合部８は、左目用画像の映像信号Ｌの動きベクトルＭＶ１と右目用画像の映像信号Ｒの動きベクトルＭＶ１との一方を遅延させて両者のフレームのタイミングを合わせる。
【００４７】
ＬＲ結合部８は、図４（Ｅ）に示す動きベクトルＭＶ１と図４（Ｆ）に示す１フレーム前の動きベクトルＭＶ１とをフレームメモリに書き込んで読み出すことにより、左目用画像の映像信号Ｌの動きベクトルＭＶ１と右目用画像の映像信号Ｒの動きベクトルＭＶ１とを結合（合成）する。映像信号Ｌ，Ｒの動きベクトルＭＶ１の合成は、フレームメモリに対する書き込みアドレス制御で実現してもよいし、読み出しアドレス制御で実現してもよい。
【００４８】
ＬＲ結合部８は、モード検出信号Ｓpdmがプルダウン変換を示すモードの場合に、左目用画像の映像信号Ｌの動きベクトルＭＶ１と右目用画像の映像信号Ｒの動きベクトルＭＶ１とを合成した動きベクトルＭＶを出力する。ＬＲ結合部８は、図４（Ｇ）に示すように、動きベクトルvL01，vR01を合成して動きベクトルvLR01を生成して出力し、シーケンス管理番号Ｓpdnを参照して、動きベクトルvLR01を次の２フレームの期間も連続して出力する。また、ＬＲ結合部８は、動きベクトルvL12，vR12を合成して動きベクトルvLR12を生成して出力し、シーケンス管理番号Ｓpdnを参照して、次の１フレームの期間も連続して出力する。
【００４９】
以上のようにして、本実施形態によれば、プルダウン変換された３Ｄ映像信号における左目用画像の映像信号Ｌと右目用画像の映像信号Ｒそれぞれの動きを的確に推定した動きベクトルＭＶを検出することができる。
【００５０】
ところで、動きベクトル検出装置の回路規模を少なくするため、動きベクトル検出装置に入力する３Ｄ映像信号Ｆ０の画素を水平方向及び垂直方向に間引くことがある。図６は、画素が間引かれた状態の左目用画像の映像信号Ｌを概念的に示している。図６において、実線で示す画素Ｐａは実在の画素であり、破線で示す画素Ｐneは間引かれて存在していない画素である。上述した動きベクトルＭＶの検出処理は、図６に示す１水平期間の半分の期間ＴHLで行うことが可能であり、残りの半分の期間ＴHRは処理期間として余っていることになる。
【００５１】
そこで、本実施形態においては、より好ましい構成として、モード検出信号Ｓpdmがプルダウン変換を示すモードの場合には、シフト量設定部７が、画素ブロック指定部４に対して、間引かれた画素Ｐneを補間して生成（復元）するよう指示する。左目用画像の映像信号Ｌ及び右目用画像の映像信号Ｒの画素数を増大させれば、動きベクトル候補ＭＶｃを増やすことができ、動きベクトルＭＶの検出精度を向上させることができる。
【００５２】
仮に、１水平期間の半分の期間ＴHLまたはＴHRが処理期間として余っていない場合に、画素数を増大させてより多くの動きベクトル候補ＭＶｃを生成しようとすると、動きベクトル検出装置の回路規模を大幅に増大させなければならない。本実施形態においては、１水平期間の半分の期間ＴHLまたはＴHRが処理期間として余っているので、わずかな回路規模の増大で動きベクトルＭＶの検出精度を向上させることが可能となる。水平方向または垂直方向に隣接する画素Ｐａを平均化して補間画素を生成するための平均化回路が必要になる程度である。
【００５３】
また、動きベクトル検出装置に入力する３Ｄ映像信号Ｆ０の画素を水平方向及び垂直方向に間引かれていない場合には、より好ましい構成として、モード検出信号Ｓpdmがプルダウン変換を示すモードの場合には、シフト量設定部７が、画素ブロック指定部４に対して、３Ｄ映像信号Ｆ０における存在しない画素を補間して生成することによって画素数を増大させるよう指示する。３Ｄ映像信号Ｆ０における存在しない画素とは、いわゆるサブピクセルと称されるものである。サブピクセルを生成して、左目用画像の映像信号Ｌ及び右目用画像の映像信号Ｒの画素数を増大させれば、動きベクトル候補ＭＶｃを増やすことができ、動きベクトルＭＶの検出精度を向上させることができる。
【００５４】
次に、３Ｄ映像信号Ｆ０としてプルダウン変換された映像信号ではない通常の映像信号が入力され、モード検出信号Ｓpdmが通常の映像信号を示す場合の図１の動作について簡単に説明する。３Ｄ映像信号Ｆ０が通常の映像信号の場合には、図１の動きベクトル検出装置は、通常の動きベクトル検出装置と同様の動作によって動きベクトルＭＶを検出する。
【００５５】
図７（Ａ）は、３Ｄ映像信号Ｆ０の各フレームを示している。プルダウン変換された映像信号ではないため、フレームLR0，LR1，LR3，LR4…とそれぞれ異なる画像内容のフレームが続いている。フレーム遅延ＬＲ分離部２は、２フレーム分のフレームメモリの内の１フレーム分のフレームメモリによって、図７（Ｂ）に示すように、それぞれのフレームLR0，LR1，LR3，LR4…を１フレーム期間遅延させて、フレーム遅延信号Ｍe11として出力する。フレーム遅延ＬＲ分離部２は、左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離しない。
【００５６】
ＬＲ分離部３も、左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離せず、図７（Ｃ）に示すように、それぞれのフレームLR0，LR1，LR3，LR4…をそのまま映像信号Ｍe00として出力する。動きベクトル検出部ＭＶＤは、現在フレームの映像信号である映像信号Ｍe00と１フレーム過去のフレーム遅延信号Ｍe11とを用いて、図７（Ｄ）に示すように、動きベクトルＭＶ１を生成する。この場合、動きベクトル検出部ＭＶＤより出力される動きベクトルＭＶ１は１フレーム期間全体の動きベクトルとなる。ＬＲ結合部８は、図７（Ｅ）に示すように、動きベクトルＭＶ１をそのまま動きベクトルＭＶとして出力する。
【００５７】
以上のように、本実施形態の動きベクトル検出装置及び方法によれば、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することできる。動きベクトル検出部ＭＶＤが、３Ｄ映像信号Ｆ０における間引かれている画素を補間して画素数を増大させて、動きベクトルＭＶ１を検出したり、存在しない画素を補間して画素数を増大させて、動きベクトルＭＶ１を検出したりすれば、動きベクトルをさらに高精度に検出することできる。
【００５８】
また、本実施形態の動きベクトル検出装置及び方法によれば、３Ｄ映像信号Ｆ０がプルダウン変換された映像信号ではないことが検出されたときには、ＬＲ分離部３が、それぞれのフレームにおける左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離せずそれぞれのフレームを出力し、フレーム遅延ＬＲ分離部２が、それぞれのフレームにおける左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離せず、ＬＲ分離部３が出力するそれぞれのフレームの１フレーム前のフレームを出力するので、動きベクトル検出部ＭＶＤは通常の動きベクトルの検出動作を行うことができる。
【００５９】
＜映像信号処理装置及び方法の一実施形態＞
図８に示す映像信号処理装置は、図１に示す本実施形態の動きベクトル検出装置を用いて構成したフィルムジャダ除去装置を搭載した３Ｄ表示装置を示している。図８において、図１と同一部分には同一符号を付し、その説明を適宜省略する。
【００６０】
図８において、２フレームメモリ９には、３Ｄ映像信号Ｆ０とモード検出信号Ｓpdmとシーケンス管理番号Ｓpdnが入力される。補間フレーム生成部（動き補償フレーム生成部）１０には、ＬＲ結合部８より出力された動きベクトルＭＶと、モード検出信号Ｓpdmと、シーケンス管理番号Ｓpdnと、２フレームメモリ９より出力された後述する映像信号Ｆ０１，Ｆ１２とが入力される。図９（Ａ）に示すように、動きベクトルＭＶは、３フレーム期間連続する動きベクトルvLR01、２フレーム期間連続する動きベクトルvLR12、３フレーム期間連続する動きベクトルvLR23のように、３フレーム期間同一の動きベクトルと２フレーム期間同一の動きベクトルとを交互に繰り返す。図９（Ｂ）は、シーケンス管理番号Ｓpdnを示している。
【００６１】
モード検出信号Ｓpdmがプルダウンモードを示す場合、２フレームメモリ９は、３Ｄ映像信号Ｆ０を１フレーム期間遅延させて映像信号Ｆ０１として出力する。映像信号Ｆ０１は、図９（Ｄ）に示すように、フレームLR1-1，LR1-2，LR1-3…となる。また、モード検出信号Ｓpdmがプルダウンモードを示す場合、２フレームメモリ９は、３Ｄ映像信号Ｆ０を２フレーム期間遅延させ、２フレーム期間遅延させた信号をシーケンス管理番号Ｓpdnに従って適宜繰り返し、映像信号Ｆ１２として出力する。映像信号Ｆ１２は、図９（Ｃ）に示すように、フレームLR0-2が３フレーム期間連続し、フレームLR1-3が２フレーム期間連続し、フレームLR2-2が３フレーム期間連続する。
【００６２】
モード検出信号Ｓpdmがプルダウンモードを示す場合、補間フレーム生成部１０は、シーケンス管理番号Ｓpdnが３のとき以外では、動きベクトルＭＶに基づいて、図９（Ｃ）の映像信号Ｆ１２の画素データと図９（Ｄ）の映像信号Ｆ０１の画素データとを混合して補間フレーム（動き補償フレーム）を生成し、シーケンス管理番号Ｓpdnが３のときには、図９（Ｄ）の映像信号Ｆ０１を原画のまま出力する。補間フレーム生成部１０の出力を動き補償フレーム信号Ｆmcとする。
【００６３】
具体的には、補間フレーム生成部１０は、図９（Ｅ）に示すように、映像信号Ｆ１２のフレームLR0-2と映像信号Ｆ０１のフレームLR1-1とで補間フレームLR0.2を生成する。補間フレーム生成部１０は、映像信号Ｆ１２のフレームLR0-2と映像信号Ｆ０１のフレームLR1-2とで補間フレームLR0.6を生成する。補間フレーム生成部１０は、映像信号Ｆ０１のフレームLR1-3をそのままフレームLR1とする。
【００６４】
さらに、補間フレーム生成部１０は、映像信号Ｆ１２のフレームLR1-3と映像信号Ｆ０１のフレームLR2-1とで補間フレームLR1.4を生成し、映像信号Ｆ１２のフレームLR1-3と映像信号Ｆ０１のフレームLR2-2とで補間フレームLR1.8を生成する。補間フレーム生成部１０は、映像信号Ｆ１２のフレームLR2-2と映像信号Ｆ０１のフレームLR3-1とで補間フレームLR2.2を生成し、映像信号Ｆ１２のフレームLR2-2と映像信号Ｆ０１のフレームLR3-2とで補間フレームLR2.6を生成する。補間フレーム生成部１０は、映像信号Ｆ０１のフレームLR3-3をそのままフレームLR3とする。補間フレーム生成部１０は、これらのフレームを動き補償フレーム信号Ｆmcとして出力する。
【００６５】
図１０は、映像信号Ｆ０１と補間フレーム生成部１０より出力された動き補償フレーム信号Ｆmcとを示している。映像信号Ｆ０１は、２−３プルダウンによって変換された映像信号であるので、図１０（Ａ）に示すように、動きが滑らかでない。図１０（Ａ）におけるフレームLR1-1は、図１０（Ｂ）に示すように補間フレームLR0.2に差し替えられ、図１０（Ａ）におけるフレームLR1-2は、図１０（Ｂ）に示すように補間フレームLR0.6に差し替えられている。図１０（Ａ）におけるフレームLR1-3は、そのまま図１０（Ｂ）に示すフレームLR1となっている。
【００６６】
図１０（Ａ）におけるフレームLR2-1，LR2-2，LR3-1，LR3-2は、図１０（Ｂ）に示すように補間フレームLR1.4，LR1.8，LR2.2，LR2.6に差し替えられている。図１０（Ａ）におけるフレームLR4-1は、そのまま図１０（Ｂ）に示すフレームLR3となっている。図１０（Ａ）におけるフレームLR4-1は、図１０（Ｂ）に示すように補間フレームLR3.4に差し替えられている。図１０（Ｂ）に示すように、動き補償フレーム信号Ｆmcは、フィルムジャダが除去されて動きが滑らかとなっている。
【００６７】
図８に戻り、動き補償フレーム信号Ｆmcは３Ｄ表示用ＬＲ分離部１１に入力される。３Ｄ表示用ＬＲ分離部１１は、図９（Ｆ）に示すように、動き補償フレーム信号Ｆmcの各フレームLR0.2，LR0.6，LR1，LR1.4…を、左目用画像の映像信号Ｌに相当するL0.2，L0.6，L1，L1.4…と右目用画像の映像信号Ｒに相当するR0.2，R0.6，R1，R1.4…とに分離し、１／１２０秒ずつのタイミングでＬＲ分離信号Ｆlrとして出力する。ＬＲ分離信号Ｆlrはスケーラ１２に入力される。
【００６８】
ＬＲ分離信号Ｆlrの左目用画像の映像信号L0.2，L0.6，L1，L1.4…と右目用画像の映像信号R0.2，R0.6，R1，R1.4…は、水平方向に１／２に圧縮された信号であるので、スケーラ１２は、左目用画像の映像信号L0.2，L0.6，L1，L1.4…と右目用画像の映像信号R0.2，R0.6，R1，R1.4…とを水平方向に２倍に伸張させる。スケーラ１２は、水平方向に伸張させた３Ｄ表示用映像信号Ｆ3Dを３Ｄ映像表示部１３に供給する。３Ｄ表示用映像信号Ｆ3Dは、図９（Ｇ）に示すように、左目用画像の映像信号L0.2，L0.6，L1，L1.4…と右目用画像の映像信号R0.2，R0.6，R1，R1.4…とを水平方向に伸張させた左目用画像の映像信号L0.2s，L0.6s，L1s，L1.4s…と右目用画像の映像信号R0.2s，R0.6s，R1s，R1.4s…である。
【００６９】
３Ｄ映像表示部１３は、左目用画像の映像信号L0.2s，L0.6s，L1s，L1.4s…と右目用画像の映像信号R0.2s，R0.6s，R1s，R1.4s…とを１／１２０秒ずつ交互に表示する。視聴者は、例えば液晶シャッタ眼鏡を装着して、３Ｄ映像表示部１３に表示された３Ｄ表示用映像信号Ｆ3Dを見る。左目用画像の映像信号L0.2s，L0.6s，L1s，L1.4s…が表示されているタイミングでは左目の液晶シャッタを閉じ、右目用画像の映像信号R0.2s，R0.6s，R1s，R1.4s…が表示されているタイミングでは右目の液晶シャッタを閉じるよう、３Ｄ映像表示部１３での３Ｄ表示用映像信号Ｆ3Dの表示と液晶シャッタ眼鏡との駆動タイミングを同期させる。これによって、視聴者は、３Ｄ映像を視認することができる。
【００７０】
以上のように、本実施形態の映像信号処理装置及び方法によれば、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することでき、高画質の動き補償フレームを生成することができる。本実施形態の映像信号処理装置及び方法によれば、フィルムジャダを効果的に除去することができる。
【００７１】
本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【００７２】
１ プルダウン検出部
２ フレーム遅延ＬＲ分離部
３ ＬＲ分離部
４ 画素ブロック指定部
５１〜５ｎ ブロックマッチング計算部
６ 動きベクトル決定部
７ シフト量設定部
８ ＬＲ結合部
９ ２フレームメモリ
１０ 補間フレーム生成部（動き補償フレーム生成部）
１１ ３Ｄ表示用ＬＲ分離部
１２ スケーラ
１３ ３Ｄ映像表示部
ＭＶＤ 動きベクトル検出部
【技術分野】
【０００１】
本発明は、画像の動きベクトルを検出する動きベクトル検出装置及び方法、並びに、動きベクトルを用いて動き補償フレームを生成する映像信号処理装置及び方法に関する。
【背景技術】
【０００２】
液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させて動画特性を向上させるために、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上のフレームレートに変換して画像表示することが行われている。映像信号のフレームレートを変換するフレームレート変換装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する動き補償フレームとしての補間フレームを生成する。
【０００３】
映像信号の中には、映画のフィルム映像のように毎秒２４コマ（２４Ｈｚ）のフレームを毎秒６０フレームに変換した映像信号がある。この場合、フィルム映像の１コマを３フレーム連続させ、次の１コマを２フレーム連続させ、さらにその次の１コマを３フレーム連続させるように順次繰り返して６０フレームに変換する２−３プルダウンと称される変換方法が用いられる。従って、２−３プルダウンによって垂直周波数６０Ｈｚに変換された映像信号は動きが滑らかでない。フィルム映像を垂直周波数６０Ｈｚの映像信号に変換した場合の動きが滑らかでない状態をフィルムジャダと称している。
【０００４】
そこで、複数の実フレーム及び動きベクトルを用いて動き補償フレームを生成し、実フレームを動き補償フレームに差し替えることによってフィルムジャダを除去して動きが滑らかな映像信号とするフィルムジャダ除去装置が用いられている。フィルムジャダ除去装置によってフィルムジャダを除去し、さらに、フレームレート変換装置によってフレームレートを増大させることも行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２００８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、立体映像（３Ｄ映像）が普及し始めており、フレームレート変換装置やフィルムジャダ除去装置等の映像信号処理装置に対して、３Ｄ映像信号が供給されるようになってきた。３Ｄ映像信号のフォーマットとして、１フレーム内に左目用画像と右目用画像とを圧縮して並べて水平方向または垂直方向に配置するフォーマットがある。この場合、左目用画像の映像信号と右目用画像の映像信号はそれぞれ水平方向または垂直方向に１／２に圧縮されているので、動きベクトルの検出精度が悪化することになる。３Ｄ映像信号がプルダウン変換された映像信号である場合には、１フレームで画像が動く距離が大きくなるので、動きベクトルの検出精度はさらに悪化することになる。
【０００７】
このように、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号の場合には、動きベクトルを高精度に検出することが難しい。従って、動き補償フレームを生成する映像信号処理装置では、誤補間が発生しやすく、動き補償フレームの画質を悪化させてしまうという問題点があった。
【０００８】
本発明はこのような問題点に鑑み、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することできる動きベクトル検出装置及び方法を提供することを目的とする。また、本発明は、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することでき、高画質の動き補償フレームを生成することができる映像信号処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述した従来の技術の課題を解決するため、左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置された３Ｄ映像信号がプルダウン変換された映像信号であるか否かを検出するプルダウン検出部（１）と、前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、同じ画像内容のフレームを繰り返す繰り返し期間内で、１フレーム毎に左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することによって、同じ画像内容のそれぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したＬＲ分離信号を出力するＬＲ分離部（３）と、前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記ＬＲ分離信号の左目用画像の映像信号と右目用画像の映像信号とに対応させて、１繰り返し期間前のフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したフレーム遅延ＬＲ分離信号を出力するフレーム遅延ＬＲ分離部（２）と、前記ＬＲ分離信号の左目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の左目用画像の映像信号とによって左目用画像の映像信号の第１の動きベクトルを検出し、前記ＬＲ分離信号の右目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の右目用画像の映像信号とによって右目用画像の映像信号の第２の動きベクトルを検出する動きベクトル検出部（ＭＶＤ）と、前記第１の動きベクトルと前記第２の動きベクトルとの一方を遅延させて両者のフレームのタイミングを合わせ、フレーム単位で前記第１の動きベクトルと前記第２の動きベクトルとを結合させて、それぞれのフレームの動きベクトルとして出力するＬＲ結合部（８）とを備えることを特徴とする動きベクトル検出装置を提供する。
【００１０】
上記の動きベクトル検出装置において、前記動きベクトル検出部は、前記３Ｄ映像信号における間引かれている画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することが好ましい。
【００１１】
上記の動きベクトル検出装置において、前記動きベクトル検出部は、前記３Ｄ映像信号における存在しない画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することが好ましい。
【００１２】
上記の動きベクトル検出装置において、前記３Ｄ映像信号が２−３プルダウン変換された映像信号の場合には、前記ＬＲ分離部は、同じ画像内容のフレームを３フレーム繰り返す第１の繰り返し期間内では、３フレームの内の最初のフレームとその次のフレームとで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離し、同じ画像内容のフレームを２フレーム繰り返す第２の繰り返し期間内では、２フレームで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することが好ましい。
【００１３】
上記の動きベクトル検出装置において、前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号ではないことが検出されたとき、前記ＬＲ分離部は、それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せずそれぞれのフレームを出力し、前記フレーム遅延ＬＲ分離部は、それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せず、前記ＬＲ分離部が出力するそれぞれのフレームの１フレーム前のフレームを出力し、前記動きベクトル検出部は、前記ＬＲ分離部より出力されたフレームの映像信号と前記フレーム遅延ＬＲ分離部より出力されたフレームの映像信号とを用いて、それぞれのフレームの動きベクトルを検出することが好ましい。
【００１４】
また、本発明は、上述した従来の技術の課題を解決するため、左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置された３Ｄ映像信号がプルダウン変換された映像信号であるか否かを検出し、前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、同じ画像内容のフレームを繰り返す繰り返し期間内で、１フレーム毎に左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することによって、同じ画像内容のそれぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離してＬＲ分離信号を生成し、前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記ＬＲ分離信号の左目用画像の映像信号と右目用画像の映像信号とに対応させて、１繰り返し期間前のフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したフレーム遅延ＬＲ分離信号を生成し、前記ＬＲ分離信号の左目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の左目用画像の映像信号とによって左目用画像の映像信号の第１の動きベクトルを検出し、前記ＬＲ分離信号の右目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の右目用画像の映像信号とによって右目用画像の映像信号の第２の動きベクトルを検出し、前記第１の動きベクトルと前記第２の動きベクトルとの一方を遅延させて両者のフレームのタイミングを合わせ、フレーム単位で前記第１の動きベクトルと前記第２の動きベクトルとを結合させて、それぞれのフレームの動きベクトルを生成することを特徴とする動きベクトル検出方法を提供する。
【００１５】
上記の動きベクトル検出方法において、前記３Ｄ映像信号における間引かれている画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することが好ましい。
【００１６】
上記の動きベクトル検出方法において、前記３Ｄ映像信号における存在しない画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することが好ましい。
【００１７】
上記の動きベクトル検出方法において、前記３Ｄ映像信号が２−３プルダウン変換された映像信号の場合には、同じ画像内容のフレームを３フレーム繰り返す第１の繰り返し期間内では、３フレームの内の最初のフレームとその次のフレームとで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離し、同じ画像内容のフレームを２フレーム繰り返す第２の繰り返し期間内では、２フレームで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することが好ましい。
【００１８】
上記の動きベクトル検出方法において、前記３Ｄ映像信号がプルダウン変換された映像信号ではないことが検出されたとき、それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せず、互いに１フレーム期間ずれた２つのフレームを対として順次生成し、前記２つのフレームの映像信号を用いて、それぞれのフレームの動きベクトルを検出することが好ましい。
【００１９】
さらに、本発明は、上述した従来の技術の課題を解決するため、上記の動きベクトル検出装置と、前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記３Ｄ映像信号と前記動きベクトル検出装置によって検出された動きベクトルとを用いて動き補償フレームを生成し、前記３Ｄ映像信号における実フレームを少なくとも部分的に前記動き補償フレームに差し替える動き補償フレーム生成部（１０）とを備えることを特徴とする映像信号処理装置を提供する。
【００２０】
さらにまた、本発明は、上述した従来の技術の課題を解決するため、左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置され、プルダウン変換された３Ｄ映像信号と、上記の動きベクトル検出方法によって検出された動きベクトルとを用いて動き補償フレームを生成し、前記３Ｄ映像信号における実フレームを少なくとも部分的に前記動き補償フレームに差し替えることを特徴とする映像信号処理方法を提供する。
【発明の効果】
【００２１】
本発明の動きベクトル検出装置及び方法によれば、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することが可能となる。また、本発明の映像信号処理装置及び方法によれば、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することでき、高画質の動き補償フレームを生成することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の動きベクトル検出装置の一実施形態を示すブロック図である。
【図２】２−３プルダウン及び２−２プルダウンを説明するための図である。
【図３】３Ｄ映像信号のフォーマットの例を説明するための図である。
【図４】図１に示す一実施形態の動きベクトル検出装置にプルダウン変換された映像信号が入力された場合の動作を説明するための図である。
【図５】図１における動きベクトル検出部ＭＶＤの動作を説明するための図である。
【図６】画素が間引かれた状態の左目用画像の映像信号を概念的に示す図である。
【図７】図１に示す一実施形態の動きベクトル検出装置にプルダウン変換された映像信号ではない通常の映像信号が入力された場合の動作を説明するための図である。
【図８】本発明の映像信号処理装置の一実施形態を示すブロック図である。
【図９】図８の動作を説明するための図である。
【図１０】図８に示す一実施形態の映像信号処理装置によるフィルムジャダ除去動作を説明するための図である。
【発明を実施するための形態】
【００２３】
以下、本発明の動きベクトル検出装置及び方法、並びに、映像信号処理装置及び方法の各実施形態について、添付図面を参照して説明する。
【００２４】
＜動きベクトル検出装置及び方法の一実施形態＞
図１において、映像信号の各画素データは、プルダウン検出部１，フレーム遅延ＬＲ分離部２，ＬＲ分離部３に順次入力される。プルダウン検出部１，フレーム遅延ＬＲ分離部２，ＬＲ分離部３に入力される映像信号を映像信号Ｆ０と称することとする。プルダウン検出部１は、映像信号Ｆ０のフレームの繰り返し周期を検出することによって、映像信号Ｆ０がプルダウン変換された映像信号であるか否かを検出する。
【００２５】
図２（Ａ）は、上述した２−３プルダウンによって変換された映像信号を示しており、Ａ，Ｂ，Ｃ，Ｄ，Ｅ…はそれぞれのフレームの画像内容を示している。図２（Ａ）に示すように、同じ画像内容が３フレーム、２フレーム、３フレームと順次繰り返す。図２（Ｂ）は、毎秒３０コマ（３０Ｈｚ）のフレームを毎秒６０フレームに変換した映像信号を示している。図２（Ｂ）においても、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ…はそれぞれのフレームの画像内容を示している。１コマを２フレームずつ連続させて６０フレームに変換する変換方法を２−２プルダウンと称する。
【００２６】
プルダウン検出部１は、好ましくは、映像信号Ｆ０がプルダウン変換された映像信号であることを検出した場合、２−３プルダウンによって変換された映像信号であるのか、２−２プルダウンによって変換された映像信号であるのかも併せて検出する。プルダウン検出部１は、プルダウン変換された映像信号であるか否か、プルダウン変換された映像信号の場合に２−３プルダウンであるか２−２プルダウンであるかを示すモード検出信号Ｓpdmを生成して出力する。
【００２７】
また、プルダウン検出部１は、プルダウンの繰り返し周期であるプルダウンシーケンスに対して番号を割り振ったシーケンス管理番号Ｓpdnを生成して出力する。図２（Ａ），（Ｂ）には、それぞれのフレームに、シーケンス管理番号Ｓpdnが示す番号を併せて示している。２−３プルダウンでは、図２（Ａ）に示すように、同じ画像内容の３フレームと同じ画像内容の２フレームとの計５フレームを１周期とし、シーケンス管理番号Ｓpdnとして０〜４の番号を割り振る。２−２プルダウンでは、図２（Ｂ）に示すように、同じ画像内容の２フレームを１周期とし、シーケンス管理番号Ｓpdnとして０，１の番号を割り振る。
【００２８】
プルダウン検出部１より出力されたモード検出信号Ｓpdmは、フレーム遅延ＬＲ分離部２，ＬＲ分離部３，シフト量設定部７，ＬＲ結合部８に入力される。プルダウン検出部１より出力されたシーケンス管理番号Ｓpdnは、フレーム遅延ＬＲ分離部２，ＬＲ分離部３，ＬＲ結合部８に入力される。以下、映像信号Ｆ０が図２（Ａ）に示す２−３プルダウンによって変換された映像信号である場合を例にして説明する。
【００２９】
フレーム遅延ＬＲ分離部２及びＬＲ分離部３に入力される映像信号Ｆ０は３Ｄ映像信号（以下、３Ｄ映像信号Ｆ０と称する）である。３Ｄ映像信号のフォーマットは、一例として、図３（Ａ）に示すように、Ｌで示す左目用画像の映像信号とＲで示す右目用画像の映像信号とを水平方向に１／２に圧縮してフレームｆ内に水平方向に並べて配置するいわゆるサイド・バイ・サイド方式である。また、３Ｄ映像信号のフォーマットは、他の例として、図３（Ｂ）に示すように、Ｌで示す左目用画像の映像信号とＲで示す右目用画像の映像信号とを垂直方向に１／２に圧縮してフレームｆ内に垂直方向に並べて配置するいわゆるトップ・アンド・ボトム方式である。以下、３Ｄ映像信号Ｆ０のフォーマットをサイド・バイ・サイド方式である場合を例にして説明する。
【００３０】
図４を用いてフレーム遅延ＬＲ分離部２及びＬＲ分離部３の動作について説明する。図４において、（Ｂ）は３Ｄ映像信号Ｆ０のそれぞれのフレームを示しており、（Ａ）はプルダウン検出部１より出力されるシーケンス管理番号Ｓpdnを示している。フレームLR1-1，LR1-2，LR1-3は同じ画像内容のフレームである。フレームLR2-1，LR2-2は同じ画像内容のフレームである。フレームLR3-1，LR3-2，LR3-3は同じ画像内容のフレームである。
【００３１】
フレーム遅延ＬＲ分離部２は２フレーム分のフレームメモリを備えている。フレーム遅延ＬＲ分離部２は、フレームLR1-1の直前のフレームLR0-2を１フレーム期間遅延させ、図４（Ｃ）に示すように、フレームLR1-1のタイミングで、図３（Ａ）で説明した左目用画像の映像信号Ｌに相当する映像信号L0-2を分離してフレーム遅延ＬＲ分離信号Ｍe1として出力する。また、フレーム遅延ＬＲ分離部２は、フレームLR0-2を２フレーム期間遅延させ、図４（Ｃ）に示すように、フレームLR1-2のタイミングで、図３（Ａ）で説明した右目用画像の映像信号Ｒに相当する映像信号R0-2を分離してフレーム遅延ＬＲ分離信号Ｍe1として出力する。
【００３２】
ＬＲ分離部３は、図４（Ｄ）に示すように、フレームLR1-1のタイミングで、フレームLR1-1から左目用画像の映像信号Ｌに相当する映像信号L1-2を分離し、フレームLR1-2のタイミングで、フレームLR1-2から右目用画像の映像信号Ｒに相当する映像信号R1-2を分離して、ＬＲ分離信号Ｍe0として順次出力する。フレームLR1-3のタイミングでは、フレーム遅延ＬＲ分離信号Ｍe1及びＬＲ分離信号Ｍe0は出力されない。
【００３３】
同様にして、フレーム遅延ＬＲ分離部２は、フレームLR1-3を１フレーム期間遅延させ、図４（Ｃ）に示すように、フレームLR2-1のタイミングで映像信号L1-3を分離し、フレームLR2-2のタイミングで映像信号R1-3を分離して、フレーム遅延ＬＲ分離信号Ｍe1として順次出力する。ＬＲ分離部３は、図４（Ｄ）に示すように、フレームLR2-1のタイミングで映像信号L2-1を分離し、フレームLR2-2のタイミングで映像信号R2-2を分離して、ＬＲ分離信号Ｍe0として順次出力する。フレームLR3-1以降のタイミングでも同様の動作を繰り返す。
【００３４】
シーケンス管理番号Ｓpdnは、フレーム遅延ＬＲ分離部２，ＬＲ分離部３において、フレーム遅延ＬＲ分離信号Ｍe1，ＬＲ分離信号Ｍe0をそれぞれどのように分離するかを判断するために必要となる。モード検出信号Ｓpdmは、フレーム遅延ＬＲ分離部２，ＬＲ分離部３において、図４に示すようなプルダウン変換された信号特有の分離動作を行うか否かを切り換えるために必要となる。
【００３５】
以上の説明より分かるように、フレーム遅延ＬＲ分離部２からは、フレーム遅延させた３Ｄ映像信号Ｆ０の左目用画像の映像信号Ｌを構成する各画素データと、右目用画像の映像信号Ｒを構成する各画素データとが、フレーム期間毎にフレーム遅延ＬＲ分離信号Ｍe1として順次出力される。また、ＬＲ分離部３からは、入力されたそれぞれのフレームの３Ｄ映像信号Ｆ０の左目用画像の映像信号Ｌを構成する各画素データと、右目用画像の映像信号Ｒを構成する各画素データとが、ＬＲ分離信号Ｍe0として順次出力される。なお、左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離する順番は図４と逆でもよい。
【００３６】
ＬＲ分離部３は、プルダウン検出部１によって３Ｄ映像信号Ｆ０がプルダウン変換された映像信号であることが検出されたとき、同じ画像内容のフレームを繰り返す繰り返し期間内で、１フレーム毎に左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとをいずれかの順で順次分離することによって、同じ画像内容のそれぞれのフレームにおける左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離したＬＲ分離信号Ｍe0を出力する。
【００３７】
フレーム遅延ＬＲ分離部２は、プルダウン検出部１によって３Ｄ映像信号Ｆ０がプルダウン変換された映像信号であることが検出されたとき、ＬＲ分離信号Ｍe0の左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとに対応させて、１繰り返し期間前のフレームにおける左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離したフレーム遅延ＬＲ分離信号Ｍe1を出力する。１繰り返し期間前のフレームとは、プルダウン変換する前の元のフィルム映像における１フレーム前ということである。
【００３８】
フレーム遅延ＬＲ分離信号Ｍe1とＬＲ分離信号Ｍe0は、動きベクトル検出部ＭＶＤ内の画素ブロック指定部４に入力される。画素ブロック指定部４は、複数のラインメモリと複数の画素遅延器を備えている。画素ブロック指定部４が、フレーム遅延ＬＲ分離信号Ｍe1内の画素データを基点として動きベクトルを検出する場合には、複数のラインメモリと複数の画素遅延器によってＬＲ分離信号Ｍe0を順次遅延させて、水平方向及び垂直方向それぞれ所定の範囲の画素データを生成する。水平方向及び垂直方向それぞれ所定の範囲は動きベクトルの探索範囲である。
【００３９】
図５（Ａ）は、フレーム遅延ＬＲ分離信号Ｍe1内の画素Ｐ１を基点とした場合に、動きベクトル検出部ＭＶＤにおいて行われる動きベクトルの探索動作を概念的に示している。ここでは簡略化のため、動きベクトルの探索範囲を水平方向のみ示し、水平方向の探索範囲を５画素分としている。実際には水平方向及び垂直方向の平面的な所定の範囲が探索範囲であり、さらに多くの画素数が探索範囲となる。
【００４０】
画素ブロック指定部４が、ＬＲ分離信号Ｍe0内の画素Ｐ１を基点として動きベクトルを検出する場合には、複数のラインメモリと複数の画素遅延器によってフレーム遅延ＬＲ分離信号Ｍe1を順次遅延させて、水平方向及び垂直方向それぞれ所定の範囲の画素を示す画素データを生成する。図５（Ｂ）は、ＬＲ分離信号Ｍe0内の画素Ｐ０を基点とした場合に、動きベクトル検出部ＭＶＤにおいて行われる動きベクトルの探索動作を概念的に示している。図５（Ａ）と図５（Ｂ）とのどちらを用いてもよいし、動きベクトルの検出精度を向上させるために図５（Ａ）と図５（Ｂ）との双方を用いて動きベクトルを検出してもよい。
【００４１】
画素ブロック指定部４は、図５（Ａ），（Ｂ）に示すような動きベクトル候補ＭＶｃを生成するための画素ブロックを指定する。動きベクトルを画素単位で検出してもよいし、複数の画素であるブロック単位で検出してもよい。画素ブロックとは１画素を含むものとする。画素ブロック指定部４は、ＬＲ分離信号Ｍe0とフレーム遅延ＬＲ分離信号Ｍe1との内の一方の基点となる画素ブロックと、ＬＲ分離信号Ｍe0とフレーム遅延ＬＲ分離信号Ｍe1との内の他方の探索範囲内の画素ブロックとを対にして動きベクトル検出部ＭＶＤ内のブロックマッチング計算部（ＢＭ計算部）５１〜５ｎに供給する。
【００４２】
ＢＭ計算部５１〜５ｎは、例えば、基点となる画素ブロック内の画素データと探索範囲内の画素ブロック内の画素データとの差分絶対値和をブロックマッチング誤差値として求めて、それぞれの動きベクトル候補ＭＶｃに対応させて、動きベクトル検出部ＭＶＤ内の動きベクトル決定部６に供給する。
【００４３】
動きベクトル決定部６は、ブロックマッチング誤差値が最も小さい動きベクトル候補ＭＶｃを動きベクトルＭＶ１として出力する。ブロックマッチング誤差値が最も小さい動きベクトル候補ＭＶｃが最も相関が高い。
【００４４】
図４（Ｅ）は、動きベクトル決定部６より出力される動きベクトルＭＶ１を示している。図４（Ｃ），（Ｄ）より分かるように、それぞれのフレーム期間において出力されるフレーム遅延ＬＲ分離信号Ｍe1とＬＲ分離信号Ｍe0は、左目用画像の映像信号Ｌのみ、または、右目用画像の映像信号Ｒのみである。図４（Ｅ）に示すように、動きベクトル検出部ＭＶＤは、フレームLR1-1のタイミングで左目用画像の映像信号Ｌの動きベクトルvL01を動きベクトルＭＶ１として出力し、フレームLR1-2のタイミングで右目用画像の映像信号Ｒの動きベクトルvR01を動きベクトルＭＶ１として出力する。
【００４５】
動きベクトル検出部ＭＶＤは、フレームLR2-1のタイミングで動きベクトルvL12を動きベクトルＭＶ１として出力し、フレームLR2-2のタイミングのタイミングで動きベクトルvR12を動きベクトルＭＶ１として出力する。動きベクトル検出部ＭＶＤは、フレームLR3-1のタイミングで動きベクトルvL23を動きベクトルＭＶ１として出力し、フレームLR3-2のタイミングのタイミングで動きベクトルvR23を動きベクトルＭＶ１として出力する。
【００４６】
動きベクトルＭＶ１はＬＲ結合部８に入力される。ＬＲ結合部８はフレームメモリを備えており、図４（Ｆ）に示すように、動きベクトルＭＶ１を１フレーム期間遅延させる。即ち、ＬＲ結合部８は、左目用画像の映像信号Ｌの動きベクトルＭＶ１と右目用画像の映像信号Ｒの動きベクトルＭＶ１との一方を遅延させて両者のフレームのタイミングを合わせる。
【００４７】
ＬＲ結合部８は、図４（Ｅ）に示す動きベクトルＭＶ１と図４（Ｆ）に示す１フレーム前の動きベクトルＭＶ１とをフレームメモリに書き込んで読み出すことにより、左目用画像の映像信号Ｌの動きベクトルＭＶ１と右目用画像の映像信号Ｒの動きベクトルＭＶ１とを結合（合成）する。映像信号Ｌ，Ｒの動きベクトルＭＶ１の合成は、フレームメモリに対する書き込みアドレス制御で実現してもよいし、読み出しアドレス制御で実現してもよい。
【００４８】
ＬＲ結合部８は、モード検出信号Ｓpdmがプルダウン変換を示すモードの場合に、左目用画像の映像信号Ｌの動きベクトルＭＶ１と右目用画像の映像信号Ｒの動きベクトルＭＶ１とを合成した動きベクトルＭＶを出力する。ＬＲ結合部８は、図４（Ｇ）に示すように、動きベクトルvL01，vR01を合成して動きベクトルvLR01を生成して出力し、シーケンス管理番号Ｓpdnを参照して、動きベクトルvLR01を次の２フレームの期間も連続して出力する。また、ＬＲ結合部８は、動きベクトルvL12，vR12を合成して動きベクトルvLR12を生成して出力し、シーケンス管理番号Ｓpdnを参照して、次の１フレームの期間も連続して出力する。
【００４９】
以上のようにして、本実施形態によれば、プルダウン変換された３Ｄ映像信号における左目用画像の映像信号Ｌと右目用画像の映像信号Ｒそれぞれの動きを的確に推定した動きベクトルＭＶを検出することができる。
【００５０】
ところで、動きベクトル検出装置の回路規模を少なくするため、動きベクトル検出装置に入力する３Ｄ映像信号Ｆ０の画素を水平方向及び垂直方向に間引くことがある。図６は、画素が間引かれた状態の左目用画像の映像信号Ｌを概念的に示している。図６において、実線で示す画素Ｐａは実在の画素であり、破線で示す画素Ｐneは間引かれて存在していない画素である。上述した動きベクトルＭＶの検出処理は、図６に示す１水平期間の半分の期間ＴHLで行うことが可能であり、残りの半分の期間ＴHRは処理期間として余っていることになる。
【００５１】
そこで、本実施形態においては、より好ましい構成として、モード検出信号Ｓpdmがプルダウン変換を示すモードの場合には、シフト量設定部７が、画素ブロック指定部４に対して、間引かれた画素Ｐneを補間して生成（復元）するよう指示する。左目用画像の映像信号Ｌ及び右目用画像の映像信号Ｒの画素数を増大させれば、動きベクトル候補ＭＶｃを増やすことができ、動きベクトルＭＶの検出精度を向上させることができる。
【００５２】
仮に、１水平期間の半分の期間ＴHLまたはＴHRが処理期間として余っていない場合に、画素数を増大させてより多くの動きベクトル候補ＭＶｃを生成しようとすると、動きベクトル検出装置の回路規模を大幅に増大させなければならない。本実施形態においては、１水平期間の半分の期間ＴHLまたはＴHRが処理期間として余っているので、わずかな回路規模の増大で動きベクトルＭＶの検出精度を向上させることが可能となる。水平方向または垂直方向に隣接する画素Ｐａを平均化して補間画素を生成するための平均化回路が必要になる程度である。
【００５３】
また、動きベクトル検出装置に入力する３Ｄ映像信号Ｆ０の画素を水平方向及び垂直方向に間引かれていない場合には、より好ましい構成として、モード検出信号Ｓpdmがプルダウン変換を示すモードの場合には、シフト量設定部７が、画素ブロック指定部４に対して、３Ｄ映像信号Ｆ０における存在しない画素を補間して生成することによって画素数を増大させるよう指示する。３Ｄ映像信号Ｆ０における存在しない画素とは、いわゆるサブピクセルと称されるものである。サブピクセルを生成して、左目用画像の映像信号Ｌ及び右目用画像の映像信号Ｒの画素数を増大させれば、動きベクトル候補ＭＶｃを増やすことができ、動きベクトルＭＶの検出精度を向上させることができる。
【００５４】
次に、３Ｄ映像信号Ｆ０としてプルダウン変換された映像信号ではない通常の映像信号が入力され、モード検出信号Ｓpdmが通常の映像信号を示す場合の図１の動作について簡単に説明する。３Ｄ映像信号Ｆ０が通常の映像信号の場合には、図１の動きベクトル検出装置は、通常の動きベクトル検出装置と同様の動作によって動きベクトルＭＶを検出する。
【００５５】
図７（Ａ）は、３Ｄ映像信号Ｆ０の各フレームを示している。プルダウン変換された映像信号ではないため、フレームLR0，LR1，LR3，LR4…とそれぞれ異なる画像内容のフレームが続いている。フレーム遅延ＬＲ分離部２は、２フレーム分のフレームメモリの内の１フレーム分のフレームメモリによって、図７（Ｂ）に示すように、それぞれのフレームLR0，LR1，LR3，LR4…を１フレーム期間遅延させて、フレーム遅延信号Ｍe11として出力する。フレーム遅延ＬＲ分離部２は、左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離しない。
【００５６】
ＬＲ分離部３も、左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離せず、図７（Ｃ）に示すように、それぞれのフレームLR0，LR1，LR3，LR4…をそのまま映像信号Ｍe00として出力する。動きベクトル検出部ＭＶＤは、現在フレームの映像信号である映像信号Ｍe00と１フレーム過去のフレーム遅延信号Ｍe11とを用いて、図７（Ｄ）に示すように、動きベクトルＭＶ１を生成する。この場合、動きベクトル検出部ＭＶＤより出力される動きベクトルＭＶ１は１フレーム期間全体の動きベクトルとなる。ＬＲ結合部８は、図７（Ｅ）に示すように、動きベクトルＭＶ１をそのまま動きベクトルＭＶとして出力する。
【００５７】
以上のように、本実施形態の動きベクトル検出装置及び方法によれば、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することできる。動きベクトル検出部ＭＶＤが、３Ｄ映像信号Ｆ０における間引かれている画素を補間して画素数を増大させて、動きベクトルＭＶ１を検出したり、存在しない画素を補間して画素数を増大させて、動きベクトルＭＶ１を検出したりすれば、動きベクトルをさらに高精度に検出することできる。
【００５８】
また、本実施形態の動きベクトル検出装置及び方法によれば、３Ｄ映像信号Ｆ０がプルダウン変換された映像信号ではないことが検出されたときには、ＬＲ分離部３が、それぞれのフレームにおける左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離せずそれぞれのフレームを出力し、フレーム遅延ＬＲ分離部２が、それぞれのフレームにおける左目用画像の映像信号Ｌと右目用画像の映像信号Ｒとを分離せず、ＬＲ分離部３が出力するそれぞれのフレームの１フレーム前のフレームを出力するので、動きベクトル検出部ＭＶＤは通常の動きベクトルの検出動作を行うことができる。
【００５９】
＜映像信号処理装置及び方法の一実施形態＞
図８に示す映像信号処理装置は、図１に示す本実施形態の動きベクトル検出装置を用いて構成したフィルムジャダ除去装置を搭載した３Ｄ表示装置を示している。図８において、図１と同一部分には同一符号を付し、その説明を適宜省略する。
【００６０】
図８において、２フレームメモリ９には、３Ｄ映像信号Ｆ０とモード検出信号Ｓpdmとシーケンス管理番号Ｓpdnが入力される。補間フレーム生成部（動き補償フレーム生成部）１０には、ＬＲ結合部８より出力された動きベクトルＭＶと、モード検出信号Ｓpdmと、シーケンス管理番号Ｓpdnと、２フレームメモリ９より出力された後述する映像信号Ｆ０１，Ｆ１２とが入力される。図９（Ａ）に示すように、動きベクトルＭＶは、３フレーム期間連続する動きベクトルvLR01、２フレーム期間連続する動きベクトルvLR12、３フレーム期間連続する動きベクトルvLR23のように、３フレーム期間同一の動きベクトルと２フレーム期間同一の動きベクトルとを交互に繰り返す。図９（Ｂ）は、シーケンス管理番号Ｓpdnを示している。
【００６１】
モード検出信号Ｓpdmがプルダウンモードを示す場合、２フレームメモリ９は、３Ｄ映像信号Ｆ０を１フレーム期間遅延させて映像信号Ｆ０１として出力する。映像信号Ｆ０１は、図９（Ｄ）に示すように、フレームLR1-1，LR1-2，LR1-3…となる。また、モード検出信号Ｓpdmがプルダウンモードを示す場合、２フレームメモリ９は、３Ｄ映像信号Ｆ０を２フレーム期間遅延させ、２フレーム期間遅延させた信号をシーケンス管理番号Ｓpdnに従って適宜繰り返し、映像信号Ｆ１２として出力する。映像信号Ｆ１２は、図９（Ｃ）に示すように、フレームLR0-2が３フレーム期間連続し、フレームLR1-3が２フレーム期間連続し、フレームLR2-2が３フレーム期間連続する。
【００６２】
モード検出信号Ｓpdmがプルダウンモードを示す場合、補間フレーム生成部１０は、シーケンス管理番号Ｓpdnが３のとき以外では、動きベクトルＭＶに基づいて、図９（Ｃ）の映像信号Ｆ１２の画素データと図９（Ｄ）の映像信号Ｆ０１の画素データとを混合して補間フレーム（動き補償フレーム）を生成し、シーケンス管理番号Ｓpdnが３のときには、図９（Ｄ）の映像信号Ｆ０１を原画のまま出力する。補間フレーム生成部１０の出力を動き補償フレーム信号Ｆmcとする。
【００６３】
具体的には、補間フレーム生成部１０は、図９（Ｅ）に示すように、映像信号Ｆ１２のフレームLR0-2と映像信号Ｆ０１のフレームLR1-1とで補間フレームLR0.2を生成する。補間フレーム生成部１０は、映像信号Ｆ１２のフレームLR0-2と映像信号Ｆ０１のフレームLR1-2とで補間フレームLR0.6を生成する。補間フレーム生成部１０は、映像信号Ｆ０１のフレームLR1-3をそのままフレームLR1とする。
【００６４】
さらに、補間フレーム生成部１０は、映像信号Ｆ１２のフレームLR1-3と映像信号Ｆ０１のフレームLR2-1とで補間フレームLR1.4を生成し、映像信号Ｆ１２のフレームLR1-3と映像信号Ｆ０１のフレームLR2-2とで補間フレームLR1.8を生成する。補間フレーム生成部１０は、映像信号Ｆ１２のフレームLR2-2と映像信号Ｆ０１のフレームLR3-1とで補間フレームLR2.2を生成し、映像信号Ｆ１２のフレームLR2-2と映像信号Ｆ０１のフレームLR3-2とで補間フレームLR2.6を生成する。補間フレーム生成部１０は、映像信号Ｆ０１のフレームLR3-3をそのままフレームLR3とする。補間フレーム生成部１０は、これらのフレームを動き補償フレーム信号Ｆmcとして出力する。
【００６５】
図１０は、映像信号Ｆ０１と補間フレーム生成部１０より出力された動き補償フレーム信号Ｆmcとを示している。映像信号Ｆ０１は、２−３プルダウンによって変換された映像信号であるので、図１０（Ａ）に示すように、動きが滑らかでない。図１０（Ａ）におけるフレームLR1-1は、図１０（Ｂ）に示すように補間フレームLR0.2に差し替えられ、図１０（Ａ）におけるフレームLR1-2は、図１０（Ｂ）に示すように補間フレームLR0.6に差し替えられている。図１０（Ａ）におけるフレームLR1-3は、そのまま図１０（Ｂ）に示すフレームLR1となっている。
【００６６】
図１０（Ａ）におけるフレームLR2-1，LR2-2，LR3-1，LR3-2は、図１０（Ｂ）に示すように補間フレームLR1.4，LR1.8，LR2.2，LR2.6に差し替えられている。図１０（Ａ）におけるフレームLR4-1は、そのまま図１０（Ｂ）に示すフレームLR3となっている。図１０（Ａ）におけるフレームLR4-1は、図１０（Ｂ）に示すように補間フレームLR3.4に差し替えられている。図１０（Ｂ）に示すように、動き補償フレーム信号Ｆmcは、フィルムジャダが除去されて動きが滑らかとなっている。
【００６７】
図８に戻り、動き補償フレーム信号Ｆmcは３Ｄ表示用ＬＲ分離部１１に入力される。３Ｄ表示用ＬＲ分離部１１は、図９（Ｆ）に示すように、動き補償フレーム信号Ｆmcの各フレームLR0.2，LR0.6，LR1，LR1.4…を、左目用画像の映像信号Ｌに相当するL0.2，L0.6，L1，L1.4…と右目用画像の映像信号Ｒに相当するR0.2，R0.6，R1，R1.4…とに分離し、１／１２０秒ずつのタイミングでＬＲ分離信号Ｆlrとして出力する。ＬＲ分離信号Ｆlrはスケーラ１２に入力される。
【００６８】
ＬＲ分離信号Ｆlrの左目用画像の映像信号L0.2，L0.6，L1，L1.4…と右目用画像の映像信号R0.2，R0.6，R1，R1.4…は、水平方向に１／２に圧縮された信号であるので、スケーラ１２は、左目用画像の映像信号L0.2，L0.6，L1，L1.4…と右目用画像の映像信号R0.2，R0.6，R1，R1.4…とを水平方向に２倍に伸張させる。スケーラ１２は、水平方向に伸張させた３Ｄ表示用映像信号Ｆ3Dを３Ｄ映像表示部１３に供給する。３Ｄ表示用映像信号Ｆ3Dは、図９（Ｇ）に示すように、左目用画像の映像信号L0.2，L0.6，L1，L1.4…と右目用画像の映像信号R0.2，R0.6，R1，R1.4…とを水平方向に伸張させた左目用画像の映像信号L0.2s，L0.6s，L1s，L1.4s…と右目用画像の映像信号R0.2s，R0.6s，R1s，R1.4s…である。
【００６９】
３Ｄ映像表示部１３は、左目用画像の映像信号L0.2s，L0.6s，L1s，L1.4s…と右目用画像の映像信号R0.2s，R0.6s，R1s，R1.4s…とを１／１２０秒ずつ交互に表示する。視聴者は、例えば液晶シャッタ眼鏡を装着して、３Ｄ映像表示部１３に表示された３Ｄ表示用映像信号Ｆ3Dを見る。左目用画像の映像信号L0.2s，L0.6s，L1s，L1.4s…が表示されているタイミングでは左目の液晶シャッタを閉じ、右目用画像の映像信号R0.2s，R0.6s，R1s，R1.4s…が表示されているタイミングでは右目の液晶シャッタを閉じるよう、３Ｄ映像表示部１３での３Ｄ表示用映像信号Ｆ3Dの表示と液晶シャッタ眼鏡との駆動タイミングを同期させる。これによって、視聴者は、３Ｄ映像を視認することができる。
【００７０】
以上のように、本実施形態の映像信号処理装置及び方法によれば、映像信号が３Ｄ映像信号であり、かつ、プルダウン変換された映像信号であっても、動きベクトルを高精度に検出することでき、高画質の動き補償フレームを生成することができる。本実施形態の映像信号処理装置及び方法によれば、フィルムジャダを効果的に除去することができる。
【００７１】
本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【００７２】
１ プルダウン検出部
２ フレーム遅延ＬＲ分離部
３ ＬＲ分離部
４ 画素ブロック指定部
５１〜５ｎ ブロックマッチング計算部
６ 動きベクトル決定部
７ シフト量設定部
８ ＬＲ結合部
９ ２フレームメモリ
１０ 補間フレーム生成部（動き補償フレーム生成部）
１１ ３Ｄ表示用ＬＲ分離部
１２ スケーラ
１３ ３Ｄ映像表示部
ＭＶＤ 動きベクトル検出部
【特許請求の範囲】
【請求項１】
左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置された３Ｄ映像信号がプルダウン変換された映像信号であるか否かを検出するプルダウン検出部と、
前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、同じ画像内容のフレームを繰り返す繰り返し期間内で、１フレーム毎に左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することによって、同じ画像内容のそれぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したＬＲ分離信号を出力するＬＲ分離部と、
前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記ＬＲ分離信号の左目用画像の映像信号と右目用画像の映像信号とに対応させて、１繰り返し期間前のフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したフレーム遅延ＬＲ分離信号を出力するフレーム遅延ＬＲ分離部と、
前記ＬＲ分離信号の左目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の左目用画像の映像信号とによって左目用画像の映像信号の第１の動きベクトルを検出し、前記ＬＲ分離信号の右目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の右目用画像の映像信号とによって右目用画像の映像信号の第２の動きベクトルを検出する動きベクトル検出部と、
前記第１の動きベクトルと前記第２の動きベクトルとの一方を遅延させて両者のフレームのタイミングを合わせ、フレーム単位で前記第１の動きベクトルと前記第２の動きベクトルとを結合させて、それぞれのフレームの動きベクトルとして出力するＬＲ結合部と、
を備えることを特徴とする動きベクトル検出装置。
【請求項２】
前記動きベクトル検出部は、前記３Ｄ映像信号における間引かれている画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することを特徴とする請求項１記載の動きベクトル検出装置。
【請求項３】
前記動きベクトル検出部は、前記３Ｄ映像信号における存在しない画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することを特徴とする請求項１記載の動きベクトル検出装置。
【請求項４】
前記３Ｄ映像信号は２−３プルダウン変換された映像信号であり、
前記ＬＲ分離部は、
同じ画像内容のフレームを３フレーム繰り返す第１の繰り返し期間内では、３フレームの内の最初のフレームとその次のフレームとで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離し、
同じ画像内容のフレームを２フレーム繰り返す第２の繰り返し期間内では、２フレームで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離する
ことを特徴とする請求項１〜３のいずれか１項に記載の動きベクトル検出装置。
【請求項５】
前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号ではないことが検出されたとき、
前記ＬＲ分離部は、それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せずそれぞれのフレームを出力し、
前記フレーム遅延ＬＲ分離部は、それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せず、前記ＬＲ分離部が出力するそれぞれのフレームの１フレーム前のフレームを出力し、
前記動きベクトル検出部は、前記ＬＲ分離部より出力されたフレームの映像信号と前記フレーム遅延ＬＲ分離部より出力されたフレームの映像信号とを用いて、それぞれのフレームの動きベクトルを検出する
ことを特徴とする請求項１〜４のいずれか１項に記載の動きベクトル検出装置。
【請求項６】
左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置された３Ｄ映像信号がプルダウン変換された映像信号であるか否かを検出し、
前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、同じ画像内容のフレームを繰り返す繰り返し期間内で、１フレーム毎に左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することによって、同じ画像内容のそれぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離してＬＲ分離信号を生成し、
前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記ＬＲ分離信号の左目用画像の映像信号と右目用画像の映像信号とに対応させて、１繰り返し期間前のフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したフレーム遅延ＬＲ分離信号を生成し、
前記ＬＲ分離信号の左目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の左目用画像の映像信号とによって左目用画像の映像信号の第１の動きベクトルを検出し、
前記ＬＲ分離信号の右目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の右目用画像の映像信号とによって右目用画像の映像信号の第２の動きベクトルを検出し、
前記第１の動きベクトルと前記第２の動きベクトルとの一方を遅延させて両者のフレームのタイミングを合わせ、フレーム単位で前記第１の動きベクトルと前記第２の動きベクトルとを結合させて、それぞれのフレームの動きベクトルを生成する
ことを特徴とする動きベクトル検出方法。
【請求項７】
前記３Ｄ映像信号における間引かれている画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することを特徴とする請求項６記載の動きベクトル検出方法。
【請求項８】
前記３Ｄ映像信号における存在しない画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することを特徴とする請求項６記載の動きベクトル検出方法。
【請求項９】
前記３Ｄ映像信号は２−３プルダウン変換された映像信号であり、
同じ画像内容のフレームを３フレーム繰り返す第１の繰り返し期間内では、３フレームの内の最初のフレームとその次のフレームとで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離し、
同じ画像内容のフレームを２フレーム繰り返す第２の繰り返し期間内では、２フレームで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離する
ことを特徴とする請求項６〜８のいずれか１項に記載の動きベクトル検出方法。
【請求項１０】
前記３Ｄ映像信号がプルダウン変換された映像信号ではないことが検出されたとき、
それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せず、互いに１フレーム期間ずれた２つのフレームを対として順次生成し、
前記２つのフレームの映像信号を用いて、それぞれのフレームの動きベクトルを検出する
ことを特徴とする請求項６〜９のいずれか１項に記載の動きベクトル検出方法。
【請求項１１】
請求項１〜５のいずれか１項に記載の動きベクトル検出装置と、
前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記３Ｄ映像信号と前記動きベクトル検出装置によって検出された動きベクトルとを用いて動き補償フレームを生成し、前記３Ｄ映像信号における実フレームを少なくとも部分的に前記動き補償フレームに差し替える動き補償フレーム生成部と、
を備えることを特徴とする映像信号処理装置。
【請求項１２】
左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置され、プルダウン変換された３Ｄ映像信号と、請求項６〜１０のいずれか１項に記載の動きベクトル検出方法によって検出された動きベクトルとを用いて動き補償フレームを生成し、
前記３Ｄ映像信号における実フレームを少なくとも部分的に前記動き補償フレームに差し替える
ことを特徴とする映像信号処理方法。
【請求項１】
左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置された３Ｄ映像信号がプルダウン変換された映像信号であるか否かを検出するプルダウン検出部と、
前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、同じ画像内容のフレームを繰り返す繰り返し期間内で、１フレーム毎に左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することによって、同じ画像内容のそれぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したＬＲ分離信号を出力するＬＲ分離部と、
前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記ＬＲ分離信号の左目用画像の映像信号と右目用画像の映像信号とに対応させて、１繰り返し期間前のフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したフレーム遅延ＬＲ分離信号を出力するフレーム遅延ＬＲ分離部と、
前記ＬＲ分離信号の左目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の左目用画像の映像信号とによって左目用画像の映像信号の第１の動きベクトルを検出し、前記ＬＲ分離信号の右目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の右目用画像の映像信号とによって右目用画像の映像信号の第２の動きベクトルを検出する動きベクトル検出部と、
前記第１の動きベクトルと前記第２の動きベクトルとの一方を遅延させて両者のフレームのタイミングを合わせ、フレーム単位で前記第１の動きベクトルと前記第２の動きベクトルとを結合させて、それぞれのフレームの動きベクトルとして出力するＬＲ結合部と、
を備えることを特徴とする動きベクトル検出装置。
【請求項２】
前記動きベクトル検出部は、前記３Ｄ映像信号における間引かれている画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することを特徴とする請求項１記載の動きベクトル検出装置。
【請求項３】
前記動きベクトル検出部は、前記３Ｄ映像信号における存在しない画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することを特徴とする請求項１記載の動きベクトル検出装置。
【請求項４】
前記３Ｄ映像信号は２−３プルダウン変換された映像信号であり、
前記ＬＲ分離部は、
同じ画像内容のフレームを３フレーム繰り返す第１の繰り返し期間内では、３フレームの内の最初のフレームとその次のフレームとで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離し、
同じ画像内容のフレームを２フレーム繰り返す第２の繰り返し期間内では、２フレームで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離する
ことを特徴とする請求項１〜３のいずれか１項に記載の動きベクトル検出装置。
【請求項５】
前記プルダウン検出部によって前記３Ｄ映像信号がプルダウン変換された映像信号ではないことが検出されたとき、
前記ＬＲ分離部は、それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せずそれぞれのフレームを出力し、
前記フレーム遅延ＬＲ分離部は、それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せず、前記ＬＲ分離部が出力するそれぞれのフレームの１フレーム前のフレームを出力し、
前記動きベクトル検出部は、前記ＬＲ分離部より出力されたフレームの映像信号と前記フレーム遅延ＬＲ分離部より出力されたフレームの映像信号とを用いて、それぞれのフレームの動きベクトルを検出する
ことを特徴とする請求項１〜４のいずれか１項に記載の動きベクトル検出装置。
【請求項６】
左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置された３Ｄ映像信号がプルダウン変換された映像信号であるか否かを検出し、
前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、同じ画像内容のフレームを繰り返す繰り返し期間内で、１フレーム毎に左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離することによって、同じ画像内容のそれぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離してＬＲ分離信号を生成し、
前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記ＬＲ分離信号の左目用画像の映像信号と右目用画像の映像信号とに対応させて、１繰り返し期間前のフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離したフレーム遅延ＬＲ分離信号を生成し、
前記ＬＲ分離信号の左目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の左目用画像の映像信号とによって左目用画像の映像信号の第１の動きベクトルを検出し、
前記ＬＲ分離信号の右目用画像の映像信号と前記フレーム遅延ＬＲ分離信号の右目用画像の映像信号とによって右目用画像の映像信号の第２の動きベクトルを検出し、
前記第１の動きベクトルと前記第２の動きベクトルとの一方を遅延させて両者のフレームのタイミングを合わせ、フレーム単位で前記第１の動きベクトルと前記第２の動きベクトルとを結合させて、それぞれのフレームの動きベクトルを生成する
ことを特徴とする動きベクトル検出方法。
【請求項７】
前記３Ｄ映像信号における間引かれている画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することを特徴とする請求項６記載の動きベクトル検出方法。
【請求項８】
前記３Ｄ映像信号における存在しない画素を補間して画素数を増大させて、前記第１及び第２の動きベクトルを検出することを特徴とする請求項６記載の動きベクトル検出方法。
【請求項９】
前記３Ｄ映像信号は２−３プルダウン変換された映像信号であり、
同じ画像内容のフレームを３フレーム繰り返す第１の繰り返し期間内では、３フレームの内の最初のフレームとその次のフレームとで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離し、
同じ画像内容のフレームを２フレーム繰り返す第２の繰り返し期間内では、２フレームで左目用画像の映像信号と右目用画像の映像信号とをいずれかの順で順次分離する
ことを特徴とする請求項６〜８のいずれか１項に記載の動きベクトル検出方法。
【請求項１０】
前記３Ｄ映像信号がプルダウン変換された映像信号ではないことが検出されたとき、
それぞれのフレームにおける左目用画像の映像信号と右目用画像の映像信号とを分離せず、互いに１フレーム期間ずれた２つのフレームを対として順次生成し、
前記２つのフレームの映像信号を用いて、それぞれのフレームの動きベクトルを検出する
ことを特徴とする請求項６〜９のいずれか１項に記載の動きベクトル検出方法。
【請求項１１】
請求項１〜５のいずれか１項に記載の動きベクトル検出装置と、
前記３Ｄ映像信号がプルダウン変換された映像信号であることが検出されたとき、前記３Ｄ映像信号と前記動きベクトル検出装置によって検出された動きベクトルとを用いて動き補償フレームを生成し、前記３Ｄ映像信号における実フレームを少なくとも部分的に前記動き補償フレームに差し替える動き補償フレーム生成部と、
を備えることを特徴とする映像信号処理装置。
【請求項１２】
左目用画像の映像信号と右目用画像の映像信号とが１フレーム内に圧縮して配置され、プルダウン変換された３Ｄ映像信号と、請求項６〜１０のいずれか１項に記載の動きベクトル検出方法によって検出された動きベクトルとを用いて動き補償フレームを生成し、
前記３Ｄ映像信号における実フレームを少なくとも部分的に前記動き補償フレームに差し替える
ことを特徴とする映像信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−７４４０４（Ｐ２０１３−７４４０４Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１１０００（Ｐ２０１１−２１１０００）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]