映像処理装置、映像処理方法
【課題】３Ｄ表示の品質を損なうことなくフレームレートを高める映像処理装置を提供する。
【解決手段】映像処理装置は、互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、第１映像信号よりも高いフレームレートの第２映像信号を生成する映像処理装置であって、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出す視点制御部１２０と、前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に補間用画素データを生成することによって、補間画像を生成する画像生成部１３０とを備える。
【解決手段】映像処理装置は、互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、第１映像信号よりも高いフレームレートの第２映像信号を生成する映像処理装置であって、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出す視点制御部１２０と、前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に補間用画素データを生成することによって、補間画像を生成する画像生成部１３０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、テレビ受像機に用いられる表示部はフラットパネルディスプレイが一般的となり、中でも液晶パネルの占める割合が非常に大規模となっている。その中でも液晶パネルの動画応答性の低さを補って、高画質を実現できる倍速駆動液晶テレビの比率が増加してきている。倍速駆動では、元の映像信号のフレームレートに対して表示フレームレートは２倍になる。
【０００３】
一方、次世代テレビとして、３Ｄ（立体視）テレビが注目を浴びており、様々な方式が提案されている。立体表示の方式に関しては、１チャンネルの映像を用いて立体表示する方式（例えば、液晶シャッタで開閉する眼鏡を用いたＣＲＴ方式の立体表示）や、２チャンネルの映像を用いて立体表示する方式（例えば、プロジェクタ２台を用いた立体表示）等、各種の立体表示方式がある。例えば特許文献１には、複数の放送方式に対応することができ、かつ立体表示においては、ユーザが指定する立体表示方式で再生表示するデジタル放送受信機を開示している。
【０００４】
また、フラットパネルディスプレイの場合、上記の液晶シャッタで開閉する眼鏡を用いる方式の他に、左目と右目とに異なる角度の偏光板を備える眼鏡を用いる方式もある。この場合、フラットパネルディスプレイの全表示画素は、左目用画素と右目用画素と均等に分けられ、左目用画素と右目用画素とに異なる角度の偏光板が配置される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２５７５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、人の左目と右目の視差を生じさせる３Ｄフォーマットの映像信号から補間画像を生成すると画質劣化が生じる得るという問題がある。一般に、二次元映像の補間画像の生成では、例えば前後２枚のフレームの動きベクトルを利用して、フレーム画像を補間する。ところが、左目用画素と右目用画素とを１フレーム内に混在させる３Ｄフォーマットでは、動きベクトルを正確に検出できず、画質劣化が生じ得る。
【０００７】
図９Ａは、チェッカーフォーマットと呼ばれる３Ｄフォーマットの説明図である。この３Ｄフォーマットの画素配列では、左目用画素（図の白で表した画素）と右目用画素（図の黒で表した画素）とが行方向および列方向に交互に配置される。立体物を表す左目用画素と右目用画素とには、視差を生じさせるために対応する左目用画素と右目用画素の位置にずらし量（オフセットとも呼ぶ）が与えられる。このずらし量を与えられた左目用画素と右目用画素とが隣接して混在のため、このフォーマット上の立体物はずれて２つの画像がずれて重なった二次元画像になる。それゆえ、従来の動きベクトル検出処理では動きベクトルを正確に検出することができない。
【０００８】
図９Ｂは、ラインシーケンシャルフォーマットと呼ばれる３Ｄフォーマットの説明図である。この３Ｄフォーマットでは、左目用画素（図の白塗りの画素）と右目用画素（図の黒塗りの画素）とが列方向にのみ交互に配置される。この３Ｄフォーマットにおいても上記と同じ理由により従来の動きベクトル検出処理では動きベクトルを正確に検出することができず、画質劣化が生じ得る。
【０００９】
このような画質劣化は、動きベクトルを用いた補間画像の生成に限らず、例えば図９Ａのフォーマットに対して線形補間により補間画像を生成した場合でも起こり得る。
【００１０】
本発明は、３Ｄ表示の品質を損なうことなく補間画像を生成する映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本発明の一面における映像処理装置は、互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から補間画像を生成する映像処理装置であって、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出す視点制御部と、前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に補間用画素データを生成することによって、補間画像を生成する画像生成部とを備える。
【００１２】
この構成によれば、視点制御部は、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間の視差に対応するずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことを防止することができる。
【００１３】
ここで、前記画像生成部は、前記補間画像を含み、表示パネルの画素配列に対応した、前記複数の視点に対応する画素データから成る第２映像信号を生成し、前記視点制御部は、第２映像信号における画素配列に対応するように、前記複数の視点毎に前記第１映像信号の画素を前記複数の視点毎に取り出すようにしてもよい。
【００１４】
この構成よれば、補間画像の生成を３Ｄ画像の品質を損なうことなく行うことができさらに、第１映像信号の画素配列と第２映像信号の画素配列とが異なっている場合には、前者の画素配列から後者の画素配列への変換（フォーマット変換）を効率よく行うことができる。
【００１５】
ここで、前記視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出すようにしてもよい。
【００１６】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を、前記視点制御部による画素アドレスの対応付けにより高速に実現できる。しかも、第２映像信号の画像を記憶するメモリは、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要する記憶領域を最小限に抑えることができ、コストを低減することができる。
【００１７】
ここで、前記映像処理装置は、さらに、前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に画像の動き情報を検出する動き情報検出部を備え、前記画像生成部は、前記視点毎の動き情報を用いて前記複数の視点毎に補間用画素データを生成することによって前記複数の視点毎に補間画像を生成するようにしてもよい。
【００１８】
この構成よれば、動き情報を精度を良く検出することができ、補間画像ひいては３Ｄ画像の品質を損なうことなく補間画像を生成することができる。
【００１９】
ここで、前記視点制御部は、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記画像生成部に供給する第１視点制御部と、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給する第２視点制御部とを備えるようにしてもよい。
【００２０】
この構成よれば、動き検出部による動き検出と画像生成部による画像生成とをパイプライン化することが可能であり、より高いフレームレート化に適している。例えば、２倍速より高いフレームレートへの変換や、フィルム映像を表示パネルのフレームレートに変換するのに適している。
【００２１】
ここで、前記映像処理装置は、前記第１映像信号中の１フレーム以上の画像を一時的に記憶する画像記憶部を備え、前記視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給するようにしてもよい。
【００２２】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を３Ｄ画像の品質を損なうことなく行うことができる。
【００２３】
ここで、前記映像処理装置は、前記第１映像信号を一時的に記憶する画像記憶部を備え、前記画像記憶部は、前記第１映像信号中の１フレーム以上の画像を記憶し、前記第１視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給し、前記第２視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給するようにしてもよい。
【００２４】
この構成よれば、動き検出部による動き検出と画像生成部による画像生成とをパイプライン化することが可能である。例えば、２倍速より高いフレームレートへの変換や、フィルム映像から表示パネルのフレームレートに変換するのに適しており、かつ高速化に適している。
【００２５】
ここで、前記第１視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から、前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出すようにしてもよい。
【００２６】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を、画像記憶部の領域をアドレス変換により高速に実現できる。しかも、画像記憶部は、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要する記憶領域を最小限に抑えることができ、コストを低減することができる。
【００２７】
ここで、前記画像生成部は、前記視点制御部によって取り出された視点毎の画素データに対して（ａ）動き情報を用いた補間、（ｂ）線形補間、および（ｃ）フレームのコピーによる補間のうち少なくとも１つを用いて、前記補間画像を生成するようにしてもよい。
【００２８】
この構成によれば、（ｂ）補間画像を線形補間により生成する場合には、補間画像生成の処理量および処理負荷を軽くすることができ、ハードウェア規模を小さくすることができる。（ｃ）補間画像をコピーにより生成する場合には、補間画像生成の処理量および処理負荷を大きく低減し、ハードウェア規模を増加することなく補間画像の生成を実現することができる。また、（ａ）〜（ｃ）の１つ以上を組み合わせて補間することにより、処理量および処理速度に対して柔軟に対応することができる。
【００２９】
ここで、前記画像生成部は、前記第１映像信号の画像間に、前記補間画像を挿入することにより、前記第１前記第２映像信号を生成し、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレートより高くてもよい。
【００３０】
ここで、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレートの２倍または４倍であってもよい。
【００３１】
この構成によれば、フレームレートのｎ倍速変換（例えば２倍速変換、４倍速変換）を実現することができる。
【００３２】
ここで、前記第１映像信号は映画フィルムに対応するフレームレートを有し、前記第２映像信号はテレビ放送または表示パネルに対応するフレームレートであってもよい。
【００３３】
この構成によれば、映画フィルムの映像信号を表示パネルのフレームレートに変換するのに適している。
【００３４】
ここで、前記第１映像信号はＰＡＬ（Phase Alternation by Line）テレビ放送に対応するフレームレートを有し、前記第２映像信号はＮＴＳＣ（National Television System Committee）テレビ放送に対応するフレームレートであってもよい。
【００３５】
この構成によれば、ＰＡＬ映像信号をＮＴＳＣ映像信号に変換することができる。
ここで、前記画像生成部は、前記第１映像信号の一部の画像と、前記補間画像とを含む前記第２映像信号を生成し、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレート以下であってもよい。
【００３６】
この構成によれば、第１映像信号の低フレームレート化、または同じフレームレートでフレームを補間画像に置き換えることができる。
【００３７】
ここで、前記第１映像信号はＮＴＳＣ（National Television System Committee）テレビ放送に対応するフレームレートを有し、前記第２映像信号はＰＡＬ（Phase Alternation by Line）テレビ放送に対応するフレームレートであってもよい。
【００３８】
この構成によれば、ＮＴＳＣ映像信号をＰＡＬ映像信号に変換することができる。
ここで、前記画像生成部は、前記補間画像を含む第２映像信号を生成し、前記第２映像信号は第１映像信号と同じフレームレートであり、前記画像生成部は、第１映像信号中の画像の一部を前記補間画像に置き換えることによって前記第２映像信号を生成してもよい。
【００３９】
この構成によれば、例えば、コピーにより２：３プルダウン変換された第１映像信号に対して、動きベクトルを用いた補間画像によるデジャダーをすることができ、第２映像信号の動きを第１映像信号よりも滑らかにすることができる。
【００４０】
また、本発明の一面における映像処理方法は、少なくとも第１の視点と第２の視点とを含む互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理方法であって、前記第１映像信号から前記第１の視点に対応する画素データを取り出すステップと、取り出された第１の視点の画素データから、前記第１の視点に対応する補間用画素データを生成するステップと、前記第１映像信号から前記第２の視点に対応する画素データを取り出すステップと、取り出された第２の視点の画素データから、前記第２の視点に対応する補間用画素データを生成するステップと、前記第１の視点に対応する補間用画素データおよび前記第２の視点に対応する補間用画素データとから補間画像を生成するステップとを有する。
【００４１】
この構成によれば、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像を生成する。このように視点毎に独立して補間画像を生成するので、視点間のずらし量（またはずらし量）の影響を受けないので、３Ｄ画像の品質を損なうことなく補間画像を生成することができる。
【発明の効果】
【００４２】
本発明の映像処理装置によれば、視点間のずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことなく補間画像を生成することができる。
【００４３】
また、高フレーム化と、第１映像信号の画素配列から表示パネルの画素配列への変換との両者を３Ｄ画像の品質を損なうことなく行うことができる。
【００４４】
さらに、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を、画像記憶部の領域をアドレス変換により高速に実現できる。
【００４５】
また、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要する記憶領域を最小限に抑えることができ、コストを低減することができる。
【図面の簡単な説明】
【００４６】
【図１】実施の形態１における映像処理装置の主要部の構成を示すブロック図である。
【図２Ａ】実施の形態１におけるチェッカーフォーマットの説明図である。
【図２Ｂ】実施の形態１における他のチェッカーフォーマットの説明図である。
【図２Ｃ】実施の形態１におけるラインシーケンシャルフォーマットの説明図である。
【図２Ｄ】実施の形態１における他のラインシーケンシャルフォーマットの説明図である。
【図２Ｅ】実施の形態１における垂直インタリーブフォーマットの説明図である。
【図２Ｆ】実施の形態１における他の垂直インタリーブフォーマットの説明図である。
【図３Ａ】実施の形態１におけるサイドバイサイドフォーマット（フルレート）の説明図である。
【図３Ｂ】実施の形態１におけるサイドバイサイドフォーマット（ハーフレート）の説明図である。
【図３Ｃ】実施の形態１におけるフレームシーケンシャルフォーマット（インタレース）の説明図である。
【図３Ｄ】実施の形態１におけるフレームシーケンシャルフォーマット（プログレッシブ）の説明図である。
【図４】実施の形態２における映像処理装置の主要部の構成を示すブロック図である。
【図５】実施の形態２における映像処理装置の主要部の変形例を示すブロック図である。
【図６】実施の形態３における映像処理装置の主要部の構成を示すブロック図である。
【図７Ａ】フレームコピーによる２：３プルダウン変換を示す説明図である。
【図７Ｂ】実施の形態３における動き補償補間によるデジャダー処理を示す説明図である。
【図８Ａ】実施の形態３における動き補償補間によるＰＡＬからＮＴＳＣへの変換を示す説明図である。
【図８Ｂ】実施の形態３における動き補償補間によるＮＴＳＣからＰＡＬへの変換を示す説明図である。
【図８Ｃ】第１映像信号を同じフレームレートの第２映像信号を生成する処理を示す説明図である。
【図９Ａ】チェッカーフォーマットと呼ばれる３Ｄフォーマットの説明図である。
【図９Ｂ】ラインシーケンシャルフォーマットと呼ばれる３Ｄフォーマットの説明図である。
【発明を実施するための形態】
【００４７】
（実施の形態１）
互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、第１映像信号よりも高いフレームレートの第２映像信号を生成する映像処理装置であって、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する構成について説明する。このように視点毎に独立して補間画像を生成するので、視点間のずらし量（またはずらし量）の影響を受けないので、３Ｄ画像の品質を損なうことなく高フレームレート化を可能にすることができる。画像生成部１３０は、第１補間部３１、第２補間部３２、・・・第ｎ補間部３ｎと、出力制御部１３１とを備える。
【００４８】
図１は、実施の形態１における映像処理装置の主要部の構成を示すブロック図である。この映像処理装置は、例えば液晶表示パネル、プラズマ表示パネル、有機ＥＬ表示パネルなどのフラットパネルディスプレイを有するデジタルテレビであって、同図では、本発明に関連する主要部の構成を示している。同図のように映像処理装置は、１Ｆ遅延部１１０、視点制御部１２０、画像生成部１３０を備える。
【００４９】
１Ｆ遅延部１１０は、入力される第１映像信号を１フレーム時間遅延させる遅延バッファであり、第１映像信号の現在入力されている画像よりも１フレーム時間前の画像を記憶する。ここで、第１映像信号は、互いに異なる複数の視点に対応する画素が混在する画像からなる映像信号である。複数の視点は２つ以上である。複数の視点が２つの場合の第１映像信号の画素配列を示す具体的なフォーマットを図２Ａ〜図２Ｆ、図３A〜図３Dに例示する。
【００５０】
図２Ａおよび図２Ｂは、チェッカーフォーマットの説明図である。左目用画素および右目用画素は、行方向および列方向に交互に並ぶように配置されている。図２Ａと図２Ｂとでは、画素の重心位置が異なっている。
【００５１】
図２Ｃおよび図２Ｄは、ラインシーケンシャルフォーマットの説明図である。左目用画素および右目用画素は、列方向にのみ交互に並ぶように配置されている。図２Ｃと図２Ｄとでは、画素の重心位置が異なっている。
【００５２】
図２Ｅおよび図２Ｆは、垂直インタリーブフォーマットの説明図である。左目用画素および右目用画素は、行方向にのみ交互に並ぶように配置されている。図２Ｅと図２Ｆとでは、画素の重心位置が異なっている。
【００５３】
図３Ａおよび図３Ｂは、サイドバイサイドフォーマットの説明図である。左目用画素と右目用画素とは、画像の左半分と右半分とに分けられている。図３Ａと３Ｂとでは、フルレートであるハーフレートであるかで異なっている。
【００５４】
図３Ｃおよび図３Ｄは、フレームシーケンシャルフォーマットの説明図である。図３Ｃと図３Ｄとでは、インタレースかプログレッシブかで異なっている。
【００５５】
視点制御部１２０は、複数の視点毎に、第１映像信号の現在入力されている画像および１Ｆ遅延部１１０に保持された画像から当該視点に対応する画素データを取り出す。
【００５６】
画像生成部１３０は、視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に補間用画素データを生成することによって、補間画像を生成する。画像生成部１３０は、第１映像信号にフレーム間補間することによって、第２映像信号を生成する。
【００５７】
そのため、画像生成部１３０は、第１補間部３１、第２補間部３２、・・・、第ｎ補間部３ｎ、出力制御部１３１を備える構成としてもよい。ｎは２以上の視点の数であり、第１映像信号の複数の視点の数以上であればよい。以下便宜上、複数の視点を第１の視点、第２の視点、・・・第ｎの視点と呼ぶ。ｎ＝２の場合は、第１の視点および第２の視点は左目用画像および右目用画像にそれぞれ対応する。なお、第１補間部３１〜第ｎ補間部３ｎは、図１ではｎ個の別個のブロックとして記載しているが、１個の補間部を設けて時分割でｎ回処理する構成としてもよい。補間部を１個備える構成では、回路規模を低減することができる。逆にｎ個の補間部を備える構成では、並列動作により高速化することができる。
【００５８】
第１補間部３１は、視点制御部１２０によって取り出された第１の視点の画素データを生成する。補間画素データは、フレーム補間用である。第２補間部３２、第ｎ補間部３ｎも、視点が異なる点以外は、第１補間部３１と同じなので説明を省略する。
【００５９】
出力制御部１３１は、表示パネルの動作タイミング（垂直同期、水平同期など）に合わせて第２映像信号を出力する。
【００６０】
以上説明してきたように、実施の形態１における視点制御部１２０は、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部１３０は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間のずらし量（またはずらし量）の影響を受けないので、３Ｄ画像の品質を損なうことなく高フレームレート化を可能にすることができる。
【００６１】
なお、第１補間部３１〜第ｎ補間部３ｎは、フレーム補間の方法として、動きベクトルを検出し、動きベクトルを用いた動き補償補間や、線形補間など用いることができる。
【００６２】
また、画像生成部１３０は、フレーム補間に加えて、必要に応じて第１映像信号の元の画像に対してフレーム内補間をしてもよい。また、画像生成部１３０は、フレーム補間に加えて、必要に応じて第２映像信号の補間フレームに対してフレーム内補間をしてもよい。フレーム内補間をすることにより、第２映像信号のフォーマットが第１映像信号と異なっている場合でも、フォーマット変換を容易にする。
【００６３】
（実施の形態２）
本実施の形態では、第１映像信号の視点毎の画素データから、複数の視点毎に画像の動き情報を検出し、視点毎の動き情報を用いて、複数の視点毎に補間用画素データを生成する映像処理装置について説明する。
【００６４】
加えて、第２映像信号における複数の視点に対応する画素配列（第２フォーマット）が、第１映像信号における複数の視点に対応する画素配列（第１フォーマット）と異なっている場合に、画素配列を変換する映像処理装置について説明する。第１フォーマットの具体例は、図２Ａ〜２Ｆ、３Ａ〜３Ｄに示した何れかでもよい。第２フォーマットは、各表示画素上に偏光板を備える表示パネルに対応する第２映像信号の場合、図２Ｃ〜図２Ｆの何れかでもよい。
【００６５】
図４は、実施の形態２における映像処理装置の主要部の構成を示すブロック図である。同図の映像処理装置は、図１と比較して、視点制御部１２０の代わりにＭＥ視点制御部１２０ａおよびＭＣ視点制御部１２０ｂを備える点と、画像生成部１３０の代わりに動き予測部１３０ａおよび動き補償補間部１３０ｂを備える点とが異なっている。動き予測部１３０ａは、第１ＭＥ部３１ａ、第２ＭＥ部３２ａ、・・・、第ｎＭＥ部３ｎａを備える。動き補償補間部１３０ｂは、第１ＭＣ部３１ｂ、第２ＭＣ部３２ｂ、・・・、第ｎＭＣ部３ｎｂ、出力制御部１３１を備える。以下、同じ点は説明を省略し、異なる点を中心に説明する。
【００６６】
ＭＥ視点制御部１２０ａは、複数の視点毎に、第１映像信号から当該視点に対応する画素データを取り出し、動き予測部１３０ａに供給する。
【００６７】
ＭＣ視点制御部１２０ｂは、複数の視点毎に、第１映像信号から当該視点に対応する画素データを取り出し、動き補償補間部１３０ｂに供給する。また、第２映像信号における複数の視点に対応する画素配列（第２フォーマット）が第１映像信号における複数の視点に対応する画素配列（第１フォーマット）と異なっている場合、ＭＣ視点制御部１２０ｂは、第２映像信号の画素配列に変換するように、第１映像信号の画素を複数の視点毎に取り出し、前記動き補償補間部１３０ｂに供給する。これにより、高フレーム化に加えて、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を３Ｄ画像の品質を損なうことなく行うことができる。
【００６８】
この場合の動き補償補間部１３０ｂの構成例について説明する。ＭＣ視点制御部１２０ｂは、第２映像信号の画素配置における画素アドレスと、第１映像信号の画素配置における画素アドレスとを対応付ける対応テーブル部を有し、第１映像信号の画素配列を第２映像信号の画素配列に変換するように前記対応テーブル部を用いたアドレス変換し、変換アドレスにより前記複数の視点毎に画素を取り出すようにすればよい。
【００６９】
動き予測部１３０ａは、視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に画像の動き情報（動きベクトル）を検出する動き情報検出部である。
【００７０】
動き補償補間部１３０ｂは、視点毎の動き情報を用いて前記複数の視点毎に補間用画素データを生成することによって前記複数の視点毎に補間画像を生成する。
【００７１】
第１ＭＥ部３１ａは、視点制御部によって取り出された第１の視点の画素データから、第１の視点に画像の動き情報（動きベクトル）を検出する。第２ＭＥ部３２ａ、第ｎＭＥ部３ｎａについても、視点が異なる以外は、第１ＭＥ部３１ａと同じ機能なので説明を省略する。
【００７２】
なお、第１ＭＥ部３１ａ〜第ｎＭＥ部３ｎａは、ｎ個の別個のブロックとして記載しているが、１個のＭＥ部を設けて時分割でｎ回処理する構成としてもよい。ＭＥ部を１個備える構成では、回路規模を低減することができる。逆にｎ個のＭＥ部を備える構成では、並列動作により高速化することができる。
【００７３】
第１ＭＣ部３１ｂは、第１ＭＥ部３１ａによって検出された動き情報を用いて第１の視点の補間用画素データを生成する。第２ＭＣ部３２ｂ、第ｎＭＣ部３ｎｂについても、視点が異なる以外は、第１ＭＥ部３１ａと同じ機能なので説明を省略する。なお、第１ＭＣ部３１ｂ〜第ｎＭＣ部３ｎｂは、ｎ個の別個のブロックとして記載しているが、１個のＭＣ部を設けて時分割でｎ回処理する構成としてもよい。ＭＣ部を１個備える構成では、回路規模を低減することができる。逆にｎ個のＭＣ部を備える構成では、並列動作により高速化することができる。
【００７４】
上記の第１ＭＥ部３１ａおよび第１ＭＣ部３１ｂは、動き補償補間をする場合の実施の形態１の第１補間部３１に相当する。
【００７５】
以上のように構成された実施の形態２における映像処理装置によれば、動き情報を精度を良く検出することができ、補間画像ひいては３Ｄ画像の品質を損なうことなく高フレームレート化することができる。
【００７６】
また、第１フォーマットの第１映像信号を第２フォーマットの第２映像信号に変換するフォーマット変換では、アドレス変換により高速に実現できる。しかも、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要するメモリ容量を最小限に抑えることができ、コストを低減することができる。
【００７７】
なお、１Ｆ遅延部１１０は、汎用的なＤＲＡＭ等の画像記憶部を用いて構成しても良い。
【００７８】
図５は、１Ｆ遅延部１１０の代わりに画像記憶部１００を備える構成にした場合の、映像処理装置の主要部の変形例を示すブロック図である。
【００７９】
同図は、図４と比較して、１Ｆ遅延部１１０の機能が画像記憶部１００により構成されている点が異なる。同じ点は説明を省略し、以下異なる点を中心に説明する。画像記憶部１００は、ＤＲＡＭ等のメモリである。さらに、画像記憶部１００は、キャッシュメモリを有していてもよい。これにより、ＭＥ視点制御部１２０ａ、ＭＣ視点制御部１２０ｂからの読み出しを高速化することができる。 なお、実施の形態２においてアドレス変換により第１フォーマットを第２フォーマットに変換する構成を説明したが、動き補償補間部１３０ｂによる補間の前に、第２フォーマットの画像をフレーム単位にメモリ（例えば、画像記憶部１００）に展開するようにしてもよい。
【００８０】
（実施の形態３）
実施の形態３では、１Ｆ遅延部を２段設けた映像処理装置について説明する。これにより、より高いフレームレート化、例えば、２倍速より高いフレームレートへの変換や、フィルム映像を表示パネルのフレームレートに変換ことなどに適している。
【００８１】
図６は、実施の形態３における映像処理装置の主要部の構成を示すブロック図である。同図の映像処理装置は、図５と比較すると、１Ｆ遅延部１１０、１１１とが明記されている点と、ＭＥ情報記憶部１３９が追加されている点と、ＭＣ視点制御部１２０ｂの画素データを取り出す先が、１Ｆ遅延部１１０および１Ｆ遅延部１１１である点とが異なっている。以下、同じ点は説明を省略し、異なる点を中心に説明する。まら、図中の「０Ｆ」は現在入力されているフレーム画像、「１Ｆ」は現在入力されている画像より１フレーム前のフレーム画像、「２Ｆ」は現在入力されている画像よりも２フレーム前のフレーム画像を意味する。
【００８２】
１Ｆ遅延部１１１は、第１映像信号の現在入力されている画像よりも２フレーム時間前の画像を記憶するための画像記憶部１００の記憶領域である。
【００８３】
第１ＭＥ部３１ａ〜第ｎＭＥ部３ｎａによって検出された動きベクトルを一時的に（ここでは、少なくとも１フレーム時間）記憶する。
【００８４】
このように構成することにより、動き検出部による動き検出と画像生成部による画像生成と異なるフレーム画像に対して並列に実行することができ、つまり、パイプライン化することが可能になる。これにより、より高いフレームレート化に適している。例えば、２倍速より高いフレームレートへの変換や、フィルム映像を表示パネルのフレームレートに変換ことに適している。
【００８５】
以下、さらに具体的な動作例として（Ａ）２：３プルダウン変換、（Ｂ）ＰＡＬからＮＴＳＣへの変換、（Ｃ）ＮＴＳＣからＰＡＬへの変換について説明する。
【００８６】
（Ａ）２：３プルダウン変換について説明する。
図７Ａは、一般的なフレームコピーによる２：３プルダウン変換を示す説明図である。
【００８７】
第１映像信号は、映画フィルムに対応するフレームレートを有し、そのフレームレートは毎秒２４フレームであるものとする。第２映像信号は、ＮＴＳＣテレビ方式に対応するフレームレートを有し、フレームレートは、毎秒６０フィールド（毎秒３０フレーム）であるものとする。図中のＰ１、Ｐ２等の枠線はフレーム画像を表す。
【００８８】
同図における２：３プルダウン変換では、第１映像信号のフレームＰ１を部分的にコピーすることにより、第２映像信号用に２枚のフィールドｐ１を生成し、第１映像信号のフレームＰ２を部分的にコピーすることにより、第２映像信号用に３枚のフィールドｐ２を生成する。というコピーを繰り返す。この場合、動きの滑らかさが損なわれる、つまりカクカクした動き（ジャダー）が発生するという欠点がある。
【００８９】
図７Ｂは、実施の形態３における動き補償補間によるデジャダー処理示す説明図である。第１映像信号、第２映像信号のフレームレートはそれぞれ、図７Ａと同じであるが、補間画像の生成の仕方が図７Ａとは異なっている。
【００９０】
第２映像信号中の細線枠のフィールドｐ１、ｐ３は、コピーにより生成された（補間）画像を示す。これに対して、第２映像信号中の太線枠のフィールドｐ１２ａ、ｐ１２ｂ、ｐ２３ａ、ｐ２３ｂは、動き補償補間により生成された補間画像を示す。例えば、動き予測部１３０ａおよび動き補償補間部１３０ｂは、図７Ｂの第２映像信号におけるフィールドｐ１２ａを、フレームＰ１の動きベクトルおよびフレームＰ２の動きベクトルの少なくとも一方を用いて、フィールドｐ１２ａのフィールド時刻に対応する補間画像を生成する。フィールドｐ１２ｂ、ｐ２３ａ、ｐ２３ｂについても同様に生成される。
【００９１】
補間画像ｐ１２ａ、ｐ１２ｂ、ｐ２３ａ、ｐ２３ｂは、図７Ａの補間画像ｐ１、ｐ２と比べて、それぞれのフィールドの時刻における動きが反映されるので、滑らかな動きを表現することができ、画質が向上する。
【００９２】
以上のように、第１映像信号は映画フィルムに対応するフレームレートを有し、第２映像信号はテレビ放送または表示パネルに対応するフレームレートである場合でも、ＭＥ視点制御部１２０ａは、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部（動き予測部１３０ａおよび動き補償補間部１３０ｂ）は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間の視差に対応するずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことをフレームレート変換することができる。
【００９３】
なお、第１映像信号（映画フィルム）のフレームレートは、毎秒２５フレーム、毎秒１８フレーム等他のフレームレートであってもよい。第２映像信号のフレームレートは、毎秒６０フィールドでなくてもよい。この場合、画像生成部は第１映像信号と第２映像信号のフレームレートの比に応じた数の補間画像を生成すればよい。
【００９４】
なお、図７Ｂにおいて、第２映像信号のフレームレートが第１映像信号のｎ倍である場合には、ｎ倍速変換することができる。ｎは２、４等の整数または実数である。
【００９５】
（Ｂ）ＰＡＬ（Phase Alternation by Line）からＮＴＳＣ（National Television System Committee）への変換について説明する。
【００９６】
図８Ａは、動き補償補間によるＰＡＬからＮＴＳＣへの変換を示す説明図である。同図において、前記第１映像信号はＰＡＬテレビ放送に対応するフレームレートを有し、そのフレームレートは毎秒５０フィールドであるものとする。第２映像信号はＮＴＳＣテレビ放送に対応するフレームレートを有し、そのフレームレートは毎秒６０フィールドであるものとする。
【００９７】
第２映像信号中の細線枠のフィールドＱ１、Ｑ３は、コピーにより生成された（補間）画像を示す。これに対して、図８Ａ中の太線枠のフィールドＱ２、Ｑ３、Ｑ４は、動き補償補間により生成された補間画像を示す。例えば、動き予測部１３０ａおよび動き補償補間部１３０ｂは、図８Ａの第２映像信号におけるフィールドＱ２を、フィールドＰ１の動きベクトルおよびフィールドＰ２の動きベクトルの少なくとも一方を用いて、フィールドＱ２のフレーム時刻に対応する補間画像として生成する。フィールドＱ３〜Ｑ５についても同様に生成される。補間画像Ｑ２〜Ｑ５は、それぞれのフィールドの時刻における動きが反映されるので、滑らかな動きを表現することができ、画質が向上する。
【００９８】
以上のように、第１映像信号はＰＡＬテレビ放送に対応するフレームレートを有し、前記第２映像信号はＮＴＳＣテレビ放送に対応するフレームレートである場合でも、ＭＥ視点制御部１２０ａは、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部（動き予測部１３０ａおよび動き補償補間部１３０ｂ）は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間の視差に対応するずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことを防止なくＰＡＬからＮＴＳＣに変換することができる。
【００９９】
（Ｃ）ＮＴＳＣからＰＡＬへの変換について説明する。
図８Ｂは、動き補償補間によるＮＴＳＣからＰＡＬへの変換を示す説明図である。同図において、前記第１映像信号はＮＴＳＣテレビ放送に対応するフレームレートを有し、そのフレームレートは毎秒６０フィールドであるものとする。第２映像信号はＰＡＬテレビ放送に対応するフレームレートを有し、そのフレームレートは毎秒５０フィールドであるものとする。
【０１００】
第２映像信号中の細線枠のフィールドＰ１、Ｐ５は、コピーにより生成された（補間）画像を示す。これに対して、図８Ｂ中の太線枠のフィールドＰ２、Ｐ３、Ｐ４は、動き補償補間により生成された補間画像を示す。例えば、動き予測部１３０ａおよび動き補償補間部１３０ｂは、図８Ａの第２映像信号におけるフィールドＰ２を、フィールドＱ２の動きベクトルおよびフィールドＱ３の動きベクトルの少なくとも一方を用いて、フィールドＰ２のフレーム時刻に対応する補間画像として生成する。フィールドＰ２〜Ｐ４についても同様に生成される。補間画像Ｐ２〜Ｐ４は、それぞれのフィールドの時刻における動きが反映されるので、滑らかな動きを表現することができ、画質が向上する。
【０１０１】
以上のように、第１映像信号はＮＴＳＣテレビ放送に対応するフレームレートを有し、前記第２映像信号はＰＡＬテレビ放送に対応するフレームレートである場合でも、ＭＥ視点制御部１２０ａは、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部（動き予測部１３０ａおよび動き補償補間部１３０ｂ）は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間の視差に対応するずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことを防止なくＮＴＳＣからＰＡＬに変換することができる。
【０１０２】
なお、上記（Ａ）〜（Ｃ）の動作例では動き補償補間について説明したが、線形補間、コピーによる補間であっても、動きの滑らかさを損なうが３Ｄ画像の品質を損なうことを防止することができる。
【０１０３】
また、上記（Ａ）〜（Ｃ）の動作例は、実施の形態１および実施の形態２に適用してもよい。また、画像生成部１３０は、視点制御部１００によって取り出された視点毎の画素データに対して（ａ）動き情報を用いた補間、（ｂ）線形補間、および（ｃ）フレームのコピーによる補間のうち少なくとも１つを組み合わせて、補間画像を生成するようにしてもよい。もちろん、この組み合わせは動的に変更してもよい。
【０１０４】
なお、第１映像信号と第２映像信号は同じフレームレートであってもよい。この場合は、第１映像信号の動きを滑らかにすることができる。
【０１０５】
図８Ｃは、第１映像信号を同じフレームレートの第２映像信号を生成する処理を示す説明図である。図８Ｃの第１映像信号は、例えば図７Ａ下段（２：３プルダウン後の映像信号）であり、図８Ｃの第２映像信号は、例えば図７Ｂ下段（動き補償補間後の映像信号）を示す。
【０１０６】
図８Ｃの処理において、画像生成部（動き予測部１３０ａおよび動き補償補間部１３０ｂ）は、第１映像信号中の画像の一部を、動き補償補間による補間画像に置き換えることによって第２映像信号を生成する。具体的には、第１映像信号中のフィールドｐ１（２つ目のｐ１）を補間画像ｐ１２ａに、第１映像信号中の１つの画像Ｐ２（１つ目のｐ２）を補間画像ｐ１２ｂに、第１映像信号中のフィールドｐ２（２つ目のｐ２）を補間画像ｐ１２ｂに、・・・置き換える処理を行う。これにより、第２映像信号は、第１映像信号よりも滑らかな動きを表現することができる。図８Ｃでは、コピーにより２：３プルダウン変換された第１映像信号を、動きベクトルを用いた補間画像により第２映像信号に変換するので、ジャダーを低減することができる。
【０１０７】
このように、本実施の形態の映像処理装置は、滑らかでない不自然な動きを含む映像信号を、滑らかな動きを表現した映像信号に変換することができる。なお、滑らかでない不自然な動きを含む第１映像信号は、図７Ａ下段（２：３プルダウン後の映像信号）に限らない。例えば、滑らかでない不自然な動きは、映像信号内のフレームをコピーにより補間した場合に生じ得る。このような映像信号のコピーにより補間された画像のみを、動き補償補間により生成された補間画像に置き換えるようにしてもよい。
【０１０８】
また、画像生成部１３０は、画像を垂直方向（縦方向）の拡大または縮小する第１拡大縮小部と、画像を水平方向（横方向）に拡大または縮小する第２拡大縮小部を備えるようにしてもよい。第１拡大縮小部および第２拡大縮小部の少なくとも一方が、視点毎に独立して生成された補間画像に対して、視点毎に拡大または縮小することにより、第１映像信号における画像の解像度と第２映像信号における画像の解像度が異なる場合にも容易に対応することができる。
【０１０９】
また、各実施の形態における映像処理装置は、補間画像を含む第２映像信号のフレームレートは、第１映像信号よりも高い場合でも、低い場合でも、同じ場合でも適用することができる。
【０１１０】
なお、画像記憶部１００は、第１映像信号の現在入力されている画像よりも１フレーム時間前中の１つの画像を記憶する第１記憶領域と、第１映像信号の現在入力されている画像よりも２フレーム時間前の中の他の１つの画像を記憶する第２記憶領域とを備える構成としてもよい。第１および第２記憶領域は、１Ｆ遅延部１１０および１１１と同様に、１フレーム時間前画像および２フレーム時間前の画像を記憶してもよいし、所定フレーム数または所定フィールド数離れた複数の画像を記憶してもよい。また、画像記憶部１００は、１Ｆ遅延部を３つ以上備え、複数の画像を記憶する構成としてもよい。この場合、動き予測部および動き補償部は、それぞれ、複数の画像の任意の画像を選択して用いることができる。
【０１１１】
なお、図２Ａ〜図２Ｆ、図３Ａ〜図３Ｄに視点数が２の場合のフォーマット例を示したが、視点数が３以上のいわゆる多眼式の場合は、これらのフォーマットを視点数に応じて拡張してもよい。
【０１１２】
以上説明してきたように、本発明の一面における映像処理装置は、互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から補間画像を生成する映像処理装置であって、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出す視点制御部と、前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に補間用画素データを生成することによって、補間画像を生成する画像生成部とを備える。
【０１１３】
この構成によれば、視点制御部は、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間の視差に対応するずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことを防止することができる。
【０１１４】
ここで、前記画像生成部は、前記補間画像を含み、表示パネルの画素配列に対応した、前記複数の視点に対応する画素データから成る第２映像信号を生成し、前記視点制御部は、第２映像信号における画素配列に対応するように、前記複数の視点毎に前記第１映像信号の画素を前記複数の視点毎に取り出すようにしてもよい。
【０１１５】
この構成よれば、補間画像の生成を３Ｄ画像の品質を損なうことなく行うことができさらに、第１映像信号の画素配列と第２映像信号の画素配列とが異なっている場合には、前者の画素配列から後者の画素配列への変換（フォーマット変換）を効率よく行うことができる。
【０１１６】
ここで、前記視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出すようにしてもよい。
【０１１７】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を、前記視点制御部による画素アドレスの対応付けにより高速に実現できる。しかも、第２映像信号の画像を記憶するメモリは、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要する記憶領域を最小限に抑えることができ、コストを低減することができる。
【０１１８】
ここで、前記映像処理装置は、さらに、前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に画像の動き情報を検出する動き情報検出部を備え、前記画像生成部は、前記視点毎の動き情報を用いて前記複数の視点毎に補間用画素データを生成することによって前記複数の視点毎に補間画像を生成するようにしてもよい。
【０１１９】
この構成よれば、動き情報を精度を良く検出することができ、補間画像ひいては３Ｄ画像の品質を損なうことなく補間画像を生成することができる。
【０１２０】
ここで、前記視点制御部は、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記画像生成部に供給する第１視点制御部と、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給する第２視点制御部とを備えるようにしてもよい。
【０１２１】
この構成よれば、動き検出部による動き検出と画像生成部による画像生成とをパイプライン化することが可能であり、より高いフレームレート化に適している。例えば、２倍速より高いフレームレートへの変換や、フィルム映像を表示パネルのフレームレートに変換するのに適している。
【０１２２】
ここで、前記映像処理装置は、前記第１映像信号中の１フレーム以上の画像を一時的に記憶する画像記憶部を備え、前記視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給するようにしてもよい。
【０１２３】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を３Ｄ画像の品質を損なうことなく行うことができる。
【０１２４】
ここで、前記映像処理装置は、前記第１映像信号を一時的に記憶する画像記憶部を備え、前記画像記憶部は、前記第１映像信号中の１フレーム以上の画像を記憶し、前記第１視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給し、前記第２視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給するようにしてもよい。
【０１２５】
この構成よれば、動き検出部による動き検出と画像生成部による画像生成とをパイプライン化することが可能である。例えば、２倍速より高いフレームレートへの変換や、フィルム映像を表示パネルのフレームレートに変換するのにおける高速化に適している。
【０１２６】
ここで、前記第１視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から、前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出すようにしてもよい。
【０１２７】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を、画像記憶部の領域をアドレス変換により高速に実現できる。しかも、画像記憶部は、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要する記憶領域を最小限に抑えることができ、コストを低減することができる。
【０１２８】
ここで、前記画像生成部は、前記視点制御部によって取り出された視点毎の画素データに対して（ａ）動き情報を用いた補間、（ｂ）線形補間、および（ｃ）フレームのコピーによる補間のうち少なくとも１つを用いて、前記補間画像を生成するようにしてもよい。
【０１２９】
この構成によれば、（ｂ）補間画像を線形補間により生成する場合には、補間画像生成の処理量および処理負荷を軽くすることができ、ハードウェア規模を小さくすることができる。（ｃ）補間画像をコピーにより生成する場合には、補間画像生成の処理量および処理負荷を大きく低減し、ハードウェア規模を増加することなく補間画像の生成を実現することができる。また、（ａ）〜（ｃ）の１つ以上を組み合わせて補間することにより、処理量および処理速度に対して柔軟に対応することができる。
【０１３０】
ここで、前記画像生成部は、前記第１映像信号の画像間に、前記補間画像を挿入することにより、前記第１前記第２映像信号を生成し、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレートより高くてもよい。
【０１３１】
ここで、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレートの２倍または４倍であってもよい。
【０１３２】
この構成によれば、フレームレートのｎ倍速変換（例えば２倍速変換、４倍速変換）を実現することができる。
【０１３３】
ここで、前記第１映像信号は映画フィルムに対応するフレームレートを有し、前記第２映像信号はテレビ放送または表示パネルに対応するフレームレートであってもよい。
【０１３４】
この構成によれば、映画フィルムの映像信号を、映画フィルムを表示パネルのフレームレートに変換を行うことができる。
【０１３５】
ここで、前記第１映像信号はＰＡＬ（Phase Alternation by Line）テレビ放送に対応するフレームレートを有し、前記第２映像信号はＮＴＳＣ（National Television System Committee）テレビ放送に対応するフレームレートであってもよい。
【０１３６】
この構成によれば、ＰＡＬ映像信号をＮＴＳＣ映像信号に変換することができる。
ここで、前記画像生成部は、前記第１映像信号の一部の画像と、前記補間画像とを含む前記第２映像信号を生成し、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレート以下であってもよい。
【０１３７】
この構成によれば、第１映像信号の低フレームレート化、または同じフレームレートでフレームを補間画像に置き換えることができる。
【０１３８】
ここで、前記第１映像信号はＮＴＳＣ（National Television System Committee）テレビ放送に対応するフレームレートを有し、前記第２映像信号はＰＡＬ（Phase Alternation by Line）テレビ放送に対応するフレームレートであってもよい。
【０１３９】
この構成によれば、ＮＴＳＣ映像信号をＰＡＬ映像信号に変換することができる。
ここで、前記画像生成部は、前記補間画像を含む第２映像信号を生成し、前記第２映像信号は第１映像信号と同じフレームレートであり、前記画像生成部は、第１映像信号中の画像の一部を前記補間画像に置き換えることによって前記第２映像信号を生成してもよい。 この構成によれば、例えば、コピーによりプルダウン変換された第１映像信号に対して、動きベクトルを用いた補間画像によるデジャダーをすることができ、第２映像信号の動きを第１映像信号よりも滑らかにすることができる。
【０１４０】
また、本発明の一面における映像処理方法は、少なくとも第１の視点と第２の視点とを含む互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理方法であって、前記第１映像信号から前記第１の視点に対応する画素データを取り出すステップと、取り出された第１の視点の画素データから、前記第１の視点に対応する補間用画素データを生成するステップと、前記第１映像信号から前記第２の視点に対応する画素データを取り出すステップと、取り出された第２の視点の画素データから、前記第２の視点に対応する補間用画素データを生成するステップと、前記第１の視点に対応する補間用画素データおよび前記第２の視点に対応する補間用画素データとから補間画像を生成するステップとを有する。
【０１４１】
この構成によれば、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像を生成する。このように視点毎に独立して補間画像を生成するので、視点間のずらし量（またはずらし量）の影響を受けないので、３Ｄ画像の品質を損なうことなく補間画像を生成することができる。
【産業上の利用可能性】
【０１４２】
本発明は、互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理装置および映像処理方法に適している。
【符号の説明】
【０１４３】
３１ 第１補間部
３２ 第２補間部
３ｎ 第ｎ補間部
３１ａ 第１ＭＥ部
３２ａ 第２ＭＥ部
３ｎａ 第ｎＭＥ部
３１ｂ 第１ＭＣ部
３２ｂ 第２ＭＣ部
３ｎｂ 第ｎＭＣ部
１００ 画像記憶部
１１０ １Ｆ遅延部
１１１ １Ｆ遅延部
１２０ 視点制御部
１２０ａ ＭＥ視点制御部
１２０ｂ ＭＣ視点制御部
１３０ 画像生成部
１３０ａ 動き予測部
１３０ｂ 動き補償補間部
１３１ 出力制御部
１３９ ＭＥ情報記憶部
【技術分野】
【０００１】
本発明は、互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、テレビ受像機に用いられる表示部はフラットパネルディスプレイが一般的となり、中でも液晶パネルの占める割合が非常に大規模となっている。その中でも液晶パネルの動画応答性の低さを補って、高画質を実現できる倍速駆動液晶テレビの比率が増加してきている。倍速駆動では、元の映像信号のフレームレートに対して表示フレームレートは２倍になる。
【０００３】
一方、次世代テレビとして、３Ｄ（立体視）テレビが注目を浴びており、様々な方式が提案されている。立体表示の方式に関しては、１チャンネルの映像を用いて立体表示する方式（例えば、液晶シャッタで開閉する眼鏡を用いたＣＲＴ方式の立体表示）や、２チャンネルの映像を用いて立体表示する方式（例えば、プロジェクタ２台を用いた立体表示）等、各種の立体表示方式がある。例えば特許文献１には、複数の放送方式に対応することができ、かつ立体表示においては、ユーザが指定する立体表示方式で再生表示するデジタル放送受信機を開示している。
【０００４】
また、フラットパネルディスプレイの場合、上記の液晶シャッタで開閉する眼鏡を用いる方式の他に、左目と右目とに異なる角度の偏光板を備える眼鏡を用いる方式もある。この場合、フラットパネルディスプレイの全表示画素は、左目用画素と右目用画素と均等に分けられ、左目用画素と右目用画素とに異なる角度の偏光板が配置される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２５７５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、人の左目と右目の視差を生じさせる３Ｄフォーマットの映像信号から補間画像を生成すると画質劣化が生じる得るという問題がある。一般に、二次元映像の補間画像の生成では、例えば前後２枚のフレームの動きベクトルを利用して、フレーム画像を補間する。ところが、左目用画素と右目用画素とを１フレーム内に混在させる３Ｄフォーマットでは、動きベクトルを正確に検出できず、画質劣化が生じ得る。
【０００７】
図９Ａは、チェッカーフォーマットと呼ばれる３Ｄフォーマットの説明図である。この３Ｄフォーマットの画素配列では、左目用画素（図の白で表した画素）と右目用画素（図の黒で表した画素）とが行方向および列方向に交互に配置される。立体物を表す左目用画素と右目用画素とには、視差を生じさせるために対応する左目用画素と右目用画素の位置にずらし量（オフセットとも呼ぶ）が与えられる。このずらし量を与えられた左目用画素と右目用画素とが隣接して混在のため、このフォーマット上の立体物はずれて２つの画像がずれて重なった二次元画像になる。それゆえ、従来の動きベクトル検出処理では動きベクトルを正確に検出することができない。
【０００８】
図９Ｂは、ラインシーケンシャルフォーマットと呼ばれる３Ｄフォーマットの説明図である。この３Ｄフォーマットでは、左目用画素（図の白塗りの画素）と右目用画素（図の黒塗りの画素）とが列方向にのみ交互に配置される。この３Ｄフォーマットにおいても上記と同じ理由により従来の動きベクトル検出処理では動きベクトルを正確に検出することができず、画質劣化が生じ得る。
【０００９】
このような画質劣化は、動きベクトルを用いた補間画像の生成に限らず、例えば図９Ａのフォーマットに対して線形補間により補間画像を生成した場合でも起こり得る。
【００１０】
本発明は、３Ｄ表示の品質を損なうことなく補間画像を生成する映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本発明の一面における映像処理装置は、互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から補間画像を生成する映像処理装置であって、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出す視点制御部と、前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に補間用画素データを生成することによって、補間画像を生成する画像生成部とを備える。
【００１２】
この構成によれば、視点制御部は、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間の視差に対応するずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことを防止することができる。
【００１３】
ここで、前記画像生成部は、前記補間画像を含み、表示パネルの画素配列に対応した、前記複数の視点に対応する画素データから成る第２映像信号を生成し、前記視点制御部は、第２映像信号における画素配列に対応するように、前記複数の視点毎に前記第１映像信号の画素を前記複数の視点毎に取り出すようにしてもよい。
【００１４】
この構成よれば、補間画像の生成を３Ｄ画像の品質を損なうことなく行うことができさらに、第１映像信号の画素配列と第２映像信号の画素配列とが異なっている場合には、前者の画素配列から後者の画素配列への変換（フォーマット変換）を効率よく行うことができる。
【００１５】
ここで、前記視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出すようにしてもよい。
【００１６】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を、前記視点制御部による画素アドレスの対応付けにより高速に実現できる。しかも、第２映像信号の画像を記憶するメモリは、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要する記憶領域を最小限に抑えることができ、コストを低減することができる。
【００１７】
ここで、前記映像処理装置は、さらに、前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に画像の動き情報を検出する動き情報検出部を備え、前記画像生成部は、前記視点毎の動き情報を用いて前記複数の視点毎に補間用画素データを生成することによって前記複数の視点毎に補間画像を生成するようにしてもよい。
【００１８】
この構成よれば、動き情報を精度を良く検出することができ、補間画像ひいては３Ｄ画像の品質を損なうことなく補間画像を生成することができる。
【００１９】
ここで、前記視点制御部は、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記画像生成部に供給する第１視点制御部と、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給する第２視点制御部とを備えるようにしてもよい。
【００２０】
この構成よれば、動き検出部による動き検出と画像生成部による画像生成とをパイプライン化することが可能であり、より高いフレームレート化に適している。例えば、２倍速より高いフレームレートへの変換や、フィルム映像を表示パネルのフレームレートに変換するのに適している。
【００２１】
ここで、前記映像処理装置は、前記第１映像信号中の１フレーム以上の画像を一時的に記憶する画像記憶部を備え、前記視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給するようにしてもよい。
【００２２】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を３Ｄ画像の品質を損なうことなく行うことができる。
【００２３】
ここで、前記映像処理装置は、前記第１映像信号を一時的に記憶する画像記憶部を備え、前記画像記憶部は、前記第１映像信号中の１フレーム以上の画像を記憶し、前記第１視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給し、前記第２視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給するようにしてもよい。
【００２４】
この構成よれば、動き検出部による動き検出と画像生成部による画像生成とをパイプライン化することが可能である。例えば、２倍速より高いフレームレートへの変換や、フィルム映像から表示パネルのフレームレートに変換するのに適しており、かつ高速化に適している。
【００２５】
ここで、前記第１視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から、前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出すようにしてもよい。
【００２６】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を、画像記憶部の領域をアドレス変換により高速に実現できる。しかも、画像記憶部は、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要する記憶領域を最小限に抑えることができ、コストを低減することができる。
【００２７】
ここで、前記画像生成部は、前記視点制御部によって取り出された視点毎の画素データに対して（ａ）動き情報を用いた補間、（ｂ）線形補間、および（ｃ）フレームのコピーによる補間のうち少なくとも１つを用いて、前記補間画像を生成するようにしてもよい。
【００２８】
この構成によれば、（ｂ）補間画像を線形補間により生成する場合には、補間画像生成の処理量および処理負荷を軽くすることができ、ハードウェア規模を小さくすることができる。（ｃ）補間画像をコピーにより生成する場合には、補間画像生成の処理量および処理負荷を大きく低減し、ハードウェア規模を増加することなく補間画像の生成を実現することができる。また、（ａ）〜（ｃ）の１つ以上を組み合わせて補間することにより、処理量および処理速度に対して柔軟に対応することができる。
【００２９】
ここで、前記画像生成部は、前記第１映像信号の画像間に、前記補間画像を挿入することにより、前記第１前記第２映像信号を生成し、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレートより高くてもよい。
【００３０】
ここで、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレートの２倍または４倍であってもよい。
【００３１】
この構成によれば、フレームレートのｎ倍速変換（例えば２倍速変換、４倍速変換）を実現することができる。
【００３２】
ここで、前記第１映像信号は映画フィルムに対応するフレームレートを有し、前記第２映像信号はテレビ放送または表示パネルに対応するフレームレートであってもよい。
【００３３】
この構成によれば、映画フィルムの映像信号を表示パネルのフレームレートに変換するのに適している。
【００３４】
ここで、前記第１映像信号はＰＡＬ（Phase Alternation by Line）テレビ放送に対応するフレームレートを有し、前記第２映像信号はＮＴＳＣ（National Television System Committee）テレビ放送に対応するフレームレートであってもよい。
【００３５】
この構成によれば、ＰＡＬ映像信号をＮＴＳＣ映像信号に変換することができる。
ここで、前記画像生成部は、前記第１映像信号の一部の画像と、前記補間画像とを含む前記第２映像信号を生成し、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレート以下であってもよい。
【００３６】
この構成によれば、第１映像信号の低フレームレート化、または同じフレームレートでフレームを補間画像に置き換えることができる。
【００３７】
ここで、前記第１映像信号はＮＴＳＣ（National Television System Committee）テレビ放送に対応するフレームレートを有し、前記第２映像信号はＰＡＬ（Phase Alternation by Line）テレビ放送に対応するフレームレートであってもよい。
【００３８】
この構成によれば、ＮＴＳＣ映像信号をＰＡＬ映像信号に変換することができる。
ここで、前記画像生成部は、前記補間画像を含む第２映像信号を生成し、前記第２映像信号は第１映像信号と同じフレームレートであり、前記画像生成部は、第１映像信号中の画像の一部を前記補間画像に置き換えることによって前記第２映像信号を生成してもよい。
【００３９】
この構成によれば、例えば、コピーにより２：３プルダウン変換された第１映像信号に対して、動きベクトルを用いた補間画像によるデジャダーをすることができ、第２映像信号の動きを第１映像信号よりも滑らかにすることができる。
【００４０】
また、本発明の一面における映像処理方法は、少なくとも第１の視点と第２の視点とを含む互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理方法であって、前記第１映像信号から前記第１の視点に対応する画素データを取り出すステップと、取り出された第１の視点の画素データから、前記第１の視点に対応する補間用画素データを生成するステップと、前記第１映像信号から前記第２の視点に対応する画素データを取り出すステップと、取り出された第２の視点の画素データから、前記第２の視点に対応する補間用画素データを生成するステップと、前記第１の視点に対応する補間用画素データおよび前記第２の視点に対応する補間用画素データとから補間画像を生成するステップとを有する。
【００４１】
この構成によれば、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像を生成する。このように視点毎に独立して補間画像を生成するので、視点間のずらし量（またはずらし量）の影響を受けないので、３Ｄ画像の品質を損なうことなく補間画像を生成することができる。
【発明の効果】
【００４２】
本発明の映像処理装置によれば、視点間のずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことなく補間画像を生成することができる。
【００４３】
また、高フレーム化と、第１映像信号の画素配列から表示パネルの画素配列への変換との両者を３Ｄ画像の品質を損なうことなく行うことができる。
【００４４】
さらに、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を、画像記憶部の領域をアドレス変換により高速に実現できる。
【００４５】
また、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要する記憶領域を最小限に抑えることができ、コストを低減することができる。
【図面の簡単な説明】
【００４６】
【図１】実施の形態１における映像処理装置の主要部の構成を示すブロック図である。
【図２Ａ】実施の形態１におけるチェッカーフォーマットの説明図である。
【図２Ｂ】実施の形態１における他のチェッカーフォーマットの説明図である。
【図２Ｃ】実施の形態１におけるラインシーケンシャルフォーマットの説明図である。
【図２Ｄ】実施の形態１における他のラインシーケンシャルフォーマットの説明図である。
【図２Ｅ】実施の形態１における垂直インタリーブフォーマットの説明図である。
【図２Ｆ】実施の形態１における他の垂直インタリーブフォーマットの説明図である。
【図３Ａ】実施の形態１におけるサイドバイサイドフォーマット（フルレート）の説明図である。
【図３Ｂ】実施の形態１におけるサイドバイサイドフォーマット（ハーフレート）の説明図である。
【図３Ｃ】実施の形態１におけるフレームシーケンシャルフォーマット（インタレース）の説明図である。
【図３Ｄ】実施の形態１におけるフレームシーケンシャルフォーマット（プログレッシブ）の説明図である。
【図４】実施の形態２における映像処理装置の主要部の構成を示すブロック図である。
【図５】実施の形態２における映像処理装置の主要部の変形例を示すブロック図である。
【図６】実施の形態３における映像処理装置の主要部の構成を示すブロック図である。
【図７Ａ】フレームコピーによる２：３プルダウン変換を示す説明図である。
【図７Ｂ】実施の形態３における動き補償補間によるデジャダー処理を示す説明図である。
【図８Ａ】実施の形態３における動き補償補間によるＰＡＬからＮＴＳＣへの変換を示す説明図である。
【図８Ｂ】実施の形態３における動き補償補間によるＮＴＳＣからＰＡＬへの変換を示す説明図である。
【図８Ｃ】第１映像信号を同じフレームレートの第２映像信号を生成する処理を示す説明図である。
【図９Ａ】チェッカーフォーマットと呼ばれる３Ｄフォーマットの説明図である。
【図９Ｂ】ラインシーケンシャルフォーマットと呼ばれる３Ｄフォーマットの説明図である。
【発明を実施するための形態】
【００４７】
（実施の形態１）
互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、第１映像信号よりも高いフレームレートの第２映像信号を生成する映像処理装置であって、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する構成について説明する。このように視点毎に独立して補間画像を生成するので、視点間のずらし量（またはずらし量）の影響を受けないので、３Ｄ画像の品質を損なうことなく高フレームレート化を可能にすることができる。画像生成部１３０は、第１補間部３１、第２補間部３２、・・・第ｎ補間部３ｎと、出力制御部１３１とを備える。
【００４８】
図１は、実施の形態１における映像処理装置の主要部の構成を示すブロック図である。この映像処理装置は、例えば液晶表示パネル、プラズマ表示パネル、有機ＥＬ表示パネルなどのフラットパネルディスプレイを有するデジタルテレビであって、同図では、本発明に関連する主要部の構成を示している。同図のように映像処理装置は、１Ｆ遅延部１１０、視点制御部１２０、画像生成部１３０を備える。
【００４９】
１Ｆ遅延部１１０は、入力される第１映像信号を１フレーム時間遅延させる遅延バッファであり、第１映像信号の現在入力されている画像よりも１フレーム時間前の画像を記憶する。ここで、第１映像信号は、互いに異なる複数の視点に対応する画素が混在する画像からなる映像信号である。複数の視点は２つ以上である。複数の視点が２つの場合の第１映像信号の画素配列を示す具体的なフォーマットを図２Ａ〜図２Ｆ、図３A〜図３Dに例示する。
【００５０】
図２Ａおよび図２Ｂは、チェッカーフォーマットの説明図である。左目用画素および右目用画素は、行方向および列方向に交互に並ぶように配置されている。図２Ａと図２Ｂとでは、画素の重心位置が異なっている。
【００５１】
図２Ｃおよび図２Ｄは、ラインシーケンシャルフォーマットの説明図である。左目用画素および右目用画素は、列方向にのみ交互に並ぶように配置されている。図２Ｃと図２Ｄとでは、画素の重心位置が異なっている。
【００５２】
図２Ｅおよび図２Ｆは、垂直インタリーブフォーマットの説明図である。左目用画素および右目用画素は、行方向にのみ交互に並ぶように配置されている。図２Ｅと図２Ｆとでは、画素の重心位置が異なっている。
【００５３】
図３Ａおよび図３Ｂは、サイドバイサイドフォーマットの説明図である。左目用画素と右目用画素とは、画像の左半分と右半分とに分けられている。図３Ａと３Ｂとでは、フルレートであるハーフレートであるかで異なっている。
【００５４】
図３Ｃおよび図３Ｄは、フレームシーケンシャルフォーマットの説明図である。図３Ｃと図３Ｄとでは、インタレースかプログレッシブかで異なっている。
【００５５】
視点制御部１２０は、複数の視点毎に、第１映像信号の現在入力されている画像および１Ｆ遅延部１１０に保持された画像から当該視点に対応する画素データを取り出す。
【００５６】
画像生成部１３０は、視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に補間用画素データを生成することによって、補間画像を生成する。画像生成部１３０は、第１映像信号にフレーム間補間することによって、第２映像信号を生成する。
【００５７】
そのため、画像生成部１３０は、第１補間部３１、第２補間部３２、・・・、第ｎ補間部３ｎ、出力制御部１３１を備える構成としてもよい。ｎは２以上の視点の数であり、第１映像信号の複数の視点の数以上であればよい。以下便宜上、複数の視点を第１の視点、第２の視点、・・・第ｎの視点と呼ぶ。ｎ＝２の場合は、第１の視点および第２の視点は左目用画像および右目用画像にそれぞれ対応する。なお、第１補間部３１〜第ｎ補間部３ｎは、図１ではｎ個の別個のブロックとして記載しているが、１個の補間部を設けて時分割でｎ回処理する構成としてもよい。補間部を１個備える構成では、回路規模を低減することができる。逆にｎ個の補間部を備える構成では、並列動作により高速化することができる。
【００５８】
第１補間部３１は、視点制御部１２０によって取り出された第１の視点の画素データを生成する。補間画素データは、フレーム補間用である。第２補間部３２、第ｎ補間部３ｎも、視点が異なる点以外は、第１補間部３１と同じなので説明を省略する。
【００５９】
出力制御部１３１は、表示パネルの動作タイミング（垂直同期、水平同期など）に合わせて第２映像信号を出力する。
【００６０】
以上説明してきたように、実施の形態１における視点制御部１２０は、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部１３０は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間のずらし量（またはずらし量）の影響を受けないので、３Ｄ画像の品質を損なうことなく高フレームレート化を可能にすることができる。
【００６１】
なお、第１補間部３１〜第ｎ補間部３ｎは、フレーム補間の方法として、動きベクトルを検出し、動きベクトルを用いた動き補償補間や、線形補間など用いることができる。
【００６２】
また、画像生成部１３０は、フレーム補間に加えて、必要に応じて第１映像信号の元の画像に対してフレーム内補間をしてもよい。また、画像生成部１３０は、フレーム補間に加えて、必要に応じて第２映像信号の補間フレームに対してフレーム内補間をしてもよい。フレーム内補間をすることにより、第２映像信号のフォーマットが第１映像信号と異なっている場合でも、フォーマット変換を容易にする。
【００６３】
（実施の形態２）
本実施の形態では、第１映像信号の視点毎の画素データから、複数の視点毎に画像の動き情報を検出し、視点毎の動き情報を用いて、複数の視点毎に補間用画素データを生成する映像処理装置について説明する。
【００６４】
加えて、第２映像信号における複数の視点に対応する画素配列（第２フォーマット）が、第１映像信号における複数の視点に対応する画素配列（第１フォーマット）と異なっている場合に、画素配列を変換する映像処理装置について説明する。第１フォーマットの具体例は、図２Ａ〜２Ｆ、３Ａ〜３Ｄに示した何れかでもよい。第２フォーマットは、各表示画素上に偏光板を備える表示パネルに対応する第２映像信号の場合、図２Ｃ〜図２Ｆの何れかでもよい。
【００６５】
図４は、実施の形態２における映像処理装置の主要部の構成を示すブロック図である。同図の映像処理装置は、図１と比較して、視点制御部１２０の代わりにＭＥ視点制御部１２０ａおよびＭＣ視点制御部１２０ｂを備える点と、画像生成部１３０の代わりに動き予測部１３０ａおよび動き補償補間部１３０ｂを備える点とが異なっている。動き予測部１３０ａは、第１ＭＥ部３１ａ、第２ＭＥ部３２ａ、・・・、第ｎＭＥ部３ｎａを備える。動き補償補間部１３０ｂは、第１ＭＣ部３１ｂ、第２ＭＣ部３２ｂ、・・・、第ｎＭＣ部３ｎｂ、出力制御部１３１を備える。以下、同じ点は説明を省略し、異なる点を中心に説明する。
【００６６】
ＭＥ視点制御部１２０ａは、複数の視点毎に、第１映像信号から当該視点に対応する画素データを取り出し、動き予測部１３０ａに供給する。
【００６７】
ＭＣ視点制御部１２０ｂは、複数の視点毎に、第１映像信号から当該視点に対応する画素データを取り出し、動き補償補間部１３０ｂに供給する。また、第２映像信号における複数の視点に対応する画素配列（第２フォーマット）が第１映像信号における複数の視点に対応する画素配列（第１フォーマット）と異なっている場合、ＭＣ視点制御部１２０ｂは、第２映像信号の画素配列に変換するように、第１映像信号の画素を複数の視点毎に取り出し、前記動き補償補間部１３０ｂに供給する。これにより、高フレーム化に加えて、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を３Ｄ画像の品質を損なうことなく行うことができる。
【００６８】
この場合の動き補償補間部１３０ｂの構成例について説明する。ＭＣ視点制御部１２０ｂは、第２映像信号の画素配置における画素アドレスと、第１映像信号の画素配置における画素アドレスとを対応付ける対応テーブル部を有し、第１映像信号の画素配列を第２映像信号の画素配列に変換するように前記対応テーブル部を用いたアドレス変換し、変換アドレスにより前記複数の視点毎に画素を取り出すようにすればよい。
【００６９】
動き予測部１３０ａは、視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に画像の動き情報（動きベクトル）を検出する動き情報検出部である。
【００７０】
動き補償補間部１３０ｂは、視点毎の動き情報を用いて前記複数の視点毎に補間用画素データを生成することによって前記複数の視点毎に補間画像を生成する。
【００７１】
第１ＭＥ部３１ａは、視点制御部によって取り出された第１の視点の画素データから、第１の視点に画像の動き情報（動きベクトル）を検出する。第２ＭＥ部３２ａ、第ｎＭＥ部３ｎａについても、視点が異なる以外は、第１ＭＥ部３１ａと同じ機能なので説明を省略する。
【００７２】
なお、第１ＭＥ部３１ａ〜第ｎＭＥ部３ｎａは、ｎ個の別個のブロックとして記載しているが、１個のＭＥ部を設けて時分割でｎ回処理する構成としてもよい。ＭＥ部を１個備える構成では、回路規模を低減することができる。逆にｎ個のＭＥ部を備える構成では、並列動作により高速化することができる。
【００７３】
第１ＭＣ部３１ｂは、第１ＭＥ部３１ａによって検出された動き情報を用いて第１の視点の補間用画素データを生成する。第２ＭＣ部３２ｂ、第ｎＭＣ部３ｎｂについても、視点が異なる以外は、第１ＭＥ部３１ａと同じ機能なので説明を省略する。なお、第１ＭＣ部３１ｂ〜第ｎＭＣ部３ｎｂは、ｎ個の別個のブロックとして記載しているが、１個のＭＣ部を設けて時分割でｎ回処理する構成としてもよい。ＭＣ部を１個備える構成では、回路規模を低減することができる。逆にｎ個のＭＣ部を備える構成では、並列動作により高速化することができる。
【００７４】
上記の第１ＭＥ部３１ａおよび第１ＭＣ部３１ｂは、動き補償補間をする場合の実施の形態１の第１補間部３１に相当する。
【００７５】
以上のように構成された実施の形態２における映像処理装置によれば、動き情報を精度を良く検出することができ、補間画像ひいては３Ｄ画像の品質を損なうことなく高フレームレート化することができる。
【００７６】
また、第１フォーマットの第１映像信号を第２フォーマットの第２映像信号に変換するフォーマット変換では、アドレス変換により高速に実現できる。しかも、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要するメモリ容量を最小限に抑えることができ、コストを低減することができる。
【００７７】
なお、１Ｆ遅延部１１０は、汎用的なＤＲＡＭ等の画像記憶部を用いて構成しても良い。
【００７８】
図５は、１Ｆ遅延部１１０の代わりに画像記憶部１００を備える構成にした場合の、映像処理装置の主要部の変形例を示すブロック図である。
【００７９】
同図は、図４と比較して、１Ｆ遅延部１１０の機能が画像記憶部１００により構成されている点が異なる。同じ点は説明を省略し、以下異なる点を中心に説明する。画像記憶部１００は、ＤＲＡＭ等のメモリである。さらに、画像記憶部１００は、キャッシュメモリを有していてもよい。これにより、ＭＥ視点制御部１２０ａ、ＭＣ視点制御部１２０ｂからの読み出しを高速化することができる。 なお、実施の形態２においてアドレス変換により第１フォーマットを第２フォーマットに変換する構成を説明したが、動き補償補間部１３０ｂによる補間の前に、第２フォーマットの画像をフレーム単位にメモリ（例えば、画像記憶部１００）に展開するようにしてもよい。
【００８０】
（実施の形態３）
実施の形態３では、１Ｆ遅延部を２段設けた映像処理装置について説明する。これにより、より高いフレームレート化、例えば、２倍速より高いフレームレートへの変換や、フィルム映像を表示パネルのフレームレートに変換ことなどに適している。
【００８１】
図６は、実施の形態３における映像処理装置の主要部の構成を示すブロック図である。同図の映像処理装置は、図５と比較すると、１Ｆ遅延部１１０、１１１とが明記されている点と、ＭＥ情報記憶部１３９が追加されている点と、ＭＣ視点制御部１２０ｂの画素データを取り出す先が、１Ｆ遅延部１１０および１Ｆ遅延部１１１である点とが異なっている。以下、同じ点は説明を省略し、異なる点を中心に説明する。まら、図中の「０Ｆ」は現在入力されているフレーム画像、「１Ｆ」は現在入力されている画像より１フレーム前のフレーム画像、「２Ｆ」は現在入力されている画像よりも２フレーム前のフレーム画像を意味する。
【００８２】
１Ｆ遅延部１１１は、第１映像信号の現在入力されている画像よりも２フレーム時間前の画像を記憶するための画像記憶部１００の記憶領域である。
【００８３】
第１ＭＥ部３１ａ〜第ｎＭＥ部３ｎａによって検出された動きベクトルを一時的に（ここでは、少なくとも１フレーム時間）記憶する。
【００８４】
このように構成することにより、動き検出部による動き検出と画像生成部による画像生成と異なるフレーム画像に対して並列に実行することができ、つまり、パイプライン化することが可能になる。これにより、より高いフレームレート化に適している。例えば、２倍速より高いフレームレートへの変換や、フィルム映像を表示パネルのフレームレートに変換ことに適している。
【００８５】
以下、さらに具体的な動作例として（Ａ）２：３プルダウン変換、（Ｂ）ＰＡＬからＮＴＳＣへの変換、（Ｃ）ＮＴＳＣからＰＡＬへの変換について説明する。
【００８６】
（Ａ）２：３プルダウン変換について説明する。
図７Ａは、一般的なフレームコピーによる２：３プルダウン変換を示す説明図である。
【００８７】
第１映像信号は、映画フィルムに対応するフレームレートを有し、そのフレームレートは毎秒２４フレームであるものとする。第２映像信号は、ＮＴＳＣテレビ方式に対応するフレームレートを有し、フレームレートは、毎秒６０フィールド（毎秒３０フレーム）であるものとする。図中のＰ１、Ｐ２等の枠線はフレーム画像を表す。
【００８８】
同図における２：３プルダウン変換では、第１映像信号のフレームＰ１を部分的にコピーすることにより、第２映像信号用に２枚のフィールドｐ１を生成し、第１映像信号のフレームＰ２を部分的にコピーすることにより、第２映像信号用に３枚のフィールドｐ２を生成する。というコピーを繰り返す。この場合、動きの滑らかさが損なわれる、つまりカクカクした動き（ジャダー）が発生するという欠点がある。
【００８９】
図７Ｂは、実施の形態３における動き補償補間によるデジャダー処理示す説明図である。第１映像信号、第２映像信号のフレームレートはそれぞれ、図７Ａと同じであるが、補間画像の生成の仕方が図７Ａとは異なっている。
【００９０】
第２映像信号中の細線枠のフィールドｐ１、ｐ３は、コピーにより生成された（補間）画像を示す。これに対して、第２映像信号中の太線枠のフィールドｐ１２ａ、ｐ１２ｂ、ｐ２３ａ、ｐ２３ｂは、動き補償補間により生成された補間画像を示す。例えば、動き予測部１３０ａおよび動き補償補間部１３０ｂは、図７Ｂの第２映像信号におけるフィールドｐ１２ａを、フレームＰ１の動きベクトルおよびフレームＰ２の動きベクトルの少なくとも一方を用いて、フィールドｐ１２ａのフィールド時刻に対応する補間画像を生成する。フィールドｐ１２ｂ、ｐ２３ａ、ｐ２３ｂについても同様に生成される。
【００９１】
補間画像ｐ１２ａ、ｐ１２ｂ、ｐ２３ａ、ｐ２３ｂは、図７Ａの補間画像ｐ１、ｐ２と比べて、それぞれのフィールドの時刻における動きが反映されるので、滑らかな動きを表現することができ、画質が向上する。
【００９２】
以上のように、第１映像信号は映画フィルムに対応するフレームレートを有し、第２映像信号はテレビ放送または表示パネルに対応するフレームレートである場合でも、ＭＥ視点制御部１２０ａは、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部（動き予測部１３０ａおよび動き補償補間部１３０ｂ）は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間の視差に対応するずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことをフレームレート変換することができる。
【００９３】
なお、第１映像信号（映画フィルム）のフレームレートは、毎秒２５フレーム、毎秒１８フレーム等他のフレームレートであってもよい。第２映像信号のフレームレートは、毎秒６０フィールドでなくてもよい。この場合、画像生成部は第１映像信号と第２映像信号のフレームレートの比に応じた数の補間画像を生成すればよい。
【００９４】
なお、図７Ｂにおいて、第２映像信号のフレームレートが第１映像信号のｎ倍である場合には、ｎ倍速変換することができる。ｎは２、４等の整数または実数である。
【００９５】
（Ｂ）ＰＡＬ（Phase Alternation by Line）からＮＴＳＣ（National Television System Committee）への変換について説明する。
【００９６】
図８Ａは、動き補償補間によるＰＡＬからＮＴＳＣへの変換を示す説明図である。同図において、前記第１映像信号はＰＡＬテレビ放送に対応するフレームレートを有し、そのフレームレートは毎秒５０フィールドであるものとする。第２映像信号はＮＴＳＣテレビ放送に対応するフレームレートを有し、そのフレームレートは毎秒６０フィールドであるものとする。
【００９７】
第２映像信号中の細線枠のフィールドＱ１、Ｑ３は、コピーにより生成された（補間）画像を示す。これに対して、図８Ａ中の太線枠のフィールドＱ２、Ｑ３、Ｑ４は、動き補償補間により生成された補間画像を示す。例えば、動き予測部１３０ａおよび動き補償補間部１３０ｂは、図８Ａの第２映像信号におけるフィールドＱ２を、フィールドＰ１の動きベクトルおよびフィールドＰ２の動きベクトルの少なくとも一方を用いて、フィールドＱ２のフレーム時刻に対応する補間画像として生成する。フィールドＱ３〜Ｑ５についても同様に生成される。補間画像Ｑ２〜Ｑ５は、それぞれのフィールドの時刻における動きが反映されるので、滑らかな動きを表現することができ、画質が向上する。
【００９８】
以上のように、第１映像信号はＰＡＬテレビ放送に対応するフレームレートを有し、前記第２映像信号はＮＴＳＣテレビ放送に対応するフレームレートである場合でも、ＭＥ視点制御部１２０ａは、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部（動き予測部１３０ａおよび動き補償補間部１３０ｂ）は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間の視差に対応するずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことを防止なくＰＡＬからＮＴＳＣに変換することができる。
【００９９】
（Ｃ）ＮＴＳＣからＰＡＬへの変換について説明する。
図８Ｂは、動き補償補間によるＮＴＳＣからＰＡＬへの変換を示す説明図である。同図において、前記第１映像信号はＮＴＳＣテレビ放送に対応するフレームレートを有し、そのフレームレートは毎秒６０フィールドであるものとする。第２映像信号はＰＡＬテレビ放送に対応するフレームレートを有し、そのフレームレートは毎秒５０フィールドであるものとする。
【０１００】
第２映像信号中の細線枠のフィールドＰ１、Ｐ５は、コピーにより生成された（補間）画像を示す。これに対して、図８Ｂ中の太線枠のフィールドＰ２、Ｐ３、Ｐ４は、動き補償補間により生成された補間画像を示す。例えば、動き予測部１３０ａおよび動き補償補間部１３０ｂは、図８Ａの第２映像信号におけるフィールドＰ２を、フィールドＱ２の動きベクトルおよびフィールドＱ３の動きベクトルの少なくとも一方を用いて、フィールドＰ２のフレーム時刻に対応する補間画像として生成する。フィールドＰ２〜Ｐ４についても同様に生成される。補間画像Ｐ２〜Ｐ４は、それぞれのフィールドの時刻における動きが反映されるので、滑らかな動きを表現することができ、画質が向上する。
【０１０１】
以上のように、第１映像信号はＮＴＳＣテレビ放送に対応するフレームレートを有し、前記第２映像信号はＰＡＬテレビ放送に対応するフレームレートである場合でも、ＭＥ視点制御部１２０ａは、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部（動き予測部１３０ａおよび動き補償補間部１３０ｂ）は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間の視差に対応するずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことを防止なくＮＴＳＣからＰＡＬに変換することができる。
【０１０２】
なお、上記（Ａ）〜（Ｃ）の動作例では動き補償補間について説明したが、線形補間、コピーによる補間であっても、動きの滑らかさを損なうが３Ｄ画像の品質を損なうことを防止することができる。
【０１０３】
また、上記（Ａ）〜（Ｃ）の動作例は、実施の形態１および実施の形態２に適用してもよい。また、画像生成部１３０は、視点制御部１００によって取り出された視点毎の画素データに対して（ａ）動き情報を用いた補間、（ｂ）線形補間、および（ｃ）フレームのコピーによる補間のうち少なくとも１つを組み合わせて、補間画像を生成するようにしてもよい。もちろん、この組み合わせは動的に変更してもよい。
【０１０４】
なお、第１映像信号と第２映像信号は同じフレームレートであってもよい。この場合は、第１映像信号の動きを滑らかにすることができる。
【０１０５】
図８Ｃは、第１映像信号を同じフレームレートの第２映像信号を生成する処理を示す説明図である。図８Ｃの第１映像信号は、例えば図７Ａ下段（２：３プルダウン後の映像信号）であり、図８Ｃの第２映像信号は、例えば図７Ｂ下段（動き補償補間後の映像信号）を示す。
【０１０６】
図８Ｃの処理において、画像生成部（動き予測部１３０ａおよび動き補償補間部１３０ｂ）は、第１映像信号中の画像の一部を、動き補償補間による補間画像に置き換えることによって第２映像信号を生成する。具体的には、第１映像信号中のフィールドｐ１（２つ目のｐ１）を補間画像ｐ１２ａに、第１映像信号中の１つの画像Ｐ２（１つ目のｐ２）を補間画像ｐ１２ｂに、第１映像信号中のフィールドｐ２（２つ目のｐ２）を補間画像ｐ１２ｂに、・・・置き換える処理を行う。これにより、第２映像信号は、第１映像信号よりも滑らかな動きを表現することができる。図８Ｃでは、コピーにより２：３プルダウン変換された第１映像信号を、動きベクトルを用いた補間画像により第２映像信号に変換するので、ジャダーを低減することができる。
【０１０７】
このように、本実施の形態の映像処理装置は、滑らかでない不自然な動きを含む映像信号を、滑らかな動きを表現した映像信号に変換することができる。なお、滑らかでない不自然な動きを含む第１映像信号は、図７Ａ下段（２：３プルダウン後の映像信号）に限らない。例えば、滑らかでない不自然な動きは、映像信号内のフレームをコピーにより補間した場合に生じ得る。このような映像信号のコピーにより補間された画像のみを、動き補償補間により生成された補間画像に置き換えるようにしてもよい。
【０１０８】
また、画像生成部１３０は、画像を垂直方向（縦方向）の拡大または縮小する第１拡大縮小部と、画像を水平方向（横方向）に拡大または縮小する第２拡大縮小部を備えるようにしてもよい。第１拡大縮小部および第２拡大縮小部の少なくとも一方が、視点毎に独立して生成された補間画像に対して、視点毎に拡大または縮小することにより、第１映像信号における画像の解像度と第２映像信号における画像の解像度が異なる場合にも容易に対応することができる。
【０１０９】
また、各実施の形態における映像処理装置は、補間画像を含む第２映像信号のフレームレートは、第１映像信号よりも高い場合でも、低い場合でも、同じ場合でも適用することができる。
【０１１０】
なお、画像記憶部１００は、第１映像信号の現在入力されている画像よりも１フレーム時間前中の１つの画像を記憶する第１記憶領域と、第１映像信号の現在入力されている画像よりも２フレーム時間前の中の他の１つの画像を記憶する第２記憶領域とを備える構成としてもよい。第１および第２記憶領域は、１Ｆ遅延部１１０および１１１と同様に、１フレーム時間前画像および２フレーム時間前の画像を記憶してもよいし、所定フレーム数または所定フィールド数離れた複数の画像を記憶してもよい。また、画像記憶部１００は、１Ｆ遅延部を３つ以上備え、複数の画像を記憶する構成としてもよい。この場合、動き予測部および動き補償部は、それぞれ、複数の画像の任意の画像を選択して用いることができる。
【０１１１】
なお、図２Ａ〜図２Ｆ、図３Ａ〜図３Ｄに視点数が２の場合のフォーマット例を示したが、視点数が３以上のいわゆる多眼式の場合は、これらのフォーマットを視点数に応じて拡張してもよい。
【０１１２】
以上説明してきたように、本発明の一面における映像処理装置は、互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から補間画像を生成する映像処理装置であって、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出す視点制御部と、前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に補間用画素データを生成することによって、補間画像を生成する画像生成部とを備える。
【０１１３】
この構成によれば、視点制御部は、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、画像生成部は、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像生成する。このように視点毎に独立して補間画像を生成するので、視点間の視差に対応するずらし量の影響を受けることなく補願画像を生成するので、３Ｄ画像の品質を損なうことを防止することができる。
【０１１４】
ここで、前記画像生成部は、前記補間画像を含み、表示パネルの画素配列に対応した、前記複数の視点に対応する画素データから成る第２映像信号を生成し、前記視点制御部は、第２映像信号における画素配列に対応するように、前記複数の視点毎に前記第１映像信号の画素を前記複数の視点毎に取り出すようにしてもよい。
【０１１５】
この構成よれば、補間画像の生成を３Ｄ画像の品質を損なうことなく行うことができさらに、第１映像信号の画素配列と第２映像信号の画素配列とが異なっている場合には、前者の画素配列から後者の画素配列への変換（フォーマット変換）を効率よく行うことができる。
【０１１６】
ここで、前記視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出すようにしてもよい。
【０１１７】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を、前記視点制御部による画素アドレスの対応付けにより高速に実現できる。しかも、第２映像信号の画像を記憶するメモリは、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要する記憶領域を最小限に抑えることができ、コストを低減することができる。
【０１１８】
ここで、前記映像処理装置は、さらに、前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に画像の動き情報を検出する動き情報検出部を備え、前記画像生成部は、前記視点毎の動き情報を用いて前記複数の視点毎に補間用画素データを生成することによって前記複数の視点毎に補間画像を生成するようにしてもよい。
【０１１９】
この構成よれば、動き情報を精度を良く検出することができ、補間画像ひいては３Ｄ画像の品質を損なうことなく補間画像を生成することができる。
【０１２０】
ここで、前記視点制御部は、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記画像生成部に供給する第１視点制御部と、前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給する第２視点制御部とを備えるようにしてもよい。
【０１２１】
この構成よれば、動き検出部による動き検出と画像生成部による画像生成とをパイプライン化することが可能であり、より高いフレームレート化に適している。例えば、２倍速より高いフレームレートへの変換や、フィルム映像を表示パネルのフレームレートに変換するのに適している。
【０１２２】
ここで、前記映像処理装置は、前記第１映像信号中の１フレーム以上の画像を一時的に記憶する画像記憶部を備え、前記視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給するようにしてもよい。
【０１２３】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を３Ｄ画像の品質を損なうことなく行うことができる。
【０１２４】
ここで、前記映像処理装置は、前記第１映像信号を一時的に記憶する画像記憶部を備え、前記画像記憶部は、前記第１映像信号中の１フレーム以上の画像を記憶し、前記第１視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給し、前記第２視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給するようにしてもよい。
【０１２５】
この構成よれば、動き検出部による動き検出と画像生成部による画像生成とをパイプライン化することが可能である。例えば、２倍速より高いフレームレートへの変換や、フィルム映像を表示パネルのフレームレートに変換するのにおける高速化に適している。
【０１２６】
ここで、前記第１視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から、前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出すようにしてもよい。
【０１２７】
この構成よれば、第１映像信号の画素配列を第２映像信号の画素配列に変換するフォーマット変換を、画像記憶部の領域をアドレス変換により高速に実現できる。しかも、画像記憶部は、フォーマット変換前の画像とフォーマット変換後の画像を二重に記憶する必要がないので、フォーマット変換に要する記憶領域を最小限に抑えることができ、コストを低減することができる。
【０１２８】
ここで、前記画像生成部は、前記視点制御部によって取り出された視点毎の画素データに対して（ａ）動き情報を用いた補間、（ｂ）線形補間、および（ｃ）フレームのコピーによる補間のうち少なくとも１つを用いて、前記補間画像を生成するようにしてもよい。
【０１２９】
この構成によれば、（ｂ）補間画像を線形補間により生成する場合には、補間画像生成の処理量および処理負荷を軽くすることができ、ハードウェア規模を小さくすることができる。（ｃ）補間画像をコピーにより生成する場合には、補間画像生成の処理量および処理負荷を大きく低減し、ハードウェア規模を増加することなく補間画像の生成を実現することができる。また、（ａ）〜（ｃ）の１つ以上を組み合わせて補間することにより、処理量および処理速度に対して柔軟に対応することができる。
【０１３０】
ここで、前記画像生成部は、前記第１映像信号の画像間に、前記補間画像を挿入することにより、前記第１前記第２映像信号を生成し、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレートより高くてもよい。
【０１３１】
ここで、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレートの２倍または４倍であってもよい。
【０１３２】
この構成によれば、フレームレートのｎ倍速変換（例えば２倍速変換、４倍速変換）を実現することができる。
【０１３３】
ここで、前記第１映像信号は映画フィルムに対応するフレームレートを有し、前記第２映像信号はテレビ放送または表示パネルに対応するフレームレートであってもよい。
【０１３４】
この構成によれば、映画フィルムの映像信号を、映画フィルムを表示パネルのフレームレートに変換を行うことができる。
【０１３５】
ここで、前記第１映像信号はＰＡＬ（Phase Alternation by Line）テレビ放送に対応するフレームレートを有し、前記第２映像信号はＮＴＳＣ（National Television System Committee）テレビ放送に対応するフレームレートであってもよい。
【０１３６】
この構成によれば、ＰＡＬ映像信号をＮＴＳＣ映像信号に変換することができる。
ここで、前記画像生成部は、前記第１映像信号の一部の画像と、前記補間画像とを含む前記第２映像信号を生成し、前記第２映像信号のフレームレートは、前記第１映像信号のフレームレート以下であってもよい。
【０１３７】
この構成によれば、第１映像信号の低フレームレート化、または同じフレームレートでフレームを補間画像に置き換えることができる。
【０１３８】
ここで、前記第１映像信号はＮＴＳＣ（National Television System Committee）テレビ放送に対応するフレームレートを有し、前記第２映像信号はＰＡＬ（Phase Alternation by Line）テレビ放送に対応するフレームレートであってもよい。
【０１３９】
この構成によれば、ＮＴＳＣ映像信号をＰＡＬ映像信号に変換することができる。
ここで、前記画像生成部は、前記補間画像を含む第２映像信号を生成し、前記第２映像信号は第１映像信号と同じフレームレートであり、前記画像生成部は、第１映像信号中の画像の一部を前記補間画像に置き換えることによって前記第２映像信号を生成してもよい。 この構成によれば、例えば、コピーによりプルダウン変換された第１映像信号に対して、動きベクトルを用いた補間画像によるデジャダーをすることができ、第２映像信号の動きを第１映像信号よりも滑らかにすることができる。
【０１４０】
また、本発明の一面における映像処理方法は、少なくとも第１の視点と第２の視点とを含む互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理方法であって、前記第１映像信号から前記第１の視点に対応する画素データを取り出すステップと、取り出された第１の視点の画素データから、前記第１の視点に対応する補間用画素データを生成するステップと、前記第１映像信号から前記第２の視点に対応する画素データを取り出すステップと、取り出された第２の視点の画素データから、前記第２の視点に対応する補間用画素データを生成するステップと、前記第１の視点に対応する補間用画素データおよび前記第２の視点に対応する補間用画素データとから補間画像を生成するステップとを有する。
【０１４１】
この構成によれば、視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、視点毎に取り出された画素データから、視点毎に補間用画素データを生成し、さらに補間画像を生成する。このように視点毎に独立して補間画像を生成するので、視点間のずらし量（またはずらし量）の影響を受けないので、３Ｄ画像の品質を損なうことなく補間画像を生成することができる。
【産業上の利用可能性】
【０１４２】
本発明は、互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理装置および映像処理方法に適している。
【符号の説明】
【０１４３】
３１ 第１補間部
３２ 第２補間部
３ｎ 第ｎ補間部
３１ａ 第１ＭＥ部
３２ａ 第２ＭＥ部
３ｎａ 第ｎＭＥ部
３１ｂ 第１ＭＣ部
３２ｂ 第２ＭＣ部
３ｎｂ 第ｎＭＣ部
１００ 画像記憶部
１１０ １Ｆ遅延部
１１１ １Ｆ遅延部
１２０ 視点制御部
１２０ａ ＭＥ視点制御部
１２０ｂ ＭＣ視点制御部
１３０ 画像生成部
１３０ａ 動き予測部
１３０ｂ 動き補償補間部
１３１ 出力制御部
１３９ ＭＥ情報記憶部
【特許請求の範囲】
【請求項１】
互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理装置であって、
前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出す視点制御部と、
前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に補間用画素データを生成することによって補間画像を生成する画像生成部と
を備える映像処理装置。
【請求項２】
前記画像生成部は、前記補間画像を含み、表示パネルの画素配列に対応した、前記複数の視点に対応する画素データから成る第２映像信号を生成し、
前記視点制御部は、第２映像信号における画素配列に対応するように、前記複数の視点毎に前記第１映像信号の画素を前記複数の視点毎に取り出す
請求項１に記載の映像処理装置。
【請求項３】
前記視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から、前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出す
請求項２に記載の映像処理装置。
【請求項４】
前記映像処理装置は、さらに、
前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に画像の動き情報を検出する動き情報検出部を備え、
前記画像生成部は、
前記視点毎の動き情報を用いて前記複数の視点毎に補間用画素データを生成することによって前記複数の視点毎に補間画像を生成する
請求項１に記載の映像処理装置。
【請求項５】
前記視点制御部は、
前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記画像生成部に供給する第１視点制御部と、
前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給する第２視点制御部とを備える
請求項４に記載の映像処理装置。
【請求項６】
前記映像処理装置は、前記第１映像信号中の１フレーム以上の画像を一時的に記憶する画像記憶部を備え、
前記視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給する
請求項２に記載の映像処理装置。
【請求項７】
前記映像処理装置は、前記第１映像信号一時的に記憶する画像記憶部を備え、
前記画像記憶部は、前記第１映像信号中の１フレーム以上の画像を記憶し、
前記第１視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給し、
前記第２視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給する
請求項５に記載の映像処理装置。
【請求項８】
前記第１視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から、前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出す
請求項７に記載の映像処理装置。
【請求項９】
前記画像生成部は、前記視点制御部によって取り出された視点毎の画素データに対して（ａ）動き情報を用いた補間、（ｂ）線形補間、および（ｃ）フレームのコピーによる補間のうち少なくとも１つを用いて、前記補間画像を生成する
請求項１または２に記載の映像処理装置。
【請求項１０】
少なくとも第１の視点と第２の視点とを含む互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理方法であって、
前記第１映像信号から前記第１の視点に対応する画素データを取り出すステップと、
取り出された第１の視点の画素データから、前記第１の視点に対応する補間用画素データを生成するステップと、
前記第１映像信号から前記第２の視点に対応する画素データを取り出すステップと、
取り出された第２の視点の画素データから、前記第２の視点に対応する補間用画素データを生成するステップと、
前記第１の視点に対応する補間用画素データおよび前記第２の視点に対応する補間用画素データとから補間画像を生成するステップと
を有する映像処理方法。
【請求項１】
互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理装置であって、
前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出す視点制御部と、
前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に補間用画素データを生成することによって補間画像を生成する画像生成部と
を備える映像処理装置。
【請求項２】
前記画像生成部は、前記補間画像を含み、表示パネルの画素配列に対応した、前記複数の視点に対応する画素データから成る第２映像信号を生成し、
前記視点制御部は、第２映像信号における画素配列に対応するように、前記複数の視点毎に前記第１映像信号の画素を前記複数の視点毎に取り出す
請求項１に記載の映像処理装置。
【請求項３】
前記視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から、前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出す
請求項２に記載の映像処理装置。
【請求項４】
前記映像処理装置は、さらに、
前記視点制御部によって取り出された視点毎の画素データから、前記複数の視点毎に画像の動き情報を検出する動き情報検出部を備え、
前記画像生成部は、
前記視点毎の動き情報を用いて前記複数の視点毎に補間用画素データを生成することによって前記複数の視点毎に補間画像を生成する
請求項１に記載の映像処理装置。
【請求項５】
前記視点制御部は、
前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記画像生成部に供給する第１視点制御部と、
前記複数の視点毎に、前記第１映像信号から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給する第２視点制御部とを備える
請求項４に記載の映像処理装置。
【請求項６】
前記映像処理装置は、前記第１映像信号中の１フレーム以上の画像を一時的に記憶する画像記憶部を備え、
前記視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給する
請求項２に記載の映像処理装置。
【請求項７】
前記映像処理装置は、前記第１映像信号一時的に記憶する画像記憶部を備え、
前記画像記憶部は、前記第１映像信号中の１フレーム以上の画像を記憶し、
前記第１視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記画像生成部に供給し、
前記第２視点制御部は、前記複数の視点毎に、前記画像記憶部から当該視点に対応する画素データを取り出し、前記動き情報検出部に供給する
請求項５に記載の映像処理装置。
【請求項８】
前記第１視点制御部は、第１映像信号の画素配置における画素アドレスと、第２映像信号の画素配置における画素アドレスとを対応付けることで、前記第１映像信号から、前記第２映像信号の画素配列における画素アドレスに応じて前記複数の視点毎に画素を取り出す
請求項７に記載の映像処理装置。
【請求項９】
前記画像生成部は、前記視点制御部によって取り出された視点毎の画素データに対して（ａ）動き情報を用いた補間、（ｂ）線形補間、および（ｃ）フレームのコピーによる補間のうち少なくとも１つを用いて、前記補間画像を生成する
請求項１または２に記載の映像処理装置。
【請求項１０】
少なくとも第１の視点と第２の視点とを含む互いに異なる複数の視点に対応する画素が混在する画像を含む第１映像信号から、補間画像を生成する映像処理方法であって、
前記第１映像信号から前記第１の視点に対応する画素データを取り出すステップと、
取り出された第１の視点の画素データから、前記第１の視点に対応する補間用画素データを生成するステップと、
前記第１映像信号から前記第２の視点に対応する画素データを取り出すステップと、
取り出された第２の視点の画素データから、前記第２の視点に対応する補間用画素データを生成するステップと、
前記第１の視点に対応する補間用画素データおよび前記第２の視点に対応する補間用画素データとから補間画像を生成するステップと
を有する映像処理方法。
【図１】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図９Ａ】
【図９Ｂ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図９Ａ】
【図９Ｂ】
【公開番号】特開２０１１−１６６７０５（Ｐ２０１１−１６６７０５Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−３０６８４（Ｐ２０１０−３０６８４）
【出願日】平成２２年２月１５日（２０１０．２．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１５日（２０１０．２．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]