補間フレーム生成装置及び補間フレーム生成方法
【課題】良好な補間フレームを生成することができる補間フレーム生成装置及び補間フレーム生成方法の提供。
【解決手段】上記の課題を解決するために、本実施形態の補間フレーム生成装置は、入力手段と、読込手段と、検出手段と、生成手段とを備える。ここで入力手段には複数のフレームが入力され、読込手段は、入力手段に入力された複数のフレームのうち、２以上のフレームを読み込む。検出手段は、読み込まれた前記２以上のフレームのフレーム間の動きベクトルを検出する。生成手段は、検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成する。また読込手段は、検出手段が検出した動きベクトルの方向に応じた方向で、前記２以上のフレームを読み込む。
【解決手段】上記の課題を解決するために、本実施形態の補間フレーム生成装置は、入力手段と、読込手段と、検出手段と、生成手段とを備える。ここで入力手段には複数のフレームが入力され、読込手段は、入力手段に入力された複数のフレームのうち、２以上のフレームを読み込む。検出手段は、読み込まれた前記２以上のフレームのフレーム間の動きベクトルを検出する。生成手段は、検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成する。また読込手段は、検出手段が検出した動きベクトルの方向に応じた方向で、前記２以上のフレームを読み込む。
【発明の詳細な説明】
【技術分野】
【０００１】
補間フレーム生成装置及び補間フレーム生成方法に関する。
【背景技術】
【０００２】
表示装置が動画像を表示する場合、当該表示装置は例えば６０フレーム／秒のレートでフレームを表示する。つまり表示装置は、１フレームを１／６０秒間表示し続ける。ここで、ＬＣＤ等のホールド式の表示装置に動画像を表示すると、ユーザには１フレーム前の画像が残像として視覚され、映像中の物体の動きが不自然に見えることがある。そして、この残像は１フレームの表示期間が長いほど顕著に現れる。
【０００３】
このような残像現象を抑制するために、連続する２つのフレームの間に補間フレームを挿入し、１フレームの表示期間を短くする方法が知られている。この方法では、まず前後フレームの２枚又はそれ以上のフレームに対し、各フレームを構成する画像ブロックのマッチング処理が実行され、各画像ブロックのフレーム間での動きベクトルが検出される。なお動きベクトルの検出の際には、例えば前フレームのある座標の画素が、後フレームの何れの座標に移動したかが検出される。そして各ブロックの動きベクトルと入力フレームとに基づいて、入力フレーム間に挿入する新たな補間フレームが生成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０１４４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、動きベクトル検出の際には、当該検出に係る処理量を軽減するために、後フレームの座標のうち、前フレームのある座標から一定範囲内にある座標の画素を動きベクトルの検出対象とする場合がある。そして、このように一定範囲を動きベクトルの検出対象とした場合であっても、良好な補間フレームを生成できることが好ましい。
【０００６】
そこで本発明の実施形態は、良好な補間フレームを生成することができる補間フレーム生成装置及び補間フレーム生成方法の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本実施形態の補間フレーム生成装置は、入力手段と、読込手段と、検出手段と、生成手段とを備える。ここで入力手段には複数のフレームが入力され、読込手段は、入力手段に入力された複数のフレームのうち、２以上のフレームを読み込む。検出手段は、読み込まれた前記２以上のフレームのフレーム間の動きベクトルを検出する。生成手段は、検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成する。また読込手段は、検出手段が検出した動きベクトルの方向に応じた方向で、前記２以上のフレームを読み込む。
【図面の簡単な説明】
【０００８】
【図１】実施形態のテレビジョン装置の利用形態例を示す図。
【図２】実施形態のテレビジョン装置の機能ブロック例を示す図。
【図３】実施形態のテレビジョン装置による動きベクトル解析例を示す図。
【図４】実施形態のテレビジョン装置によるフレームの読み込み処理例を示す図。
【図５】実施形態のテレビジョン装置によるフレームの読み込み処理例を示す図。
【図６】実施形態のテレビジョン装置によるフレームの読み込み処理例を示す図。
【図７】実施形態のテレビジョン装置によるフレームの領域毎の読み込み処理例を示す図。
【図８】実施形態のテレビジョン装置の映像表示に係る処理フロー例を示す図。
【図９】実施形態のテレビジョン装置の補間フレーム生成に係る処理フロー例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して一実施形態を説明する。
図１（Ａ）は、実施形態に係る補間フレーム生成装置の利用形態例を示す図である。ここで補間フレーム生成装置は、例えばテレビ装置１００として実現されている。
【００１０】
テレビ装置１００は、受信部１１０及び表示部１７０等を備える。そしてテレビ装置１００は、受信部１１０で受信したテレビ放送等の映像を表示部１７０に表示する機能を有する。またテレビ装置１００は、入力された映像のフレームのうちの複数のフレームに基づいて、これらのフレームの間に表示するための１以上の補間フレームを生成する。そしてテレビ装置１００は、フレーム間に補間フレームを挿入した映像を表示部１７０に表示することができる。
【００１１】
ここでテレビ装置１００は、例えば入力された２つのフレームに基づいて、当該２つのフレーム間の補間フレームを生成する。Ｎ番目のフレームＡ１とＮ＋１番目のフレームＡ２とが入力されると、当該フレームＡ１及びＡ２を解析してこれら夫々のフレームを構成する画像ブロックのマッチング処理を行い、フレーム間での画像ブロックの動きベクトルＡ３を検出する。そしてテレビ装置１００は、動きベクトルＡ３と、フレームＡ１及びＡ２とに基づいて、補間フレームＡ４を生成する。そしてテレビ装置１００は、入力フレーム間に補間フレームを挿入することにより、入力された映像データのフレーム数よりも大きなフレーム数の映像を表示する。
【００１２】
図１（Ｂ）は、テレビ装置１００によるマッチング処理の処理例を示す図である。テレビ装置１００は、例えば、Ｎ番目のフレームＢ１とＮ＋１番目のフレームＢ２の２枚のフレーム、又はそれ以上のフレーム間で、フレームを構成する画像ブロックのマッチングを行う。なおマッチングとは、あるフレームにおける一定サイズ（解像度）の画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。
【００１３】
マッチングでは、前フレーム中の画像ブロック内と、後フレーム中のいずれかの画像ブロック内とで、互いに同一位置にある画素間の差分を計算する。そして、当該差分を累積した値（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最小となる後フレームの画像ブロックが、前フレーム中の画像ブロックに最も類似する画像ブロックとして検出される。そして、前フレーム中の画像ブロックと、後フレーム中の画像ブロックのうち前フレームの画像ブロックに最も類似する画像ブロックとの位置の差が動きベクトルとして検出される。
【００１４】
ここで、例えばフレームＢ１の画像ブロックＢ３がマッチング対象の画像ブロックである場合、テレビ装置１００は、フレームＢ２を構成する画像ブロックのうち、ブロックＢ３の位置（座標）から一定画素数分の距離内の領域である領域Ｂ４内にある画像ブロックＢ５乃至Ｂ１２を、ブロックＢ３のマッチングの対象ブロックとする。そしてここでは、ブロックＢ３に対して最も相関が高い（類似する）ブロックとしてブロックＢ１２が検出され、ブロックＢ３とブロックＢ１２との位置の差Ｂ１３が動きベクトルとして検出される。
【００１５】
なお、テレビ装置１００において、動きベクトルの検出対象となる領域Ｂ４は、例えば垂直方向の長さよりも水平方向の長さが長い横長の領域となっている。これは、一般的な映像においては垂直方向の動きよりも水平方向の動きが大きい傾向があるからであり、動きベクトルの検出範囲を横長とすることで、水平方向に対する大きな動きを検出することができる。しかしながら映像において、垂直方向の動きが領域Ｂ４の垂直方向の大きさよりも大きいと、当該垂直方向の動きを検出できない恐れがある。
【００１６】
これに対し本実施例のテレビ装置１００は、フレームの方向を好適な方向にして読み込むことにより、動きベクトルの検出精度を向上させ、良好な補間フレームを生成することができる。
【００１７】
次に図２を参照してテレビ装置１００のシステム構成例を説明する。
テレビ装置１００は、受信部１１０、デコード部１２０、フレームメモリ１３０、補間処理部１４０、ホスト部１５０、映像出力部１６０、表示部１７０等を備える。ここで受信部１１０は、テレビ放送等の映像を受信する機能を有する。また受信部１１０は、例えばIPテレビ等の映像を受信してもよい。そして受信部１１０は、映像データが入力されると、当該映像データをデコード部１２０に出力する。
【００１８】
デコード部１２０は、入力された映像データをデコードし、複数のフレームを生成する。そしてデコード部１２０は、生成したフレームをフレームメモリ１３０に出力する。
【００１９】
フレームメモリ１３０は、デコード部１２０から入力された複数のフレームをバッファする。またフレームメモリ１３０には、補間処理部１４０から補間フレームが入力される。そしてフレームメモリ１３０は、デコード部１２０から入力されたフレームと、補間処理部１４０から入力されたフレームとを映像出力部１６０に出力する。
【００２０】
補間処理部１４０は、読込・書込部１４１、動きベクトル検出部１４２、動きベクトル解析部１４３、ベクトル情報格納部１４４、補間フレーム生成部１４５等を備える。そして補間処理部１４０は、フレームメモリ１３０にバッファされているフレームのうち２のフレームを、ホスト１５０からの指示に基づいて読み込み、当該２のフレームの間に表示するための補間フレームを生成し、フレームメモリ１３０に書き込む機能を有する。
【００２１】
読込・書込部１４１は、フレームメモリ１３０からのフレームの読み込み、及び当該フレームメモリ１３０への補間フレームの書き込みを行う。フレームを読み込む場合、読込・書込部１４１は、ホスト１５０からの指示に基づき、動きベクトル検出部１４２が検出した動きベクトルの方向に応じた方向でフレームを読み込む。即ち、ホスト１５０から例えばフレームの方向（向き）を変えて読み込む指示を受けた場合、読込・書込部１４１は、当該指示に従って、フレームを当該フレームの方向を変えて読み込む。なおフレームの方向を変えた読み込みについては図３を参照して後述する。
【００２２】
一方、読込・書込部１４１は、ホスト１５０から例えばフレームの方向を変えることなく読み込む指示を受けた場合、読込・書込部１４１はフレームの方向を変えることなくフレームを読み込む。そして読込・書込部１４１は、読み込んだフレームを動きベクトル検出部１４２と補間フレーム生成部１４５とに出力する。なお読込・書込部１４１は、補間フレームを生成するための２以上のフレームを、当該２以上のフレーム毎に読み込む。
【００２３】
また読込・書込部１４１は、フレームメモリ１３０に補間フレームを書き込む場合にも、ホスト１５０の指示に応じた書き込み処理を行う。即ち読込・書込部１４１は、フレームの方向（向き）を変えてフレームを読み込んだ場合、当該読み込んだフレームに基づいて生成された補間フレームを、当該補間フレームの方向が、デコード部１２０からフレームメモリ１３０に入力されるフレームと同じ方向となるように、当該補間フレームをフレームメモリ１３０に書き込む。フレーム書込の際のフレームの向きについては図３を参照して後述する。
【００２４】
動きベクトル検出部１４２は、読込・書込部１４１が読み込んだ２以上のフレームのうちの何れかのフレームとフレームとの間の動きベクトルを検出する。つまり動きベクトル検出部１４２は、読み込んだフレームに対して前述のブロックマッチングを行うことにより、画像ブロックのフレーム間の動きベクトルを検出する。そして動きベクトル検出部１４２は、検出した動きベクトルを動きベクトル解析部１４３と補間フレーム生成部１４５とに出力する。
【００２５】
動きベクトル解析部１４３は、動きベクトル検出部１４２から入力された動きベクトル解析する。ここで動きベクトル解析部１４３は、例えばフレーム間の動きベクトルの平均値や、動きベクトルの水平方向又は垂直方向に対する動き量の最大値、フレームの中央部付近における動きベクトルの動き量等を解析する。そしてベクトル解析結果１４４ａをベクトル情報格納部１４４に格納させる。
【００２６】
補間フレーム生成部１４５は、読込・書込部１４１から入力されたフレームと、動きベクトル検出部１４２から入力された動きベクトルとに基づいて、１以上の補間フレームを生成する。そして補間フレーム生成部１４５は、生成した補間フレームを読込・書込部１４１に出力する。
【００２７】
ホスト１５０は、読込・書込部１４１に対して、フレームメモリ１３０からのフレームの読込及び書込を指示する。ここでホスト１５０は、ベクトル情報格納部１４４に格納されたベクトル解析結果１４４ａに応じた読込及び書込を、読込・書込部１４１に指示する。例えばホスト１５０は、読込・書込部１４１が読み込んだフレームについての動きベクトル解析結果１４４ａが、垂直方向の動き量が大きいことを示している場合、次に読み込むべきフレームを、当該フレームの方向を変えて読み込むように読込・書込部１４１に指示する。即ちホスト１５０は、動きベクトル検出部１４２が検出した動きベクトルの方向及び動き量に応じた方向でのフレームの読み込みを読込・書込部１４１に指示する。
【００２８】
またホスト１５０は、方向を変えて読み込んだフレームに基づいた補間フレームが、補間フレーム生成部１４５から読込・書込部１４１に入力された場合、当該入力された補間フレームを、通常の方向、即ちフレームメモリ１３０に格納されているフレームの方向と同じ方向でフレームメモリ１３０に書き込むよう読込・書込部１４１に指示する。
【００２９】
映像出力部１６０は、フレームメモリ１３０から入力されたフレームを、ディスプレイ用の信号に変換して表示部１７０に出力する。そして表示部１７０は、当該信号に基づいた映像を表示する。
【００３０】
次に図３を参照して、動きベクトル解析部１４３による動きベクトルの解析例を説明する。
図３（Ａ）に示す例では、動きベクトル解析部１４３は、動きベクトル検出部１４２が検出した、領域Ｊ１乃至Ｊｎごとの動きベクトルを解析する。そして動きベクトル解析部１４３は、例えば領域Ｊ１乃至Ｊｎの動きベクトルの何れかが、フレームの垂直方向（長方形のフレームにおける短手方向）に対して一定値以上の動き量であるか否かを判別する。
【００３１】
あるいは動きベクトル解析部１４３は、例えば領域Ｊ１乃至Ｊｎの動きベクトルの平均を計算し、当該動きベクトルの平均の垂直方向の大きさが一定値以上であるか、又は当該動きベクトルの平均の垂直方向の大きさが水平方向の大きさの一定倍率以上であるかを判別する。
【００３２】
図３（Ｂ）に示す例では、動きベクトル解析部１４３は、動きベクトル検出部１４２が検出した動きベクトルのうち、領域Ｌ１内の動きベクトルを解析する。なお当該領域Ｌ１は、例えば夫々のフレームの中心画素Ｌ２から一定距離内の領域である。動きベクトル解析部１４３は、当該領域Ｌ１内の動きベクトルのうちの何れかの動きベクトルの垂直方向に対する動き量が閾値以上であるか、または当該領域Ｌ１内の動きベクトルの平均をとった動きベクトルの垂直方向に対する動き量が一定値以上である等を判別する。
【００３３】
なおここで示した処理例はあくまで例に過ぎず、テレビ装置１００は、少なくとも検出した動きベクトルの垂直方向の動き量に基づいて、垂直方向の動きが大きいか否かを判別すればよい。
【００３４】
次に図４を参照して、読込・書込部１４１によるフレームメモリ１３０に対する読込・書込例を説明する。
図４（Ａ）は、読込・書込部１４１によるフレームの読込処理例を示す図である。ここでフレームＣ１は複数の画素Ｃ２を含んでいる。そして読込・書込部１４１は、フレームＣ１の画素Ｃ２を例えばＣ３乃至Ｃ５に示すように走査して読み込むことにより、フレームＣ１を異なる方向で読み込むことができる。
【００３５】
図４（Ｂ）は、フレームＣ１をＣ３の方向に走査した場合に読み込まれるフレームＤ１を示す図である。ここでフレームＣ１をＣ３の方向、即ちフレームＣ１の左上の画素を始点として、当該左上画素の行を左から右に走査し、順次下の行を走査すると、当該走査により読込・書込部１４１に読み込まれるフレームＤ１は、元のフレームＣ１と同じ方向のフレームとなる。
【００３６】
図４（Ｃ）は、フレームＣ１をＣ４の方向に走査した場合に読み込まれるフレームＤ２を示す図である。ここでフレームＣ１をＣ４の方向、即ちフレームＣ１の右上の画素を始点として当該右上画素の列を上から下に走査し、順次左の列を上から下に走査すると、当該走査により読込・書込部１４１に読み込まれるフレームＤ２は、元のフレームＣ１を反時計回りに９０度回転された方向のフレームとなる。
【００３７】
図４（Ｄ）は、フレームＣ１をＣ５の方向に走査した場合に読み込まれるフレームＤ３を示す図である。ここでフレームＣ１をＣ５方向、即ちフレームＣ１の右上の画素を始点として当該右上画素の行を左方向に走査し、順次下の行を右から左へ走査していくと、当該走査により読込・書込部１４１に読み込まれるフレームＤ３は、元のフレームＣ１を左右反転させた方向のフレームとなる。
【００３８】
図４（Ｅ）に示すフレームＥ１乃至Ｅ３は、図４（Ｂ）乃至（Ｄ）に示されるフレームＤ１乃至Ｄ３に夫々基づいて生成された補間フレームの書込処理例を示す図である。なお、図４（Ｅ）におけるフレームＥ１は、フレームＤ１と同様の方向で読み込まれたフレームを元に生成された補間フレーム、フレームＥ２は、フレームＤ２と同様の方向で読み込まれたフレームを元に生成された補間フレーム、フレームＥ３は、フレームＤ３と同様の方向で読み込まれたフレームを元に生成された補間フレームを示している。
【００３９】
ここで、フレームＥ１は、Ｅ１１の方向でフレームメモリ１３０に書き込むことにより、当該フレームＥ１を、フレームＥ４と同様の方向でフレームメモリ１３０に格納させることができる。即ち、デコード部１２０からフレームメモリ１３０に入力されるフレームの画像と、フレームＥ１の画像との方向を対応させることができる。また、フレームＥ２はＥ２１の方向で、フレームＥ３はＥ３１の方向でフレームメモリ１３０に書き込むことにより、フレームメモリ１３０にバッファされる、デコード部１２０から入力されるフレームの画像と、当該メモリ１３０に書き込む補間フレームの画像との方向を対応させることができる。
【００４０】
次に図５を参照して、フレーム間の垂直方向の動きが小さい場合の、読込・書込部１４１によるフレームの読込処理例を説明する。
例えばデコード部１２０からフレームメモリ１３０に、Ｎ−１番目のフレームＦ１、Ｎ番目のフレームＦ２、Ｎ＋１番目のフレームＦ３が入力される場合、読込・書込部１４１は、まずフレームＦ１及びＦ２を読み込み、動きベクトル検出部１４２は当該フレームＦ１とフレームＦ２との間の動きベクトルＦ４を検出する。ここで当該動きベクトルＦ４は水平方向の動き量が大きい。そしてテレビ装置１００は、水平方向に対しては動きベクトルの検出範囲が広い。そのため、読込・書込部１４１は、次に読み込むフレームＦ２及びＦ３を、当該フレームＦ２及びＦ３の方向を変えることなく読み込む。
【００４１】
次に図６を参照して、フレーム間の垂直方向の動きが大きい場合の、読込・書込部１４１によるフレームの読込処理例を説明する。
例えばデコード部１２０からフレームメモリ１３０に、Ｎ−１番目のフレームＧ１、Ｎ番目のフレームＧ２、Ｎ＋１番目のフレームＧ３が入力される場合、動きベクトル検出部１４２はまずフレームＧ１とフレームＧ２との間の動きベクトルＧ４を検出する。ここで当該動きベクトルＧ４は垂直方向の動き量が大きく、また水平方向の動き量が小さい。そしてテレビ装置１００は、垂直方向に対する動きベクトルの検出範囲が、水平方向に対する動きベクトルの検出範囲よりも狭い。
【００４２】
そのため、読込・書込部１４１は、次に読み込むフレームＧ２及びＧ３を、当該フレームＧ２及びＧ３の方向を９０度回転させて読み込む。つまり読込・書込部１４１は、動きベクトル検出部１４２が検出した動きベクトルの、フレームの垂直方向（長方形のフレームの短手方向）に対する動き量に応じて、フレームを９０度回転させた方向又は回転させない方向で読み込むことができる。
【００４３】
そして読込・書込部１４１に９０度回転されて読み込まれたフレームＧ２１とＧ３１との間の動きベクトルＧ４１は、水平方向に対する動き量が大きく、垂直方向に対する動き量が小さい。このため、テレビ装置１００による動きベクトルの検出範囲が水平方向に対して広い場合、テレビ装置１００は当該動きベクトルＧ４１を良好に検出できる。
【００４４】
次に図７を参照して、フレームの映像中に方向の異なる動きがある場合の、読込・書込部１４１によるフレームの読込処理例を説明する。
例えばフレームメモリ１３０に、Ｎ−１番目のフレームＨ１、Ｎ番目のフレームＨ２、Ｎ＋１番目のフレームＨ３が入力される場合、動きベクトル検出部１４２はまずフレームＨ１とフレームＨ２との間の動きベクトルＨ４及びＨ５を検出する。ここで当該動きベクトルＨ４は垂直方向の動き量が大きく、一方動きベクトルＨ５は垂直方向の動き量が小さい。また、動きベクトルＨ４は、フレームの一部の領域である領域Ｊ１０とＪ１１との間で、動きベクトルＨ５はフレームの一部の領域である領域Ｊ２０とＪ２１との間で検出されている。
【００４５】
ここで読込・書込部１４１は、次に読み込むフレームＨ２及びＨ３を、当該フレームＨ２及びＨ３の領域Ｊ１１及びＪ１２の方向を９０度変えて、領域Ｊ２１及びＪ２２の方向を変えることなく読み込む。つまり動きベクトル検出部１４２は、フレームに含まれる複数の領域の夫々におけるフレーム間の動きベクトルを検出して、読込・書込部１４１は、これら複数の領域の夫々におけるフレーム間の動きベクトルの方向及び動き量に応じた方向で、これら複数の領域を夫々読み込むことができる。
【００４６】
そして読込・書込部１４１に９０度回転されて読み込まれた領域Ｊ１５とＪ１６との間の動きベクトルＨ４１は、水平方向に対する動き量が大きく、垂直方向に対する動き量が小さい。また方向を変えることなく読込・書込部１４１に読み込まれた領域Ｊ２５とＪ２６との間の動きベクトルＨ５１は、水平方向に対する動き量が大きく、垂直方向に対する動き量が小さい。このため、テレビ装置１００による動きベクトルの検出範囲が垂直方向よりも水平方向に対して広い場合、テレビ装置１００は当該動きベクトルＨ４１及びＨ５１を良好に検出できる。
【００４７】
なお図５乃至図７において、読込・書込部１４１は連続する２つのフレームを読み込み、動きベクトル検出部１４２は当該２つのフレーム間の動きベクトルを検出するとして説明したが、例えば読込・書込部１４１は２よりも多い複数のフレームを読み込み、動きベクトル検出部１４２は当該複数フレームのうちの何れかのフレーム間の動きベクトルを検出してもよい。そしてこの場合にも読込・書込部１４１は、検出された動きベクトルに応じた方向で次のフレームを読み込むことができる。
【００４８】
次に図８を参照して、テレビ装置１００による映像表示に係る処理フロー例を説明する。
まず受信部１１０が受信した映像データがデコード部１２０に入力される（Ｓ８０１）。続いてデコード部１２０は、入力された映像データをデコードして（Ｓ８０２）、デコードされたフレームをフレームメモリ１３０に出力する。次にフレームメモリ１３０は、デコード部１２０から入力されたフレームを格納する（Ｓ８０３）。
【００４９】
ここでテレビ装置１００は、補間フレーム生成処理を行い、フレームメモリ１３０に格納されたフレームに基づいて補間フレームを生成し、当該生成した補間フレームをフレームメモリ１３０に書き込む（Ｓ８０４）。なお補間フレーム生成処理については図９を参照して後述する。そして補間フレームが書き込まれると、フレームメモリ１３０は、デコード部１２０から入力されたフレームの間に当該補間フレームを挿入して、これらフレームを映像出力部１６０に出力する（Ｓ８０５）。映像出力部１６０は入力されたフレームからディスプレイ表示用の信号を生成して当該生成した信号を表示部１７０に出力し、表示部１７０は当該信号に基づいた映像を表示する（Ｓ８０６）。
【００５０】
次に図９を参照して、テレビ装置１００による補間フレーム生成に係る処理例を説明する。
まずホスト１５０は、ベクトル情報格納部１４４に格納されたベクトル解析結果１４４ａを参照する（Ｓ９０１）。なおここでベクトル解析結果１４４ａとは、過去に読込・書込部１４１に読み込まれたフレーム間の動きベクトルについての、ベクトル解析部１４３により解析された解析結果である。そしてホスト１５０が、例えば過去に動きベクトルを解析したフレーム対について、Ｎ回（Ｎ対）連続で垂直方向の動きが大きいと判別した場合（Ｓ９０２）、読込・書込部１４１は、フレームメモリ１３０に格納されたフレームを９０度回転させて次のフレーム対を読み込む（Ｓ９０３）。
【００５１】
一方、Ｓ９０２にて垂直方向の動きが大きいフレーム対がＮ回（Ｎ対）連続していない場合（Ｓ９０２のＮｏ）、読込・書込部１４１は次のフレーム対を、フレームメモリ１３０に格納されているフレームの方向と同一の方向で読み込む（Ｓ９０４）。
【００５２】
なお、ここで垂直方向とは長方形のフレームにおける短手方向を指し、水平方向とは長手方向を指す。即ち、例えばフレームを９０度回転させて読み込んだ場合、当該フレームにおける垂直方向は、フレームを回転させずに読み込んだ場合の垂直方向と異なる方向となるが、ここではフレームの短手方向を垂直として記載する。
【００５３】
またテレビ装置１００はＳ９０２において、例えば図３で説明したように、検出された動きベクトルのうちの何れかベクトルの垂直成分や、検出された動きベクトルの垂直成分の平均等に基づいて、垂直方向の動きが大きいか否かを判別する。そしてこの判別手法は、少なくとも検出された動きベクトルの垂直方向の動き量に基づいた判別であれば、どのような手法であっても構わない。また、読込・書込部１４１は必ずしもフレームを対で読み込む必要はなく、２よりも多いフレームを読み込んでもよい。
【００５４】
動きベクトル検出部１４２は、読込・書込部１４１が読み込んだフレームのフレーム間の動きベクトルを検出する（Ｓ９０６）。そして動きベクトル解析部１４３は、動きベクトル検出部１４２が検出された動きベクトルを解析し、動きベクトルの動き量等についての動きベクトル解析結果を、ベクトル情報格納部１４４に格納させる（Ｓ９０７）。
【００５５】
次に補間フレーム生成部１４５は、読込・書込部に読み込まれた複数のフレームと、動きベクトル検出部１４２が検出した、当該複数のフレーム間の動きベクトルとに基づいて、当該複数のフレーム間を補間する補間フレームを生成する（Ｓ９０８）。補間フレームが生成されるとホスト１５０は、当該補間フレームの元となったフレームを読み込んだ方向を判別する。ここでホスト１５０は、フレームの方向を変えて読み込んでいた場合（Ｓ９０９のＹｅｓ）、生成した補間フレームの方向を、フレームメモリ１３０に格納されているフレームの方向と対応する方向に戻して書き込むよう読込・書込部１４１に指示する。
【００５６】
そして読込・書込部１４１は、フレームの方向を戻して書き込む指示を受けると、当該指示に従った方向で補間フレームをフレームメモリ１３０に書き込む（Ｓ９１０）。一方Ｓ９０９においてフレームの方向を変えずに読み込んでいた場合（Ｓ９０９のＮｏ）、ホスト１５０は、読み込んだフレームと同じ向きでの書き込みを読込・書込部１４１に指示し、読込・書込部１４１は当該指示に従ってフレームをフレームメモリ１３０に書き込む（Ｓ９１１）。
【００５７】
そしてホスト１５０は、次に補間フレームを生成すべきフレームがフレームメモリ１３０に格納されているか否かを判別し、次フレームがある場合（Ｓ９１２のＹｅｓ）、Ｓ９０１の処理を実行する。一方、次フレームがない場合（Ｓ９１２のＮｏ）、当該補間フレーム生成に係る処理は完了する。
【００５８】
なお図９に示す処理フロー例において読込・書込部１４１は、Ｎフレーム連続で垂直方向の動きが大きい場合に、フレームの方向を９０度変えて読み込むとして説明したが、例えば過去に動きベクトルを検出したＮ対のフレームのうち一定数以上のフレーム対において動きベクトルの垂直成分が大きい場合に、次のフレームの方向を変えて読み込んでもよい。
【００５９】
また、図９に示すフロー例では、フレームを９０度回転させて読み込んでいる場合に、垂直方向の動きが大きくないと一度でも判別した場合、メモリに格納されたフレームと同じ方向でフレームを読み込むとしているが、例えばフレームを９０度回転させて読み込んでいる場合にＭ回連続して垂直方向の動きが大きくないと判別した場合にメモリ内のフレームと同じ方向でフレームを読み込んでもよい。
【００６０】
また、例えば右から左への動きに対する動きベクトル検出範囲が広い場合、左右の動きベクトルの動き量に応じて、フレームの左右の方向を入れ替えて読み込んでもよい。
【００６１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【符号の説明】
【００６２】
１００…テレビ装置、１１０…受信部、１２０…デコード部、１３０…フレームメモリ、１４０…補間処理部、１４１…読込・書込部、１４２…動きベクトル検出部、１４３…動きベクトル解析部、１４４…ベクトル情報格納部、１４５…補間フレーム生成部、１５０…ホスト、１６０…映像出力部、１７０…表示部、
【技術分野】
【０００１】
補間フレーム生成装置及び補間フレーム生成方法に関する。
【背景技術】
【０００２】
表示装置が動画像を表示する場合、当該表示装置は例えば６０フレーム／秒のレートでフレームを表示する。つまり表示装置は、１フレームを１／６０秒間表示し続ける。ここで、ＬＣＤ等のホールド式の表示装置に動画像を表示すると、ユーザには１フレーム前の画像が残像として視覚され、映像中の物体の動きが不自然に見えることがある。そして、この残像は１フレームの表示期間が長いほど顕著に現れる。
【０００３】
このような残像現象を抑制するために、連続する２つのフレームの間に補間フレームを挿入し、１フレームの表示期間を短くする方法が知られている。この方法では、まず前後フレームの２枚又はそれ以上のフレームに対し、各フレームを構成する画像ブロックのマッチング処理が実行され、各画像ブロックのフレーム間での動きベクトルが検出される。なお動きベクトルの検出の際には、例えば前フレームのある座標の画素が、後フレームの何れの座標に移動したかが検出される。そして各ブロックの動きベクトルと入力フレームとに基づいて、入力フレーム間に挿入する新たな補間フレームが生成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０１４４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、動きベクトル検出の際には、当該検出に係る処理量を軽減するために、後フレームの座標のうち、前フレームのある座標から一定範囲内にある座標の画素を動きベクトルの検出対象とする場合がある。そして、このように一定範囲を動きベクトルの検出対象とした場合であっても、良好な補間フレームを生成できることが好ましい。
【０００６】
そこで本発明の実施形態は、良好な補間フレームを生成することができる補間フレーム生成装置及び補間フレーム生成方法の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本実施形態の補間フレーム生成装置は、入力手段と、読込手段と、検出手段と、生成手段とを備える。ここで入力手段には複数のフレームが入力され、読込手段は、入力手段に入力された複数のフレームのうち、２以上のフレームを読み込む。検出手段は、読み込まれた前記２以上のフレームのフレーム間の動きベクトルを検出する。生成手段は、検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成する。また読込手段は、検出手段が検出した動きベクトルの方向に応じた方向で、前記２以上のフレームを読み込む。
【図面の簡単な説明】
【０００８】
【図１】実施形態のテレビジョン装置の利用形態例を示す図。
【図２】実施形態のテレビジョン装置の機能ブロック例を示す図。
【図３】実施形態のテレビジョン装置による動きベクトル解析例を示す図。
【図４】実施形態のテレビジョン装置によるフレームの読み込み処理例を示す図。
【図５】実施形態のテレビジョン装置によるフレームの読み込み処理例を示す図。
【図６】実施形態のテレビジョン装置によるフレームの読み込み処理例を示す図。
【図７】実施形態のテレビジョン装置によるフレームの領域毎の読み込み処理例を示す図。
【図８】実施形態のテレビジョン装置の映像表示に係る処理フロー例を示す図。
【図９】実施形態のテレビジョン装置の補間フレーム生成に係る処理フロー例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して一実施形態を説明する。
図１（Ａ）は、実施形態に係る補間フレーム生成装置の利用形態例を示す図である。ここで補間フレーム生成装置は、例えばテレビ装置１００として実現されている。
【００１０】
テレビ装置１００は、受信部１１０及び表示部１７０等を備える。そしてテレビ装置１００は、受信部１１０で受信したテレビ放送等の映像を表示部１７０に表示する機能を有する。またテレビ装置１００は、入力された映像のフレームのうちの複数のフレームに基づいて、これらのフレームの間に表示するための１以上の補間フレームを生成する。そしてテレビ装置１００は、フレーム間に補間フレームを挿入した映像を表示部１７０に表示することができる。
【００１１】
ここでテレビ装置１００は、例えば入力された２つのフレームに基づいて、当該２つのフレーム間の補間フレームを生成する。Ｎ番目のフレームＡ１とＮ＋１番目のフレームＡ２とが入力されると、当該フレームＡ１及びＡ２を解析してこれら夫々のフレームを構成する画像ブロックのマッチング処理を行い、フレーム間での画像ブロックの動きベクトルＡ３を検出する。そしてテレビ装置１００は、動きベクトルＡ３と、フレームＡ１及びＡ２とに基づいて、補間フレームＡ４を生成する。そしてテレビ装置１００は、入力フレーム間に補間フレームを挿入することにより、入力された映像データのフレーム数よりも大きなフレーム数の映像を表示する。
【００１２】
図１（Ｂ）は、テレビ装置１００によるマッチング処理の処理例を示す図である。テレビ装置１００は、例えば、Ｎ番目のフレームＢ１とＮ＋１番目のフレームＢ２の２枚のフレーム、又はそれ以上のフレーム間で、フレームを構成する画像ブロックのマッチングを行う。なおマッチングとは、あるフレームにおける一定サイズ（解像度）の画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。
【００１３】
マッチングでは、前フレーム中の画像ブロック内と、後フレーム中のいずれかの画像ブロック内とで、互いに同一位置にある画素間の差分を計算する。そして、当該差分を累積した値（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最小となる後フレームの画像ブロックが、前フレーム中の画像ブロックに最も類似する画像ブロックとして検出される。そして、前フレーム中の画像ブロックと、後フレーム中の画像ブロックのうち前フレームの画像ブロックに最も類似する画像ブロックとの位置の差が動きベクトルとして検出される。
【００１４】
ここで、例えばフレームＢ１の画像ブロックＢ３がマッチング対象の画像ブロックである場合、テレビ装置１００は、フレームＢ２を構成する画像ブロックのうち、ブロックＢ３の位置（座標）から一定画素数分の距離内の領域である領域Ｂ４内にある画像ブロックＢ５乃至Ｂ１２を、ブロックＢ３のマッチングの対象ブロックとする。そしてここでは、ブロックＢ３に対して最も相関が高い（類似する）ブロックとしてブロックＢ１２が検出され、ブロックＢ３とブロックＢ１２との位置の差Ｂ１３が動きベクトルとして検出される。
【００１５】
なお、テレビ装置１００において、動きベクトルの検出対象となる領域Ｂ４は、例えば垂直方向の長さよりも水平方向の長さが長い横長の領域となっている。これは、一般的な映像においては垂直方向の動きよりも水平方向の動きが大きい傾向があるからであり、動きベクトルの検出範囲を横長とすることで、水平方向に対する大きな動きを検出することができる。しかしながら映像において、垂直方向の動きが領域Ｂ４の垂直方向の大きさよりも大きいと、当該垂直方向の動きを検出できない恐れがある。
【００１６】
これに対し本実施例のテレビ装置１００は、フレームの方向を好適な方向にして読み込むことにより、動きベクトルの検出精度を向上させ、良好な補間フレームを生成することができる。
【００１７】
次に図２を参照してテレビ装置１００のシステム構成例を説明する。
テレビ装置１００は、受信部１１０、デコード部１２０、フレームメモリ１３０、補間処理部１４０、ホスト部１５０、映像出力部１６０、表示部１７０等を備える。ここで受信部１１０は、テレビ放送等の映像を受信する機能を有する。また受信部１１０は、例えばIPテレビ等の映像を受信してもよい。そして受信部１１０は、映像データが入力されると、当該映像データをデコード部１２０に出力する。
【００１８】
デコード部１２０は、入力された映像データをデコードし、複数のフレームを生成する。そしてデコード部１２０は、生成したフレームをフレームメモリ１３０に出力する。
【００１９】
フレームメモリ１３０は、デコード部１２０から入力された複数のフレームをバッファする。またフレームメモリ１３０には、補間処理部１４０から補間フレームが入力される。そしてフレームメモリ１３０は、デコード部１２０から入力されたフレームと、補間処理部１４０から入力されたフレームとを映像出力部１６０に出力する。
【００２０】
補間処理部１４０は、読込・書込部１４１、動きベクトル検出部１４２、動きベクトル解析部１４３、ベクトル情報格納部１４４、補間フレーム生成部１４５等を備える。そして補間処理部１４０は、フレームメモリ１３０にバッファされているフレームのうち２のフレームを、ホスト１５０からの指示に基づいて読み込み、当該２のフレームの間に表示するための補間フレームを生成し、フレームメモリ１３０に書き込む機能を有する。
【００２１】
読込・書込部１４１は、フレームメモリ１３０からのフレームの読み込み、及び当該フレームメモリ１３０への補間フレームの書き込みを行う。フレームを読み込む場合、読込・書込部１４１は、ホスト１５０からの指示に基づき、動きベクトル検出部１４２が検出した動きベクトルの方向に応じた方向でフレームを読み込む。即ち、ホスト１５０から例えばフレームの方向（向き）を変えて読み込む指示を受けた場合、読込・書込部１４１は、当該指示に従って、フレームを当該フレームの方向を変えて読み込む。なおフレームの方向を変えた読み込みについては図３を参照して後述する。
【００２２】
一方、読込・書込部１４１は、ホスト１５０から例えばフレームの方向を変えることなく読み込む指示を受けた場合、読込・書込部１４１はフレームの方向を変えることなくフレームを読み込む。そして読込・書込部１４１は、読み込んだフレームを動きベクトル検出部１４２と補間フレーム生成部１４５とに出力する。なお読込・書込部１４１は、補間フレームを生成するための２以上のフレームを、当該２以上のフレーム毎に読み込む。
【００２３】
また読込・書込部１４１は、フレームメモリ１３０に補間フレームを書き込む場合にも、ホスト１５０の指示に応じた書き込み処理を行う。即ち読込・書込部１４１は、フレームの方向（向き）を変えてフレームを読み込んだ場合、当該読み込んだフレームに基づいて生成された補間フレームを、当該補間フレームの方向が、デコード部１２０からフレームメモリ１３０に入力されるフレームと同じ方向となるように、当該補間フレームをフレームメモリ１３０に書き込む。フレーム書込の際のフレームの向きについては図３を参照して後述する。
【００２４】
動きベクトル検出部１４２は、読込・書込部１４１が読み込んだ２以上のフレームのうちの何れかのフレームとフレームとの間の動きベクトルを検出する。つまり動きベクトル検出部１４２は、読み込んだフレームに対して前述のブロックマッチングを行うことにより、画像ブロックのフレーム間の動きベクトルを検出する。そして動きベクトル検出部１４２は、検出した動きベクトルを動きベクトル解析部１４３と補間フレーム生成部１４５とに出力する。
【００２５】
動きベクトル解析部１４３は、動きベクトル検出部１４２から入力された動きベクトル解析する。ここで動きベクトル解析部１４３は、例えばフレーム間の動きベクトルの平均値や、動きベクトルの水平方向又は垂直方向に対する動き量の最大値、フレームの中央部付近における動きベクトルの動き量等を解析する。そしてベクトル解析結果１４４ａをベクトル情報格納部１４４に格納させる。
【００２６】
補間フレーム生成部１４５は、読込・書込部１４１から入力されたフレームと、動きベクトル検出部１４２から入力された動きベクトルとに基づいて、１以上の補間フレームを生成する。そして補間フレーム生成部１４５は、生成した補間フレームを読込・書込部１４１に出力する。
【００２７】
ホスト１５０は、読込・書込部１４１に対して、フレームメモリ１３０からのフレームの読込及び書込を指示する。ここでホスト１５０は、ベクトル情報格納部１４４に格納されたベクトル解析結果１４４ａに応じた読込及び書込を、読込・書込部１４１に指示する。例えばホスト１５０は、読込・書込部１４１が読み込んだフレームについての動きベクトル解析結果１４４ａが、垂直方向の動き量が大きいことを示している場合、次に読み込むべきフレームを、当該フレームの方向を変えて読み込むように読込・書込部１４１に指示する。即ちホスト１５０は、動きベクトル検出部１４２が検出した動きベクトルの方向及び動き量に応じた方向でのフレームの読み込みを読込・書込部１４１に指示する。
【００２８】
またホスト１５０は、方向を変えて読み込んだフレームに基づいた補間フレームが、補間フレーム生成部１４５から読込・書込部１４１に入力された場合、当該入力された補間フレームを、通常の方向、即ちフレームメモリ１３０に格納されているフレームの方向と同じ方向でフレームメモリ１３０に書き込むよう読込・書込部１４１に指示する。
【００２９】
映像出力部１６０は、フレームメモリ１３０から入力されたフレームを、ディスプレイ用の信号に変換して表示部１７０に出力する。そして表示部１７０は、当該信号に基づいた映像を表示する。
【００３０】
次に図３を参照して、動きベクトル解析部１４３による動きベクトルの解析例を説明する。
図３（Ａ）に示す例では、動きベクトル解析部１４３は、動きベクトル検出部１４２が検出した、領域Ｊ１乃至Ｊｎごとの動きベクトルを解析する。そして動きベクトル解析部１４３は、例えば領域Ｊ１乃至Ｊｎの動きベクトルの何れかが、フレームの垂直方向（長方形のフレームにおける短手方向）に対して一定値以上の動き量であるか否かを判別する。
【００３１】
あるいは動きベクトル解析部１４３は、例えば領域Ｊ１乃至Ｊｎの動きベクトルの平均を計算し、当該動きベクトルの平均の垂直方向の大きさが一定値以上であるか、又は当該動きベクトルの平均の垂直方向の大きさが水平方向の大きさの一定倍率以上であるかを判別する。
【００３２】
図３（Ｂ）に示す例では、動きベクトル解析部１４３は、動きベクトル検出部１４２が検出した動きベクトルのうち、領域Ｌ１内の動きベクトルを解析する。なお当該領域Ｌ１は、例えば夫々のフレームの中心画素Ｌ２から一定距離内の領域である。動きベクトル解析部１４３は、当該領域Ｌ１内の動きベクトルのうちの何れかの動きベクトルの垂直方向に対する動き量が閾値以上であるか、または当該領域Ｌ１内の動きベクトルの平均をとった動きベクトルの垂直方向に対する動き量が一定値以上である等を判別する。
【００３３】
なおここで示した処理例はあくまで例に過ぎず、テレビ装置１００は、少なくとも検出した動きベクトルの垂直方向の動き量に基づいて、垂直方向の動きが大きいか否かを判別すればよい。
【００３４】
次に図４を参照して、読込・書込部１４１によるフレームメモリ１３０に対する読込・書込例を説明する。
図４（Ａ）は、読込・書込部１４１によるフレームの読込処理例を示す図である。ここでフレームＣ１は複数の画素Ｃ２を含んでいる。そして読込・書込部１４１は、フレームＣ１の画素Ｃ２を例えばＣ３乃至Ｃ５に示すように走査して読み込むことにより、フレームＣ１を異なる方向で読み込むことができる。
【００３５】
図４（Ｂ）は、フレームＣ１をＣ３の方向に走査した場合に読み込まれるフレームＤ１を示す図である。ここでフレームＣ１をＣ３の方向、即ちフレームＣ１の左上の画素を始点として、当該左上画素の行を左から右に走査し、順次下の行を走査すると、当該走査により読込・書込部１４１に読み込まれるフレームＤ１は、元のフレームＣ１と同じ方向のフレームとなる。
【００３６】
図４（Ｃ）は、フレームＣ１をＣ４の方向に走査した場合に読み込まれるフレームＤ２を示す図である。ここでフレームＣ１をＣ４の方向、即ちフレームＣ１の右上の画素を始点として当該右上画素の列を上から下に走査し、順次左の列を上から下に走査すると、当該走査により読込・書込部１４１に読み込まれるフレームＤ２は、元のフレームＣ１を反時計回りに９０度回転された方向のフレームとなる。
【００３７】
図４（Ｄ）は、フレームＣ１をＣ５の方向に走査した場合に読み込まれるフレームＤ３を示す図である。ここでフレームＣ１をＣ５方向、即ちフレームＣ１の右上の画素を始点として当該右上画素の行を左方向に走査し、順次下の行を右から左へ走査していくと、当該走査により読込・書込部１４１に読み込まれるフレームＤ３は、元のフレームＣ１を左右反転させた方向のフレームとなる。
【００３８】
図４（Ｅ）に示すフレームＥ１乃至Ｅ３は、図４（Ｂ）乃至（Ｄ）に示されるフレームＤ１乃至Ｄ３に夫々基づいて生成された補間フレームの書込処理例を示す図である。なお、図４（Ｅ）におけるフレームＥ１は、フレームＤ１と同様の方向で読み込まれたフレームを元に生成された補間フレーム、フレームＥ２は、フレームＤ２と同様の方向で読み込まれたフレームを元に生成された補間フレーム、フレームＥ３は、フレームＤ３と同様の方向で読み込まれたフレームを元に生成された補間フレームを示している。
【００３９】
ここで、フレームＥ１は、Ｅ１１の方向でフレームメモリ１３０に書き込むことにより、当該フレームＥ１を、フレームＥ４と同様の方向でフレームメモリ１３０に格納させることができる。即ち、デコード部１２０からフレームメモリ１３０に入力されるフレームの画像と、フレームＥ１の画像との方向を対応させることができる。また、フレームＥ２はＥ２１の方向で、フレームＥ３はＥ３１の方向でフレームメモリ１３０に書き込むことにより、フレームメモリ１３０にバッファされる、デコード部１２０から入力されるフレームの画像と、当該メモリ１３０に書き込む補間フレームの画像との方向を対応させることができる。
【００４０】
次に図５を参照して、フレーム間の垂直方向の動きが小さい場合の、読込・書込部１４１によるフレームの読込処理例を説明する。
例えばデコード部１２０からフレームメモリ１３０に、Ｎ−１番目のフレームＦ１、Ｎ番目のフレームＦ２、Ｎ＋１番目のフレームＦ３が入力される場合、読込・書込部１４１は、まずフレームＦ１及びＦ２を読み込み、動きベクトル検出部１４２は当該フレームＦ１とフレームＦ２との間の動きベクトルＦ４を検出する。ここで当該動きベクトルＦ４は水平方向の動き量が大きい。そしてテレビ装置１００は、水平方向に対しては動きベクトルの検出範囲が広い。そのため、読込・書込部１４１は、次に読み込むフレームＦ２及びＦ３を、当該フレームＦ２及びＦ３の方向を変えることなく読み込む。
【００４１】
次に図６を参照して、フレーム間の垂直方向の動きが大きい場合の、読込・書込部１４１によるフレームの読込処理例を説明する。
例えばデコード部１２０からフレームメモリ１３０に、Ｎ−１番目のフレームＧ１、Ｎ番目のフレームＧ２、Ｎ＋１番目のフレームＧ３が入力される場合、動きベクトル検出部１４２はまずフレームＧ１とフレームＧ２との間の動きベクトルＧ４を検出する。ここで当該動きベクトルＧ４は垂直方向の動き量が大きく、また水平方向の動き量が小さい。そしてテレビ装置１００は、垂直方向に対する動きベクトルの検出範囲が、水平方向に対する動きベクトルの検出範囲よりも狭い。
【００４２】
そのため、読込・書込部１４１は、次に読み込むフレームＧ２及びＧ３を、当該フレームＧ２及びＧ３の方向を９０度回転させて読み込む。つまり読込・書込部１４１は、動きベクトル検出部１４２が検出した動きベクトルの、フレームの垂直方向（長方形のフレームの短手方向）に対する動き量に応じて、フレームを９０度回転させた方向又は回転させない方向で読み込むことができる。
【００４３】
そして読込・書込部１４１に９０度回転されて読み込まれたフレームＧ２１とＧ３１との間の動きベクトルＧ４１は、水平方向に対する動き量が大きく、垂直方向に対する動き量が小さい。このため、テレビ装置１００による動きベクトルの検出範囲が水平方向に対して広い場合、テレビ装置１００は当該動きベクトルＧ４１を良好に検出できる。
【００４４】
次に図７を参照して、フレームの映像中に方向の異なる動きがある場合の、読込・書込部１４１によるフレームの読込処理例を説明する。
例えばフレームメモリ１３０に、Ｎ−１番目のフレームＨ１、Ｎ番目のフレームＨ２、Ｎ＋１番目のフレームＨ３が入力される場合、動きベクトル検出部１４２はまずフレームＨ１とフレームＨ２との間の動きベクトルＨ４及びＨ５を検出する。ここで当該動きベクトルＨ４は垂直方向の動き量が大きく、一方動きベクトルＨ５は垂直方向の動き量が小さい。また、動きベクトルＨ４は、フレームの一部の領域である領域Ｊ１０とＪ１１との間で、動きベクトルＨ５はフレームの一部の領域である領域Ｊ２０とＪ２１との間で検出されている。
【００４５】
ここで読込・書込部１４１は、次に読み込むフレームＨ２及びＨ３を、当該フレームＨ２及びＨ３の領域Ｊ１１及びＪ１２の方向を９０度変えて、領域Ｊ２１及びＪ２２の方向を変えることなく読み込む。つまり動きベクトル検出部１４２は、フレームに含まれる複数の領域の夫々におけるフレーム間の動きベクトルを検出して、読込・書込部１４１は、これら複数の領域の夫々におけるフレーム間の動きベクトルの方向及び動き量に応じた方向で、これら複数の領域を夫々読み込むことができる。
【００４６】
そして読込・書込部１４１に９０度回転されて読み込まれた領域Ｊ１５とＪ１６との間の動きベクトルＨ４１は、水平方向に対する動き量が大きく、垂直方向に対する動き量が小さい。また方向を変えることなく読込・書込部１４１に読み込まれた領域Ｊ２５とＪ２６との間の動きベクトルＨ５１は、水平方向に対する動き量が大きく、垂直方向に対する動き量が小さい。このため、テレビ装置１００による動きベクトルの検出範囲が垂直方向よりも水平方向に対して広い場合、テレビ装置１００は当該動きベクトルＨ４１及びＨ５１を良好に検出できる。
【００４７】
なお図５乃至図７において、読込・書込部１４１は連続する２つのフレームを読み込み、動きベクトル検出部１４２は当該２つのフレーム間の動きベクトルを検出するとして説明したが、例えば読込・書込部１４１は２よりも多い複数のフレームを読み込み、動きベクトル検出部１４２は当該複数フレームのうちの何れかのフレーム間の動きベクトルを検出してもよい。そしてこの場合にも読込・書込部１４１は、検出された動きベクトルに応じた方向で次のフレームを読み込むことができる。
【００４８】
次に図８を参照して、テレビ装置１００による映像表示に係る処理フロー例を説明する。
まず受信部１１０が受信した映像データがデコード部１２０に入力される（Ｓ８０１）。続いてデコード部１２０は、入力された映像データをデコードして（Ｓ８０２）、デコードされたフレームをフレームメモリ１３０に出力する。次にフレームメモリ１３０は、デコード部１２０から入力されたフレームを格納する（Ｓ８０３）。
【００４９】
ここでテレビ装置１００は、補間フレーム生成処理を行い、フレームメモリ１３０に格納されたフレームに基づいて補間フレームを生成し、当該生成した補間フレームをフレームメモリ１３０に書き込む（Ｓ８０４）。なお補間フレーム生成処理については図９を参照して後述する。そして補間フレームが書き込まれると、フレームメモリ１３０は、デコード部１２０から入力されたフレームの間に当該補間フレームを挿入して、これらフレームを映像出力部１６０に出力する（Ｓ８０５）。映像出力部１６０は入力されたフレームからディスプレイ表示用の信号を生成して当該生成した信号を表示部１７０に出力し、表示部１７０は当該信号に基づいた映像を表示する（Ｓ８０６）。
【００５０】
次に図９を参照して、テレビ装置１００による補間フレーム生成に係る処理例を説明する。
まずホスト１５０は、ベクトル情報格納部１４４に格納されたベクトル解析結果１４４ａを参照する（Ｓ９０１）。なおここでベクトル解析結果１４４ａとは、過去に読込・書込部１４１に読み込まれたフレーム間の動きベクトルについての、ベクトル解析部１４３により解析された解析結果である。そしてホスト１５０が、例えば過去に動きベクトルを解析したフレーム対について、Ｎ回（Ｎ対）連続で垂直方向の動きが大きいと判別した場合（Ｓ９０２）、読込・書込部１４１は、フレームメモリ１３０に格納されたフレームを９０度回転させて次のフレーム対を読み込む（Ｓ９０３）。
【００５１】
一方、Ｓ９０２にて垂直方向の動きが大きいフレーム対がＮ回（Ｎ対）連続していない場合（Ｓ９０２のＮｏ）、読込・書込部１４１は次のフレーム対を、フレームメモリ１３０に格納されているフレームの方向と同一の方向で読み込む（Ｓ９０４）。
【００５２】
なお、ここで垂直方向とは長方形のフレームにおける短手方向を指し、水平方向とは長手方向を指す。即ち、例えばフレームを９０度回転させて読み込んだ場合、当該フレームにおける垂直方向は、フレームを回転させずに読み込んだ場合の垂直方向と異なる方向となるが、ここではフレームの短手方向を垂直として記載する。
【００５３】
またテレビ装置１００はＳ９０２において、例えば図３で説明したように、検出された動きベクトルのうちの何れかベクトルの垂直成分や、検出された動きベクトルの垂直成分の平均等に基づいて、垂直方向の動きが大きいか否かを判別する。そしてこの判別手法は、少なくとも検出された動きベクトルの垂直方向の動き量に基づいた判別であれば、どのような手法であっても構わない。また、読込・書込部１４１は必ずしもフレームを対で読み込む必要はなく、２よりも多いフレームを読み込んでもよい。
【００５４】
動きベクトル検出部１４２は、読込・書込部１４１が読み込んだフレームのフレーム間の動きベクトルを検出する（Ｓ９０６）。そして動きベクトル解析部１４３は、動きベクトル検出部１４２が検出された動きベクトルを解析し、動きベクトルの動き量等についての動きベクトル解析結果を、ベクトル情報格納部１４４に格納させる（Ｓ９０７）。
【００５５】
次に補間フレーム生成部１４５は、読込・書込部に読み込まれた複数のフレームと、動きベクトル検出部１４２が検出した、当該複数のフレーム間の動きベクトルとに基づいて、当該複数のフレーム間を補間する補間フレームを生成する（Ｓ９０８）。補間フレームが生成されるとホスト１５０は、当該補間フレームの元となったフレームを読み込んだ方向を判別する。ここでホスト１５０は、フレームの方向を変えて読み込んでいた場合（Ｓ９０９のＹｅｓ）、生成した補間フレームの方向を、フレームメモリ１３０に格納されているフレームの方向と対応する方向に戻して書き込むよう読込・書込部１４１に指示する。
【００５６】
そして読込・書込部１４１は、フレームの方向を戻して書き込む指示を受けると、当該指示に従った方向で補間フレームをフレームメモリ１３０に書き込む（Ｓ９１０）。一方Ｓ９０９においてフレームの方向を変えずに読み込んでいた場合（Ｓ９０９のＮｏ）、ホスト１５０は、読み込んだフレームと同じ向きでの書き込みを読込・書込部１４１に指示し、読込・書込部１４１は当該指示に従ってフレームをフレームメモリ１３０に書き込む（Ｓ９１１）。
【００５７】
そしてホスト１５０は、次に補間フレームを生成すべきフレームがフレームメモリ１３０に格納されているか否かを判別し、次フレームがある場合（Ｓ９１２のＹｅｓ）、Ｓ９０１の処理を実行する。一方、次フレームがない場合（Ｓ９１２のＮｏ）、当該補間フレーム生成に係る処理は完了する。
【００５８】
なお図９に示す処理フロー例において読込・書込部１４１は、Ｎフレーム連続で垂直方向の動きが大きい場合に、フレームの方向を９０度変えて読み込むとして説明したが、例えば過去に動きベクトルを検出したＮ対のフレームのうち一定数以上のフレーム対において動きベクトルの垂直成分が大きい場合に、次のフレームの方向を変えて読み込んでもよい。
【００５９】
また、図９に示すフロー例では、フレームを９０度回転させて読み込んでいる場合に、垂直方向の動きが大きくないと一度でも判別した場合、メモリに格納されたフレームと同じ方向でフレームを読み込むとしているが、例えばフレームを９０度回転させて読み込んでいる場合にＭ回連続して垂直方向の動きが大きくないと判別した場合にメモリ内のフレームと同じ方向でフレームを読み込んでもよい。
【００６０】
また、例えば右から左への動きに対する動きベクトル検出範囲が広い場合、左右の動きベクトルの動き量に応じて、フレームの左右の方向を入れ替えて読み込んでもよい。
【００６１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【符号の説明】
【００６２】
１００…テレビ装置、１１０…受信部、１２０…デコード部、１３０…フレームメモリ、１４０…補間処理部、１４１…読込・書込部、１４２…動きベクトル検出部、１４３…動きベクトル解析部、１４４…ベクトル情報格納部、１４５…補間フレーム生成部、１５０…ホスト、１６０…映像出力部、１７０…表示部、
【特許請求の範囲】
【請求項１】
複数のフレームが入力される入力手段と、
前記入力手段に入力された複数のフレームのうち、２以上のフレームを読み込む読込手段と、
読み込まれた前記２以上のフレームのフレーム間の動きベクトルを検出する検出手段と、
検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成する生成手段と
を備え、
前記読込手段は、前記検出手段が検出した動きベクトルの方向に応じた方向で、前記２以上のフレームを読み込む、補間フレーム生成装置。
【請求項２】
前記入力手段には、長方形の前記フレームが入力され、
前記読込手段は、前記検出手段が検出した動きベクトルの、前記フレームの短手方向に対する動き量に応じた方向で前記２以上のフレームを読み込む、請求項１記載の補間フレーム生成装置。
【請求項３】
前記入力手段には、長方形の前記フレームが入力され、
前記読込手段は、前記検出手段が検出した動きベクトルの、前記フレームの短手方向に対する動き量に応じて９０度異なる方向で前記２以上のフレームを読み込む、請求項１記載の補間フレーム生成装置。
【請求項４】
前記入力手段には、長方形の前記フレームが入力され、
前記読込手段は、前記検出手段が検出した動きベクトルのうち前記フレームの中心から一定距離の領域における動きベクトルの、前記フレームの短手方向に対する動き量に応じた方向で前記２以上のフレームを読み込む、請求項１記載の補間フレーム生成装置。
【請求項５】
前記検出手段は、前記フレームに含まれる複数の領域の夫々におけるフレーム間の動きベクトルを検出し、
前記読込手段は、前記検出手段が検出した、前記領域の夫々におけるフレーム間の動きベクトルの方向に応じた方向で前記夫々の領域を読み込む、請求項１記載の補間フレーム生成装置。
【請求項６】
前記生成手段が生成した前記補間フレームを、前記入力手段に入力されたフレームの方向と対応する方向で出力する出力手段を更に備える、請求項１記載の補間フレーム生成装置。
【請求項７】
前記入力手段に入力されたフレームと、前記生成手段が生成した前記補間フレームとの映像を表示する表示装置を更に備える、請求項１記載の補間フレーム生成装置。
【請求項８】
複数のフレームが入力されることと、
前記入力手段に入力された複数のフレームから、２以上のフレーム毎にフレームを読み込むことと、
読み込まれた前記フレーム間の動きベクトルを検出することと、
検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成することと
検出された動きベクトルの方向に応じた方向で、２以上のフレーム毎にフレームを読み込むこと
を備える補間フレーム生成方法。
【請求項９】
長方形の前記フレームが複数入力されることと、
検出された動きベクトルの、前記フレームの短手方向に対する動き量に応じた方向で、２以上のフレームを読み込むことと
を備える、請求項８記載の補間フレーム生成方法。
【請求項１】
複数のフレームが入力される入力手段と、
前記入力手段に入力された複数のフレームのうち、２以上のフレームを読み込む読込手段と、
読み込まれた前記２以上のフレームのフレーム間の動きベクトルを検出する検出手段と、
検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成する生成手段と
を備え、
前記読込手段は、前記検出手段が検出した動きベクトルの方向に応じた方向で、前記２以上のフレームを読み込む、補間フレーム生成装置。
【請求項２】
前記入力手段には、長方形の前記フレームが入力され、
前記読込手段は、前記検出手段が検出した動きベクトルの、前記フレームの短手方向に対する動き量に応じた方向で前記２以上のフレームを読み込む、請求項１記載の補間フレーム生成装置。
【請求項３】
前記入力手段には、長方形の前記フレームが入力され、
前記読込手段は、前記検出手段が検出した動きベクトルの、前記フレームの短手方向に対する動き量に応じて９０度異なる方向で前記２以上のフレームを読み込む、請求項１記載の補間フレーム生成装置。
【請求項４】
前記入力手段には、長方形の前記フレームが入力され、
前記読込手段は、前記検出手段が検出した動きベクトルのうち前記フレームの中心から一定距離の領域における動きベクトルの、前記フレームの短手方向に対する動き量に応じた方向で前記２以上のフレームを読み込む、請求項１記載の補間フレーム生成装置。
【請求項５】
前記検出手段は、前記フレームに含まれる複数の領域の夫々におけるフレーム間の動きベクトルを検出し、
前記読込手段は、前記検出手段が検出した、前記領域の夫々におけるフレーム間の動きベクトルの方向に応じた方向で前記夫々の領域を読み込む、請求項１記載の補間フレーム生成装置。
【請求項６】
前記生成手段が生成した前記補間フレームを、前記入力手段に入力されたフレームの方向と対応する方向で出力する出力手段を更に備える、請求項１記載の補間フレーム生成装置。
【請求項７】
前記入力手段に入力されたフレームと、前記生成手段が生成した前記補間フレームとの映像を表示する表示装置を更に備える、請求項１記載の補間フレーム生成装置。
【請求項８】
複数のフレームが入力されることと、
前記入力手段に入力された複数のフレームから、２以上のフレーム毎にフレームを読み込むことと、
読み込まれた前記フレーム間の動きベクトルを検出することと、
検出された前記動きベクトルと、読み込まれた前記フレームとに基づいて補間フレームを生成することと
検出された動きベクトルの方向に応じた方向で、２以上のフレーム毎にフレームを読み込むこと
を備える補間フレーム生成方法。
【請求項９】
長方形の前記フレームが複数入力されることと、
検出された動きベクトルの、前記フレームの短手方向に対する動き量に応じた方向で、２以上のフレームを読み込むことと
を備える、請求項８記載の補間フレーム生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−３４２３３（Ｐ２０１２−３４２３３Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７２７４８（Ｐ２０１０−１７２７４８）
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]