補間フレーム生成装置およびそれを搭載した表示装置
【課題】補間フレームを生成するためのハードウェア構成を簡素化させる。
【解決手段】補間フレーム算出部３５は、補間フレーム内の各画素を通過する動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。補間フレーム算出部３５にて、内部記憶部３６は、第１フレーム内の画素および第２フレーム内の少なくとも一方画素を一時記憶する。演算部３７は、内部記憶部３６に記憶されている第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の画素を生成する。読込部３８は、主記憶部１０から第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を間引いて内部記憶部３６に読み込む。
【解決手段】補間フレーム算出部３５は、補間フレーム内の各画素を通過する動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。補間フレーム算出部３５にて、内部記憶部３６は、第１フレーム内の画素および第２フレーム内の少なくとも一方画素を一時記憶する。演算部３７は、内部記憶部３６に記憶されている第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の画素を生成する。読込部３８は、主記憶部１０から第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を間引いて内部記憶部３６に読み込む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトルを用いて補間フレームを生成する補間フレーム生成装置、およびそれを搭載した表示装置に関する。
【背景技術】
【０００２】
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像感の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。
【０００３】
日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７１８４２号公報
【特許文献２】特開２００９−２１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動きベクトルを用いる補間フレームの生成アルゴリズムの一つに、連続する第１フレームと第２フレーム間の動きベクトルをブロック単位または画素単位で特定し、第１フレーム内の画素が等速直線運動で第２フレームに移動すると仮定して、補間フレームの画素を決定するものがある。このアルゴリズムでは、たとえば、補間フレームの対象画素を通過する上記動きベクトルを特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素を、補間フレームの時間方向の位置に応じて加重平均した画素を、補間フレームの対象画素に割り当てる。
【０００６】
ここで、補間フレームの対象画素を通過する上記動きベクトルを常に正確に求めることができれば、その動きベクトルの始点に対応する第１フレーム内の画素を、そのまま当該対象画素に割り当ててもよい。しかしながら、上記動きベクトルが誤検出された場合、第１フレーム内の画素および第２フレーム内の画素の両方を参照する手法と比較し、一つの画素しか参照しないため、大きなノイズが発生しやすくなる。このように、第１フレーム内の画素および第２フレーム内の画素の両方を参照する手法は、片方の画素しか参照しない手法と比較し、一般的に精度が高い手法といえる。
【０００７】
上述した、補間フレームの生成アルゴリズムをハードウェア処理で実現する場合、補間フレームの画素を生成するロジック回路が、第１フレームおよび第２フレームを保持するメインメモリから、内蔵メモリに第１フレームおよび第２フレームの画素を読み込む必要がある。回路規模やコストの観点からは、当該内蔵メモリの容量をできるだけ小さくすることが望まれる。
【０００８】
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームを生成するためのハードウェア構成を簡素化させる技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明のある態様の補間フレーム生成装置は、第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、補間フレーム内の各画素を通過する動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する補間フレーム算出部と、を備える。補間フレーム算出部は、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を一時記憶するための内部記憶部と、第１フレームおよび第２フレームが記憶されている主記憶部から、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を内部記憶部に読み込む読込部と、内部記憶部に記憶されている第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の画素を生成する演算部と、を含む。読込部は、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を間引いて内部記憶部に読み込む。
【００１０】
本発明の別の態様もまた、補間フレーム生成装置である。この装置は、第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、補間フレーム内の各画素を通過する動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素から、補間フレーム内の各画素を生成する補間フレーム算出部と、を備える。補間フレーム算出部は、第１フレーム内の画素および第２フレーム内の画素を合成することにより、補間フレーム内の各画素の輝度信号を生成し、第１フレーム内の画素または第２フレーム内の画素の一方から、補間フレーム内の各画素の色差信号を生成する。
【００１１】
本発明のさらに別の態様は、表示装置である。この装置は、上述した補間フレーム生成装置と、補間フレーム生成装置により生成された補間フレームが挿入された画像を表示する表示部と、を備える。
【発明の効果】
【００１２】
本発明によれば、補間フレームを生成するためのハードウェア構成を簡素化させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係るフレームレート変換装置の構成を示す図である。
【図２】補間フレームの生成原理（２倍速変換）を示す図である。
【図３】補間フレームの生成原理（４倍速変換）を示す図である。
【図４】実施の形態に係る補間フレーム算出部の内部構成を示す図である。
【図５】実施の形態に係る内部記憶部に読み込まれるべき、前フレーム内の領域および現フレーム内の領域を説明するための図である。
【図６】実施の形態に係る、内部記憶部に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。
【図７】実施の形態に係る補間フレーム生成装置を搭載した、表示装置を示す図である。
【図８】実施の形態の変形例１に係る、内部記憶部に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。
【図９】実施の形態の変形例２に係る、内部記憶部に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。図９（ａ）は、補間フレーム内の画素のＹ信号を生成する原理を示し、図９（ｂ）は、補間フレーム内の画素のＣ信号を生成する原理を示す。
【発明を実施するための形態】
【００１４】
図１は、本発明の実施の形態に係るフレームレート変換装置の構成を示す図である。以下、本明細書では、当該フレームレート変換装置の補間フレーム生成機能に主に注目するため、当該フレームレート変換装置を補間フレーム生成装置１００と表記する。当該補間フレーム生成装置１００は、入力される動画像のフレーム数を増加させて出力する。たとえば、動画像のフレーム数を２倍または４倍に増加させて出力する。当該補間フレーム生成装置１００は、主記憶部１０、入力部２０、補間フレーム生成部３０、出力部４０および制御部５０を備える。入力部２０、補間フレーム生成部３０および出力部４０は、並列的に動作することによりパイプライン処理を実行する。
【００１５】
主記憶部１０は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）で構成することが可能である。なお、主記憶部１０は補間フレーム生成装置１００の外に設けられてもよい。入力部２０、補間フレーム生成部３０および出力部４０のそれぞれは、各種の演算器やレジスタを組み合わせたロジック回路で構成することが可能である。当該ロジック回路は、ＳＲＡＭ（Static Random Access Memory）などで構築されたワーク領域を含む。制御部５０は、ロジック回路またはＤＳＰ（Digital Signal Processor）で構成することが可能である。
【００１６】
主記憶部１０は、フレームを一時記憶する。より具体的には、外部から入力される原フレームおよび補間フレーム生成部３０により生成される補間フレームを記憶する。また、主記憶部１０は、補間フレーム生成の演算途中で発生する中間的なデータ（たとえば、動きベクトル）も記憶する。
【００１７】
入力部２０は、外部から入力される動画像を構成するフレームを主記憶部１０に書き込む。本実施の形態では、入力部２０に入力されるフレームデータは、三原色（Ｒ、Ｇ、Ｂ）信号で規定されていることを前提とする。本実施の形態では、入力部２０は、ＲＧＢ／ＹＣ変換回路２１を含む。ＲＧＢ／ＹＣ変換回路２１は、入力される三原色（Ｒ、Ｇ、Ｂ）信号を、輝度（Ｙ）信号および色差（Ｃｂ、Ｃｒ）信号に変換して、主記憶部１０に書き込む。その際、データ量を圧縮することができる。たとえば、４：４：４の三原色（Ｒ、Ｇ、Ｂ）信号を、４：２：２の輝度（Ｙ）信号および色差（Ｃｂ、Ｃｒ）信号に変換してもよい。
【００１８】
以下、輝度（Ｙ）信号を単にＹ信号と表記し、二つの色差（Ｃｂ、Ｃｒ）信号をまとめて、Ｃ信号と表記する。また、原フレームのＹ信号およびＣ信号をそれぞれ、原Ｙ信号および原Ｃ信号と表記し、補間フレームのＹ信号およびＣ信号をそれぞれ、補間Ｙ信号および補間Ｃ信号と表記する。
【００１９】
本実施の形態では、ＲＧＢ／ＹＣ変換回路２１は、ブロックマッチング用のＹ信号を生成して、主記憶部１０に書き込む。たとえば、一画素未満の画素精度（たとえば、１／２画素精度、１／４画素精度）の信号を補間した、解像度が増大されたＹ信号を生成する。このＹ信号を用いれば、一画素未満の画素精度での動き補償が可能となり、より精度の高い動きベクトルの検出が可能となる。なお、一画素未満の画素精度の信号は、６タップＦＩＲフィルタなどを用いたフィルタ処理により生成することができる。
【００２０】
補間フレーム生成部３０は、主記憶部１０から、二枚の原フレームを読み出し、それら原フレーム間の補間フレームを生成し、主記憶部１０に書き込む。補間フレーム生成部３０は、動きベクトル検出部３１および補間フレーム算出部３５を含む。
【００２１】
動きベクトル検出部３１は、二枚の原フレーム間で、ブロック単位または画素単位の動きベクトルを検出する。本実施の形態では、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
【００２２】
動きベクトル検出部３１は、第１ブロックマッチング回路３２および第２ブロックマッチング回路３３を含む。第１ブロックマッチング回路３２は、主記憶部１０から当該二枚の原フレームとすべき、現フレームのブロックマッチング用Ｙ信号と、その前フレームのブロックマッチング用Ｙ信号を読み出す。第１ブロックマッチング回路３２は、前フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、現フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。
【００２３】
たとえば、前フレーム内の対象ブロックと現フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、現フレーム内の最適予測ブロックとする。また、前フレーム内の対象ブロックと現フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、現フレーム内の最適予測ブロックとしてもよい。
【００２４】
第１ブロックマッチング回路３２は、前フレーム内の各ブロックと、現フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。第１ブロックマッチング回路３２は、これらの演算結果を中間データとして、主記憶部１０に書き込む。
【００２５】
第２ブロックマッチング回路３３は、第１ブロックマッチング回路３２により書き込まれた中間データを主記憶部１０から読み出し、前フレーム内の各ブロックと、現フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、前フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、現フレーム内において探索する。これにより、前フレームと現フレームとの間で、画素単位の動きベクトルを検出することができる。第２ブロックマッチング回路３３は、画素単位の動きベクトルを主記憶部１０に書き込む。
【００２６】
補間フレーム算出部３５は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前フレーム内の画素および現フレーム内の画素の少なくとも一方を参照して、当該補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複写して生成してもよい。以下、図２、３を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
【００２７】
図２は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。
【００２８】
補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。
【００２９】
ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。
【００３０】
なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。
【００３１】
図３は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。
【００３２】
第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。
【００３３】
第２補間フレームＦｉ２の画素Ｐｉ２は、図２に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。
【００３４】
図１に戻り、補間フレーム算出部３５は、主記憶部１０から、前フレームの原Ｙ信号および原Ｃ信号、現フレームの原Ｙ信号および原Ｃ信号、ならびに前フレームと現フレームとの動きベクトルを読み出す。補間フレーム算出部３５は、上述した手法を用いて、補間フレームを生成し、その補間Ｙ信号および補間Ｃ信号を主記憶部１０に書き込む。
【００３５】
出力部４０は、主記憶部１０から、原フレームおよび補間フレームを表示順にしたがって読み出し、外部に出力する。本実施の形態では、出力部４０は、ＹＣ／ＲＧＢ変換回路４１を含む。ＹＣ／ＲＧＢ変換回路４１は、主記憶部１０から補間Ｙ信号および補間Ｃ信号を読み出し、三原色（Ｒ、Ｇ、Ｂ）信号に変換し、補間フレームとして外部（たとえば、表示パネル）に出力する。また、ＹＣ／ＲＧＢ変換回路４１は、主記憶部１０から原Ｙ信号およ原Ｃ信号を読み出し、三原色（Ｒ、Ｇ、Ｂ）信号に変換し、原フレームとして外部に出力する。
【００３６】
制御部５０は、補間フレーム生成装置１００全体を統括的に制御する。たとえば、外部（たとえば、後述する図７の主制御部３００）からの制御信号に応じて、補間フレーム生成装置１００のモード切替を行う。たとえば、２倍速変換モードと４倍速変換モードのいずれかを選択し、入力部２０、補間フレーム生成部３０および出力部４０に設定する。
【００３７】
図４は、実施の形態に係る補間フレーム算出部３５の内部構成を示す図である。当該補間フレーム算出部３５は、内部記憶部３６、演算部３７、読込部３８および書出部３９を含む。
【００３８】
内部記憶部３６は、主に、前フレーム内の画素および現フレーム内の画素を一時記憶するためのものであり、演算部３７の作業領域としての機能を担う。内部記憶部３６は、前フレーム内の画素を一時記憶するための前フレーム領域および現フレーム内の画素を一時記憶するための現フレーム領域を含む。当該前フレーム領域および当該現フレーム領域は、それぞれ複数のラインメモリで構築可能である。
【００３９】
読込部３８は、主記憶部１０から、前フレーム内の画素および現フレーム内の画素を内部記憶部３６に読み込む。演算部３７は、内部記憶部３６に記憶されている前フレーム内の画素および現フレーム内の画素を参照して、補間フレーム内の画素を生成する。演算部３７は、生成した補間フレーム内の画素を内部記憶部３６に書き込む。書出部３９は、内部記憶部３６から補間フレーム内の画素を、主記憶部１０に書き出す。
【００４０】
ここで、内部記憶部３６の容量をできるだけ小さく設計することができれば、回路面積の縮小化や低コスト化に資する。以下、内部記憶部３６の容量を小さくするための手法について説明する。
【００４１】
図５は、実施の形態に係る内部記憶部３６に読み込まれるべき、前フレーム内の領域および現フレーム内の領域を説明するための図である。ここでは、図２に示したように、前フレームとすべき第１原フレームＦｏ１と、現フレームとすべき第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを生成する場合を示している。
【００４２】
補間フレームＦｉ内の対象領域Ｏｉ（たとえば、マクロブロック領域）に含まれる画素を生成する場合に必要な、第１原フレームＦｏ１の第１参照領域Ｒｏ１および第２原フレームＦｏ２の第２参照領域Ｒｏ２について考える。仮に、補間フレームＦｉを原フレームと考え、補間フレームＦｉ内の対象領域Ｏｉの動きベクトルを求める場合、演算量を低減するために、参照フレーム内に当該対象領域Ｏｉを探索する範囲を規定した探索領域Ｓｉが設定される。
【００４３】
当該探索領域Ｓｉは、当該対象領域Ｏｉを含み、その周囲に所定の画素数を含むように設定される。たとえば、当該探索領域Ｓｉは、当該対象領域Ｏｉの上下方向および左右方向のそれぞれに、±１５画素程度、拡大された領域であってもよい。
【００４４】
上記第１参照領域Ｒｏ１および上記第２参照領域Ｒｏ２は、補間フレームＦｉ内の上記探索領域Ｓｉと対応するまたは一致する領域に設定されてもよい。また、当該第１参照領域Ｒｏ１および当該第２参照領域Ｒｏ２は、補間フレームＦｉ内の上記探索領域Ｓｉより狭く設定されてもよい。
【００４５】
補間フレームＦｉ内の上記探索領域Ｓｉは、二枚の原フレーム間の時間距離を前提とした動き補償範囲である。実際には、補間フレームＦｉと第１原フレームＦｏ１との時間距離、および補間フレームＦｉと第２原フレームＦｏ２との時間距離は、それぞれ、原フレーム間の時間距離の半分となる。したがって、補間フレームＦｉ内の上記対象領域Ｏｉの動き補償範囲を狭くすることができ、上記第１参照領域Ｒｏ１および上記第２参照領域Ｒｏ２も、その動き補償範囲に合わせて狭くすることができる。
【００４６】
すなわち、上記第１参照領域Ｒｏ１および上記第２参照領域Ｒｏ２は、上記探索領域Ｓｉにおいて上下方向および左右方向にそれぞれ拡大される画素数の、半分の画素数が上記対象領域Ｏｉの上下方向および左右方向にそれぞれ拡大された領域に設定されてもよい。たとえば、当該第１参照領域Ｒｏ１および当該第２参照領域Ｒｏ２のそれぞれは、上記対象領域Ｏｉの上下方向および左右方向のそれぞれに、±８画素程度、拡大された領域に設定されてもよい。
【００４７】
このように、演算部３７が補間フレームＦｉ内の上記対象領域Ｏｉ内の画素を生成するには、内部記憶部３６に、当該第１参照領域Ｒｏ１内の画素および当該第２参照領域Ｒｏ２内の画素が記憶されていればよい。そして、補間フレームＦｉ内の上記対象領域Ｏｉの更新に対応させて、当該第１参照領域Ｒｏ１および当該第２参照領域Ｒｏ２が更新されればよい。読込部３８は、この更新に合わせて、当該第１参照領域Ｒｏ１内の画素および当該第２参照領域Ｒｏ２内の画素を、主記憶部１０から読み込む。これにより、内部記憶部３６の容量を小さくすることができる。
【００４８】
次に、内部記憶部３６の容量を小さくするための別の手法について説明する。この手法では、読込部３８は、主記憶部１０から、前フレーム内の画素および現フレーム内の画素の、少なくとも一方を間引いて内部記憶部３６に読み込む。
【００４９】
図６は、実施の形態に係る、内部記憶部３６に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。ここでは、補間フレームＦｉ内の上記対象領域Ｏｉに含まれる対象画素Ｐｉを生成する場合について考える。
【００５０】
図６では、読込部３８は、第１原フレームＦｏ１内の第１参照領域Ｒｏ１内の画素および第２原フレームＦｏ２内の第２参照領域Ｒｏ２の画素をそれぞれ一ライン飛ばしで内部記憶部３６に読み込む。その際、読込部３８は、当該第１参照領域Ｒｏ１と当該第２参照領域Ｒｏ２との間で、飛ばすべきラインが互い違いになるように、当該第１参照領域Ｒｏ１内の画素および当該第２参照領域Ｒｏ２の画素を読み込む。すなわち、読込部３８は、第１参照領域Ｒｏ１内の奇数ラインおよび第２参照領域Ｒｏ２内の偶数ラインを、または第１参照領域Ｒｏ１の偶数ラインおよび第２参照領域Ｒｏ２内の奇数ラインを読み込み対象とする。
【００５１】
図６では、第１参照領域Ｒｏ１の偶数ラインおよび第２参照領域Ｒｏ２内の奇数ラインを読み込み対象とする例を描いている。斜線ラインが、画素データが読み込まれたラインを示し、空白ラインが、画素データが間引かれたラインを示している。
【００５２】
演算部３７は、補間フレームＦｉ内の対象画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１および第２原フレームＦｏ２内の画素Ｐｏ２の少なくとも一方が、内部記憶部３６に読み込まれる際に間引かれた画素Ｐｏ１に該当する場合、その画素Ｐｏ１を、その周囲の間引かれていない画素から空間的に補間して生成する。ここでは、その画素Ｐｏ１を、ライン方向に対して交差する方向の両隣の画素Ｐｏ１ａ、Ｐｏ１ｂから空間的に補間して生成する。たとえば、単純に、両隣の画素Ｐｏ１ａ、Ｐｏ１ｂの画素値の平均値を算出して、間引かれた画素Ｐｏ１に割り当ててもよい。
【００５３】
上述したように、内部記憶部３６に飛ばすべきラインが互い違いになるように、当該第１参照領域Ｒｏ１内の画素および当該第２参照領域Ｒｏ２の画素が読み込まれる場合、上記動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１および第２原フレームＦｏ２内の画素Ｐｏ２は、常に、一方が内部記憶部３６に存在する画素となり、他方が存在しない画素となる。当該動きベクトルｍｖは直線で規定され、補間フレームＦｉ内の対象画素Ｐｉが、当該動きベクトルｍｖの１／２地点を通過するためである。
【００５４】
以上説明したように本実施の形態によれば、補間フレーム算出部３５に含まれる内部記憶部３６に二枚の原フレーム（前フレーム、現フレーム）の画素を読み込む際、それらの画素を間引いて読み込むことにより、内部記憶部３６の容量を小さくすることができる。また、それらの画素を間引いて読み込むことにより、主記憶部１０（たとえば、ＳＤＲＡＭ）のバンド幅を削減することができる。よって、補間フレームを生成するためのハードウェア構成を簡素化することができる。すなわち、回路規模、コスト、および負荷を低減することができる。
【００５５】
たとえば、前フレームおよび現フレームのそれぞれを一ライン飛ばして読み込むことにより、全ラインを読み込む場合と比較して、内部記憶部３６の前フレーム領域および現フレーム領域の容量を半分にすることができる。その際、上記第１参照領域Ｒｏ１と上記第２参照領域Ｒｏ２との間で、飛ばすべきラインが互い違いになるように、読み込むことにより、補間フレームＦｉ内の各画素の精度を平坦化することができる。
【００５６】
すなわち、上記動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１および第２原フレームＦｏ２内の画素Ｐｏ２の一方が常に実際の画素となり、参照すべき画素の両方が補間画素となる事態を回避することができる。この点、上記第１参照領域Ｒｏ１と上記第２参照領域Ｒｏ２との間で、飛ばすべきラインが同じ場合、参照すべき画素の両方が、実際の画素となるか補間画素となるため、補間フレームＦｉ内の各画素の精度にバラツキが発生しやすくなる。
【００５７】
また、内部記憶部３６に、前フレームおよび現フレームの全領域の画素を保持するのではなく、上記第１参照領域Ｒｏ１内および上記第２参照領域Ｒｏ２内の画素を保持することにより、内部記憶部３６の容量を小さくすることができる。
【００５８】
図７は、実施の形態に係る補間フレーム生成装置１００を搭載した、表示装置５００を示す図である。表示装置５００は、ワンセグ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。
【００５９】
当該表示装置５００は、アンテナ２００、主制御部３００、補間フレーム生成装置１００および表示部４００を備える。主制御部３００は、受信部３１０、復号部３２０およびフレームレート変換部３３０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。
【００６０】
復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームをフレームレート変換部３３０に出力する。なお、復号されたフレームがフレームレート変換部３３０に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、ここではそれに注目しないため、省略している。
【００６１】
フレームレート変換部３３０は、入力されるフレームを単純に複写して、フレーム数を増加させる。ここでは、１５Ｈｚの動画像の各フレームを３回複写してフレーム数を４倍にすることにより、１５Ｈｚの動画像を６０Ｈｚの動画像に変換する。なお、単純に複写するのではなく、増加させるべきフレームの少なくとも一枚について、連続する二枚の原フレームを簡易合成することにより、生成してもよい。たとえば、一方の原フレームの上部領域と他方の原フレームの下部領域を空間的に合成してもよい。
【００６２】
補間フレーム生成装置１００は、上述した実施の形態で説明した手法を用いて、フレームレート変換部３３０から入力される動画像を２倍速変換または４倍速変換する。表示部４００は、補間フレーム生成装置１００により倍速変換された動画像を表示する。
【００６３】
以上説明したようにワンセグ放送を受信して表示再生する表示装置５００に、実施の形態に係る補間フレーム生成装置１００を搭載することにより、ワンセグ映像の画質を向上させることができる。なお、図７では既存の主制御部３００に対して、補間フレーム生成装置１００を追加することにより、ワンセグ映像の倍速変換を実現する例を示したが、主制御部３００内に、フレームレート変換部３３０の代わりに、補間フレーム生成装置１００が初めから搭載されてもよい。
【００６４】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６５】
図８は、実施の形態の変形例１に係る、内部記憶部３６に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。図６では、上記第１参照領域Ｒｏ１内の画素および上記第２参照領域Ｒｏ２の画素を一ライン飛ばしで内部記憶部３６に読み込む手法を説明した。変形例１では、各ラインの画素を読み込む際、一画素飛ばして読み込む。
【００６６】
すなわち、読込部３８は、第１原フレームＦｏ１内の第１参照領域Ｒｏ１内の画素および第２原フレームＦｏ２内の第２参照領域Ｒｏ２の画素を、一ライン飛ばしで、かつ各ラインを一画素飛ばしで、内部記憶部３６に読み込む。
【００６７】
演算部３７は、補間フレームＦｉ内の対象画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１および第２原フレームＦｏ２内の画素Ｐｏ２の少なくとも一方が、内部記憶部３６に読み込まれる際に間引かれた画素Ｐｏ１に該当する場合、その画素Ｐｏ１を、その周囲の画素から空間的に補間して生成する。
【００６８】
たとえば、その間引かれた画素Ｐｏ１の上下左右に隣接する画素が、内部記憶部３６に読み込まれていない場合、演算部３７は、その間引かれた画素Ｐｏ１の斜めに隣接する四つの画素から、その間引かれた画素Ｐｏ１を生成する。なお、その間引かれた画素Ｐｏ１の上下に隣接する画素が内部記憶部３６に読み込まれている場合、その上下に隣接する二つの画素から生成する。その間引かれた画素Ｐｏ１の左右に隣接する画素が内部記憶部３６に読み込まれている場合、その左右に隣接する二つの画素から生成する。
【００６９】
以上説明したように変形例１によれば、参照すべき画素を補間により生成する頻度が上がるが、内部記憶部３６の容量をさらに小さくすることができる。すなわち、上記第１参照領域Ｒｏ１内の画素および上記第２参照領域Ｒｏ２の画素を間引かずに読み込む場合と比較して、内部記憶部３６の前フレーム領域および現フレーム領域の容量を１／４にすることができる。
【００７０】
図９は、実施の形態の変形例２に係る、内部記憶部３６に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。図９（ａ）は、補間フレーム内の画素のＹ信号を生成する原理を示し、図９（ｂ）は、補間フレーム内の画素のＣ信号を生成する原理を示す。
【００７１】
これまでの説明では、補間フレーム内の画素を生成する際、Ｙ信号とＣ信号を同じ手法で生成することを前提に説明してきたが、変形例２では、Ｙ信号とＣ信号を別の手法で説明する。すなわち、補間フレーム算出部３５は、前フレーム内の画素、および現フレーム内の画素を合成することにより、補間フレーム内の各画素のＹ信号を生成し、前フレーム内の画素または現フレーム内の画素の一方から、補間フレーム内の各画素のＣ信号を生成する。
【００７２】
より具体的には、演算部３７は、補間フレームＦｉ内の対象画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、前フレームとすべき第１原フレームＦｏ１内の画素Ｐｏ１のＹ信号および現フレームとすべき第２原フレームＦｏ２内の画素Ｐｏ２のＹ信号を合成して、補間フレームＦｉ内の対象画素ＰｉのＹ信号を生成する。また、演算部３７は、当該動きベクトルｍｖの始点に対応する、当該第１原フレームＦｏ１内の画素Ｐｏ１のＣ信号を、補間フレームＦｉ内の対象画素ＰｉのＣ信号に割り当てる。
【００７３】
以上説明したように変形例２によれば、補間フレーム内の各画素のＣ信号を、現フレーム内の画素を参照せず、前フレーム内の画素のみを参照して生成することにより、内部記憶部３６に現フレーム内の画素のＣ信号を読み込む必要がなくなる。したがって、内部記憶部３６の現フレーム領域を小さくすることができる。また、Ｃ信号のノイズはＹ信号のノイズと比較して、人間の目に目立ちにくいため、変形例２を採用しても主観画質低下を最小限にとどめることができる。
【００７４】
なお、図９では内部記憶部３６に、上記第１参照領域Ｒｏ１内の画素および上記第２参照領域Ｒｏ２の画素を間引かずに読み込む例を描いているが、図６、８と同様に、それらの画素を間引いて読み込んでもよい。その場合、内部記憶部３６の容量をより小さくすることができる。
【００７５】
また、上記実施の形態では、上記第１参照領域Ｒｏ１および上記第２参照領域Ｒｏ２のサイズを、補間フレームＦｉ内の上記探索領域Ｓｉのサイズ以下に設定する例を説明したが、上記探索領域Ｓｉのサイズより大きく設定してもよい。たとえば、上記第１参照領域Ｒｏ１および上記第２参照領域Ｒｏ２が、第１原フレームＦｏ１内の全領域および第２原フレームＦｏ２内の全領域であってもよい。この場合でも、内部記憶部３６に画素を間引いて読み込むことにより、間引かずに読み込む場合と比較して、内部記憶部３６の容量を小さくすることができる。
【００７６】
また、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。
【００７７】
また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係る補間フレーム生成装置１００は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。
【符号の説明】
【００７８】
１０ 主記憶部、 ２０ 入力部、 ２１ ＲＧＢ／ＹＣ変換回路、 ３０ 補間フレーム生成部、 ３１ 動きベクトル検出部、 ３２ 第１ブロックマッチング回路、 ３３ 第２ブロックマッチング回路、 ３５ 補間フレーム算出部、 ３６ 内部記憶部、 ３７ 演算部、 ３８ 読込部、 ３９ 書出部、 ４０ 出力部、 ４１ ＹＣ／ＲＧＢ変換回路、 ５０ 制御部、 １００ 補間フレーム生成装置、 ２００ アンテナ、 ３００ 主制御部、 ３１０ 受信部、 ３２０ 復号部、 ３３０ フレームレート変換部、 ４００ 表示部、 ５００ 表示装置。
【技術分野】
【０００１】
本発明は、動きベクトルを用いて補間フレームを生成する補間フレーム生成装置、およびそれを搭載した表示装置に関する。
【背景技術】
【０００２】
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像感の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。
【０００３】
日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７１８４２号公報
【特許文献２】特開２００９−２１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動きベクトルを用いる補間フレームの生成アルゴリズムの一つに、連続する第１フレームと第２フレーム間の動きベクトルをブロック単位または画素単位で特定し、第１フレーム内の画素が等速直線運動で第２フレームに移動すると仮定して、補間フレームの画素を決定するものがある。このアルゴリズムでは、たとえば、補間フレームの対象画素を通過する上記動きベクトルを特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素を、補間フレームの時間方向の位置に応じて加重平均した画素を、補間フレームの対象画素に割り当てる。
【０００６】
ここで、補間フレームの対象画素を通過する上記動きベクトルを常に正確に求めることができれば、その動きベクトルの始点に対応する第１フレーム内の画素を、そのまま当該対象画素に割り当ててもよい。しかしながら、上記動きベクトルが誤検出された場合、第１フレーム内の画素および第２フレーム内の画素の両方を参照する手法と比較し、一つの画素しか参照しないため、大きなノイズが発生しやすくなる。このように、第１フレーム内の画素および第２フレーム内の画素の両方を参照する手法は、片方の画素しか参照しない手法と比較し、一般的に精度が高い手法といえる。
【０００７】
上述した、補間フレームの生成アルゴリズムをハードウェア処理で実現する場合、補間フレームの画素を生成するロジック回路が、第１フレームおよび第２フレームを保持するメインメモリから、内蔵メモリに第１フレームおよび第２フレームの画素を読み込む必要がある。回路規模やコストの観点からは、当該内蔵メモリの容量をできるだけ小さくすることが望まれる。
【０００８】
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームを生成するためのハードウェア構成を簡素化させる技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明のある態様の補間フレーム生成装置は、第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、補間フレーム内の各画素を通過する動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する補間フレーム算出部と、を備える。補間フレーム算出部は、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を一時記憶するための内部記憶部と、第１フレームおよび第２フレームが記憶されている主記憶部から、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を内部記憶部に読み込む読込部と、内部記憶部に記憶されている第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の画素を生成する演算部と、を含む。読込部は、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を間引いて内部記憶部に読み込む。
【００１０】
本発明の別の態様もまた、補間フレーム生成装置である。この装置は、第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、補間フレーム内の各画素を通過する動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素から、補間フレーム内の各画素を生成する補間フレーム算出部と、を備える。補間フレーム算出部は、第１フレーム内の画素および第２フレーム内の画素を合成することにより、補間フレーム内の各画素の輝度信号を生成し、第１フレーム内の画素または第２フレーム内の画素の一方から、補間フレーム内の各画素の色差信号を生成する。
【００１１】
本発明のさらに別の態様は、表示装置である。この装置は、上述した補間フレーム生成装置と、補間フレーム生成装置により生成された補間フレームが挿入された画像を表示する表示部と、を備える。
【発明の効果】
【００１２】
本発明によれば、補間フレームを生成するためのハードウェア構成を簡素化させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係るフレームレート変換装置の構成を示す図である。
【図２】補間フレームの生成原理（２倍速変換）を示す図である。
【図３】補間フレームの生成原理（４倍速変換）を示す図である。
【図４】実施の形態に係る補間フレーム算出部の内部構成を示す図である。
【図５】実施の形態に係る内部記憶部に読み込まれるべき、前フレーム内の領域および現フレーム内の領域を説明するための図である。
【図６】実施の形態に係る、内部記憶部に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。
【図７】実施の形態に係る補間フレーム生成装置を搭載した、表示装置を示す図である。
【図８】実施の形態の変形例１に係る、内部記憶部に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。
【図９】実施の形態の変形例２に係る、内部記憶部に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。図９（ａ）は、補間フレーム内の画素のＹ信号を生成する原理を示し、図９（ｂ）は、補間フレーム内の画素のＣ信号を生成する原理を示す。
【発明を実施するための形態】
【００１４】
図１は、本発明の実施の形態に係るフレームレート変換装置の構成を示す図である。以下、本明細書では、当該フレームレート変換装置の補間フレーム生成機能に主に注目するため、当該フレームレート変換装置を補間フレーム生成装置１００と表記する。当該補間フレーム生成装置１００は、入力される動画像のフレーム数を増加させて出力する。たとえば、動画像のフレーム数を２倍または４倍に増加させて出力する。当該補間フレーム生成装置１００は、主記憶部１０、入力部２０、補間フレーム生成部３０、出力部４０および制御部５０を備える。入力部２０、補間フレーム生成部３０および出力部４０は、並列的に動作することによりパイプライン処理を実行する。
【００１５】
主記憶部１０は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）で構成することが可能である。なお、主記憶部１０は補間フレーム生成装置１００の外に設けられてもよい。入力部２０、補間フレーム生成部３０および出力部４０のそれぞれは、各種の演算器やレジスタを組み合わせたロジック回路で構成することが可能である。当該ロジック回路は、ＳＲＡＭ（Static Random Access Memory）などで構築されたワーク領域を含む。制御部５０は、ロジック回路またはＤＳＰ（Digital Signal Processor）で構成することが可能である。
【００１６】
主記憶部１０は、フレームを一時記憶する。より具体的には、外部から入力される原フレームおよび補間フレーム生成部３０により生成される補間フレームを記憶する。また、主記憶部１０は、補間フレーム生成の演算途中で発生する中間的なデータ（たとえば、動きベクトル）も記憶する。
【００１７】
入力部２０は、外部から入力される動画像を構成するフレームを主記憶部１０に書き込む。本実施の形態では、入力部２０に入力されるフレームデータは、三原色（Ｒ、Ｇ、Ｂ）信号で規定されていることを前提とする。本実施の形態では、入力部２０は、ＲＧＢ／ＹＣ変換回路２１を含む。ＲＧＢ／ＹＣ変換回路２１は、入力される三原色（Ｒ、Ｇ、Ｂ）信号を、輝度（Ｙ）信号および色差（Ｃｂ、Ｃｒ）信号に変換して、主記憶部１０に書き込む。その際、データ量を圧縮することができる。たとえば、４：４：４の三原色（Ｒ、Ｇ、Ｂ）信号を、４：２：２の輝度（Ｙ）信号および色差（Ｃｂ、Ｃｒ）信号に変換してもよい。
【００１８】
以下、輝度（Ｙ）信号を単にＹ信号と表記し、二つの色差（Ｃｂ、Ｃｒ）信号をまとめて、Ｃ信号と表記する。また、原フレームのＹ信号およびＣ信号をそれぞれ、原Ｙ信号および原Ｃ信号と表記し、補間フレームのＹ信号およびＣ信号をそれぞれ、補間Ｙ信号および補間Ｃ信号と表記する。
【００１９】
本実施の形態では、ＲＧＢ／ＹＣ変換回路２１は、ブロックマッチング用のＹ信号を生成して、主記憶部１０に書き込む。たとえば、一画素未満の画素精度（たとえば、１／２画素精度、１／４画素精度）の信号を補間した、解像度が増大されたＹ信号を生成する。このＹ信号を用いれば、一画素未満の画素精度での動き補償が可能となり、より精度の高い動きベクトルの検出が可能となる。なお、一画素未満の画素精度の信号は、６タップＦＩＲフィルタなどを用いたフィルタ処理により生成することができる。
【００２０】
補間フレーム生成部３０は、主記憶部１０から、二枚の原フレームを読み出し、それら原フレーム間の補間フレームを生成し、主記憶部１０に書き込む。補間フレーム生成部３０は、動きベクトル検出部３１および補間フレーム算出部３５を含む。
【００２１】
動きベクトル検出部３１は、二枚の原フレーム間で、ブロック単位または画素単位の動きベクトルを検出する。本実施の形態では、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
【００２２】
動きベクトル検出部３１は、第１ブロックマッチング回路３２および第２ブロックマッチング回路３３を含む。第１ブロックマッチング回路３２は、主記憶部１０から当該二枚の原フレームとすべき、現フレームのブロックマッチング用Ｙ信号と、その前フレームのブロックマッチング用Ｙ信号を読み出す。第１ブロックマッチング回路３２は、前フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、現フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。
【００２３】
たとえば、前フレーム内の対象ブロックと現フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、現フレーム内の最適予測ブロックとする。また、前フレーム内の対象ブロックと現フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、現フレーム内の最適予測ブロックとしてもよい。
【００２４】
第１ブロックマッチング回路３２は、前フレーム内の各ブロックと、現フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。第１ブロックマッチング回路３２は、これらの演算結果を中間データとして、主記憶部１０に書き込む。
【００２５】
第２ブロックマッチング回路３３は、第１ブロックマッチング回路３２により書き込まれた中間データを主記憶部１０から読み出し、前フレーム内の各ブロックと、現フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、前フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、現フレーム内において探索する。これにより、前フレームと現フレームとの間で、画素単位の動きベクトルを検出することができる。第２ブロックマッチング回路３３は、画素単位の動きベクトルを主記憶部１０に書き込む。
【００２６】
補間フレーム算出部３５は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前フレーム内の画素および現フレーム内の画素の少なくとも一方を参照して、当該補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複写して生成してもよい。以下、図２、３を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
【００２７】
図２は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。
【００２８】
補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。
【００２９】
ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。
【００３０】
なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。
【００３１】
図３は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。
【００３２】
第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。
【００３３】
第２補間フレームＦｉ２の画素Ｐｉ２は、図２に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。
【００３４】
図１に戻り、補間フレーム算出部３５は、主記憶部１０から、前フレームの原Ｙ信号および原Ｃ信号、現フレームの原Ｙ信号および原Ｃ信号、ならびに前フレームと現フレームとの動きベクトルを読み出す。補間フレーム算出部３５は、上述した手法を用いて、補間フレームを生成し、その補間Ｙ信号および補間Ｃ信号を主記憶部１０に書き込む。
【００３５】
出力部４０は、主記憶部１０から、原フレームおよび補間フレームを表示順にしたがって読み出し、外部に出力する。本実施の形態では、出力部４０は、ＹＣ／ＲＧＢ変換回路４１を含む。ＹＣ／ＲＧＢ変換回路４１は、主記憶部１０から補間Ｙ信号および補間Ｃ信号を読み出し、三原色（Ｒ、Ｇ、Ｂ）信号に変換し、補間フレームとして外部（たとえば、表示パネル）に出力する。また、ＹＣ／ＲＧＢ変換回路４１は、主記憶部１０から原Ｙ信号およ原Ｃ信号を読み出し、三原色（Ｒ、Ｇ、Ｂ）信号に変換し、原フレームとして外部に出力する。
【００３６】
制御部５０は、補間フレーム生成装置１００全体を統括的に制御する。たとえば、外部（たとえば、後述する図７の主制御部３００）からの制御信号に応じて、補間フレーム生成装置１００のモード切替を行う。たとえば、２倍速変換モードと４倍速変換モードのいずれかを選択し、入力部２０、補間フレーム生成部３０および出力部４０に設定する。
【００３７】
図４は、実施の形態に係る補間フレーム算出部３５の内部構成を示す図である。当該補間フレーム算出部３５は、内部記憶部３６、演算部３７、読込部３８および書出部３９を含む。
【００３８】
内部記憶部３６は、主に、前フレーム内の画素および現フレーム内の画素を一時記憶するためのものであり、演算部３７の作業領域としての機能を担う。内部記憶部３６は、前フレーム内の画素を一時記憶するための前フレーム領域および現フレーム内の画素を一時記憶するための現フレーム領域を含む。当該前フレーム領域および当該現フレーム領域は、それぞれ複数のラインメモリで構築可能である。
【００３９】
読込部３８は、主記憶部１０から、前フレーム内の画素および現フレーム内の画素を内部記憶部３６に読み込む。演算部３７は、内部記憶部３６に記憶されている前フレーム内の画素および現フレーム内の画素を参照して、補間フレーム内の画素を生成する。演算部３７は、生成した補間フレーム内の画素を内部記憶部３６に書き込む。書出部３９は、内部記憶部３６から補間フレーム内の画素を、主記憶部１０に書き出す。
【００４０】
ここで、内部記憶部３６の容量をできるだけ小さく設計することができれば、回路面積の縮小化や低コスト化に資する。以下、内部記憶部３６の容量を小さくするための手法について説明する。
【００４１】
図５は、実施の形態に係る内部記憶部３６に読み込まれるべき、前フレーム内の領域および現フレーム内の領域を説明するための図である。ここでは、図２に示したように、前フレームとすべき第１原フレームＦｏ１と、現フレームとすべき第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを生成する場合を示している。
【００４２】
補間フレームＦｉ内の対象領域Ｏｉ（たとえば、マクロブロック領域）に含まれる画素を生成する場合に必要な、第１原フレームＦｏ１の第１参照領域Ｒｏ１および第２原フレームＦｏ２の第２参照領域Ｒｏ２について考える。仮に、補間フレームＦｉを原フレームと考え、補間フレームＦｉ内の対象領域Ｏｉの動きベクトルを求める場合、演算量を低減するために、参照フレーム内に当該対象領域Ｏｉを探索する範囲を規定した探索領域Ｓｉが設定される。
【００４３】
当該探索領域Ｓｉは、当該対象領域Ｏｉを含み、その周囲に所定の画素数を含むように設定される。たとえば、当該探索領域Ｓｉは、当該対象領域Ｏｉの上下方向および左右方向のそれぞれに、±１５画素程度、拡大された領域であってもよい。
【００４４】
上記第１参照領域Ｒｏ１および上記第２参照領域Ｒｏ２は、補間フレームＦｉ内の上記探索領域Ｓｉと対応するまたは一致する領域に設定されてもよい。また、当該第１参照領域Ｒｏ１および当該第２参照領域Ｒｏ２は、補間フレームＦｉ内の上記探索領域Ｓｉより狭く設定されてもよい。
【００４５】
補間フレームＦｉ内の上記探索領域Ｓｉは、二枚の原フレーム間の時間距離を前提とした動き補償範囲である。実際には、補間フレームＦｉと第１原フレームＦｏ１との時間距離、および補間フレームＦｉと第２原フレームＦｏ２との時間距離は、それぞれ、原フレーム間の時間距離の半分となる。したがって、補間フレームＦｉ内の上記対象領域Ｏｉの動き補償範囲を狭くすることができ、上記第１参照領域Ｒｏ１および上記第２参照領域Ｒｏ２も、その動き補償範囲に合わせて狭くすることができる。
【００４６】
すなわち、上記第１参照領域Ｒｏ１および上記第２参照領域Ｒｏ２は、上記探索領域Ｓｉにおいて上下方向および左右方向にそれぞれ拡大される画素数の、半分の画素数が上記対象領域Ｏｉの上下方向および左右方向にそれぞれ拡大された領域に設定されてもよい。たとえば、当該第１参照領域Ｒｏ１および当該第２参照領域Ｒｏ２のそれぞれは、上記対象領域Ｏｉの上下方向および左右方向のそれぞれに、±８画素程度、拡大された領域に設定されてもよい。
【００４７】
このように、演算部３７が補間フレームＦｉ内の上記対象領域Ｏｉ内の画素を生成するには、内部記憶部３６に、当該第１参照領域Ｒｏ１内の画素および当該第２参照領域Ｒｏ２内の画素が記憶されていればよい。そして、補間フレームＦｉ内の上記対象領域Ｏｉの更新に対応させて、当該第１参照領域Ｒｏ１および当該第２参照領域Ｒｏ２が更新されればよい。読込部３８は、この更新に合わせて、当該第１参照領域Ｒｏ１内の画素および当該第２参照領域Ｒｏ２内の画素を、主記憶部１０から読み込む。これにより、内部記憶部３６の容量を小さくすることができる。
【００４８】
次に、内部記憶部３６の容量を小さくするための別の手法について説明する。この手法では、読込部３８は、主記憶部１０から、前フレーム内の画素および現フレーム内の画素の、少なくとも一方を間引いて内部記憶部３６に読み込む。
【００４９】
図６は、実施の形態に係る、内部記憶部３６に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。ここでは、補間フレームＦｉ内の上記対象領域Ｏｉに含まれる対象画素Ｐｉを生成する場合について考える。
【００５０】
図６では、読込部３８は、第１原フレームＦｏ１内の第１参照領域Ｒｏ１内の画素および第２原フレームＦｏ２内の第２参照領域Ｒｏ２の画素をそれぞれ一ライン飛ばしで内部記憶部３６に読み込む。その際、読込部３８は、当該第１参照領域Ｒｏ１と当該第２参照領域Ｒｏ２との間で、飛ばすべきラインが互い違いになるように、当該第１参照領域Ｒｏ１内の画素および当該第２参照領域Ｒｏ２の画素を読み込む。すなわち、読込部３８は、第１参照領域Ｒｏ１内の奇数ラインおよび第２参照領域Ｒｏ２内の偶数ラインを、または第１参照領域Ｒｏ１の偶数ラインおよび第２参照領域Ｒｏ２内の奇数ラインを読み込み対象とする。
【００５１】
図６では、第１参照領域Ｒｏ１の偶数ラインおよび第２参照領域Ｒｏ２内の奇数ラインを読み込み対象とする例を描いている。斜線ラインが、画素データが読み込まれたラインを示し、空白ラインが、画素データが間引かれたラインを示している。
【００５２】
演算部３７は、補間フレームＦｉ内の対象画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１および第２原フレームＦｏ２内の画素Ｐｏ２の少なくとも一方が、内部記憶部３６に読み込まれる際に間引かれた画素Ｐｏ１に該当する場合、その画素Ｐｏ１を、その周囲の間引かれていない画素から空間的に補間して生成する。ここでは、その画素Ｐｏ１を、ライン方向に対して交差する方向の両隣の画素Ｐｏ１ａ、Ｐｏ１ｂから空間的に補間して生成する。たとえば、単純に、両隣の画素Ｐｏ１ａ、Ｐｏ１ｂの画素値の平均値を算出して、間引かれた画素Ｐｏ１に割り当ててもよい。
【００５３】
上述したように、内部記憶部３６に飛ばすべきラインが互い違いになるように、当該第１参照領域Ｒｏ１内の画素および当該第２参照領域Ｒｏ２の画素が読み込まれる場合、上記動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１および第２原フレームＦｏ２内の画素Ｐｏ２は、常に、一方が内部記憶部３６に存在する画素となり、他方が存在しない画素となる。当該動きベクトルｍｖは直線で規定され、補間フレームＦｉ内の対象画素Ｐｉが、当該動きベクトルｍｖの１／２地点を通過するためである。
【００５４】
以上説明したように本実施の形態によれば、補間フレーム算出部３５に含まれる内部記憶部３６に二枚の原フレーム（前フレーム、現フレーム）の画素を読み込む際、それらの画素を間引いて読み込むことにより、内部記憶部３６の容量を小さくすることができる。また、それらの画素を間引いて読み込むことにより、主記憶部１０（たとえば、ＳＤＲＡＭ）のバンド幅を削減することができる。よって、補間フレームを生成するためのハードウェア構成を簡素化することができる。すなわち、回路規模、コスト、および負荷を低減することができる。
【００５５】
たとえば、前フレームおよび現フレームのそれぞれを一ライン飛ばして読み込むことにより、全ラインを読み込む場合と比較して、内部記憶部３６の前フレーム領域および現フレーム領域の容量を半分にすることができる。その際、上記第１参照領域Ｒｏ１と上記第２参照領域Ｒｏ２との間で、飛ばすべきラインが互い違いになるように、読み込むことにより、補間フレームＦｉ内の各画素の精度を平坦化することができる。
【００５６】
すなわち、上記動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１および第２原フレームＦｏ２内の画素Ｐｏ２の一方が常に実際の画素となり、参照すべき画素の両方が補間画素となる事態を回避することができる。この点、上記第１参照領域Ｒｏ１と上記第２参照領域Ｒｏ２との間で、飛ばすべきラインが同じ場合、参照すべき画素の両方が、実際の画素となるか補間画素となるため、補間フレームＦｉ内の各画素の精度にバラツキが発生しやすくなる。
【００５７】
また、内部記憶部３６に、前フレームおよび現フレームの全領域の画素を保持するのではなく、上記第１参照領域Ｒｏ１内および上記第２参照領域Ｒｏ２内の画素を保持することにより、内部記憶部３６の容量を小さくすることができる。
【００５８】
図７は、実施の形態に係る補間フレーム生成装置１００を搭載した、表示装置５００を示す図である。表示装置５００は、ワンセグ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。
【００５９】
当該表示装置５００は、アンテナ２００、主制御部３００、補間フレーム生成装置１００および表示部４００を備える。主制御部３００は、受信部３１０、復号部３２０およびフレームレート変換部３３０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。
【００６０】
復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームをフレームレート変換部３３０に出力する。なお、復号されたフレームがフレームレート変換部３３０に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、ここではそれに注目しないため、省略している。
【００６１】
フレームレート変換部３３０は、入力されるフレームを単純に複写して、フレーム数を増加させる。ここでは、１５Ｈｚの動画像の各フレームを３回複写してフレーム数を４倍にすることにより、１５Ｈｚの動画像を６０Ｈｚの動画像に変換する。なお、単純に複写するのではなく、増加させるべきフレームの少なくとも一枚について、連続する二枚の原フレームを簡易合成することにより、生成してもよい。たとえば、一方の原フレームの上部領域と他方の原フレームの下部領域を空間的に合成してもよい。
【００６２】
補間フレーム生成装置１００は、上述した実施の形態で説明した手法を用いて、フレームレート変換部３３０から入力される動画像を２倍速変換または４倍速変換する。表示部４００は、補間フレーム生成装置１００により倍速変換された動画像を表示する。
【００６３】
以上説明したようにワンセグ放送を受信して表示再生する表示装置５００に、実施の形態に係る補間フレーム生成装置１００を搭載することにより、ワンセグ映像の画質を向上させることができる。なお、図７では既存の主制御部３００に対して、補間フレーム生成装置１００を追加することにより、ワンセグ映像の倍速変換を実現する例を示したが、主制御部３００内に、フレームレート変換部３３０の代わりに、補間フレーム生成装置１００が初めから搭載されてもよい。
【００６４】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６５】
図８は、実施の形態の変形例１に係る、内部記憶部３６に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。図６では、上記第１参照領域Ｒｏ１内の画素および上記第２参照領域Ｒｏ２の画素を一ライン飛ばしで内部記憶部３６に読み込む手法を説明した。変形例１では、各ラインの画素を読み込む際、一画素飛ばして読み込む。
【００６６】
すなわち、読込部３８は、第１原フレームＦｏ１内の第１参照領域Ｒｏ１内の画素および第２原フレームＦｏ２内の第２参照領域Ｒｏ２の画素を、一ライン飛ばしで、かつ各ラインを一画素飛ばしで、内部記憶部３６に読み込む。
【００６７】
演算部３７は、補間フレームＦｉ内の対象画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１および第２原フレームＦｏ２内の画素Ｐｏ２の少なくとも一方が、内部記憶部３６に読み込まれる際に間引かれた画素Ｐｏ１に該当する場合、その画素Ｐｏ１を、その周囲の画素から空間的に補間して生成する。
【００６８】
たとえば、その間引かれた画素Ｐｏ１の上下左右に隣接する画素が、内部記憶部３６に読み込まれていない場合、演算部３７は、その間引かれた画素Ｐｏ１の斜めに隣接する四つの画素から、その間引かれた画素Ｐｏ１を生成する。なお、その間引かれた画素Ｐｏ１の上下に隣接する画素が内部記憶部３６に読み込まれている場合、その上下に隣接する二つの画素から生成する。その間引かれた画素Ｐｏ１の左右に隣接する画素が内部記憶部３６に読み込まれている場合、その左右に隣接する二つの画素から生成する。
【００６９】
以上説明したように変形例１によれば、参照すべき画素を補間により生成する頻度が上がるが、内部記憶部３６の容量をさらに小さくすることができる。すなわち、上記第１参照領域Ｒｏ１内の画素および上記第２参照領域Ｒｏ２の画素を間引かずに読み込む場合と比較して、内部記憶部３６の前フレーム領域および現フレーム領域の容量を１／４にすることができる。
【００７０】
図９は、実施の形態の変形例２に係る、内部記憶部３６に読み込まれた前フレーム内の画素および現フレーム内の画素から、補間フレーム内の画素を生成する原理を説明するための図である。図９（ａ）は、補間フレーム内の画素のＹ信号を生成する原理を示し、図９（ｂ）は、補間フレーム内の画素のＣ信号を生成する原理を示す。
【００７１】
これまでの説明では、補間フレーム内の画素を生成する際、Ｙ信号とＣ信号を同じ手法で生成することを前提に説明してきたが、変形例２では、Ｙ信号とＣ信号を別の手法で説明する。すなわち、補間フレーム算出部３５は、前フレーム内の画素、および現フレーム内の画素を合成することにより、補間フレーム内の各画素のＹ信号を生成し、前フレーム内の画素または現フレーム内の画素の一方から、補間フレーム内の各画素のＣ信号を生成する。
【００７２】
より具体的には、演算部３７は、補間フレームＦｉ内の対象画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、前フレームとすべき第１原フレームＦｏ１内の画素Ｐｏ１のＹ信号および現フレームとすべき第２原フレームＦｏ２内の画素Ｐｏ２のＹ信号を合成して、補間フレームＦｉ内の対象画素ＰｉのＹ信号を生成する。また、演算部３７は、当該動きベクトルｍｖの始点に対応する、当該第１原フレームＦｏ１内の画素Ｐｏ１のＣ信号を、補間フレームＦｉ内の対象画素ＰｉのＣ信号に割り当てる。
【００７３】
以上説明したように変形例２によれば、補間フレーム内の各画素のＣ信号を、現フレーム内の画素を参照せず、前フレーム内の画素のみを参照して生成することにより、内部記憶部３６に現フレーム内の画素のＣ信号を読み込む必要がなくなる。したがって、内部記憶部３６の現フレーム領域を小さくすることができる。また、Ｃ信号のノイズはＹ信号のノイズと比較して、人間の目に目立ちにくいため、変形例２を採用しても主観画質低下を最小限にとどめることができる。
【００７４】
なお、図９では内部記憶部３６に、上記第１参照領域Ｒｏ１内の画素および上記第２参照領域Ｒｏ２の画素を間引かずに読み込む例を描いているが、図６、８と同様に、それらの画素を間引いて読み込んでもよい。その場合、内部記憶部３６の容量をより小さくすることができる。
【００７５】
また、上記実施の形態では、上記第１参照領域Ｒｏ１および上記第２参照領域Ｒｏ２のサイズを、補間フレームＦｉ内の上記探索領域Ｓｉのサイズ以下に設定する例を説明したが、上記探索領域Ｓｉのサイズより大きく設定してもよい。たとえば、上記第１参照領域Ｒｏ１および上記第２参照領域Ｒｏ２が、第１原フレームＦｏ１内の全領域および第２原フレームＦｏ２内の全領域であってもよい。この場合でも、内部記憶部３６に画素を間引いて読み込むことにより、間引かずに読み込む場合と比較して、内部記憶部３６の容量を小さくすることができる。
【００７６】
また、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。
【００７７】
また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係る補間フレーム生成装置１００は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。
【符号の説明】
【００７８】
１０ 主記憶部、 ２０ 入力部、 ２１ ＲＧＢ／ＹＣ変換回路、 ３０ 補間フレーム生成部、 ３１ 動きベクトル検出部、 ３２ 第１ブロックマッチング回路、 ３３ 第２ブロックマッチング回路、 ３５ 補間フレーム算出部、 ３６ 内部記憶部、 ３７ 演算部、 ３８ 読込部、 ３９ 書出部、 ４０ 出力部、 ４１ ＹＣ／ＲＧＢ変換回路、 ５０ 制御部、 １００ 補間フレーム生成装置、 ２００ アンテナ、 ３００ 主制御部、 ３１０ 受信部、 ３２０ 復号部、 ３３０ フレームレート変換部、 ４００ 表示部、 ５００ 表示装置。
【特許請求の範囲】
【請求項１】
第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記補間フレーム内の各画素を通過する前記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を備え、
前記補間フレーム算出部は、
前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を一時記憶するための内部記憶部と、
前記第１フレームおよび前記第２フレームが記憶されている主記憶部から、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を前記内部記憶部に読み込む読込部と、
前記内部記憶部に記憶されている前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の画素を生成する演算部と、を含み、
前記読込部は、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を間引いて前記内部記憶部に読み込むことを特徴とする補間フレーム生成装置。
【請求項２】
前記演算部は、前記補間フレーム内の対象画素を通過する前記動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方が、前記内部記憶部に読み込まれる際に間引かれた画素に該当する場合、その画素を、その周囲の間引かれていない画素から空間的に補間して生成することを特徴とする請求項１に記載の補間フレーム生成装置。
【請求項３】
前記読込部は、前記第１フレーム内の第１参照領域内の画素および前記第２フレーム内の第２参照領域の画素をそれぞれ一ライン飛ばしで前記内部記憶部に読み込み、
前記演算部は、前記補間フレーム内の対象画素を通過する前記動きベクトルの始点および終点に対応する、前記第１参照領域内の画素および前記第２参照領域内の画素の少なくとも一方が、前記内部記憶部に読み込まれる際に間引かれた画素に該当する場合、その画素を、ライン方向に対して交差する方向の両隣の画素から空間的に補間して生成することを特徴とする請求項１に記載の補間フレーム生成装置。
【請求項４】
前記読込部は、前記第１参照領域と前記第２参照領域との間で、飛ばすべきラインが互い違いになるよう、前記第１参照領域内の画素および前記第２参照領域内の画素を読み込むことを特徴とする請求項３に記載の補間フレーム生成装置。
【請求項５】
第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記補間フレーム内の各画素を通過する前記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素から、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を備え、
前記補間フレーム算出部は、前記第１フレーム内の画素および前記第２フレーム内の画素を合成することにより、前記補間フレーム内の各画素の輝度信号を生成し、前記第１フレーム内の画素または前記第２フレーム内の画素の一方から、前記補間フレーム内の各画素の色差信号を生成することを特徴とする補間フレーム生成装置。
【請求項６】
請求項１から５のいずれかに記載の補間フレーム生成装置と、
前記補間フレーム生成装置により生成された補間フレームが挿入された画像を表示する表示部と、
を備えることを特徴とする表示装置。
【請求項１】
第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記補間フレーム内の各画素を通過する前記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を備え、
前記補間フレーム算出部は、
前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を一時記憶するための内部記憶部と、
前記第１フレームおよび前記第２フレームが記憶されている主記憶部から、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を前記内部記憶部に読み込む読込部と、
前記内部記憶部に記憶されている前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の画素を生成する演算部と、を含み、
前記読込部は、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を間引いて前記内部記憶部に読み込むことを特徴とする補間フレーム生成装置。
【請求項２】
前記演算部は、前記補間フレーム内の対象画素を通過する前記動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方が、前記内部記憶部に読み込まれる際に間引かれた画素に該当する場合、その画素を、その周囲の間引かれていない画素から空間的に補間して生成することを特徴とする請求項１に記載の補間フレーム生成装置。
【請求項３】
前記読込部は、前記第１フレーム内の第１参照領域内の画素および前記第２フレーム内の第２参照領域の画素をそれぞれ一ライン飛ばしで前記内部記憶部に読み込み、
前記演算部は、前記補間フレーム内の対象画素を通過する前記動きベクトルの始点および終点に対応する、前記第１参照領域内の画素および前記第２参照領域内の画素の少なくとも一方が、前記内部記憶部に読み込まれる際に間引かれた画素に該当する場合、その画素を、ライン方向に対して交差する方向の両隣の画素から空間的に補間して生成することを特徴とする請求項１に記載の補間フレーム生成装置。
【請求項４】
前記読込部は、前記第１参照領域と前記第２参照領域との間で、飛ばすべきラインが互い違いになるよう、前記第１参照領域内の画素および前記第２参照領域内の画素を読み込むことを特徴とする請求項３に記載の補間フレーム生成装置。
【請求項５】
第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記補間フレーム内の各画素を通過する前記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素から、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を備え、
前記補間フレーム算出部は、前記第１フレーム内の画素および前記第２フレーム内の画素を合成することにより、前記補間フレーム内の各画素の輝度信号を生成し、前記第１フレーム内の画素または前記第２フレーム内の画素の一方から、前記補間フレーム内の各画素の色差信号を生成することを特徴とする補間フレーム生成装置。
【請求項６】
請求項１から５のいずれかに記載の補間フレーム生成装置と、
前記補間フレーム生成装置により生成された補間フレームが挿入された画像を表示する表示部と、
を備えることを特徴とする表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−３５６５６（Ｐ２０１１−３５６５６Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１７９８２２（Ｐ２００９−１７９８２２）
【出願日】平成２１年７月３１日（２００９．７．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（５０６２２７８８４）三洋半導体株式会社 (1,155)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年７月３１日（２００９．７．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（５０６２２７８８４）三洋半導体株式会社 (1,155)
【Ｆターム（参考）】
[ Back to top ]