補間フレーム生成装置およびそれを搭載した表示装置
【課題】補間フレームの品質を向上させる。
【解決手段】動きベクトル検出部１０は、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。補間フレーム算出部２０は、補間フレーム内の各画素を通過する動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。参照無効領域設定部３０は、画面内に参照無効領域を設定する。補間フレーム算出部２０は、補間フレーム内の対象画素を通過する動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の一方が参照無効領域に存在する場合、参照無効領域に存在するほうの画素を参照せず、参照無効領域に存在しないほうの画素を参照して、対象画素を生成する。
【解決手段】動きベクトル検出部１０は、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。補間フレーム算出部２０は、補間フレーム内の各画素を通過する動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。参照無効領域設定部３０は、画面内に参照無効領域を設定する。補間フレーム算出部２０は、補間フレーム内の対象画素を通過する動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の一方が参照無効領域に存在する場合、参照無効領域に存在するほうの画素を参照せず、参照無効領域に存在しないほうの画素を参照して、対象画素を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトルを用いて補間フレームを生成する補間フレーム生成装置、およびそれを搭載した表示装置に関する。
【背景技術】
【０００２】
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像間の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。
【０００３】
日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７１８４２号公報
【特許文献２】特開２００９−２１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動きベクトルを用いる補間フレームの生成アルゴリズムの一つに、連続する第１フレームと第２フレーム間の動きベクトルをブロック単位または画素単位で特定し、第１フレーム内の画素が等速直線運動で第２フレームに移動すると仮定して、補間フレームの画素を決定するものがある。このアルゴリズムでは、たとえば、補間フレームの対象画素を通過する上記動きベクトルを特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素を、補間フレームの時間方向の位置に応じて加重平均した画素を、補間フレームの対象画素に割り当てる。
【０００６】
ここで、補間フレームの対象画素を通過する上記動きベクトルを常に正確に求めることができれば、その動きベクトルの始点に対応する第１フレーム内の画素を、そのまま当該対象画素に割り当ててもよい。しかしながら、上記動きベクトルが誤検出された場合、第１フレーム内の画素および第２フレーム内の画素の両方を参照する手法と比較し、一つの画素しか参照しないため、大きなノイズが発生しやすくなる。このように、第１フレーム内の画素および第２フレーム内の画素の両方を参照する手法は、片方の画素しか参照しない手法と比較し、一般的に精度が高い手法といえる。
【０００７】
しかしながら、上記動きベクトルが指し示す、第１フレーム内の画素および第２フレーム内の画素のいずれかが、参照画素として不適切な場合、その画素を参照しないほうが、補間フレームの対象画素の品質が維持される。たとえば、画面の両端に位置する画素は、同期パルスの影響により輝度値が大きく低下しやすく、参照画素として不適切といえる。輝度値が大きく低下した画素を参照すると、上記対象画素が大きく沈みこんでしまう。
【０００８】
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームの品質を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明のある態様の補間フレーム生成装置は、第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、補間フレーム内の各画素を通過する動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する補間フレーム算出部と、画面内に参照無効領域を設定する参照無効領域設定部と、を備える。補間フレーム算出部は、補間フレーム内の対象画素を通過する動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の一方が参照無効領域に存在する場合、参照無効領域に存在するほうの画素を参照せず、参照無効領域に存在しないほうの画素を参照して、対象画素を生成する。
【００１０】
本発明の別の態様は、表示装置である。この装置は、上述した補間フレーム生成装置と、補間フレーム生成装置により生成された補間フレームが挿入された画像を表示する表示部と、を備える。
【００１１】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、補間フレームの品質を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る補間フレーム生成装置の構成を示す図である。
【図２】補間フレームの生成原理（２倍速変換）を示す図である。
【図３】補間フレームの生成原理（４倍速変換）を示す図である。
【図４】画面内に参照無効領域が設定されている場合における、補間フレーム算出部による画素生成処理の４つのケースを模試的に示す図である。
【図５】補間フレーム算出部による画素生成処理の４つのケースをまとめた図表である。
【図６】画面と、画面に映像を表示させるための映像信号を模式的に示す図である。
【図７】画面内の右端領域の近傍における、補間フレーム内の画素の生成処理を説明するための図である。図７（ａ）は、右端領域を参照無効領域に設定しない場合の、補間フレーム内の画素の生成処理を説明するための図である。図７（ｂ）は、右端領域を参照無効領域に設定した場合の、補間フレーム内の画素の生成処理を説明するための図である。
【図８】実施の形態に係る補間フレーム生成装置を搭載した、表示装置を示す図である。
【発明を実施するための形態】
【００１４】
図１は、本発明の実施の形態に係る補間フレーム生成装置１００の構成を示す図である。補間フレーム生成装置１００は、第１フレームと第２フレームとの間の補間フレームを生成する。たとえば、動画像に含まれる、隣接する二枚のフレーム間の補間フレームを生成する。
【００１５】
補間フレーム生成装置１００は、動きベクトル検出部１０、補間フレーム算出部２０および参照無効領域設定部３０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１６】
動きベクトル検出部１０は、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
【００１７】
当該二段階のブロックマッチングの第一段階では、第１フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、第２フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。
【００１８】
たとえば、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第２フレーム内の最適予測ブロックとする。また、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、第２フレーム内の最適予測ブロックとしてもよい。そして、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。
【００１９】
上記二段階のブロックマッチングの第二段階では、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第１フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第２フレーム内において探索する。これにより、第１フレームと第２フレームとの間で、画素単位の動きベクトルを検出することができる。
【００２０】
補間フレーム算出部２０は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複写して生成してもよい。以下、図２、３を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
【００２１】
図２は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。
【００２２】
補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。
【００２３】
ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。
【００２４】
なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。
【００２５】
図３は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。
【００２６】
第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。
【００２７】
第２補間フレームＦｉ２の画素Ｐｉ２は、図２に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。
【００２８】
図１に戻り、参照無効領域設定部３０は、画面内に参照無効領域を設定し、その位置を補間フレーム算出部２０に設定する。たとえば、補間フレーム算出部２０内のレジスタに、当該参照無効領域とすべき画素位置を設定する。参照無効領域設定部３０は、外部（たとえば、後述する図８の主制御部３００）からの制御信号に応じて、当該参照無効領域を設定することができる。
【００２９】
たとえば、当該参照無効領域は、レターボックス形式で表示される画面内の上下の余白領域（たとえば、黒帯領域）や、ピラーボックス形式で表示される画面内の左右の余白領域や、ウインドウボックス形式で表示される画面内の上下左右の余白領域に設定される。これらの余白は、アスペクト比が異なる映像の互換性をとるために、放送局側または受信機側で挿入される。たとえば、４：３の映像を１６：９の画面に表示させる場合、ピラーボックス形式が採用され、画面内の左右に黒帯が表示される。
【００３０】
また、上記参照無効領域は、設計者によりあらかじめ設定されることも可能である。たとえば、ノイズが発生しやすい、画素または領域に設定される。後述する画面内の右端領域および左端領域はその一例である。
【００３１】
以下、図４、図５を参照して、画面内に参照無効領域が設定されている場合における、補間フレーム算出部２０による画素生成処理について説明する。図４は、画面４０内に参照無効領域４２ａ、４２ｂが設定されている場合における、補間フレーム算出部２０による画素生成処理の４つのケースを模試的に示す図である。図５は、補間フレーム算出部２０による画素生成処理の４つのケースをまとめた図表である。
【００３２】
図４に示す画面４０はピラーボックス形式の画面であり、当該画面４０は、映像が表示される有効領域４１と、その左右の余白領域である参照無効領域４２ａ、４２ｂとに分割される。なお、画面４０外の領域は、参照無効領域４２ａ、４２ｂと同様に扱う。
【００３３】
ケースａは、補間フレームＦｉ内の対象画素Ｐｉａ、第１原フレームＦｏ１内の参照画素Ｐｏ１ａおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ａのすべてが有効領域４１に存在するケースである。すなわち、補間フレーム算出部２０は、補間フレームＦｉ内の対象画素Ｐｉａを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ａおよび第２原フレームＦｏ２内の画素Ｐｏ２ａの両方が有効領域４１に存在する場合、両方の画素Ｐｏ１ａ、Ｐｏ２ａを参照して、対象画素Ｐｉａを生成する。たとえば、両方の画素Ｐｏ１ａ、Ｐｏ２ａを合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉａに割り当てる。
【００３４】
ケースｂは、補間フレームＦｉ内の対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部２０は、補間フレームＦｉ内の対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｂの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｂを生成する。たとえば、原フレームＦｏ１内の当該画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複写する。なお、第２原フレームＦｏ２内の当該画素を複写してもよい。また、第１原フレームＦｏ１内の当該画素および第２原フレーム内の当該画素を合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複写してもよい。
【００３５】
なお、ケースｂでは、補間フレームＦｉ内の対象画素Ｐｉｂを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｂおよび第２原フレームＦｏ２内の画素Ｐｏ２ｂは、有効領域４１に存在するか参照無効領域４２ａ、４２ｂに存在するかを問わず、いずれも参照されない。
【００３６】
ケースｃは、補間フレームＦｉ内の対象画素Ｐｉｃが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｃの一方が有効領域４１に存在し、他方が参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部２０は、補間フレームＦｉ内の対象画素Ｐｉｃを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の画素Ｐｏ２ｃの一方が参照無効領域４２ａ、４２ｂに存在する場合、他方を参照して対象画素Ｐｉｃを生成する。図４では、参照無効領域４２ａ、４２ｂに存在するほうの第１原フレームＦｏ１内の画素Ｐｏ１ｃを参照せず、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを参照して、対象画素Ｐｉｃを生成する。図４では、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを、補間フレームＦｉ内の対象画素Ｐｉｃに複写する。
【００３７】
ケースｄは、補間フレームＦｉ内の対象画素Ｐｉｄが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂ（画面４０外の領域を含む）に存在するケースである。すなわち、補間フレーム算出部２０は、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｄの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｄを生成する。たとえば、両方の画素を合成（たとえば、平均）して生成してもよいし、いずれか一方の画素を複写して生成してもよい。
【００３８】
すなわち、ケースｄでは上記動きベクトルをゼロと考える。なお、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄは、いずれも参照されない。
【００３９】
図６は、画面６０と、画面６０に映像を表示させるための映像信号ＶＳを模式的に示す図である。ＮＴＳＣ（National Television System Committee）方式などで規定された映像信号ＶＳは、一水平走査線信号１Ｈごとに同期信号ＨＳＹＮＣが挿入される。一水平走査線信号１Ｈは、同期信号ＨＳＹＮＣが挿入され、その次に図示しないバースト信号が挿入され、その次に実際の映像信号が挿入される。なお、図６では当該映像信号をアナログ信号で描いているが、デジタル信号であってもよい。
【００４０】
ここで、実際の映像信号の両端は、同期信号ＨＳＹＮＣの影響により歪みやすい性質を有する。すなわち、同期信号ＨＳＹＮＣの低い値（ペデスタルレベル）に引っ張られて、当該映像信号の両端の値が低下しやすくなる。この性質に鑑み、参照無効領域設定部３０は、当該映像信号の両端に対応する、画面６０内の左端領域６２ａおよび右端領域６２ｂの少なくとも一方を、上記参照無効領域に設定する。なお、左端領域６２ａは、画面６０の左端から１〜３本程度の垂直画素ラインで形成される領域であってもよい。同様に、右端領域６２ｂは、画面６０の最も右端から１〜３本程度の垂直画素ラインで形成される領域であってもよい。
【００４１】
図７は、画面６０内の右端領域６２ｂの近傍における、補間フレームＦｉ内の画素の生成処理を説明するための図である。図７（ａ）は、右端領域６２ｂを参照無効領域に設定しない場合の、補間フレームＦｉ内の画素の生成処理を説明するための図である。図７（ｂ）は、右端領域６２ｂを参照無効領域に設定した場合の、補間フレームＦｉ内の画素の生成処理を説明するための図である。
【００４２】
まず、図７（ａ）を参照して、右端領域６２ｂを参照無効領域に設定しない場合について説明する。補間フレームＦｉ内の第１対象画素Ｐｉｘの生成処理は、上記ケースａとなる。したがって、補間フレーム算出部２０は、補間フレームＦｉ内の第１対象画素Ｐｉｘを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｘａおよび第２原フレームＦｏ２内の画素Ｐｏ２ｘａを平均して、第１対象画素Ｐｉａを生成する。
【００４３】
ここで、第２原フレームＦｏ２内の画素Ｐｏ２ｘａは、右端領域６２ｂ内に存在するため、画素値が低下しやすい。仮に、その画素値が本来の値ではなくゼロになってしまった場合、参照画素の一方がゼロであるため、演算により生成される第１対象画素Ｐｉｘの画素値が大きく低下してしまう。すなわち、本来の画素値の約半分になってしまう。第１対象画素Ｐｉｘが属する垂直画素ライン内の他の画素についても同様であり、この場合、当該垂直画素ラインの輝度が低下し、画面６０内に黒い縦線のノイズが入ってしまう。
【００４４】
補間フレームＦｉ内の第２対象画素Ｐｉｙは、第１対象画素Ｐｉｘの一つ右隣ラインの画素である。第２対象画素Ｐｉｙの生成処理は、上記ケースｃとなる。補間フレームＦｉ内の第２対象画素Ｐｉｙを通過する上記動きベクトルの終点に対応する、第２原フレームＦｏ２内の画素Ｐｏ２ｙｃ位置が画面６０の外にはみ出るためである。
【００４５】
したがって、補間フレーム算出部２０は、補間フレームＦｉ内の第２対象画素Ｐｉｙを通過する上記動きベクトルの始点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｙｃを複写して、第２対象画素Ｐｉｙを生成する。画面６０の外にはみ出した位置の値を平均化処理の基礎データとしないため、第２対象画素Ｐｉｙの画素値が、本来の値より大きく低下することを抑制することができる。第２対象画素Ｐｉｙが属する垂直画素ライン内の他の画素についても同様であり、画面６０内の当該垂直画素ラインの位置に、縦線のノイズが入ることを抑制することができる。
【００４６】
つぎに、図７（ｂ）を参照して、右端領域６２ｂを参照無効領域に設定する場合について説明する。補間フレームＦｉ内の第２対象画素Ｐｉｙについては、図７（ａ）で説明した、右端領域６２ｂを参照無効領域に設定する場合と同様である。図７（ｂ）では、補間フレームＦｉ内の第１対象画素Ｐｉｘの生成処理は、右端領域６２ｂが参照無効領域に設定されているため、上記ケースｃとなる。したがって、補間フレーム算出部２０は、補間フレームＦｉ内の第１対象画素Ｐｉｘを通過する上記動きベクトルの始点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｘｃを複写して、第１対象画素Ｐｉｘを生成する。
【００４７】
図７（ｂ）では、画素値が低下しやすい右端領域６２ｂ内の画素を平均化処理の基礎データとしないため、第１対象画素Ｐｉｘの画素値が、本来の値より大きく低下してしまうことを抑制することができる。第１対象画素Ｐｉｘが属する垂直画素ライン内の他の画素についても同様であり、画面６０内の当該垂直画素ラインの位置に、縦線のノイズが入ることを抑制することができる。
【００４８】
以上説明したように本実施の形態によれば、上述した動きベクトルを用いる補間フレーム技術を用いて補間フレームを生成する場合において、補間フレームの品質を向上させることができる。すなわち、ノイズが混入しやすい位置の画素を参照無効領域に設定することにより、当該画素を参照画素から外すことができ、補間フレーム内の画素にノイズが混入されることを抑制することができる。たとえば、画面内の右端領域および左端領域は、ノイズが混入しやすい位置であり、その右端領域および左端領域を参照無効領域に設定することにより、画面内に縦線のノイズが入ることを抑制することができる。
【００４９】
また、補間フレーム内の参照無効領域の画素は、第１原フレーム内または第２原フレーム内の対応する位置の画素を参照して生成することにより、目立ちやすいちらつきの発生を抑制することができる。参照無効領域は、黒帯など、静止している領域に設定されることが多い。その場合、上記参照無効領域内の画素は、前フレームの同じ位置の画素を踏襲したほうが、上述した動きベクトルを用いた補間演算により生成するより、高精度を実現しやすい。また、単純に前フレームの画素値を踏襲すれば、演算量を低減させることができる。
【００５０】
図８は、実施の形態に係る補間フレーム生成装置１００を搭載した、表示装置５００を示す図である。表示装置５００は、ワンセグ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。
【００５１】
当該表示装置５００は、アンテナ２００、主制御部３００、フレームレート変換装置１５０および表示部４００を備える。主制御部３００は、受信部３１０、復号部３２０およびフレームレート変換部３３０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。
【００５２】
復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームをフレームレート変換部３３０に出力する。なお、復号されたフレームがフレームレート変換部３３０に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、ここではそれに注目しないため、省略している。
【００５３】
フレームレート変換部３３０は、入力されるフレームを単純に複写して、フレーム数を増加させる。ここでは、１５Ｈｚの動画像の各フレームを３回複写してフレーム数を４倍にすることにより、１５Ｈｚの動画像を６０Ｈｚの動画像に変換する。なお、単純に複写するのではなく、増加させるべきフレームの少なくとも一枚について、連続する二枚の原フレームを簡易合成することにより、生成してもよい。たとえば、一方の原フレームの上部領域と他方の原フレームの下部領域を空間的に合成してもよい。
【００５４】
フレームレート変換装置１５０は、上述した実施の形態に係る補間フレーム生成装置１００を含み、フレームレート変換部３３０から入力される動画像を２倍速変換または４倍速変換する。すなわち、フレームレート変換装置１５０は、入力される動画像を、フレームレート変換部３３０によりフレーム数が増加される前の状態に戻す。そして、その戻された動画像に含まれる、連続する二枚の原フレーム間の補間フレームを補間フレーム生成装置１００により生成し、それら二枚の原フレーム間に挿入して出力する。
【００５５】
２倍速変換では、図２に示したように、二枚の原フレーム間に一枚の補間フレームを挿入する。６０Ｈｚの動画像を出力する場合、各原フレームおよび各補間フレームを二枚ずつ出力する。４倍速変換では、図３に示したように、二枚の原フレーム間に段階的な三枚の補間フレームを挿入する。
【００５６】
表示部４００は、フレームレート変換装置１５０により倍速変換された動画像を表示する。
【００５７】
以上説明したようにワンセグ放送を受信して表示再生する表示装置５００に、実施の形態に係る補間フレーム生成装置１００を含むフレームレート変換装置１５０を搭載することにより、ワンセグ映像の画質を向上させることができる。なお、図８では既存の主制御部３００に対して、フレームレート変換装置１５０を追加することにより、ワンセグ映像の倍速変換を実現する例を示したが、主制御部３００内に、フレームレート変換部３３０の代わりに、フレームレート変換装置１５０が初めから搭載されてもよい。
【００５８】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５９】
たとえば、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。
【００６０】
また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係る補間フレーム生成装置１００を含むフレームレート変換装置１５０は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。
【符号の説明】
【００６１】
１０ 動きベクトル検出部、 ２０ 補間フレーム算出部、 ３０ 参照無効領域設定部、 １００ 補間フレーム生成装置、 １５０ フレームレート変換装置、 ２００ アンテナ、 ３００ 主制御部、 ３１０ 受信部、 ３２０ 復号部、 ３３０ フレームレート変換部、 ４００ 表示部、 ５００ 表示装置。
【技術分野】
【０００１】
本発明は、動きベクトルを用いて補間フレームを生成する補間フレーム生成装置、およびそれを搭載した表示装置に関する。
【背景技術】
【０００２】
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像間の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。
【０００３】
日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７１８４２号公報
【特許文献２】特開２００９−２１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動きベクトルを用いる補間フレームの生成アルゴリズムの一つに、連続する第１フレームと第２フレーム間の動きベクトルをブロック単位または画素単位で特定し、第１フレーム内の画素が等速直線運動で第２フレームに移動すると仮定して、補間フレームの画素を決定するものがある。このアルゴリズムでは、たとえば、補間フレームの対象画素を通過する上記動きベクトルを特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素を、補間フレームの時間方向の位置に応じて加重平均した画素を、補間フレームの対象画素に割り当てる。
【０００６】
ここで、補間フレームの対象画素を通過する上記動きベクトルを常に正確に求めることができれば、その動きベクトルの始点に対応する第１フレーム内の画素を、そのまま当該対象画素に割り当ててもよい。しかしながら、上記動きベクトルが誤検出された場合、第１フレーム内の画素および第２フレーム内の画素の両方を参照する手法と比較し、一つの画素しか参照しないため、大きなノイズが発生しやすくなる。このように、第１フレーム内の画素および第２フレーム内の画素の両方を参照する手法は、片方の画素しか参照しない手法と比較し、一般的に精度が高い手法といえる。
【０００７】
しかしながら、上記動きベクトルが指し示す、第１フレーム内の画素および第２フレーム内の画素のいずれかが、参照画素として不適切な場合、その画素を参照しないほうが、補間フレームの対象画素の品質が維持される。たとえば、画面の両端に位置する画素は、同期パルスの影響により輝度値が大きく低下しやすく、参照画素として不適切といえる。輝度値が大きく低下した画素を参照すると、上記対象画素が大きく沈みこんでしまう。
【０００８】
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームの品質を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明のある態様の補間フレーム生成装置は、第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、補間フレーム内の各画素を通過する動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する補間フレーム算出部と、画面内に参照無効領域を設定する参照無効領域設定部と、を備える。補間フレーム算出部は、補間フレーム内の対象画素を通過する動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の一方が参照無効領域に存在する場合、参照無効領域に存在するほうの画素を参照せず、参照無効領域に存在しないほうの画素を参照して、対象画素を生成する。
【００１０】
本発明の別の態様は、表示装置である。この装置は、上述した補間フレーム生成装置と、補間フレーム生成装置により生成された補間フレームが挿入された画像を表示する表示部と、を備える。
【００１１】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、補間フレームの品質を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る補間フレーム生成装置の構成を示す図である。
【図２】補間フレームの生成原理（２倍速変換）を示す図である。
【図３】補間フレームの生成原理（４倍速変換）を示す図である。
【図４】画面内に参照無効領域が設定されている場合における、補間フレーム算出部による画素生成処理の４つのケースを模試的に示す図である。
【図５】補間フレーム算出部による画素生成処理の４つのケースをまとめた図表である。
【図６】画面と、画面に映像を表示させるための映像信号を模式的に示す図である。
【図７】画面内の右端領域の近傍における、補間フレーム内の画素の生成処理を説明するための図である。図７（ａ）は、右端領域を参照無効領域に設定しない場合の、補間フレーム内の画素の生成処理を説明するための図である。図７（ｂ）は、右端領域を参照無効領域に設定した場合の、補間フレーム内の画素の生成処理を説明するための図である。
【図８】実施の形態に係る補間フレーム生成装置を搭載した、表示装置を示す図である。
【発明を実施するための形態】
【００１４】
図１は、本発明の実施の形態に係る補間フレーム生成装置１００の構成を示す図である。補間フレーム生成装置１００は、第１フレームと第２フレームとの間の補間フレームを生成する。たとえば、動画像に含まれる、隣接する二枚のフレーム間の補間フレームを生成する。
【００１５】
補間フレーム生成装置１００は、動きベクトル検出部１０、補間フレーム算出部２０および参照無効領域設定部３０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１６】
動きベクトル検出部１０は、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
【００１７】
当該二段階のブロックマッチングの第一段階では、第１フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、第２フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。
【００１８】
たとえば、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第２フレーム内の最適予測ブロックとする。また、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、第２フレーム内の最適予測ブロックとしてもよい。そして、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。
【００１９】
上記二段階のブロックマッチングの第二段階では、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第１フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第２フレーム内において探索する。これにより、第１フレームと第２フレームとの間で、画素単位の動きベクトルを検出することができる。
【００２０】
補間フレーム算出部２０は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複写して生成してもよい。以下、図２、３を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
【００２１】
図２は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。
【００２２】
補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。
【００２３】
ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。
【００２４】
なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。
【００２５】
図３は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。
【００２６】
第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。
【００２７】
第２補間フレームＦｉ２の画素Ｐｉ２は、図２に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。
【００２８】
図１に戻り、参照無効領域設定部３０は、画面内に参照無効領域を設定し、その位置を補間フレーム算出部２０に設定する。たとえば、補間フレーム算出部２０内のレジスタに、当該参照無効領域とすべき画素位置を設定する。参照無効領域設定部３０は、外部（たとえば、後述する図８の主制御部３００）からの制御信号に応じて、当該参照無効領域を設定することができる。
【００２９】
たとえば、当該参照無効領域は、レターボックス形式で表示される画面内の上下の余白領域（たとえば、黒帯領域）や、ピラーボックス形式で表示される画面内の左右の余白領域や、ウインドウボックス形式で表示される画面内の上下左右の余白領域に設定される。これらの余白は、アスペクト比が異なる映像の互換性をとるために、放送局側または受信機側で挿入される。たとえば、４：３の映像を１６：９の画面に表示させる場合、ピラーボックス形式が採用され、画面内の左右に黒帯が表示される。
【００３０】
また、上記参照無効領域は、設計者によりあらかじめ設定されることも可能である。たとえば、ノイズが発生しやすい、画素または領域に設定される。後述する画面内の右端領域および左端領域はその一例である。
【００３１】
以下、図４、図５を参照して、画面内に参照無効領域が設定されている場合における、補間フレーム算出部２０による画素生成処理について説明する。図４は、画面４０内に参照無効領域４２ａ、４２ｂが設定されている場合における、補間フレーム算出部２０による画素生成処理の４つのケースを模試的に示す図である。図５は、補間フレーム算出部２０による画素生成処理の４つのケースをまとめた図表である。
【００３２】
図４に示す画面４０はピラーボックス形式の画面であり、当該画面４０は、映像が表示される有効領域４１と、その左右の余白領域である参照無効領域４２ａ、４２ｂとに分割される。なお、画面４０外の領域は、参照無効領域４２ａ、４２ｂと同様に扱う。
【００３３】
ケースａは、補間フレームＦｉ内の対象画素Ｐｉａ、第１原フレームＦｏ１内の参照画素Ｐｏ１ａおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ａのすべてが有効領域４１に存在するケースである。すなわち、補間フレーム算出部２０は、補間フレームＦｉ内の対象画素Ｐｉａを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ａおよび第２原フレームＦｏ２内の画素Ｐｏ２ａの両方が有効領域４１に存在する場合、両方の画素Ｐｏ１ａ、Ｐｏ２ａを参照して、対象画素Ｐｉａを生成する。たとえば、両方の画素Ｐｏ１ａ、Ｐｏ２ａを合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉａに割り当てる。
【００３４】
ケースｂは、補間フレームＦｉ内の対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部２０は、補間フレームＦｉ内の対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｂの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｂを生成する。たとえば、原フレームＦｏ１内の当該画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複写する。なお、第２原フレームＦｏ２内の当該画素を複写してもよい。また、第１原フレームＦｏ１内の当該画素および第２原フレーム内の当該画素を合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複写してもよい。
【００３５】
なお、ケースｂでは、補間フレームＦｉ内の対象画素Ｐｉｂを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｂおよび第２原フレームＦｏ２内の画素Ｐｏ２ｂは、有効領域４１に存在するか参照無効領域４２ａ、４２ｂに存在するかを問わず、いずれも参照されない。
【００３６】
ケースｃは、補間フレームＦｉ内の対象画素Ｐｉｃが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｃの一方が有効領域４１に存在し、他方が参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部２０は、補間フレームＦｉ内の対象画素Ｐｉｃを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の画素Ｐｏ２ｃの一方が参照無効領域４２ａ、４２ｂに存在する場合、他方を参照して対象画素Ｐｉｃを生成する。図４では、参照無効領域４２ａ、４２ｂに存在するほうの第１原フレームＦｏ１内の画素Ｐｏ１ｃを参照せず、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを参照して、対象画素Ｐｉｃを生成する。図４では、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを、補間フレームＦｉ内の対象画素Ｐｉｃに複写する。
【００３７】
ケースｄは、補間フレームＦｉ内の対象画素Ｐｉｄが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂ（画面４０外の領域を含む）に存在するケースである。すなわち、補間フレーム算出部２０は、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｄの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｄを生成する。たとえば、両方の画素を合成（たとえば、平均）して生成してもよいし、いずれか一方の画素を複写して生成してもよい。
【００３８】
すなわち、ケースｄでは上記動きベクトルをゼロと考える。なお、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄは、いずれも参照されない。
【００３９】
図６は、画面６０と、画面６０に映像を表示させるための映像信号ＶＳを模式的に示す図である。ＮＴＳＣ（National Television System Committee）方式などで規定された映像信号ＶＳは、一水平走査線信号１Ｈごとに同期信号ＨＳＹＮＣが挿入される。一水平走査線信号１Ｈは、同期信号ＨＳＹＮＣが挿入され、その次に図示しないバースト信号が挿入され、その次に実際の映像信号が挿入される。なお、図６では当該映像信号をアナログ信号で描いているが、デジタル信号であってもよい。
【００４０】
ここで、実際の映像信号の両端は、同期信号ＨＳＹＮＣの影響により歪みやすい性質を有する。すなわち、同期信号ＨＳＹＮＣの低い値（ペデスタルレベル）に引っ張られて、当該映像信号の両端の値が低下しやすくなる。この性質に鑑み、参照無効領域設定部３０は、当該映像信号の両端に対応する、画面６０内の左端領域６２ａおよび右端領域６２ｂの少なくとも一方を、上記参照無効領域に設定する。なお、左端領域６２ａは、画面６０の左端から１〜３本程度の垂直画素ラインで形成される領域であってもよい。同様に、右端領域６２ｂは、画面６０の最も右端から１〜３本程度の垂直画素ラインで形成される領域であってもよい。
【００４１】
図７は、画面６０内の右端領域６２ｂの近傍における、補間フレームＦｉ内の画素の生成処理を説明するための図である。図７（ａ）は、右端領域６２ｂを参照無効領域に設定しない場合の、補間フレームＦｉ内の画素の生成処理を説明するための図である。図７（ｂ）は、右端領域６２ｂを参照無効領域に設定した場合の、補間フレームＦｉ内の画素の生成処理を説明するための図である。
【００４２】
まず、図７（ａ）を参照して、右端領域６２ｂを参照無効領域に設定しない場合について説明する。補間フレームＦｉ内の第１対象画素Ｐｉｘの生成処理は、上記ケースａとなる。したがって、補間フレーム算出部２０は、補間フレームＦｉ内の第１対象画素Ｐｉｘを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｘａおよび第２原フレームＦｏ２内の画素Ｐｏ２ｘａを平均して、第１対象画素Ｐｉａを生成する。
【００４３】
ここで、第２原フレームＦｏ２内の画素Ｐｏ２ｘａは、右端領域６２ｂ内に存在するため、画素値が低下しやすい。仮に、その画素値が本来の値ではなくゼロになってしまった場合、参照画素の一方がゼロであるため、演算により生成される第１対象画素Ｐｉｘの画素値が大きく低下してしまう。すなわち、本来の画素値の約半分になってしまう。第１対象画素Ｐｉｘが属する垂直画素ライン内の他の画素についても同様であり、この場合、当該垂直画素ラインの輝度が低下し、画面６０内に黒い縦線のノイズが入ってしまう。
【００４４】
補間フレームＦｉ内の第２対象画素Ｐｉｙは、第１対象画素Ｐｉｘの一つ右隣ラインの画素である。第２対象画素Ｐｉｙの生成処理は、上記ケースｃとなる。補間フレームＦｉ内の第２対象画素Ｐｉｙを通過する上記動きベクトルの終点に対応する、第２原フレームＦｏ２内の画素Ｐｏ２ｙｃ位置が画面６０の外にはみ出るためである。
【００４５】
したがって、補間フレーム算出部２０は、補間フレームＦｉ内の第２対象画素Ｐｉｙを通過する上記動きベクトルの始点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｙｃを複写して、第２対象画素Ｐｉｙを生成する。画面６０の外にはみ出した位置の値を平均化処理の基礎データとしないため、第２対象画素Ｐｉｙの画素値が、本来の値より大きく低下することを抑制することができる。第２対象画素Ｐｉｙが属する垂直画素ライン内の他の画素についても同様であり、画面６０内の当該垂直画素ラインの位置に、縦線のノイズが入ることを抑制することができる。
【００４６】
つぎに、図７（ｂ）を参照して、右端領域６２ｂを参照無効領域に設定する場合について説明する。補間フレームＦｉ内の第２対象画素Ｐｉｙについては、図７（ａ）で説明した、右端領域６２ｂを参照無効領域に設定する場合と同様である。図７（ｂ）では、補間フレームＦｉ内の第１対象画素Ｐｉｘの生成処理は、右端領域６２ｂが参照無効領域に設定されているため、上記ケースｃとなる。したがって、補間フレーム算出部２０は、補間フレームＦｉ内の第１対象画素Ｐｉｘを通過する上記動きベクトルの始点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｘｃを複写して、第１対象画素Ｐｉｘを生成する。
【００４７】
図７（ｂ）では、画素値が低下しやすい右端領域６２ｂ内の画素を平均化処理の基礎データとしないため、第１対象画素Ｐｉｘの画素値が、本来の値より大きく低下してしまうことを抑制することができる。第１対象画素Ｐｉｘが属する垂直画素ライン内の他の画素についても同様であり、画面６０内の当該垂直画素ラインの位置に、縦線のノイズが入ることを抑制することができる。
【００４８】
以上説明したように本実施の形態によれば、上述した動きベクトルを用いる補間フレーム技術を用いて補間フレームを生成する場合において、補間フレームの品質を向上させることができる。すなわち、ノイズが混入しやすい位置の画素を参照無効領域に設定することにより、当該画素を参照画素から外すことができ、補間フレーム内の画素にノイズが混入されることを抑制することができる。たとえば、画面内の右端領域および左端領域は、ノイズが混入しやすい位置であり、その右端領域および左端領域を参照無効領域に設定することにより、画面内に縦線のノイズが入ることを抑制することができる。
【００４９】
また、補間フレーム内の参照無効領域の画素は、第１原フレーム内または第２原フレーム内の対応する位置の画素を参照して生成することにより、目立ちやすいちらつきの発生を抑制することができる。参照無効領域は、黒帯など、静止している領域に設定されることが多い。その場合、上記参照無効領域内の画素は、前フレームの同じ位置の画素を踏襲したほうが、上述した動きベクトルを用いた補間演算により生成するより、高精度を実現しやすい。また、単純に前フレームの画素値を踏襲すれば、演算量を低減させることができる。
【００５０】
図８は、実施の形態に係る補間フレーム生成装置１００を搭載した、表示装置５００を示す図である。表示装置５００は、ワンセグ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。
【００５１】
当該表示装置５００は、アンテナ２００、主制御部３００、フレームレート変換装置１５０および表示部４００を備える。主制御部３００は、受信部３１０、復号部３２０およびフレームレート変換部３３０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。
【００５２】
復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームをフレームレート変換部３３０に出力する。なお、復号されたフレームがフレームレート変換部３３０に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、ここではそれに注目しないため、省略している。
【００５３】
フレームレート変換部３３０は、入力されるフレームを単純に複写して、フレーム数を増加させる。ここでは、１５Ｈｚの動画像の各フレームを３回複写してフレーム数を４倍にすることにより、１５Ｈｚの動画像を６０Ｈｚの動画像に変換する。なお、単純に複写するのではなく、増加させるべきフレームの少なくとも一枚について、連続する二枚の原フレームを簡易合成することにより、生成してもよい。たとえば、一方の原フレームの上部領域と他方の原フレームの下部領域を空間的に合成してもよい。
【００５４】
フレームレート変換装置１５０は、上述した実施の形態に係る補間フレーム生成装置１００を含み、フレームレート変換部３３０から入力される動画像を２倍速変換または４倍速変換する。すなわち、フレームレート変換装置１５０は、入力される動画像を、フレームレート変換部３３０によりフレーム数が増加される前の状態に戻す。そして、その戻された動画像に含まれる、連続する二枚の原フレーム間の補間フレームを補間フレーム生成装置１００により生成し、それら二枚の原フレーム間に挿入して出力する。
【００５５】
２倍速変換では、図２に示したように、二枚の原フレーム間に一枚の補間フレームを挿入する。６０Ｈｚの動画像を出力する場合、各原フレームおよび各補間フレームを二枚ずつ出力する。４倍速変換では、図３に示したように、二枚の原フレーム間に段階的な三枚の補間フレームを挿入する。
【００５６】
表示部４００は、フレームレート変換装置１５０により倍速変換された動画像を表示する。
【００５７】
以上説明したようにワンセグ放送を受信して表示再生する表示装置５００に、実施の形態に係る補間フレーム生成装置１００を含むフレームレート変換装置１５０を搭載することにより、ワンセグ映像の画質を向上させることができる。なお、図８では既存の主制御部３００に対して、フレームレート変換装置１５０を追加することにより、ワンセグ映像の倍速変換を実現する例を示したが、主制御部３００内に、フレームレート変換部３３０の代わりに、フレームレート変換装置１５０が初めから搭載されてもよい。
【００５８】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５９】
たとえば、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。
【００６０】
また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係る補間フレーム生成装置１００を含むフレームレート変換装置１５０は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。
【符号の説明】
【００６１】
１０ 動きベクトル検出部、 ２０ 補間フレーム算出部、 ３０ 参照無効領域設定部、 １００ 補間フレーム生成装置、 １５０ フレームレート変換装置、 ２００ アンテナ、 ３００ 主制御部、 ３１０ 受信部、 ３２０ 復号部、 ３３０ フレームレート変換部、 ４００ 表示部、 ５００ 表示装置。
【特許請求の範囲】
【請求項１】
第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記補間フレーム内の各画素を通過する前記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、
画面内に参照無効領域を設定する参照無効領域設定部と、を備え、
前記補間フレーム算出部は、前記補間フレーム内の対象画素を通過する前記動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の一方が前記参照無効領域に存在する場合、前記参照無効領域に存在するほうの画素を参照せず、前記参照無効領域に存在しないほうの画素を参照して、前記対象画素を生成することを特徴とする補間フレーム生成装置。
【請求項２】
前記補間フレーム算出部は、前記補間フレーム内の対象画素を通過する前記動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の両方が前記参照無効領域に存在する場合、前記対象画素の位置に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記対象画素を生成することを特徴とする請求項１に記載の補間フレーム生成装置。
【請求項３】
前記補間フレーム算出部は、前記補間フレーム内の対象画素が前記参照無効領域に存在する場合、前記対象画素の位置に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記対象画素を生成することを特徴とする請求項１または２に記載の補間フレーム生成装置。
【請求項４】
前記参照無効領域設定部は、画面内の右端領域および左端領域の少なくとも一方を、前記参照無効領域に設定することを特徴とする請求項１から３のいずれかに記載の補間フレーム生成装置。
【請求項５】
請求項１から４のいずれかに記載の補間フレーム生成装置と、
前記補間フレーム生成装置により生成された補間フレームが挿入された画像を表示する表示部と、
を備えることを特徴とする表示装置。
【請求項１】
第１フレームと第２フレームとの間の補間フレームを生成する補間フレーム生成装置であって、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記補間フレーム内の各画素を通過する前記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、
画面内に参照無効領域を設定する参照無効領域設定部と、を備え、
前記補間フレーム算出部は、前記補間フレーム内の対象画素を通過する前記動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の一方が前記参照無効領域に存在する場合、前記参照無効領域に存在するほうの画素を参照せず、前記参照無効領域に存在しないほうの画素を参照して、前記対象画素を生成することを特徴とする補間フレーム生成装置。
【請求項２】
前記補間フレーム算出部は、前記補間フレーム内の対象画素を通過する前記動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の両方が前記参照無効領域に存在する場合、前記対象画素の位置に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記対象画素を生成することを特徴とする請求項１に記載の補間フレーム生成装置。
【請求項３】
前記補間フレーム算出部は、前記補間フレーム内の対象画素が前記参照無効領域に存在する場合、前記対象画素の位置に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記対象画素を生成することを特徴とする請求項１または２に記載の補間フレーム生成装置。
【請求項４】
前記参照無効領域設定部は、画面内の右端領域および左端領域の少なくとも一方を、前記参照無効領域に設定することを特徴とする請求項１から３のいずれかに記載の補間フレーム生成装置。
【請求項５】
請求項１から４のいずれかに記載の補間フレーム生成装置と、
前記補間フレーム生成装置により生成された補間フレームが挿入された画像を表示する表示部と、
を備えることを特徴とする表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−３５５９５（Ｐ２０１１−３５５９５Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１７８９１０（Ｐ２００９−１７８９１０）
【出願日】平成２１年７月３１日（２００９．７．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（５０６２２７８８４）三洋半導体株式会社 (1,155)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年７月３１日（２００９．７．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（５０６２２７８８４）三洋半導体株式会社 (1,155)
【Ｆターム（参考）】
[ Back to top ]