フレームレート変換回路およびそれを搭載した表示装置
【課題】補間フレームの画質を向上させる技術を提供する。
【解決手段】フレームレート変換回路において、補間フレーム生成部１０は、第１フレームおよび第２フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する。余白領域検出部２０は、第１フレームまたは第２フレームの縁部にある複数の画素の画素値が、予め定められた範囲内の画素値である場合に、余白領域が存在することを検出する。補間フレーム生成部１０は、余白領域検出部２０により余白領域が存在することが検出された場合に、補間フレーム内の余白領域にある画素の位置に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の余白領域にある画素を生成する。
【解決手段】フレームレート変換回路において、補間フレーム生成部１０は、第１フレームおよび第２フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する。余白領域検出部２０は、第１フレームまたは第２フレームの縁部にある複数の画素の画素値が、予め定められた範囲内の画素値である場合に、余白領域が存在することを検出する。補間フレーム生成部１０は、余白領域検出部２０により余白領域が存在することが検出された場合に、補間フレーム内の余白領域にある画素の位置に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の余白領域にある画素を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力される動画像のフレーム数を増加させて出力するフレームレート変換回路、およびそれを搭載した表示装置に関する。
【背景技術】
【０００２】
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像間の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。
【０００３】
日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７１８４２号公報
【特許文献２】特開２００９−２１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動きベクトルを用いる補間フレームの生成アルゴリズムの一つに、連続する第１フレームと第２フレーム間の動きベクトルをブロック単位または画素単位で特定し、第１フレーム内の画素が等速直線運動で第２フレームに移動すると仮定して、補間フレームの画素を決定するものがある。このアルゴリズムでは、たとえば、補間フレームの対象画素を生成するための上記動きベクトルを特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素を、補間フレームの時間方向の位置に応じて加重平均した画素を、補間フレームの対象画素に割り当てる。
【０００６】
ここで、放送局から送信される映像には、画面内の左右の端の数画素に黒帯が含まれる場合がある。この黒帯領域の色は変化せず、その輪郭も明確であるため、補間フレームの生成処理によって黒帯領域にノイズが発生すると、ノイズが目立つおそれがある。そして、放送局側から黒帯を含む映像が送られてくるのか、黒帯を含まない映像が送られてくるのか、受信機側では不明である。さらに、受信機側ではどちらの映像が送られて来るのかを容易に判別することはできなかった。また、４：３の映像を１６：９の画面に表示させる場合にも、画面内の左右に黒帯が表示され、同様の問題が発生するおそれがあった。
【０００７】
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームの画質を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様のフレームレート変換回路は、入力される動画像に含まれる第１フレームと第２フレームとの間に補間フレームを生成するフレームレート変換回路であって、第１フレームおよび第２フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、第１フレームまたは第２フレームの縁部にある複数の画素の画素値が、予め定められた範囲内の画素値である場合に、余白領域が存在することを検出する余白領域検出部と、を備える。この補間フレーム生成部は、余白領域検出部により余白領域が存在することが検出された場合に、補間フレーム内の余白領域にある画素の位置に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の余白領域にある画素を生成する。
【０００９】
本発明の別の態様もまた、フレームレート変換回路である。この装置は、入力される動画像に含まれる第１フレームと第２フレームとの間に補間フレームを生成するフレームレート変換回路であって、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、動きベクトルをそれぞれ決定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する補間フレーム算出部と、を備える。この補間フレーム算出部は、動きベクトルの始点および終点に対応する第１フレーム内の画素および第２フレーム内の画素の少なくとも一方が、フレームの縁部に存在しうる余白領域を少なくとも含む端部領域に位置したとき、動きベクトルの始点および終点に対応する第１フレーム内の画素および第２フレーム内の画素のうちフレームの中央縦ラインに近い一方の画素を用いて、補間フレーム内の画素を生成する。
【００１０】
本発明のさらに別の態様は、表示装置である。この装置は、フレームレート変換回路と、フレームレート変換回路により生成された補間フレームが挿入された画像を表示する表示部と、を備える。
【００１１】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、補間フレームの画質を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る表示装置の機能構成を示す図である。
【図２】実施形態に係るフレームレート変換回路の構成を示す図である。
【図３】補間フレームの生成原理（２倍速変換）を示す図である。
【図４】補間フレームの生成原理（４倍速変換）を示す図である。
【図５】黒帯領域を含む画面を示す図である。
【発明を実施するための形態】
【００１４】
図１は、実施形態に係る表示装置５００の機能構成を示す。表示装置５００は、ワンセグ放送などのテレビ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。表示装置５００は、テレビ放送を受信するものに限らず、動画像を表示再生する機器であってよい。
【００１５】
表示装置５００は、アンテナ２００、画像処理回路３００、フレームレート変換回路１００および表示部４００を備える。画像処理回路３００は、受信部３１０、復号部３２０および映像出力部３３０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。
【００１６】
復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームを映像出力部３３０に出力する。なお、復号されたフレームが映像出力部３３０に入力される前に、スケーラ（不図示）による解像度変換が施される。
【００１７】
映像出力部３３０は、復号部３２０にて復号された映像を、表示部４００にて表示可能な形式で出力する。たとえば、１５Ｈｚの動画像を表示部４００にて表示可能な６０Ｈｚの動画像に変換する。
【００１８】
フレームレート変換回路１００は、映像出力部３３０から受けとった動画像をもとに２倍速変換または４倍速変換をして、変換した動画像を出力する。具体的には、動画像に含まれる、連続する二枚の原フレーム間の補間フレームを補間フレーム生成部１０により生成し、それら二枚の原フレーム間に挿入して出力する。具体的な変換方法については後述する。表示部４００は、フレームレート変換回路１００により倍速変換された動画像を表示する。
【００１９】
図２は、実施形態に係るフレームレート変換回路１００の構成を示す図である。フレームレート変換回路１００は、入力される動画像に含まれる第１フレームと第２フレームとの間の補間フレームを生成し、補間フレームを加えた動画像を出力する。たとえば、動画像に含まれる、隣接する二枚のフレーム間の補間フレームを生成する。
【００２０】
当該フレームレート変換回路１００は、入力部５、補間フレーム生成部１０、余白領域検出部２０、フレーム記憶部３０、および出力部５０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２１】
入力部５は画像処理回路３００から出力された動画像をフレーム記憶部３０に書き込むとともに、余白領域検出部２０に出力する。フレーム記憶部３０は、入力部５から出力された動画像に含まれる原フレーム、および補間フレーム生成部１０により生成される補間フレームを一時記憶する。
【００２２】
補間フレーム生成部１０は、動画像に含まれる第１フレームと第２フレームとの間の補間フレームを生成する。補間フレーム生成部１０は、基本的に、第１フレームと第２フレームの両方を参照して、それらフレーム間の補間フレームを生成し、例外的に、第１フレームと第２フレームの一方を参照して、それらフレーム間の補間フレームを生成する。以下、さらに具体的に説明する。
【００２３】
補間フレーム生成部１０は、動きベクトル検出部１２および補間フレーム算出部１４を備える。動きベクトル検出部１２は、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
【００２４】
当該二段階のブロックマッチングの第一段階では、第１フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、第２フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。
【００２５】
たとえば、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第２フレーム内の最適予測ブロックとする。また、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、第２フレーム内の最適予測ブロックとしてもよい。そして、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。
【００２６】
上記二段階のブロックマッチングの第二段階では、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第１フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第２フレーム内において探索する。これにより、第１フレームと第２フレームとの間で、画素単位の動きベクトルを検出することができる。
【００２７】
補間フレーム算出部１４は、補間フレーム内の各画素を生成するための上記動きベクトルをそれぞれ決定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複製して生成してもよい。以下、図３、４を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
【００２８】
図３は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。
【００２９】
補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。
【００３０】
ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。
【００３１】
なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。
【００３２】
図４は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。
【００３３】
第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。
【００３４】
第２補間フレームＦｉ２の画素Ｐｉ２は、図３に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。
【００３５】
図２に戻り、出力部５０は、フレーム記憶部３０から、補間フレームを含む動画像を構成するフレームを表示順にしてがって読み出し、外部に出力する。
【００３６】
ワンセグ放送において放送局が黒帯を付加する場合、４画素〜６画素の横幅の黒色の画素列がフレームの左右端にそれぞれ付加されることがある。この余白領域は静止したままであって、色は変化せず、輪郭も明確であるため、補間フレームの余白領域にノイズが発生するとノイズが目立つおそれがある。黒帯は、アスペクト比が異なる映像の互換性をとるために放送局側で付加されることがあり、受信機側では受信した動画像に黒帯が付加されているかどうか不明である。さらに、余白領域の大きさは、放送局によって大きさが異なることがあり、受信機側では余白領域の大きさも不明である。
【００３７】
動きベクトルによっては補間フレーム内の余白領域内の画素が有効映像領域内の画素を参照して生成され、余白領域に有効映像領域の映像がノイズとして表示されることがある。また逆に、有効映像領域内の画素が余白領域内の画素を参照して生成され、有効映像領域の映像に余白領域内の画素がノイズとして表示されることもある。
【００３８】
そこで、実施形態に係る余白領域検出部２０は、第１フレームまたは第２フレームに余白領域が存在するかどうか検出する。そして、補間フレーム算出部１４は余白領域が存在することを検出した場合は、動きベクトルをゼロにするなどして補間フレーム内の余白領域を生成し、補間の際に余白領域にノイズが入ることを抑える。この補間方法を具体的に図５を参照して説明する。
【００３９】
図５は、余白領域を含む画面３３を示す。図５に示す画面３３は黒帯を含む画面であり、当該画面３３には、映像が表示される有効映像領域３８、余白領域である左端側の黒帯領域３４ａおよび右端側の黒帯領域３４ｂ（とくに区別しない場合は「黒帯領域３４」という）が表示されている。
【００４０】
余白領域検出部２０は、第１フレームおよび第２フレームの縁部にある複数の画素の画素値が、予め定められた設定範囲内の画素値である場合に、黒帯領域３４が存在することを検出する。これにより第１フレームおよび第２フレームの縁部に黒帯領域３４があるかどうか検出することができる。なお、余白領域検出部２０が黒帯領域３４が存在することを検出しても、実際の黒帯領域３４の大きさは不明である場合がある。つまり、余白領域検出部２０は、予め想定された範囲に黒帯領域３４が存在することを検出する。
【００４１】
ここで放送局で付加された黒帯領域３４の画素値は必ずしもＲＧＢ（０，０，０）ではないため、放送局で付加された黒帯領域３４の画素値が符号化および復号化した後にとりうる範囲が設定範囲として予め定められる。この設定範囲は、誤検出が少なくなるよう実験により定められる。
【００４２】
フレームの縁部は、たとえば図５に表示する右縁部３６ｂおよび左縁部３６ａである。右縁部３６ｂは、画面３３の右縁から点線３７ｂまでの範囲であって、ワンセグ放送において画面３３の右縁から点線３７ｂまでの幅は、３画素程度とすることができる。左縁部３６ａも同様に、画面３３の左縁から点線３７ａまでの幅は、３画素程度とすることができる。
【００４３】
余白領域検出部２０は、第１フレームおよび第２フレームの左右の縁部にある縦方向の画素列３５の画素値が、予め定められた範囲内の画素値である場合に、黒帯領域３４が存在することを検出する。検出のターゲットとされる画素列３５の位置情報はレジスタに保持されており、余白領域検出部２０はその位置情報にもとづいて検出のターゲットとなる画素列３５の画素値をモニタする。画素列３５に含まれる全画素の画素値を用いて黒帯領域３４の検出を行うことで、黒帯領域３４の誤検出を減らすことができる。また、黒帯領域３４の検出において、検出のターゲットとなる画素を左右の一列ずつに限定することで、処理負荷を軽減することができる。
【００４４】
なお、黒帯領域３４のうち有効映像領域３８との境界に位置する画素は、符号化および復号化等の処理によって黒色から変化しているおそれがあり、予め定められた設定範囲内の画素値ではない可能性がある。そこで誤検出の頻度を低減するため、余白領域検出部２０は点線３７よりも外側に位置する縦方向の画素列を検出のターゲットとすることが好ましく、画面３３内の最も外側の右端および左端に位置する縦方向の画素列を検出のターゲットとすることがより好ましい。
【００４５】
図２に戻って、余白領域検出部２０は動画像から余白領域が存在することを検出すると、余白領域が存在することを示す情報を補間フレーム算出部１４に出力する。そして補間フレーム算出部１４は、補間フレーム内の余白領域にある画素を生成するための動きベクトルをゼロにして補間フレーム内の余白領域にある画素を生成する。
【００４６】
図５において、ケースａは、補間フレーム内の対象画素Ｐｉａが右縁部３６ｂに存在し、第１フレームの画素Ｐｏ１ａが右縁部３６ｂの外側に存在し第２フレームの画素Ｐｏ２ａが右縁部３６ｂに存在するケースである。この場合、補間フレーム算出部１４は、補間フレーム内の画素Ｐｉａを生成するための動きベクトルをゼロにして、第１フレームおよび第２フレームの画素Ｐｉａに対応した画素値を用いて補間フレーム内の画素Ｐｉａを生成する。なお、画素Ｐｉａは第１フレームまたは第２フレームの同じ位置の画素を複製してもよい。
【００４７】
補間フレーム算出部１４は、余白領域検出部２０から余白領域が存在することを示す情報を受け取ると、補間フレームを生成する前に、補間フレーム内の所定の範囲を余白領域として設定する。所定の範囲はレジスタに設定されており、補間フレーム算出部１４はレジスタから所定の範囲を読み出して余白領域として設定する。
【００４８】
この所定の範囲は、ワンセグ放送において放送局が４画素〜６画素の横幅の余白領域を付加する場合、予想される余白領域の大きさにもとづいて定められる。なお、余白領域は画像処理回路３００のスケーラにより大きさが変化することがあるため、設定される余白領域の所定の範囲もスケーラの調整に応じて変化させてよい。
【００４９】
補間フレーム算出部１４は、余白領域の設定後、補間フレーム内の余白領域にある画素を生成するための動きベクトルをゼロにして、補間フレーム内の余白領域にある画素を生成する。たとえば、両方の画素を合成（たとえば、平均）して生成してもよいし、いずれか一方の画素を複製して生成してもよい。
【００５０】
補間フレーム算出部１４は、余白領域が存在しないと検出した場合には、余白領域を設定せず、第１フレーム内の全ての画素および第２フレーム内の全ての画素を参照して補間フレームを生成する。これにより、動画像が余白領域を含まないフル映像である場合に、第１フレームおよび第２フレームの全体を参照して補間フレームを生成することができ、画質を向上することができる。
【００５１】
以上のように、フレームレート変換回路１００は、動画像から余白領域の有無を検出し、補間フレーム内の余白領域を動きベクトルをゼロにして補間して生成することで、補間フレームの余白領域にノイズが入る可能性を低減でき、補間フレームの画質を向上することができる。具体的には、フレームレート変換回路１００は、余白領域内の画素が有効映像領域内の画素を参照して生成され、余白領域に有効映像領域の映像がノイズとして表示される可能性を低減できる。
【００５２】
次に、補間フレーム算出部１４は、動きベクトルによって有効映像領域内の画素が余白領域内の画素を参照して生成され、有効映像領域の映像に余白領域内の画素がノイズとして表示される可能性を低減するように補間する。この補間方法について具体的に図５を参照して説明する。
【００５３】
図５には、左端側の黒帯領域３４ａを含む左端側の端部領域４０ａ（左端から２点鎖線４２ａまでの領域）と、右端側の黒帯領域３４ｂを含む右端側の端部領域４０ｂ（右端から２点鎖線４２ｂまでの領域）と、中央縦ライン４４とを示す。左端側の端部領域４０ａおよび右端側の端部領域４０ｂをとくに区別しない場合は「端部領域４０」という。
【００５４】
補間フレーム算出部１４は、動きベクトルの始点および終点に対応する第１フレーム内の画素および第２フレーム内の画素のいずれか一方が、黒帯領域３４を少なくとも含む端部領域４０に位置したとき、動きベクトルの始点および終点に対応する第１フレーム内の画素および第２フレーム内の画素のうちフレームの中央縦ライン４４に近い画素を複製して、補間フレーム内の画素を生成する。このように補間フレームを生成する際に参照しようとする画素の少なくとも一方が端部領域４０内に位置する場合、その画素が黒帯領域３４に位置する可能性があるため、フレームのより内側に位置する画素のみを参照して補間フレーム内の画素を生成する。これにより、動きベクトルによって有効映像領域３８内の画素が黒帯領域３４内の画素を参照して生成され、有効映像領域３８の映像に黒帯領域３４内の画素がノイズとして表示される可能性を低減でき、画質を向上できる。
【００５５】
端部領域４０は、黒帯領域３４を含み、予想される黒帯領域３４の横幅より所定の画素数大きい範囲に設定される。補間フレーム算出部１４は、補間フレームを生成する前に、予め定められた範囲を端部領域４０として設定する。端部領域４０として設定される範囲は、レジスタに予め設定される。端部領域４０として設定される範囲は、たとえばワンセグ放送において黒帯領域３４が４画素〜６画素の横幅が予想される場合に、フレームの左右端から１０画素〜数１０画素の横幅に設定される。図５には、この補間方法の２つのケースｂ，ｃを示す。
【００５６】
ケースｂは、補間フレーム内の対象画素Ｐｉｂが端部領域４０外に存在し、第１フレーム内の画素Ｐｏ１ｂおよび第２フレーム内の画素Ｐｏ２ｂの一方が端部領域４０内に存在し、他方が端部領域４０外に存在するケースである。この場合、補間フレーム算出部１４は、補間フレーム内の画素Ｐｉｂを生成するための動きベクトルの始点および終点に対応する、第１フレーム内の画素Ｐｏ１ｂおよび第２フレーム内の画素Ｐｏ２ｂの一方が端部領域４０内に存在する場合、中央縦ライン４４に近い画素を複製して、補間フレーム内の画素Ｐｉｂを生成する。
【００５７】
ケースｃは、補間フレーム内の対象画素Ｐｉｃ、第１フレーム内の画素Ｐｏ１ｃおよび第２フレーム内の画素Ｐｏ２ｃがいずれも端部領域４０内であって、右縁部３６ｂの外側に存在するケースである。この場合、補間フレーム算出部１４は、補間フレーム内の画素Ｐｉｃを生成するための動きベクトルの始点および終点に対応する、第１フレーム内の画素Ｐｏ１ｃおよび第２フレーム内の画素Ｐｏ２ｃの一方が端部領域４０内に存在する場合、中央縦ライン４４に近い画素を複製して、補間フレーム内の画素Ｐｉｃを生成する。
【００５８】
このように、動きベクトルの始点および終点に対応する画素がいずれも端部領域４０に位置する場合であっても、一方の画素を参照して補間フレーム内の画素を生成することができ、両方とも参照する場合と比べて画質が向上する。
【００５９】
なお、補間フレーム算出部１４は、余白領域検出部２０により余白領域が存在することが検出された場合に図５で説明したケースａ〜ｃの補間方法を実行してよい。これらの３つの補間方法を組み合わせることで、余白領域の画素の一部が有効映像領域に表示される場合に加えて、有効映像領域の画素の一部が余白領域に表示される場合にも有効となり、余白領域にもとづいてノイズが発生する可能性を極めて低くすることができる。
【００６０】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６１】
たとえば、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。
【００６２】
また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係るフレームレート変換回路１００を含むフレームレート変換回路１００は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。
【符号の説明】
【００６３】
５ 入力部、 １０ 補間フレーム生成部、 １２ 動きベクトル検出部、 １４ 補間フレーム算出部、 ２０ 余白領域検出部、 ３０ フレーム記憶部、 ３３ 画面、 ３４ 黒帯領域、３８ 有効映像領域、４０ 端部領域、５０ 出力部、 １００ フレームレート変換回路、 ２００ アンテナ、 ３００ 画像処理回路、 ３１０ 受信部、 ３２０ 復号部、 ３３０ 映像出力部、 ４００ 表示部、 ５００ 表示装置。
【技術分野】
【０００１】
本発明は、入力される動画像のフレーム数を増加させて出力するフレームレート変換回路、およびそれを搭載した表示装置に関する。
【背景技術】
【０００２】
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像間の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。
【０００３】
日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７１８４２号公報
【特許文献２】特開２００９−２１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動きベクトルを用いる補間フレームの生成アルゴリズムの一つに、連続する第１フレームと第２フレーム間の動きベクトルをブロック単位または画素単位で特定し、第１フレーム内の画素が等速直線運動で第２フレームに移動すると仮定して、補間フレームの画素を決定するものがある。このアルゴリズムでは、たとえば、補間フレームの対象画素を生成するための上記動きベクトルを特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素を、補間フレームの時間方向の位置に応じて加重平均した画素を、補間フレームの対象画素に割り当てる。
【０００６】
ここで、放送局から送信される映像には、画面内の左右の端の数画素に黒帯が含まれる場合がある。この黒帯領域の色は変化せず、その輪郭も明確であるため、補間フレームの生成処理によって黒帯領域にノイズが発生すると、ノイズが目立つおそれがある。そして、放送局側から黒帯を含む映像が送られてくるのか、黒帯を含まない映像が送られてくるのか、受信機側では不明である。さらに、受信機側ではどちらの映像が送られて来るのかを容易に判別することはできなかった。また、４：３の映像を１６：９の画面に表示させる場合にも、画面内の左右に黒帯が表示され、同様の問題が発生するおそれがあった。
【０００７】
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームの画質を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様のフレームレート変換回路は、入力される動画像に含まれる第１フレームと第２フレームとの間に補間フレームを生成するフレームレート変換回路であって、第１フレームおよび第２フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、第１フレームまたは第２フレームの縁部にある複数の画素の画素値が、予め定められた範囲内の画素値である場合に、余白領域が存在することを検出する余白領域検出部と、を備える。この補間フレーム生成部は、余白領域検出部により余白領域が存在することが検出された場合に、補間フレーム内の余白領域にある画素の位置に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の余白領域にある画素を生成する。
【０００９】
本発明の別の態様もまた、フレームレート変換回路である。この装置は、入力される動画像に含まれる第１フレームと第２フレームとの間に補間フレームを生成するフレームレート変換回路であって、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、動きベクトルをそれぞれ決定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する補間フレーム算出部と、を備える。この補間フレーム算出部は、動きベクトルの始点および終点に対応する第１フレーム内の画素および第２フレーム内の画素の少なくとも一方が、フレームの縁部に存在しうる余白領域を少なくとも含む端部領域に位置したとき、動きベクトルの始点および終点に対応する第１フレーム内の画素および第２フレーム内の画素のうちフレームの中央縦ラインに近い一方の画素を用いて、補間フレーム内の画素を生成する。
【００１０】
本発明のさらに別の態様は、表示装置である。この装置は、フレームレート変換回路と、フレームレート変換回路により生成された補間フレームが挿入された画像を表示する表示部と、を備える。
【００１１】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、補間フレームの画質を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る表示装置の機能構成を示す図である。
【図２】実施形態に係るフレームレート変換回路の構成を示す図である。
【図３】補間フレームの生成原理（２倍速変換）を示す図である。
【図４】補間フレームの生成原理（４倍速変換）を示す図である。
【図５】黒帯領域を含む画面を示す図である。
【発明を実施するための形態】
【００１４】
図１は、実施形態に係る表示装置５００の機能構成を示す。表示装置５００は、ワンセグ放送などのテレビ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。表示装置５００は、テレビ放送を受信するものに限らず、動画像を表示再生する機器であってよい。
【００１５】
表示装置５００は、アンテナ２００、画像処理回路３００、フレームレート変換回路１００および表示部４００を備える。画像処理回路３００は、受信部３１０、復号部３２０および映像出力部３３０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。
【００１６】
復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームを映像出力部３３０に出力する。なお、復号されたフレームが映像出力部３３０に入力される前に、スケーラ（不図示）による解像度変換が施される。
【００１７】
映像出力部３３０は、復号部３２０にて復号された映像を、表示部４００にて表示可能な形式で出力する。たとえば、１５Ｈｚの動画像を表示部４００にて表示可能な６０Ｈｚの動画像に変換する。
【００１８】
フレームレート変換回路１００は、映像出力部３３０から受けとった動画像をもとに２倍速変換または４倍速変換をして、変換した動画像を出力する。具体的には、動画像に含まれる、連続する二枚の原フレーム間の補間フレームを補間フレーム生成部１０により生成し、それら二枚の原フレーム間に挿入して出力する。具体的な変換方法については後述する。表示部４００は、フレームレート変換回路１００により倍速変換された動画像を表示する。
【００１９】
図２は、実施形態に係るフレームレート変換回路１００の構成を示す図である。フレームレート変換回路１００は、入力される動画像に含まれる第１フレームと第２フレームとの間の補間フレームを生成し、補間フレームを加えた動画像を出力する。たとえば、動画像に含まれる、隣接する二枚のフレーム間の補間フレームを生成する。
【００２０】
当該フレームレート変換回路１００は、入力部５、補間フレーム生成部１０、余白領域検出部２０、フレーム記憶部３０、および出力部５０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２１】
入力部５は画像処理回路３００から出力された動画像をフレーム記憶部３０に書き込むとともに、余白領域検出部２０に出力する。フレーム記憶部３０は、入力部５から出力された動画像に含まれる原フレーム、および補間フレーム生成部１０により生成される補間フレームを一時記憶する。
【００２２】
補間フレーム生成部１０は、動画像に含まれる第１フレームと第２フレームとの間の補間フレームを生成する。補間フレーム生成部１０は、基本的に、第１フレームと第２フレームの両方を参照して、それらフレーム間の補間フレームを生成し、例外的に、第１フレームと第２フレームの一方を参照して、それらフレーム間の補間フレームを生成する。以下、さらに具体的に説明する。
【００２３】
補間フレーム生成部１０は、動きベクトル検出部１２および補間フレーム算出部１４を備える。動きベクトル検出部１２は、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
【００２４】
当該二段階のブロックマッチングの第一段階では、第１フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、第２フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。
【００２５】
たとえば、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第２フレーム内の最適予測ブロックとする。また、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、第２フレーム内の最適予測ブロックとしてもよい。そして、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。
【００２６】
上記二段階のブロックマッチングの第二段階では、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第１フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第２フレーム内において探索する。これにより、第１フレームと第２フレームとの間で、画素単位の動きベクトルを検出することができる。
【００２７】
補間フレーム算出部１４は、補間フレーム内の各画素を生成するための上記動きベクトルをそれぞれ決定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複製して生成してもよい。以下、図３、４を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
【００２８】
図３は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。
【００２９】
補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。
【００３０】
ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。
【００３１】
なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。
【００３２】
図４は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。
【００３３】
第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。
【００３４】
第２補間フレームＦｉ２の画素Ｐｉ２は、図３に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。
【００３５】
図２に戻り、出力部５０は、フレーム記憶部３０から、補間フレームを含む動画像を構成するフレームを表示順にしてがって読み出し、外部に出力する。
【００３６】
ワンセグ放送において放送局が黒帯を付加する場合、４画素〜６画素の横幅の黒色の画素列がフレームの左右端にそれぞれ付加されることがある。この余白領域は静止したままであって、色は変化せず、輪郭も明確であるため、補間フレームの余白領域にノイズが発生するとノイズが目立つおそれがある。黒帯は、アスペクト比が異なる映像の互換性をとるために放送局側で付加されることがあり、受信機側では受信した動画像に黒帯が付加されているかどうか不明である。さらに、余白領域の大きさは、放送局によって大きさが異なることがあり、受信機側では余白領域の大きさも不明である。
【００３７】
動きベクトルによっては補間フレーム内の余白領域内の画素が有効映像領域内の画素を参照して生成され、余白領域に有効映像領域の映像がノイズとして表示されることがある。また逆に、有効映像領域内の画素が余白領域内の画素を参照して生成され、有効映像領域の映像に余白領域内の画素がノイズとして表示されることもある。
【００３８】
そこで、実施形態に係る余白領域検出部２０は、第１フレームまたは第２フレームに余白領域が存在するかどうか検出する。そして、補間フレーム算出部１４は余白領域が存在することを検出した場合は、動きベクトルをゼロにするなどして補間フレーム内の余白領域を生成し、補間の際に余白領域にノイズが入ることを抑える。この補間方法を具体的に図５を参照して説明する。
【００３９】
図５は、余白領域を含む画面３３を示す。図５に示す画面３３は黒帯を含む画面であり、当該画面３３には、映像が表示される有効映像領域３８、余白領域である左端側の黒帯領域３４ａおよび右端側の黒帯領域３４ｂ（とくに区別しない場合は「黒帯領域３４」という）が表示されている。
【００４０】
余白領域検出部２０は、第１フレームおよび第２フレームの縁部にある複数の画素の画素値が、予め定められた設定範囲内の画素値である場合に、黒帯領域３４が存在することを検出する。これにより第１フレームおよび第２フレームの縁部に黒帯領域３４があるかどうか検出することができる。なお、余白領域検出部２０が黒帯領域３４が存在することを検出しても、実際の黒帯領域３４の大きさは不明である場合がある。つまり、余白領域検出部２０は、予め想定された範囲に黒帯領域３４が存在することを検出する。
【００４１】
ここで放送局で付加された黒帯領域３４の画素値は必ずしもＲＧＢ（０，０，０）ではないため、放送局で付加された黒帯領域３４の画素値が符号化および復号化した後にとりうる範囲が設定範囲として予め定められる。この設定範囲は、誤検出が少なくなるよう実験により定められる。
【００４２】
フレームの縁部は、たとえば図５に表示する右縁部３６ｂおよび左縁部３６ａである。右縁部３６ｂは、画面３３の右縁から点線３７ｂまでの範囲であって、ワンセグ放送において画面３３の右縁から点線３７ｂまでの幅は、３画素程度とすることができる。左縁部３６ａも同様に、画面３３の左縁から点線３７ａまでの幅は、３画素程度とすることができる。
【００４３】
余白領域検出部２０は、第１フレームおよび第２フレームの左右の縁部にある縦方向の画素列３５の画素値が、予め定められた範囲内の画素値である場合に、黒帯領域３４が存在することを検出する。検出のターゲットとされる画素列３５の位置情報はレジスタに保持されており、余白領域検出部２０はその位置情報にもとづいて検出のターゲットとなる画素列３５の画素値をモニタする。画素列３５に含まれる全画素の画素値を用いて黒帯領域３４の検出を行うことで、黒帯領域３４の誤検出を減らすことができる。また、黒帯領域３４の検出において、検出のターゲットとなる画素を左右の一列ずつに限定することで、処理負荷を軽減することができる。
【００４４】
なお、黒帯領域３４のうち有効映像領域３８との境界に位置する画素は、符号化および復号化等の処理によって黒色から変化しているおそれがあり、予め定められた設定範囲内の画素値ではない可能性がある。そこで誤検出の頻度を低減するため、余白領域検出部２０は点線３７よりも外側に位置する縦方向の画素列を検出のターゲットとすることが好ましく、画面３３内の最も外側の右端および左端に位置する縦方向の画素列を検出のターゲットとすることがより好ましい。
【００４５】
図２に戻って、余白領域検出部２０は動画像から余白領域が存在することを検出すると、余白領域が存在することを示す情報を補間フレーム算出部１４に出力する。そして補間フレーム算出部１４は、補間フレーム内の余白領域にある画素を生成するための動きベクトルをゼロにして補間フレーム内の余白領域にある画素を生成する。
【００４６】
図５において、ケースａは、補間フレーム内の対象画素Ｐｉａが右縁部３６ｂに存在し、第１フレームの画素Ｐｏ１ａが右縁部３６ｂの外側に存在し第２フレームの画素Ｐｏ２ａが右縁部３６ｂに存在するケースである。この場合、補間フレーム算出部１４は、補間フレーム内の画素Ｐｉａを生成するための動きベクトルをゼロにして、第１フレームおよび第２フレームの画素Ｐｉａに対応した画素値を用いて補間フレーム内の画素Ｐｉａを生成する。なお、画素Ｐｉａは第１フレームまたは第２フレームの同じ位置の画素を複製してもよい。
【００４７】
補間フレーム算出部１４は、余白領域検出部２０から余白領域が存在することを示す情報を受け取ると、補間フレームを生成する前に、補間フレーム内の所定の範囲を余白領域として設定する。所定の範囲はレジスタに設定されており、補間フレーム算出部１４はレジスタから所定の範囲を読み出して余白領域として設定する。
【００４８】
この所定の範囲は、ワンセグ放送において放送局が４画素〜６画素の横幅の余白領域を付加する場合、予想される余白領域の大きさにもとづいて定められる。なお、余白領域は画像処理回路３００のスケーラにより大きさが変化することがあるため、設定される余白領域の所定の範囲もスケーラの調整に応じて変化させてよい。
【００４９】
補間フレーム算出部１４は、余白領域の設定後、補間フレーム内の余白領域にある画素を生成するための動きベクトルをゼロにして、補間フレーム内の余白領域にある画素を生成する。たとえば、両方の画素を合成（たとえば、平均）して生成してもよいし、いずれか一方の画素を複製して生成してもよい。
【００５０】
補間フレーム算出部１４は、余白領域が存在しないと検出した場合には、余白領域を設定せず、第１フレーム内の全ての画素および第２フレーム内の全ての画素を参照して補間フレームを生成する。これにより、動画像が余白領域を含まないフル映像である場合に、第１フレームおよび第２フレームの全体を参照して補間フレームを生成することができ、画質を向上することができる。
【００５１】
以上のように、フレームレート変換回路１００は、動画像から余白領域の有無を検出し、補間フレーム内の余白領域を動きベクトルをゼロにして補間して生成することで、補間フレームの余白領域にノイズが入る可能性を低減でき、補間フレームの画質を向上することができる。具体的には、フレームレート変換回路１００は、余白領域内の画素が有効映像領域内の画素を参照して生成され、余白領域に有効映像領域の映像がノイズとして表示される可能性を低減できる。
【００５２】
次に、補間フレーム算出部１４は、動きベクトルによって有効映像領域内の画素が余白領域内の画素を参照して生成され、有効映像領域の映像に余白領域内の画素がノイズとして表示される可能性を低減するように補間する。この補間方法について具体的に図５を参照して説明する。
【００５３】
図５には、左端側の黒帯領域３４ａを含む左端側の端部領域４０ａ（左端から２点鎖線４２ａまでの領域）と、右端側の黒帯領域３４ｂを含む右端側の端部領域４０ｂ（右端から２点鎖線４２ｂまでの領域）と、中央縦ライン４４とを示す。左端側の端部領域４０ａおよび右端側の端部領域４０ｂをとくに区別しない場合は「端部領域４０」という。
【００５４】
補間フレーム算出部１４は、動きベクトルの始点および終点に対応する第１フレーム内の画素および第２フレーム内の画素のいずれか一方が、黒帯領域３４を少なくとも含む端部領域４０に位置したとき、動きベクトルの始点および終点に対応する第１フレーム内の画素および第２フレーム内の画素のうちフレームの中央縦ライン４４に近い画素を複製して、補間フレーム内の画素を生成する。このように補間フレームを生成する際に参照しようとする画素の少なくとも一方が端部領域４０内に位置する場合、その画素が黒帯領域３４に位置する可能性があるため、フレームのより内側に位置する画素のみを参照して補間フレーム内の画素を生成する。これにより、動きベクトルによって有効映像領域３８内の画素が黒帯領域３４内の画素を参照して生成され、有効映像領域３８の映像に黒帯領域３４内の画素がノイズとして表示される可能性を低減でき、画質を向上できる。
【００５５】
端部領域４０は、黒帯領域３４を含み、予想される黒帯領域３４の横幅より所定の画素数大きい範囲に設定される。補間フレーム算出部１４は、補間フレームを生成する前に、予め定められた範囲を端部領域４０として設定する。端部領域４０として設定される範囲は、レジスタに予め設定される。端部領域４０として設定される範囲は、たとえばワンセグ放送において黒帯領域３４が４画素〜６画素の横幅が予想される場合に、フレームの左右端から１０画素〜数１０画素の横幅に設定される。図５には、この補間方法の２つのケースｂ，ｃを示す。
【００５６】
ケースｂは、補間フレーム内の対象画素Ｐｉｂが端部領域４０外に存在し、第１フレーム内の画素Ｐｏ１ｂおよび第２フレーム内の画素Ｐｏ２ｂの一方が端部領域４０内に存在し、他方が端部領域４０外に存在するケースである。この場合、補間フレーム算出部１４は、補間フレーム内の画素Ｐｉｂを生成するための動きベクトルの始点および終点に対応する、第１フレーム内の画素Ｐｏ１ｂおよび第２フレーム内の画素Ｐｏ２ｂの一方が端部領域４０内に存在する場合、中央縦ライン４４に近い画素を複製して、補間フレーム内の画素Ｐｉｂを生成する。
【００５７】
ケースｃは、補間フレーム内の対象画素Ｐｉｃ、第１フレーム内の画素Ｐｏ１ｃおよび第２フレーム内の画素Ｐｏ２ｃがいずれも端部領域４０内であって、右縁部３６ｂの外側に存在するケースである。この場合、補間フレーム算出部１４は、補間フレーム内の画素Ｐｉｃを生成するための動きベクトルの始点および終点に対応する、第１フレーム内の画素Ｐｏ１ｃおよび第２フレーム内の画素Ｐｏ２ｃの一方が端部領域４０内に存在する場合、中央縦ライン４４に近い画素を複製して、補間フレーム内の画素Ｐｉｃを生成する。
【００５８】
このように、動きベクトルの始点および終点に対応する画素がいずれも端部領域４０に位置する場合であっても、一方の画素を参照して補間フレーム内の画素を生成することができ、両方とも参照する場合と比べて画質が向上する。
【００５９】
なお、補間フレーム算出部１４は、余白領域検出部２０により余白領域が存在することが検出された場合に図５で説明したケースａ〜ｃの補間方法を実行してよい。これらの３つの補間方法を組み合わせることで、余白領域の画素の一部が有効映像領域に表示される場合に加えて、有効映像領域の画素の一部が余白領域に表示される場合にも有効となり、余白領域にもとづいてノイズが発生する可能性を極めて低くすることができる。
【００６０】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６１】
たとえば、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。
【００６２】
また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係るフレームレート変換回路１００を含むフレームレート変換回路１００は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。
【符号の説明】
【００６３】
５ 入力部、 １０ 補間フレーム生成部、 １２ 動きベクトル検出部、 １４ 補間フレーム算出部、 ２０ 余白領域検出部、 ３０ フレーム記憶部、 ３３ 画面、 ３４ 黒帯領域、３８ 有効映像領域、４０ 端部領域、５０ 出力部、 １００ フレームレート変換回路、 ２００ アンテナ、 ３００ 画像処理回路、 ３１０ 受信部、 ３２０ 復号部、 ３３０ 映像出力部、 ４００ 表示部、 ５００ 表示装置。
【特許請求の範囲】
【請求項１】
入力される動画像に含まれる第１フレームと第２フレームとの間に補間フレームを生成するフレームレート変換回路であって、
前記第１フレームおよび前記第２フレームの少なくとも一方を参照して、それらフレーム間の前記補間フレームを生成する補間フレーム生成部と、
前記第１フレームまたは前記第２フレームの縁部にある複数の画素の画素値が、予め定められた範囲内の画素値である場合に、余白領域が存在することを検出する余白領域検出部と、を備え、
前記補間フレーム生成部は、前記余白領域検出部により前記余白領域が存在することが検出された場合に、前記補間フレーム内の前記余白領域にある画素の位置に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の前記余白領域にある画素を生成することを特徴とするフレームレート変換回路。
【請求項２】
前記余白領域検出部は、前記第１フレームまたは前記第２フレームの左右にある縦方向の画素列の画素値が、予め定められた範囲内の画素値である場合に、前記余白領域が存在することを検出することを特徴とする請求項１に記載のフレームレート変換回路。
【請求項３】
前記補間フレーム生成部は、前記余白領域検出部により前記余白領域が検出された場合に、前記補間フレームの前記余白領域にある画素を生成するための動きベクトルをゼロにして、前記補間フレームを生成することを特徴とする請求項２に記載のフレームレート変換回路。
【請求項４】
前記補間フレーム生成部は、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を備え、
前記補間フレーム算出部は、前記余白領域検出部により前記余白領域が存在することが検出された場合に、前記動きベクトルの始点および終点に対応する前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方が、前記余白領域を少なくとも含む端部領域に位置したとき、前記動きベクトルの始点および終点に対応する前記第１フレーム内の画素および前記第２フレーム内の画素のうちフレームの中央縦ラインに近い一方の画素を用いて、前記補間フレーム内の前記余白領域以外の領域にある画素を生成することを特徴とする請求項１から３のいずれかに記載のフレームレート変換回路。
【請求項５】
入力される動画像に含まれる第１フレームと第２フレームとの間に補間フレームを生成するフレームレート変換回路であって、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を備え、
前記補間フレーム算出部は、前記動きベクトルの始点および終点に対応する前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方が、フレームの縁部に存在する端部領域に位置したとき、前記動きベクトルの始点および終点に対応する前記第１フレーム内の画素および前記第２フレーム内の画素のうちフレームの中央縦ラインに近い一方の画素を用いて、前記補間フレーム内の画素を生成することを特徴とするフレームレート変換回路。
【請求項６】
請求項１から５のいずれかに記載のフレームレート変換回路と、
前記フレームレート変換回路により生成された補間フレームが挿入された画像を表示する表示部と、を備えることを特徴とする表示装置。
【請求項１】
入力される動画像に含まれる第１フレームと第２フレームとの間に補間フレームを生成するフレームレート変換回路であって、
前記第１フレームおよび前記第２フレームの少なくとも一方を参照して、それらフレーム間の前記補間フレームを生成する補間フレーム生成部と、
前記第１フレームまたは前記第２フレームの縁部にある複数の画素の画素値が、予め定められた範囲内の画素値である場合に、余白領域が存在することを検出する余白領域検出部と、を備え、
前記補間フレーム生成部は、前記余白領域検出部により前記余白領域が存在することが検出された場合に、前記補間フレーム内の前記余白領域にある画素の位置に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の前記余白領域にある画素を生成することを特徴とするフレームレート変換回路。
【請求項２】
前記余白領域検出部は、前記第１フレームまたは前記第２フレームの左右にある縦方向の画素列の画素値が、予め定められた範囲内の画素値である場合に、前記余白領域が存在することを検出することを特徴とする請求項１に記載のフレームレート変換回路。
【請求項３】
前記補間フレーム生成部は、前記余白領域検出部により前記余白領域が検出された場合に、前記補間フレームの前記余白領域にある画素を生成するための動きベクトルをゼロにして、前記補間フレームを生成することを特徴とする請求項２に記載のフレームレート変換回路。
【請求項４】
前記補間フレーム生成部は、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を備え、
前記補間フレーム算出部は、前記余白領域検出部により前記余白領域が存在することが検出された場合に、前記動きベクトルの始点および終点に対応する前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方が、前記余白領域を少なくとも含む端部領域に位置したとき、前記動きベクトルの始点および終点に対応する前記第１フレーム内の画素および前記第２フレーム内の画素のうちフレームの中央縦ラインに近い一方の画素を用いて、前記補間フレーム内の前記余白領域以外の領域にある画素を生成することを特徴とする請求項１から３のいずれかに記載のフレームレート変換回路。
【請求項５】
入力される動画像に含まれる第１フレームと第２フレームとの間に補間フレームを生成するフレームレート変換回路であって、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を備え、
前記補間フレーム算出部は、前記動きベクトルの始点および終点に対応する前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方が、フレームの縁部に存在する端部領域に位置したとき、前記動きベクトルの始点および終点に対応する前記第１フレーム内の画素および前記第２フレーム内の画素のうちフレームの中央縦ラインに近い一方の画素を用いて、前記補間フレーム内の画素を生成することを特徴とするフレームレート変換回路。
【請求項６】
請求項１から５のいずれかに記載のフレームレート変換回路と、
前記フレームレート変換回路により生成された補間フレームが挿入された画像を表示する表示部と、を備えることを特徴とする表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−２１１４９９（Ｐ２０１１−２１１４９９Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７７４６６（Ｐ２０１０−７７４６６）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（３１１００３７４３）オンセミコンダクター・トレーディング・リミテッド (166)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（３１１００３７４３）オンセミコンダクター・トレーディング・リミテッド (166)
【Ｆターム（参考）】
[ Back to top ]