フレームレート変換装置、およびそれを搭載した表示装置
【課題】補間フレームの品質を向上させる。
【解決手段】入力される動画像のフレーム数を増加させて出力するフレームレート変換装置１００は、補間フレーム生成部１０および情報領域設定部２０を備える。補間フレーム生成部１０は、動画像に含まれる第１フレームと第２フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する。情報領域設定部２０は、所定の情報を重畳して表示するための情報領域を、画面内に設定する。補間フレーム生成部１０は、補間フレーム内の情報領域を、第１フレーム内または第２フレーム内の情報領域を複写して生成する。
【解決手段】入力される動画像のフレーム数を増加させて出力するフレームレート変換装置１００は、補間フレーム生成部１０および情報領域設定部２０を備える。補間フレーム生成部１０は、動画像に含まれる第１フレームと第２フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する。情報領域設定部２０は、所定の情報を重畳して表示するための情報領域を、画面内に設定する。補間フレーム生成部１０は、補間フレーム内の情報領域を、第１フレーム内または第２フレーム内の情報領域を複写して生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補間フレームを挿入することによりフレームレートを変換するフレームレート変換装置、およびそれを搭載した表示装置に関する。
【背景技術】
【０００２】
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像感の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。
【０００３】
日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７１８４２号公報
【特許文献２】特開２００９−２１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ディスプレイに表示される画面上には、ＯＳＤ（On Screen Display）領域が設定されることがある。たとえば、テレビ映像が表示される画面上に設定されたＯＳＤ領域に、チャンネル情報が表示されてもよい。また、ワンセグ放送により受信した映像を携帯電話機のディスプレイに表示させる場合、その画面上に設定されたＯＳＤ領域に、電波状況情報、電池残量情報などが表示されてもよい。
【０００６】
ＯＳＤ領域に表示される文字や記号は、比較的変化が少ない情報である。たとえば、チャンネル情報は、チャンネルが切り替えられない限り変化しない。ここで、ＯＳＤ領域が設定された映像に、上記フレーム補間技術を適用した場合にて、当該ＯＳＤ領域内の画素に補間エラーが発生すると、その画素ノイズは目立ちやすいものとなる。ＯＳＤ領域は、もともと変化が少ない領域であるため、動きがある領域と比較して、画素ノイズが目立ちやすいためである。
【０００７】
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームの品質を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明のある態様のフレームレート変換装置は、入力される動画像のフレーム数を増加させて出力するフレームレート変換装置であって、動画像に含まれる第１フレームと第２フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、所定の情報を重畳して表示するための情報領域を、画面内に設定する情報領域設定部と、を備える。補間フレーム生成部は、補間フレーム内の情報領域を、第１フレーム内または第２フレーム内の情報領域を複写して生成する。
【０００９】
本発明の別の態様は、表示装置である。この装置は、上述したフレームレート変換装置と、フレームレート変換装置によりフレームレートが変換された画像を表示する表示部と、を備える。
【００１０】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、補間フレームの品質を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係るフレームレート変換装置の構成を示す図である。
【図２】補間フレームの生成原理（２倍速変換）を示す図である。
【図３】補間フレームの生成原理（４倍速変換）を示す図である。
【図４】画面内に参照無効領域が設定されている場合における、補間フレーム算出部による画素生成処理の４つのケースを模試的に示す図である。
【図５】補間フレーム算出部による画素生成処理の４つのケースをまとめた図表である。
【図６】画面内に重畳されて表示されるチャンネル情報と、当該チャンネル情報を含むＯＳＤ領域を示す図である。図６（ａ）は、画面内に重畳されて表示されるチャンネル情報を示し、図６（ｂ）は、画面内のＯＳＤ領域を示す。
【図７】実施の形態に係るフレームレート変換装置を搭載した、表示装置を示す図である。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施の形態に係るフレームレート変換装置１００の構成を示す図である。当該フレームレート変換装置１００は、入力される動画像のフレーム数を増加させて出力する。たとえば、動画像のフレーム数を２倍または４倍に増加させて出力する。
【００１４】
当該フレームレート変換装置１００は、補間フレーム生成部１０、情報領域設定部２０、フレーム記憶部３０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１５】
補間フレーム生成部１０は、動画像に含まれる第１フレームと第２フレームとの間の補間フレームを生成する。補間フレーム生成部１０は、基本的に、第１フレームと第２フレームの両方を参照して、それらフレーム間の補間フレームを生成し、例外的に、第１フレームと第２フレームの一方を参照して、それらフレーム間の補間フレームを生成する。
【００１６】
以下、より具体的に説明する。補間フレーム生成部１０は、動きベクトル検出部１２および補間フレーム算出部１４を含む。動きベクトル検出部１２は、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
【００１７】
当該二段階のブロックマッチングの第一段階では、第１フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、第２フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。
【００１８】
たとえば、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第２フレーム内の最適予測ブロックとする。また、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、第２フレーム内の最適予測ブロックとしてもよい。そして、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。
【００１９】
上記二段階のブロックマッチングの第二段階では、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第１フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第２フレーム内において探索する。これにより、第１フレームと第２フレームとの間で、画素単位の動きベクトルを検出することができる。
【００２０】
補間フレーム算出部１４は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複写して生成してもよい。以下、図２、３を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
【００２１】
図２は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。
【００２２】
補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。
【００２３】
ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。
【００２４】
なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。
【００２５】
図３は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。
【００２６】
第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。
【００２７】
第２補間フレームＦｉ２の画素Ｐｉ２は、図２に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。
【００２８】
次に、上記動画像が表示される画面内に、参照無効領域が設定される場合について説明する。たとえば、当該参照無効領域は、レターボックス形式で表示される画面内の上下の余白領域（たとえば、黒帯領域）や、ピラーボックス形式で表示される画面内の左右の余白領域や、ウインドウボックス形式で表示される画面内の上下左右の余白領域に設定される。これらの余白は、アスペクト比が異なる映像の互換性をとるために、放送局側または受信機側で挿入される。たとえば、４：３の映像を１６：９の画面に表示させる場合、ピラーボックス形式が採用され、画面内の左右に黒帯が表示される。また、上記参照無効領域は、設計者によりあらかじめ設定されることも可能である。たとえば、ノイズが発生しやすい、画素または領域に設定される。
【００２９】
以下、図４、図５を参照して、画面内に参照無効領域が設定されている場合における、補間フレーム算出部１４による画素生成処理について説明する。図４は、画面４０内に参照無効領域４２ａ、４２ｂが設定されている場合における、補間フレーム算出部１４による画素生成処理の４つのケースを模試的に示す図である。図５は、補間フレーム算出部１４による画素生成処理の４つのケースをまとめた図表である。
【００３０】
図４に示す画面４０はピラーボックス形式の画面であり、当該画面４０は、映像が表示される有効領域４１と、その左右の余白領域である参照無効領域４２ａ、４２ｂとに分割される。なお、画面４０外の領域は、参照無効領域４２ａ、４２ｂと同様に扱う。
【００３１】
ケースａは、補間フレームＦｉ内の対象画素Ｐｉａ、第１原フレームＦｏ１内の参照画素Ｐｏ１ａおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ａのすべてが有効領域４１に存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉａを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ａおよび第２原フレームＦｏ２内の画素Ｐｏ２ａの両方が有効領域４１に存在する場合、両方の画素Ｐｏ１ａ、Ｐｏ２ａを参照して、対象画素Ｐｉａを生成する。たとえば、両方の画素Ｐｏ１ａ、Ｐｏ２ａを合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉａに割り当てる。
【００３２】
ケースｂは、補間フレームＦｉの対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｂの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｂを生成する。たとえば、原フレームＦｏ１内の当該画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複写する。また、第２原フレームＦｏ２内の当該画素を複写してもよい。また、第１原フレームＦｏ１内の当該画素および第２原フレーム内の当該画素を合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複写してもよい。
【００３３】
なお、ケースｂでは、補間フレームＦｉ内の対象画素Ｐｉｂを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｂおよび第２原フレームＦｏ２内の画素Ｐｏ２ｂは、有効領域４１に存在するか参照無効領域４２ａ、４２ｂに存在するかを問わず、いずれも参照されない。
【００３４】
ケースｃは、補間フレームＦｉ内の対象画素Ｐｉｃが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｃの一方が有効領域４１に存在し、他方が参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｃを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の画素Ｐｏ２ｃの一方が参照無効領域４２ａ、４２ｂに存在する場合、他方を参照して対象画素Ｐｉｃを生成する。図４では、参照無効領域４２ａ、４２ｂに存在するほうの第１原フレームＦｏ１内の画素Ｐｏ１ｃを参照せず、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを参照して、対象画素Ｐｉｃを生成する。図４では、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを、補間フレームＦｉ内の対象画素Ｐｉｃに複写する。
【００３５】
ケースｄは、補間フレームＦｉ内の対象画素Ｐｉｄが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂ（画面４０外の領域を含む）に存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｄの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｄを生成する。たとえば、両方の画素を合成（たとえば、平均）して生成してもよいし、いずれか一方の画素を複写して生成してもよい。
【００３６】
すなわち、ケースｄでは上記動きベクトルをゼロと考える。なお、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄは、いずれも参照されない。
【００３７】
図１に戻り、情報領域設定部２０は、所定の情報を重畳して表示するための情報領域を、画面内に設定し、その位置を補間フレーム算出部１４に設定する。たとえば、補間フレーム算出部１４内のレジスタに、当該情報領域とすべき画素位置を設定する。
【００３８】
当該情報領域は、ＯＳＤ領域であってもよい。上記所定の情報は、文字（数字を含む）、記号、アイコンなどで表現され、たとえば、チャンネル情報、音量情報、日付情報、時刻情報、電波状況情報、電池残量情報、未読メール有無情報などが該当する。これらのうち、電波状況情報、電池残量情報、および未読メール有無情報は、携帯電話機などの携帯機器でワンセグ放送を受信して表示する場合に、その画面内に表示されることが可能である。なお、情報領域設定部２０は、当該情報領域を一画面内に複数箇所、設定してもよい。
【００３９】
情報領域設定部２０は、外部（たとえば、後述する図７の主制御部３００）からの領域情報に応じて、上記情報領域を設定する。たとえば、当該主制御部３００がワンセグ放送により受信した映像に、チャンネル情報を事後的に重畳させる場合、次のような領域情報を生成し、情報領域設定部２０に通知する。当該領域情報には、チャンネル情報を重畳させた位置を示す位置情報、ならびにそのチャンネル情報の表示を開始するフレームおよびその表示を終了するフレームを特定するためのフレーム情報とが含まれる。当該領域情報は、主制御部３００から情報領域設定部２０に、Ｉ２Ｃなどを利用して伝達される。
【００４０】
本実施の形態では、情報領域設定部２０により設定された情報領域は、上記参照無効領域に自動的に設定される。したがって、補間フレーム算出部１４は、補間フレーム内の上記情報領域に含まれる対象画素を、第１フレーム（たとえば、補間フレームに対する前フレーム）内の当該対象画素の位置に対応する画素を参照して生成する（上記ケースｂ）。たとえば、第１フレーム内の当該画素を複写して、補間フレーム内の当該対象画素を生成する。これらの処理が、補間フレーム内の上記情報領域に含まれる全画素に対して実行されることにより、第１フレーム内の上記情報領域が補間フレーム内の上記情報領域に複写される。なお、補間フレーム算出部１４は、補間フレーム内の上記情報領域に含まれる対象画素を、第２フレーム（たとえば、補間フレームに対する後フレーム）内の当該対象画素の位置に対応する画素を参照して生成してもよい。
【００４１】
また、補間フレーム算出部１４は、補間フレーム内の上記情報領域に含まれない対象画素の動きベクトルにより特定される、第１フレーム内の画素および第２フレーム内の画素の一方が上記情報領域に存在する場合、上記情報領域に存在するほうの画素を参照せず、上記情報領域に存在しないほうの画素を参照して、当該対象画素を生成する（ケースｃ）。
【００４２】
また、補間フレーム算出部１４は、補間フレーム内の上記情報領域に含まれない対象画素の動きベクトルにより特定される、第１フレーム内の画素および第２フレーム内の画素の両方が上記情報領域に存在する場合、上記対象画素の位置に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、上記対象画素を生成する（ケースｄ）。たとえば、両方の画素を合成（たとえば、平均）して生成してもよいし、いずれか一方の画素を複写して生成してもよい。
【００４３】
フレーム記憶部３０は、外部から入力される動画像に含まれる原フレーム、および補間フレーム生成部１０により生成される補間フレームを一時記憶し、それらフレームを表示順にしたがい外部（たとえば、表示パネル）に出力する。
【００４４】
図６は、画面６０内に重畳されて表示されるチャンネル情報６１と、当該チャンネル情報６１を含むＯＳＤ領域６２を示す図である。図６（ａ）は、画面６０内に重畳されて表示されるチャンネル情報６１を示し、図６（ｂ）は、画面６０内のＯＳＤ領域６２を示す。
【００４５】
図６（ａ）において、画面６０内の右上隅にチャンネル情報６１（ここでは、１ｃｈ）が表示される。このチャンネル情報６１は、放送局側により付加された情報ではなく、受信機側により事後的に付加される情報である。図６（ｂ）において、このチャンネル情報６１を含む小領域がＯＳＤ領域６２に設定される。これにより、当該小領域は上記参照無効領域となる。
【００４６】
以上説明したように本実施の形態によれば、上述した動きベクトルを用いる補間フレーム技術を用いて補間フレームを生成する場合において、上記情報領域を設定した場合、第１フレームの当該情報領域を複写して、補間フレームの当該情報領域を生成することにより、補間フレームの品質を向上させることができる。
【００４７】
すなわち、上記情報領域に表示される文字、記号、アイコンなどは、比較的変化が少ない情報であり、動きがある領域に発生するノイズと比較し、当該情報領域に発生するノイズは目立ちやすいものとなる。静止している期間が長い上記情報領域内の画素は、前フレームの同じ位置の画素を踏襲したほうが、上述した動きベクトルを用いた補間演算により生成するより、高精度を実現しやすい。また、単純に前フレームの画素値を踏襲すれば、演算量を低減させることもできる。
【００４８】
また、上記情報領域は、元の映像と異なる内容を表示している領域であり、元の映像を表示している領域の画素を生成する際、当該情報領域に含まれる画素を誤って参照すると、ノイズが発生しやすくなる。この点、上記情報領域を上記参照無効領域とすることにより、当該ノイズの発生を抑制することができる。
【００４９】
図７は、実施の形態に係るフレームレート変換装置１００を搭載した、表示装置５００を示す図である。表示装置５００は、ワンセグ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。
【００５０】
当該表示装置５００は、アンテナ２００、主制御部３００、フレームレート変換装置１００および表示部４００を備える。主制御部３００は、受信部３１０、復号部３２０およびフレームレート変換部３３０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。
【００５１】
復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームをフレームレート変換部３３０に出力する。なお、復号されたフレームがフレームレート変換部３３０に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、ここではそれに注目しないため、省略している。
【００５２】
フレームレート変換部３３０は、入力されるフレームを単純に複写して、フレーム数を増加させる。ここでは、１５Ｈｚの動画像の各フレームを３回複写してフレーム数を４倍にすることにより、１５Ｈｚの動画像を６０Ｈｚの動画像に変換する。なお、単純に複写するのではなく、増加させるべきフレームの少なくとも一枚について、連続する二枚の原フレームを簡易合成することにより、生成してもよい。たとえば、一方の原フレームの上部領域と他方の原フレームの下部領域を空間的に合成してもよい。
【００５３】
フレームレート変換装置１００は、上述した実施の形態で説明した手法を用いて、フレームレート変換部３３０から入力される動画像を２倍速変換または４倍速変換する。なお、上記情報領域は倍速変換されない。表示部４００は、フレームレート変換装置１００により倍速変換された動画像を表示する。
【００５４】
以上説明したようにワンセグ放送を受信して表示再生する表示装置５００に、実施の形態に係るフレームレート変換装置１００を搭載することにより、ワンセグ映像の画質を向上させることができる。なお、図７では既存の主制御部３００に対して、フレームレート変換装置１００を追加することにより、ワンセグ映像の倍速変換を実現する例を示したが、主制御部３００内に、フレームレート変換部３３０の代わりに、フレームレート変換装置１００が初めから搭載されてもよい。
【００５５】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５６】
たとえば、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。
【００５７】
また、上記実施の形態では、補間フレーム内の上記情報領域以外の画素を、上記動きベクトルを用いた補間演算により生成する例を説明した。この点、当該情報領域以外の画素を、当該画素の位置と対応または一致する、第１原フレーム内の画素および第２原フレーム内の画素を合成して生成してもよい。
【００５８】
また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係るフレームレート変換装置１００は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。
【符号の説明】
【００５９】
１０ 補間フレーム生成部、 １２ 動きベクトル検出部、 １４ 補間フレーム算出部、 ２０ 情報領域設定部、 ３０ フレーム記憶部、 １００ フレームレート変換装置、 ２００ アンテナ、 ３００ 主制御部、 ３１０ 受信部、 ３２０ 復号部、 ３３０ フレームレート変換部、 ４００ 表示部、 ５００ 表示装置。
【技術分野】
【０００１】
本発明は、補間フレームを挿入することによりフレームレートを変換するフレームレート変換装置、およびそれを搭載した表示装置に関する。
【背景技術】
【０００２】
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像感の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。
【０００３】
日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７１８４２号公報
【特許文献２】特開２００９−２１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ディスプレイに表示される画面上には、ＯＳＤ（On Screen Display）領域が設定されることがある。たとえば、テレビ映像が表示される画面上に設定されたＯＳＤ領域に、チャンネル情報が表示されてもよい。また、ワンセグ放送により受信した映像を携帯電話機のディスプレイに表示させる場合、その画面上に設定されたＯＳＤ領域に、電波状況情報、電池残量情報などが表示されてもよい。
【０００６】
ＯＳＤ領域に表示される文字や記号は、比較的変化が少ない情報である。たとえば、チャンネル情報は、チャンネルが切り替えられない限り変化しない。ここで、ＯＳＤ領域が設定された映像に、上記フレーム補間技術を適用した場合にて、当該ＯＳＤ領域内の画素に補間エラーが発生すると、その画素ノイズは目立ちやすいものとなる。ＯＳＤ領域は、もともと変化が少ない領域であるため、動きがある領域と比較して、画素ノイズが目立ちやすいためである。
【０００７】
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームの品質を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明のある態様のフレームレート変換装置は、入力される動画像のフレーム数を増加させて出力するフレームレート変換装置であって、動画像に含まれる第１フレームと第２フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、所定の情報を重畳して表示するための情報領域を、画面内に設定する情報領域設定部と、を備える。補間フレーム生成部は、補間フレーム内の情報領域を、第１フレーム内または第２フレーム内の情報領域を複写して生成する。
【０００９】
本発明の別の態様は、表示装置である。この装置は、上述したフレームレート変換装置と、フレームレート変換装置によりフレームレートが変換された画像を表示する表示部と、を備える。
【００１０】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、補間フレームの品質を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係るフレームレート変換装置の構成を示す図である。
【図２】補間フレームの生成原理（２倍速変換）を示す図である。
【図３】補間フレームの生成原理（４倍速変換）を示す図である。
【図４】画面内に参照無効領域が設定されている場合における、補間フレーム算出部による画素生成処理の４つのケースを模試的に示す図である。
【図５】補間フレーム算出部による画素生成処理の４つのケースをまとめた図表である。
【図６】画面内に重畳されて表示されるチャンネル情報と、当該チャンネル情報を含むＯＳＤ領域を示す図である。図６（ａ）は、画面内に重畳されて表示されるチャンネル情報を示し、図６（ｂ）は、画面内のＯＳＤ領域を示す。
【図７】実施の形態に係るフレームレート変換装置を搭載した、表示装置を示す図である。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施の形態に係るフレームレート変換装置１００の構成を示す図である。当該フレームレート変換装置１００は、入力される動画像のフレーム数を増加させて出力する。たとえば、動画像のフレーム数を２倍または４倍に増加させて出力する。
【００１４】
当該フレームレート変換装置１００は、補間フレーム生成部１０、情報領域設定部２０、フレーム記憶部３０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１５】
補間フレーム生成部１０は、動画像に含まれる第１フレームと第２フレームとの間の補間フレームを生成する。補間フレーム生成部１０は、基本的に、第１フレームと第２フレームの両方を参照して、それらフレーム間の補間フレームを生成し、例外的に、第１フレームと第２フレームの一方を参照して、それらフレーム間の補間フレームを生成する。
【００１６】
以下、より具体的に説明する。補間フレーム生成部１０は、動きベクトル検出部１２および補間フレーム算出部１４を含む。動きベクトル検出部１２は、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
【００１７】
当該二段階のブロックマッチングの第一段階では、第１フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、第２フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。
【００１８】
たとえば、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第２フレーム内の最適予測ブロックとする。また、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、第２フレーム内の最適予測ブロックとしてもよい。そして、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。
【００１９】
上記二段階のブロックマッチングの第二段階では、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第１フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第２フレーム内において探索する。これにより、第１フレームと第２フレームとの間で、画素単位の動きベクトルを検出することができる。
【００２０】
補間フレーム算出部１４は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複写して生成してもよい。以下、図２、３を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
【００２１】
図２は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。
【００２２】
補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。
【００２３】
ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。
【００２４】
なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。
【００２５】
図３は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。
【００２６】
第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。
【００２７】
第２補間フレームＦｉ２の画素Ｐｉ２は、図２に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。
【００２８】
次に、上記動画像が表示される画面内に、参照無効領域が設定される場合について説明する。たとえば、当該参照無効領域は、レターボックス形式で表示される画面内の上下の余白領域（たとえば、黒帯領域）や、ピラーボックス形式で表示される画面内の左右の余白領域や、ウインドウボックス形式で表示される画面内の上下左右の余白領域に設定される。これらの余白は、アスペクト比が異なる映像の互換性をとるために、放送局側または受信機側で挿入される。たとえば、４：３の映像を１６：９の画面に表示させる場合、ピラーボックス形式が採用され、画面内の左右に黒帯が表示される。また、上記参照無効領域は、設計者によりあらかじめ設定されることも可能である。たとえば、ノイズが発生しやすい、画素または領域に設定される。
【００２９】
以下、図４、図５を参照して、画面内に参照無効領域が設定されている場合における、補間フレーム算出部１４による画素生成処理について説明する。図４は、画面４０内に参照無効領域４２ａ、４２ｂが設定されている場合における、補間フレーム算出部１４による画素生成処理の４つのケースを模試的に示す図である。図５は、補間フレーム算出部１４による画素生成処理の４つのケースをまとめた図表である。
【００３０】
図４に示す画面４０はピラーボックス形式の画面であり、当該画面４０は、映像が表示される有効領域４１と、その左右の余白領域である参照無効領域４２ａ、４２ｂとに分割される。なお、画面４０外の領域は、参照無効領域４２ａ、４２ｂと同様に扱う。
【００３１】
ケースａは、補間フレームＦｉ内の対象画素Ｐｉａ、第１原フレームＦｏ１内の参照画素Ｐｏ１ａおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ａのすべてが有効領域４１に存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉａを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ａおよび第２原フレームＦｏ２内の画素Ｐｏ２ａの両方が有効領域４１に存在する場合、両方の画素Ｐｏ１ａ、Ｐｏ２ａを参照して、対象画素Ｐｉａを生成する。たとえば、両方の画素Ｐｏ１ａ、Ｐｏ２ａを合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉａに割り当てる。
【００３２】
ケースｂは、補間フレームＦｉの対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｂの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｂを生成する。たとえば、原フレームＦｏ１内の当該画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複写する。また、第２原フレームＦｏ２内の当該画素を複写してもよい。また、第１原フレームＦｏ１内の当該画素および第２原フレーム内の当該画素を合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複写してもよい。
【００３３】
なお、ケースｂでは、補間フレームＦｉ内の対象画素Ｐｉｂを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｂおよび第２原フレームＦｏ２内の画素Ｐｏ２ｂは、有効領域４１に存在するか参照無効領域４２ａ、４２ｂに存在するかを問わず、いずれも参照されない。
【００３４】
ケースｃは、補間フレームＦｉ内の対象画素Ｐｉｃが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｃの一方が有効領域４１に存在し、他方が参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｃを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の画素Ｐｏ２ｃの一方が参照無効領域４２ａ、４２ｂに存在する場合、他方を参照して対象画素Ｐｉｃを生成する。図４では、参照無効領域４２ａ、４２ｂに存在するほうの第１原フレームＦｏ１内の画素Ｐｏ１ｃを参照せず、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを参照して、対象画素Ｐｉｃを生成する。図４では、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを、補間フレームＦｉ内の対象画素Ｐｉｃに複写する。
【００３５】
ケースｄは、補間フレームＦｉ内の対象画素Ｐｉｄが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂ（画面４０外の領域を含む）に存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｄの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｄを生成する。たとえば、両方の画素を合成（たとえば、平均）して生成してもよいし、いずれか一方の画素を複写して生成してもよい。
【００３６】
すなわち、ケースｄでは上記動きベクトルをゼロと考える。なお、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄは、いずれも参照されない。
【００３７】
図１に戻り、情報領域設定部２０は、所定の情報を重畳して表示するための情報領域を、画面内に設定し、その位置を補間フレーム算出部１４に設定する。たとえば、補間フレーム算出部１４内のレジスタに、当該情報領域とすべき画素位置を設定する。
【００３８】
当該情報領域は、ＯＳＤ領域であってもよい。上記所定の情報は、文字（数字を含む）、記号、アイコンなどで表現され、たとえば、チャンネル情報、音量情報、日付情報、時刻情報、電波状況情報、電池残量情報、未読メール有無情報などが該当する。これらのうち、電波状況情報、電池残量情報、および未読メール有無情報は、携帯電話機などの携帯機器でワンセグ放送を受信して表示する場合に、その画面内に表示されることが可能である。なお、情報領域設定部２０は、当該情報領域を一画面内に複数箇所、設定してもよい。
【００３９】
情報領域設定部２０は、外部（たとえば、後述する図７の主制御部３００）からの領域情報に応じて、上記情報領域を設定する。たとえば、当該主制御部３００がワンセグ放送により受信した映像に、チャンネル情報を事後的に重畳させる場合、次のような領域情報を生成し、情報領域設定部２０に通知する。当該領域情報には、チャンネル情報を重畳させた位置を示す位置情報、ならびにそのチャンネル情報の表示を開始するフレームおよびその表示を終了するフレームを特定するためのフレーム情報とが含まれる。当該領域情報は、主制御部３００から情報領域設定部２０に、Ｉ２Ｃなどを利用して伝達される。
【００４０】
本実施の形態では、情報領域設定部２０により設定された情報領域は、上記参照無効領域に自動的に設定される。したがって、補間フレーム算出部１４は、補間フレーム内の上記情報領域に含まれる対象画素を、第１フレーム（たとえば、補間フレームに対する前フレーム）内の当該対象画素の位置に対応する画素を参照して生成する（上記ケースｂ）。たとえば、第１フレーム内の当該画素を複写して、補間フレーム内の当該対象画素を生成する。これらの処理が、補間フレーム内の上記情報領域に含まれる全画素に対して実行されることにより、第１フレーム内の上記情報領域が補間フレーム内の上記情報領域に複写される。なお、補間フレーム算出部１４は、補間フレーム内の上記情報領域に含まれる対象画素を、第２フレーム（たとえば、補間フレームに対する後フレーム）内の当該対象画素の位置に対応する画素を参照して生成してもよい。
【００４１】
また、補間フレーム算出部１４は、補間フレーム内の上記情報領域に含まれない対象画素の動きベクトルにより特定される、第１フレーム内の画素および第２フレーム内の画素の一方が上記情報領域に存在する場合、上記情報領域に存在するほうの画素を参照せず、上記情報領域に存在しないほうの画素を参照して、当該対象画素を生成する（ケースｃ）。
【００４２】
また、補間フレーム算出部１４は、補間フレーム内の上記情報領域に含まれない対象画素の動きベクトルにより特定される、第１フレーム内の画素および第２フレーム内の画素の両方が上記情報領域に存在する場合、上記対象画素の位置に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、上記対象画素を生成する（ケースｄ）。たとえば、両方の画素を合成（たとえば、平均）して生成してもよいし、いずれか一方の画素を複写して生成してもよい。
【００４３】
フレーム記憶部３０は、外部から入力される動画像に含まれる原フレーム、および補間フレーム生成部１０により生成される補間フレームを一時記憶し、それらフレームを表示順にしたがい外部（たとえば、表示パネル）に出力する。
【００４４】
図６は、画面６０内に重畳されて表示されるチャンネル情報６１と、当該チャンネル情報６１を含むＯＳＤ領域６２を示す図である。図６（ａ）は、画面６０内に重畳されて表示されるチャンネル情報６１を示し、図６（ｂ）は、画面６０内のＯＳＤ領域６２を示す。
【００４５】
図６（ａ）において、画面６０内の右上隅にチャンネル情報６１（ここでは、１ｃｈ）が表示される。このチャンネル情報６１は、放送局側により付加された情報ではなく、受信機側により事後的に付加される情報である。図６（ｂ）において、このチャンネル情報６１を含む小領域がＯＳＤ領域６２に設定される。これにより、当該小領域は上記参照無効領域となる。
【００４６】
以上説明したように本実施の形態によれば、上述した動きベクトルを用いる補間フレーム技術を用いて補間フレームを生成する場合において、上記情報領域を設定した場合、第１フレームの当該情報領域を複写して、補間フレームの当該情報領域を生成することにより、補間フレームの品質を向上させることができる。
【００４７】
すなわち、上記情報領域に表示される文字、記号、アイコンなどは、比較的変化が少ない情報であり、動きがある領域に発生するノイズと比較し、当該情報領域に発生するノイズは目立ちやすいものとなる。静止している期間が長い上記情報領域内の画素は、前フレームの同じ位置の画素を踏襲したほうが、上述した動きベクトルを用いた補間演算により生成するより、高精度を実現しやすい。また、単純に前フレームの画素値を踏襲すれば、演算量を低減させることもできる。
【００４８】
また、上記情報領域は、元の映像と異なる内容を表示している領域であり、元の映像を表示している領域の画素を生成する際、当該情報領域に含まれる画素を誤って参照すると、ノイズが発生しやすくなる。この点、上記情報領域を上記参照無効領域とすることにより、当該ノイズの発生を抑制することができる。
【００４９】
図７は、実施の形態に係るフレームレート変換装置１００を搭載した、表示装置５００を示す図である。表示装置５００は、ワンセグ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。
【００５０】
当該表示装置５００は、アンテナ２００、主制御部３００、フレームレート変換装置１００および表示部４００を備える。主制御部３００は、受信部３１０、復号部３２０およびフレームレート変換部３３０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。
【００５１】
復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームをフレームレート変換部３３０に出力する。なお、復号されたフレームがフレームレート変換部３３０に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、ここではそれに注目しないため、省略している。
【００５２】
フレームレート変換部３３０は、入力されるフレームを単純に複写して、フレーム数を増加させる。ここでは、１５Ｈｚの動画像の各フレームを３回複写してフレーム数を４倍にすることにより、１５Ｈｚの動画像を６０Ｈｚの動画像に変換する。なお、単純に複写するのではなく、増加させるべきフレームの少なくとも一枚について、連続する二枚の原フレームを簡易合成することにより、生成してもよい。たとえば、一方の原フレームの上部領域と他方の原フレームの下部領域を空間的に合成してもよい。
【００５３】
フレームレート変換装置１００は、上述した実施の形態で説明した手法を用いて、フレームレート変換部３３０から入力される動画像を２倍速変換または４倍速変換する。なお、上記情報領域は倍速変換されない。表示部４００は、フレームレート変換装置１００により倍速変換された動画像を表示する。
【００５４】
以上説明したようにワンセグ放送を受信して表示再生する表示装置５００に、実施の形態に係るフレームレート変換装置１００を搭載することにより、ワンセグ映像の画質を向上させることができる。なお、図７では既存の主制御部３００に対して、フレームレート変換装置１００を追加することにより、ワンセグ映像の倍速変換を実現する例を示したが、主制御部３００内に、フレームレート変換部３３０の代わりに、フレームレート変換装置１００が初めから搭載されてもよい。
【００５５】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５６】
たとえば、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。
【００５７】
また、上記実施の形態では、補間フレーム内の上記情報領域以外の画素を、上記動きベクトルを用いた補間演算により生成する例を説明した。この点、当該情報領域以外の画素を、当該画素の位置と対応または一致する、第１原フレーム内の画素および第２原フレーム内の画素を合成して生成してもよい。
【００５８】
また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係るフレームレート変換装置１００は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。
【符号の説明】
【００５９】
１０ 補間フレーム生成部、 １２ 動きベクトル検出部、 １４ 補間フレーム算出部、 ２０ 情報領域設定部、 ３０ フレーム記憶部、 １００ フレームレート変換装置、 ２００ アンテナ、 ３００ 主制御部、 ３１０ 受信部、 ３２０ 復号部、 ３３０ フレームレート変換部、 ４００ 表示部、 ５００ 表示装置。
【特許請求の範囲】
【請求項１】
入力される動画像のフレーム数を増加させて出力するフレームレート変換装置であって、
前記動画像に含まれる第１フレームと第２フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、
所定の情報を重畳して表示するための情報領域を、画面内に設定する情報領域設定部と、を備え、
前記補間フレーム生成部は、前記補間フレーム内の前記情報領域を、前記第１フレーム内または前記第２フレーム内の前記情報領域を複写して生成することを特徴とするフレームレート変換装置。
【請求項２】
前記補間フレーム生成部は、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記補間フレーム内の各画素を通過する前記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を含み、
前記補間フレーム算出部は、前記補間フレーム内の前記情報領域に含まれる対象画素を、前記第１フレーム内または前記第２フレーム内の当該対象画素の位置に対応する画素を参照して生成することを特徴とする請求項１に記載のフレームレート変換装置。
【請求項３】
前記補間フレーム算出部は、前記補間フレーム内の前記情報領域に含まれない対象画素の動きベクトルにより特定される、前記第１フレーム内の画素および前記第２フレーム内の画素の一方が前記情報領域に存在する場合、前記情報領域に存在するほうの画素を参照せず、前記情報領域に存在しないほうの画素を参照して、前記対象画素を生成することを特徴とする請求項２に記載のフレームレート変換装置。
【請求項４】
前記補間フレーム生成部は、前記補間フレーム内の前記情報領域に含まれない対象画素の動きベクトルにより特定される、前記第１フレーム内の画素および前記第２フレーム内の画素の両方が前記情報領域に存在する場合、前記対象画素の位置に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記対象画素を生成することを特徴とする請求項２または３に記載のフレームレート変換装置。
【請求項５】
請求項１から４のいずれかに記載のフレームレート変換装置と、
前記フレームレート変換装置によりフレームレートが変換された画像を表示する表示部と、
を備えることを特徴とする表示装置。
【請求項１】
入力される動画像のフレーム数を増加させて出力するフレームレート変換装置であって、
前記動画像に含まれる第１フレームと第２フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、
所定の情報を重畳して表示するための情報領域を、画面内に設定する情報領域設定部と、を備え、
前記補間フレーム生成部は、前記補間フレーム内の前記情報領域を、前記第１フレーム内または前記第２フレーム内の前記情報領域を複写して生成することを特徴とするフレームレート変換装置。
【請求項２】
前記補間フレーム生成部は、
前記第１フレームと前記第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記補間フレーム内の各画素を通過する前記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を含み、
前記補間フレーム算出部は、前記補間フレーム内の前記情報領域に含まれる対象画素を、前記第１フレーム内または前記第２フレーム内の当該対象画素の位置に対応する画素を参照して生成することを特徴とする請求項１に記載のフレームレート変換装置。
【請求項３】
前記補間フレーム算出部は、前記補間フレーム内の前記情報領域に含まれない対象画素の動きベクトルにより特定される、前記第１フレーム内の画素および前記第２フレーム内の画素の一方が前記情報領域に存在する場合、前記情報領域に存在するほうの画素を参照せず、前記情報領域に存在しないほうの画素を参照して、前記対象画素を生成することを特徴とする請求項２に記載のフレームレート変換装置。
【請求項４】
前記補間フレーム生成部は、前記補間フレーム内の前記情報領域に含まれない対象画素の動きベクトルにより特定される、前記第１フレーム内の画素および前記第２フレーム内の画素の両方が前記情報領域に存在する場合、前記対象画素の位置に対応する、前記第１フレーム内の画素および前記第２フレーム内の画素の少なくとも一方を参照して、前記対象画素を生成することを特徴とする請求項２または３に記載のフレームレート変換装置。
【請求項５】
請求項１から４のいずれかに記載のフレームレート変換装置と、
前記フレームレート変換装置によりフレームレートが変換された画像を表示する表示部と、
を備えることを特徴とする表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−３５６１２（Ｐ２０１１−３５６１２Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１７９１８５（Ｐ２００９−１７９１８５）
【出願日】平成２１年７月３１日（２００９．７．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（５０６２２７８８４）三洋半導体株式会社 (1,155)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年７月３１日（２００９．７．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（５０６２２７８８４）三洋半導体株式会社 (1,155)
【Ｆターム（参考）】
[ Back to top ]