フレームレート変換回路
【課題】補間フレームを生成する際の装置の負荷を軽減しつつ、ＯＳＤの情報の表示の有無に応じてフレームを補間する処理を変更することが可能な技術を提供する。
【解決手段】動画像信号に所定の情報と、所定の情報の有無を示す標識と、を重畳して出力する画像生成回路３００に接続されたフレームレート変換回路１００であって、補間フレーム算出部は、動画像信号の複数のフレームから、補間フレームを生成する処理を実行する。情報領域検出部は、動画像信号に重畳された標識の有無を検出する。この補間フレーム算出部は、情報領域検出部の検出結果に応じて補間フレームの生成処理を変更する。
【解決手段】動画像信号に所定の情報と、所定の情報の有無を示す標識と、を重畳して出力する画像生成回路３００に接続されたフレームレート変換回路１００であって、補間フレーム算出部は、動画像信号の複数のフレームから、補間フレームを生成する処理を実行する。情報領域検出部は、動画像信号に重畳された標識の有無を検出する。この補間フレーム算出部は、情報領域検出部の検出結果に応じて補間フレームの生成処理を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補間フレームを生成するフレームレート変換回路に関する。
【背景技術】
【０００２】
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像感の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。
【０００３】
日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７１８４２号公報
【特許文献２】特開２００９−２１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ディスプレイに表示される動画像には、ＯＳＤ（On Screen Display）の情報が重畳され表示される。たとえば、テレビ映像が表示される画面のＯＳＤ領域に、チャンネル情報が重畳され表示される。また、ワンセグ放送により受信した映像を携帯電話機のディスプレイに表示させる場合、その画面上のＯＳＤ領域に、電波状況情報、電池残量情報などが重畳され表示される。
【０００６】
ＯＳＤ領域に表示される文字や記号は、比較的変化が少ない情報であるため、上記フレーム補間技術を適用した場合に、テレビ映像とＯＳＤ領域とを区別して補間することが好ましい。しかし、ＯＳＤ領域に表示される情報は、常に表示されるとは限らないため、ＯＳＤの情報が表示されているか否か判別する必要がある。このとき、ＯＳＤの情報が表示されているか否かの情報を画像とは別に常に通信すると、システム全体の負荷が大きくなる。
【０００７】
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームを生成する際の装置の負荷を軽減しつつ、ＯＳＤの情報の表示の有無に応じてフレームを補間する処理を変更することが可能な技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様のフレームレート変換回路は、動画像信号に所定の情報と、所定の情報の有無を示す標識と、を重畳して出力する画像生成回路に接続されたフレームレート変換回路であって、動画像信号の複数のフレームから、補間フレームを生成する処理を実行する補間フレーム算出部と、動画像信号に重畳された標識の有無を検出する情報領域検出部と、を備える。この補間フレーム算出部は、情報領域検出部の検出結果に応じて補間フレームの生成処理を変更する。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、補間フレームを生成する際の装置の負荷を軽減しつつ、ＯＳＤの情報の表示の有無に応じてフレームを補間する処理を変更することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る表示装置の機能構成を示す図である。
【図２】実施形態に係るフレームレート変換回路の構成を示す図である。
【図３】補間フレームの生成原理（２倍速変換）を示す図である。
【図４】補間フレームの生成原理（４倍速変換）を示す図である。
【図５】画面内に参照無効領域が表示されている場合における、補間フレーム算出部による画素生成処理の４つのケースを模試的に示す図である。
【図６】補間フレーム算出部による画素生成処理の４つのケースをまとめた図表である。
【図７】実施形態に係る画像生成回路が生成したＯＳＤ領域を含む画面を示す図である。
【発明を実施するための形態】
【００１２】
図１は、実施の形態に係る表示装置５００の機能構成を示す図である。表示装置５００は、ワンセグ放送などのテレビ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。表示装置５００は、テレビ放送を受信するものに限らず、動画像を表示再生する機器であってもよい。
【００１３】
表示装置５００は、アンテナ２００、画像生成回路３００、フレームレート変換回路１００および表示部４００を備える。受信した信号を復号して動画像を出力する画像生成回路３００は、受信部３１０、復号部３２０、重畳部３３０および制御部３４０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。
【００１４】
復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームを重畳部３３０に出力する。なお、復号されたフレームが重畳部３３０に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、省略している。
【００１５】
重畳部３３０は、復号部３２０からフレームを受け取り、動画像の画面表示に所定の情報を重畳する。上記所定の情報はＯＳＤの情報であって、文字（数字を含む）、記号などで表現され、たとえば、チャンネル情報、音量情報、日付情報、時刻情報、電波状況情報、電池残量情報などが該当する。なお、重畳部３３０は、ＯＳＤ領域を一画面内に複数箇所、設定してもよい。このＯＳＤ領域の具体的な設定方法は後述する。上記所定の情報は、受信機側により事後的にＯＳＤ領域に付加された情報である。なお、ＯＳＤが重畳表示される画面位置は予め定められており、画像生成回路３００は所定の情報の種類に応じたＯＳＤ領域の位置情報を保持する。
【００１６】
実施形態に係る重畳部３３０は、動画像の画面表示に所定の情報を重畳するとともに、所定の情報を表示する情報領域を特定するための標識を動画像の画面表示に重畳する。すなわち、重畳部３３０は、所定の情報を動画像に重畳し、かつ、所定の情報の有無を特定可能な標識を画面内の情報領域に同時に重畳する。所定の情報と合わせて標識を付加することで、所定の情報の有無を、標識の有無により検出することができる。
【００１７】
制御部３４０は、ＯＳＤと標識とを画面に重畳するために、ＯＳＤの情報とＯＳＤ領域の標識の情報を重畳部３３０に設定するとともに、当該標識の情報をフレームレート変換回路１００に出力する。標識の情報は例えば位置の情報や色の情報を含む。制御部３４０は、受信部３１０および復号部３２０の動作の制御も行う。
【００１８】
フレームレート変換回路１００は、重畳部３３０から受け取った動画像のフレーム数を２倍または４倍に増加させて出力する。これにより、映像の画質を向上させることができる。表示部４００は、フレームレート変換回路１００により倍速変換された動画像を表示する。ここで、フレームレートの変換方法について具体的に説明する。
【００１９】
図２は、実施形態に係るフレームレート変換回路１００の構成を示す図である。当該フレームレート変換回路１００は、入力部５、補間フレーム生成部１０、情報領域検出部２０、フレーム記憶部３０、および出力部５０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２０】
入力部５は、画像生成回路３００から出力された動画像を構成するフレームをフレーム記憶部３０に書き込むとともに、情報領域検出部２０に出力する。フレーム記憶部３０は、動画像を構成するフレームを一時記憶するとともに、補間フレーム生成部１０が生成する補間フレームを一時記憶する。
【００２１】
補間フレーム生成部１０は、動画像に含まれる第１フレームと第２フレームとの間の補間フレームを生成する。補間フレーム生成部１０は、基本的に、第１フレームと第２フレームの両方を参照して、それらフレーム間の補間フレームを生成し、例外的に、第１フレームと第２フレームの一方を参照して、それらフレーム間の補間フレームを生成する。
【００２２】
以下、より具体的に説明する。補間フレーム生成部１０は、動きベクトル検出部１２および補間フレーム算出部１４を含む。動きベクトル検出部１２は、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
【００２３】
当該二段階のブロックマッチングの第一段階では、第１フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、第２フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。
【００２４】
たとえば、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素値の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第２フレーム内の最適予測ブロックとする。また、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素値が実質的に一致した数が最も多い候補ブロックを、第２フレーム内の最適予測ブロックとしてもよい。そして、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。
【００２５】
上記二段階のブロックマッチングの第二段階では、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第１フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第２フレーム内において探索する。これにより、第１フレームと第２フレームとの間で、画素単位の動きベクトルを検出することができる。
【００２６】
補間フレーム算出部１４は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複製して生成してもよい。以下、図３、４を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
【００２７】
図３は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。
【００２８】
補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。
【００２９】
ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。
【００３０】
なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。
【００３１】
図４は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。
【００３２】
第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。
【００３３】
第２補間フレームＦｉ２の画素Ｐｉ２は、図３に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。
【００３４】
図２に戻り、出力部５０はフレーム記憶部３０から補間フレームを含む動画像を構成するフレームを表示順に従って読み出し、外部に出力する。
【００３５】
次に、上記動画像が表示される画面内に、参照無効領域が設定される場合について説明する。たとえば、当該参照無効領域は、レターボックス形式で表示される画面内の上下の余白領域（たとえば、黒帯領域）や、ピラーボックス形式で表示される画面内の左右の余白領域や、ウインドウボックス形式で表示される画面内の上下左右の余白領域に設定される。これらの余白は、アスペクト比が異なる映像の互換性をとるために、放送局側または受信機側で挿入される。たとえば、４：３の映像を１６：９の画面に表示させる場合、ピラーボックス形式が採用され、画面内の左右に黒帯が表示される。また、上記参照無効領域は、設計者によりあらかじめ設定されることも可能である。たとえば、ノイズが発生しやすい、画素または領域に設定される。
【００３６】
以下、図５、図６を参照して、画面内に参照無効領域が設定されている場合における、補間フレーム算出部１４による画素生成処理について説明する。図５は、画面４０内に参照無効領域４２ａ、４２ｂが表示されている場合における、補間フレーム算出部１４による画素生成処理の４つのケースを模試的に示す図である。図６は、補間フレーム算出部１４による画素生成処理の４つのケースをまとめた図表である。
【００３７】
図５に示す画面４０はピラーボックス形式の画面であり、当該画面４０は、映像が表示される有効領域４１と、その左右の余白領域である参照無効領域４２ａ、４２ｂとに分割される。なお、画面４０外の領域は、参照無効領域４２ａ、４２ｂと同様に扱う。
【００３８】
ケースａは、補間フレームＦｉ内の対象画素Ｐｉａ、第１原フレームＦｏ１内の参照画素Ｐｏ１ａおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ａのすべてが有効領域４１に存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉａを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ａおよび第２原フレームＦｏ２内の画素Ｐｏ２ａの両方が有効領域４１に存在する場合、両方の画素Ｐｏ１ａ、Ｐｏ２ａを参照して、対象画素Ｐｉａを生成する。たとえば、両方の画素Ｐｏ１ａ、Ｐｏ２ａを合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉａに割り当てる。
【００３９】
ケースｂは、補間フレームＦｉの対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｂの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｂを生成する。たとえば、原フレームＦｏ１内の当該画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複製する。また、第２原フレームＦｏ２内の当該画素を複製してもよい。また、第１原フレームＦｏ１内の当該画素および第２原フレーム内の当該画素を合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複製してもよい。
【００４０】
なお、ケースｂでは、補間フレームＦｉ内の対象画素Ｐｉｂを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｂおよび第２原フレームＦｏ２内の画素Ｐｏ２ｂは、有効領域４１に存在するか参照無効領域４２ａ、４２ｂに存在するかを問わず、いずれも参照されない。
【００４１】
ケースｃは、補間フレームＦｉ内の対象画素Ｐｉｃが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｃの一方が有効領域４１に存在し、他方が参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｃを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の画素Ｐｏ２ｃの一方が参照無効領域４２ａ、４２ｂに存在する場合、他方を参照して対象画素Ｐｉｃを生成する。図５では、参照無効領域４２ａ、４２ｂに存在するほうの第１原フレームＦｏ１内の画素Ｐｏ１ｃを参照せず、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを参照して、対象画素Ｐｉｃを生成する。図５では、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを、補間フレームＦｉ内の対象画素Ｐｉｃに複製する。
【００４２】
ケースｄは、補間フレームＦｉ内の対象画素Ｐｉｄが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂ（画面４０外の領域を含む）に存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｄの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｄを生成する。たとえば、両方の画素を合成（たとえば、平均）して生成してもよいし、いずれか一方の画素を複製して生成してもよい。
【００４３】
すなわち、ケースｄでは上記動きベクトルをゼロと考える。なお、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄは、いずれも参照されない。
【００４４】
このようにフレームレート変換回路１００により倍速変換された動画像を、表示部４００が表示する。ここで、倍速変換するために補間する際、ＯＳＤ領域を有効領域と同様に補間すると、ＯＳＤ領域の輪郭が動きベクトルに引っ張られて崩れることがある。ＯＳＤ領域は予め定まった形状をしていることが多く、その輪郭は映像と比べて明確であるため、ＯＳＤ領域の輪郭が変化すると目立つことがある。そこで、フレームレート変換回路１００がフレーム内にあるＯＳＤ領域を参照無効領域として補間すれば、補間によってＯＳＤ領域の輪郭が崩れることを抑えられ、画質を向上させることができる。
【００４５】
情報領域検出部２０が標識を検出したとき、補間フレーム算出部１４は、補間フレーム内の情報領域を、第１フレーム内または第２フレーム内の情報領域を複製して生成する。情報領域検出部２０が標識を検出しないとき、補間フレーム算出部１４は、情報領域が存在する場合の位置に対応する画素の色信号を使用して、情報領域外に対する補間フレームの生成処理を実行し、情報領域検出部２０が標識を検出したとき、補間フレーム算出部１４は、情報領域に含まれる画素の色信号を使用せずに、情報領域外に対する補間フレームの生成処理を実行する。
【００４６】
フレームレート変換回路１００がＯＳＤ領域を参照無効領域として補間処理をする際には、あらかじめフレームレート変換回路１００にＯＳＤ領域を特定するための情報が設定される。実施形態ではＯＳＤ領域を特定するための情報として、ＯＳＤとともにＯＳＤ領域に重畳された標識を用いる。これにより、ＯＳＤの有無を示す情報を動画像に組み込むことができる。
【００４７】
図２に戻り、情報領域検出部２０は、入力部５から動画像の信号を受け取り、標識の特定情報を予め保持し、標識の特定情報にもとづいてフレーム内にＯＳＤ領域があるかどうかを検出する。たとえば、標識を付加する位置および色が標識の特定情報として予め定まっており、その標識の特定情報を重畳部３３０および情報領域検出部２０が予め保持している。情報領域検出部２０は、標識の位置情報に応じたフレーム内の対応画素が標識の色情報と同じ色の画素値であるかどうか判定することでＯＳＤ領域の有無を検出する。情報領域検出部２０はフレーム内に標識があると検出すればＯＳＤ領域があると判定し、フレーム内に標識がないと検出すればＯＳＤ領域がないと判定する。情報領域検出部２０は検出結果を補間フレーム算出部１４に送出し、補間フレーム算出部１４は、ＯＳＤ領域を参照無効領域に設定し、補間フレームを生成する。ＯＳＤ領域を特定するための標識を付加することにより、ＯＳＤ領域の有無の情報をフレーム内に組み込むことができ、ＯＳＤ領域の有無の情報を動画像信号とは別に毎回伝達する必要がなくなるため、画像生成回路３００の通信処理の負荷が軽減される。なお、ＯＳＤ領域が複数ある場合、情報領域検出部２０はそれぞれのＯＳＤ領域の有無を検出する。
【００４８】
図７は、実施形態に係る画像生成回路３００が生成したＯＳＤ領域を含むフレーム６０を示す。このフレーム６０にはＯＳＤ領域６２が表示されており、ＯＳＤ領域６２は標識６４を含んでいる。標識６４の特定情報は位置情報（Ｘ，Ｙ）および色情報（Ｒ，Ｇ，Ｂ）を含む。
【００４９】
ＯＳＤ領域６２は、種類に応じて、表示される位置および大きさが予め設定されている。たとえば、音量情報は図７に示すようにフレーム６０の下部に表示され、チャンネル情報はフレームの左上部に表示される。
【００５０】
ＯＳＤ領域６２を特定するための標識６４は、ＯＳＤ領域６２の外枠を形成する。ＯＳＤ領域６２の外枠は、ＯＳＤ領域の最外周に位置する画素の集合であり、１画素の幅で形成されてよく、数画素の幅で形成されてもよい。フレームレート変換回路１００はＯＳＤ領域６２を参照無効領域とするために、ＯＳＤ領域６２の位置情報を有する必要がある。図７に示すように、標識６４がＯＳＤ領域６２の外枠を形成することで、標識６４の位置情報をＯＳＤ領域６２の位置情報として用いることが可能となる。これにより、ＯＳＤ領域６２の位置情報を標識６４の情報と別に保持する必要がなくなる。また標識６４に応じてＯＳＤ領域６２を画定することができる。
【００５１】
標識６４は、図７に示すように、矩形に形成される。標識６４の位置を四隅の位置情報で特定できるため、標識６４が円形や楕円形などの曲線を含む場合と比べて、標識６４の位置情報を少なくすることができる。また、情報領域検出部２０が標識６４の有無を検出する際に単純な直線形状の有無を検出すればよいため、情報領域検出部２０によるＯＳＤ領域６２の有無の検出が容易となり、誤検出を少なくすることができる。
【００５２】
標識６４の色情報は、ＲＧＢ（０〜２５５、０〜２５５、０〜２５５）で表される画素値である。標識６４に設定される色は、たとえば複数色のうちいずれか１色が標識６４の色として設定される。この設定された標識６４の色を設定画素値という。また、情報領域検出部２０に設定される標識６４の色情報は所定の幅を含む値であってよく、情報領域検出部２０は色の一致判定において、標識６４と対応する位置の画素値が設定画素値から所定の幅以内のずれに収まっていれば一致すると判定する。すなわち、情報領域検出部２０は、標識６４の色情報として設定画素値および所定の幅を事前に保持し、標識の対応画素の色の画素値が設定画素値から所定の幅に収まっているかどうかにより色の一致を判定する。
【００５３】
次に、情報領域検出部２０が標識６４の位置情報および標識６４の色情報にもとづいてＯＳＤ領域６２の有無を検出する方法を具体的に説明する。まず、情報領域検出部２０は、入力部５から出力される原フレームから、標識６４の位置情報に応じた対応画素の画素値を取得し、取得した対応画素の画素値が標識６４の色情報に合致するかどうか判定する。この判定が原フレームの対応画素の全てに対してなされる。そして情報領域検出部２０は、全ての対応画素の画素値が標識６４の色情報と合致した場合に、原フレームにＯＳＤ領域６２があると判定し、標識６４の位置情報を補間フレーム算出部１４に出力する。図７の例によれば、情報領域検出部２０は、標識６４の位置情報にもとづいてＯＳＤ領域を囲む枠に含まれる対応画素の画素値を検出し、対応画素の画素値が情報領域検出部２０に予め設定された色情報と合致した場合に、標識６４がある、つまりＯＳＤ領域５２があると判定する。一方、情報領域検出部２０は、いずれかの対応画素の画素値が標識６４の色情報と合致しなかった場合に、原フレームにＯＳＤ領域６２がないと判定する。このようにして情報領域検出部２０はＯＳＤ領域６２の有無を検出することができる。
【００５４】
実施形態では、情報領域検出部２０により検出されたＯＳＤ領域は、上記参照無効領域に設定される。第１フレーム内および第２フレーム内にＯＳＤ領域がある場合、補間フレーム算出部１４は、ＯＳＤ領域の位置情報に応じた補間フレーム内の対象画素を、第１フレーム内または第２フレーム内のＯＳＤ領域の画素値を複製して生成する。このように補間フレームの対象画素に原フレームのＯＳＤ領域をそのまま複製して生成することで、補間フレームのＯＳＤ領域の輪郭が乱れることを防ぐことができる。ＯＳＤの情報の表示の有無（情報領域検出部２０の検出結果）に応じてフレームを補間する処理を変更することができる。
【００５５】
また、第１フレーム内および第２フレーム内のどちらか一方のみにＯＳＤ領域がある場合、図５に示すケースｂまたはケースｃに相当する方法で補間する。すなわち、補間フレーム算出部１４は、ＯＳＤ領域の位置情報に応じた補間フレーム内の対象画素に対して、一方の原フレームにあるＯＳＤ領域の画素値を複製するか、または、他方の原フレームにある、ＯＳＤ領域に位置情報に応じた有効領域の画素値を複製する。これらの処理のどちらか一方が、ＯＳＤ領域の位置情報に応じた補間フレーム内の対象画素の全てに対して実行される。
【００５６】
フレーム記憶部３０は、外部から入力される動画像に含まれる原フレーム、および補間フレーム生成部１０により生成される補間フレームを一時記憶し、それらフレームを表示順にしたがい外部（たとえば、表示パネル）に出力する。
【００５７】
以上説明したように本実施の形態によれば、上述した補間フレームを生成する際に、ＯＳＤ領域を参照無効領域とする場合、画面内にＯＳＤ領域を特定するための標識を重畳することで、ＯＳＤ領域に関する情報を動画像信号に組み込むことができ、ＯＳＤ領域に関する情報の伝達量を減らすことができる。
【００５８】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５９】
たとえば、上記実施形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。
【００６０】
また、上記実施形態では、補間フレーム内のＯＳＤ領域以外の画素を、動きベクトルを用いた補間演算により生成する例を説明した。この点、当該ＯＳＤ領域以外の画素を、当該画素の位置と対応または一致する、第１原フレーム内の画素および第２原フレーム内の画素を合成して生成してもよい。
【００６１】
上記実施形態では、標識６４をＯＳＤ領域６２を囲うように設けたが、このような設け方に限定されない。たとえば、ＯＳＤ領域６２を囲う４辺のうちの１辺を標識６４とし、情報領域検出部２０は、ＯＳＤ領域６２に接する１辺に標識６４が付加されているか否かを判定する。このとき、フレーム補間処理を行うため、フレームレート変換回路１００は標識６４の位置情報とは別にＯＳＤ領域６２の位置情報を保持する必要がある。
【００６２】
また、上記実施形態では、テレビ放送される動画像を倍速変換する例を説明したが、本発明に係るフレームレート変換回路１００は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。
【符号の説明】
【００６３】
１０ 補間フレーム生成部、 １２ 動きベクトル検出部、 １４ 補間フレーム算出部、 ２０ 情報領域検出部、 ３０ フレーム記憶部、 １００ フレームレート変換回路、 ２００ アンテナ、 ３００ 画像生成回路、 ３１０ 受信部、 ３２０ 復号部、 ３３０ 重畳部、 ３４０ 制御部、 ４００ 表示部、 ５００ 表示装置。
【技術分野】
【０００１】
本発明は、補間フレームを生成するフレームレート変換回路に関する。
【背景技術】
【０００２】
近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像感の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。
【０００３】
日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７１８４２号公報
【特許文献２】特開２００９−２１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ディスプレイに表示される動画像には、ＯＳＤ（On Screen Display）の情報が重畳され表示される。たとえば、テレビ映像が表示される画面のＯＳＤ領域に、チャンネル情報が重畳され表示される。また、ワンセグ放送により受信した映像を携帯電話機のディスプレイに表示させる場合、その画面上のＯＳＤ領域に、電波状況情報、電池残量情報などが重畳され表示される。
【０００６】
ＯＳＤ領域に表示される文字や記号は、比較的変化が少ない情報であるため、上記フレーム補間技術を適用した場合に、テレビ映像とＯＳＤ領域とを区別して補間することが好ましい。しかし、ＯＳＤ領域に表示される情報は、常に表示されるとは限らないため、ＯＳＤの情報が表示されているか否か判別する必要がある。このとき、ＯＳＤの情報が表示されているか否かの情報を画像とは別に常に通信すると、システム全体の負荷が大きくなる。
【０００７】
本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームを生成する際の装置の負荷を軽減しつつ、ＯＳＤの情報の表示の有無に応じてフレームを補間する処理を変更することが可能な技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様のフレームレート変換回路は、動画像信号に所定の情報と、所定の情報の有無を示す標識と、を重畳して出力する画像生成回路に接続されたフレームレート変換回路であって、動画像信号の複数のフレームから、補間フレームを生成する処理を実行する補間フレーム算出部と、動画像信号に重畳された標識の有無を検出する情報領域検出部と、を備える。この補間フレーム算出部は、情報領域検出部の検出結果に応じて補間フレームの生成処理を変更する。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、補間フレームを生成する際の装置の負荷を軽減しつつ、ＯＳＤの情報の表示の有無に応じてフレームを補間する処理を変更することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る表示装置の機能構成を示す図である。
【図２】実施形態に係るフレームレート変換回路の構成を示す図である。
【図３】補間フレームの生成原理（２倍速変換）を示す図である。
【図４】補間フレームの生成原理（４倍速変換）を示す図である。
【図５】画面内に参照無効領域が表示されている場合における、補間フレーム算出部による画素生成処理の４つのケースを模試的に示す図である。
【図６】補間フレーム算出部による画素生成処理の４つのケースをまとめた図表である。
【図７】実施形態に係る画像生成回路が生成したＯＳＤ領域を含む画面を示す図である。
【発明を実施するための形態】
【００１２】
図１は、実施の形態に係る表示装置５００の機能構成を示す図である。表示装置５００は、ワンセグ放送などのテレビ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。表示装置５００は、テレビ放送を受信するものに限らず、動画像を表示再生する機器であってもよい。
【００１３】
表示装置５００は、アンテナ２００、画像生成回路３００、フレームレート変換回路１００および表示部４００を備える。受信した信号を復号して動画像を出力する画像生成回路３００は、受信部３１０、復号部３２０、重畳部３３０および制御部３４０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。
【００１４】
復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームを重畳部３３０に出力する。なお、復号されたフレームが重畳部３３０に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、省略している。
【００１５】
重畳部３３０は、復号部３２０からフレームを受け取り、動画像の画面表示に所定の情報を重畳する。上記所定の情報はＯＳＤの情報であって、文字（数字を含む）、記号などで表現され、たとえば、チャンネル情報、音量情報、日付情報、時刻情報、電波状況情報、電池残量情報などが該当する。なお、重畳部３３０は、ＯＳＤ領域を一画面内に複数箇所、設定してもよい。このＯＳＤ領域の具体的な設定方法は後述する。上記所定の情報は、受信機側により事後的にＯＳＤ領域に付加された情報である。なお、ＯＳＤが重畳表示される画面位置は予め定められており、画像生成回路３００は所定の情報の種類に応じたＯＳＤ領域の位置情報を保持する。
【００１６】
実施形態に係る重畳部３３０は、動画像の画面表示に所定の情報を重畳するとともに、所定の情報を表示する情報領域を特定するための標識を動画像の画面表示に重畳する。すなわち、重畳部３３０は、所定の情報を動画像に重畳し、かつ、所定の情報の有無を特定可能な標識を画面内の情報領域に同時に重畳する。所定の情報と合わせて標識を付加することで、所定の情報の有無を、標識の有無により検出することができる。
【００１７】
制御部３４０は、ＯＳＤと標識とを画面に重畳するために、ＯＳＤの情報とＯＳＤ領域の標識の情報を重畳部３３０に設定するとともに、当該標識の情報をフレームレート変換回路１００に出力する。標識の情報は例えば位置の情報や色の情報を含む。制御部３４０は、受信部３１０および復号部３２０の動作の制御も行う。
【００１８】
フレームレート変換回路１００は、重畳部３３０から受け取った動画像のフレーム数を２倍または４倍に増加させて出力する。これにより、映像の画質を向上させることができる。表示部４００は、フレームレート変換回路１００により倍速変換された動画像を表示する。ここで、フレームレートの変換方法について具体的に説明する。
【００１９】
図２は、実施形態に係るフレームレート変換回路１００の構成を示す図である。当該フレームレート変換回路１００は、入力部５、補間フレーム生成部１０、情報領域検出部２０、フレーム記憶部３０、および出力部５０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２０】
入力部５は、画像生成回路３００から出力された動画像を構成するフレームをフレーム記憶部３０に書き込むとともに、情報領域検出部２０に出力する。フレーム記憶部３０は、動画像を構成するフレームを一時記憶するとともに、補間フレーム生成部１０が生成する補間フレームを一時記憶する。
【００２１】
補間フレーム生成部１０は、動画像に含まれる第１フレームと第２フレームとの間の補間フレームを生成する。補間フレーム生成部１０は、基本的に、第１フレームと第２フレームの両方を参照して、それらフレーム間の補間フレームを生成し、例外的に、第１フレームと第２フレームの一方を参照して、それらフレーム間の補間フレームを生成する。
【００２２】
以下、より具体的に説明する。補間フレーム生成部１０は、動きベクトル検出部１２および補間フレーム算出部１４を含む。動きベクトル検出部１２は、第１フレームと第２フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。
【００２３】
当該二段階のブロックマッチングの第一段階では、第１フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、第２フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。
【００２４】
たとえば、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素値の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第２フレーム内の最適予測ブロックとする。また、第１フレーム内の対象ブロックと第２フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素値が実質的に一致した数が最も多い候補ブロックを、第２フレーム内の最適予測ブロックとしてもよい。そして、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。
【００２５】
上記二段階のブロックマッチングの第二段階では、第１フレーム内の各ブロックと、第２フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第１フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第２フレーム内において探索する。これにより、第１フレームと第２フレームとの間で、画素単位の動きベクトルを検出することができる。
【００２６】
補間フレーム算出部１４は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、第１フレーム内の画素および第２フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複製して生成してもよい。以下、図３、４を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。
【００２７】
図３は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。
【００２８】
補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。
【００２９】
ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。
【００３０】
なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。
【００３１】
図４は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。
【００３２】
第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。
【００３３】
第２補間フレームＦｉ２の画素Ｐｉ２は、図３に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。
【００３４】
図２に戻り、出力部５０はフレーム記憶部３０から補間フレームを含む動画像を構成するフレームを表示順に従って読み出し、外部に出力する。
【００３５】
次に、上記動画像が表示される画面内に、参照無効領域が設定される場合について説明する。たとえば、当該参照無効領域は、レターボックス形式で表示される画面内の上下の余白領域（たとえば、黒帯領域）や、ピラーボックス形式で表示される画面内の左右の余白領域や、ウインドウボックス形式で表示される画面内の上下左右の余白領域に設定される。これらの余白は、アスペクト比が異なる映像の互換性をとるために、放送局側または受信機側で挿入される。たとえば、４：３の映像を１６：９の画面に表示させる場合、ピラーボックス形式が採用され、画面内の左右に黒帯が表示される。また、上記参照無効領域は、設計者によりあらかじめ設定されることも可能である。たとえば、ノイズが発生しやすい、画素または領域に設定される。
【００３６】
以下、図５、図６を参照して、画面内に参照無効領域が設定されている場合における、補間フレーム算出部１４による画素生成処理について説明する。図５は、画面４０内に参照無効領域４２ａ、４２ｂが表示されている場合における、補間フレーム算出部１４による画素生成処理の４つのケースを模試的に示す図である。図６は、補間フレーム算出部１４による画素生成処理の４つのケースをまとめた図表である。
【００３７】
図５に示す画面４０はピラーボックス形式の画面であり、当該画面４０は、映像が表示される有効領域４１と、その左右の余白領域である参照無効領域４２ａ、４２ｂとに分割される。なお、画面４０外の領域は、参照無効領域４２ａ、４２ｂと同様に扱う。
【００３８】
ケースａは、補間フレームＦｉ内の対象画素Ｐｉａ、第１原フレームＦｏ１内の参照画素Ｐｏ１ａおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ａのすべてが有効領域４１に存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉａを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ａおよび第２原フレームＦｏ２内の画素Ｐｏ２ａの両方が有効領域４１に存在する場合、両方の画素Ｐｏ１ａ、Ｐｏ２ａを参照して、対象画素Ｐｉａを生成する。たとえば、両方の画素Ｐｏ１ａ、Ｐｏ２ａを合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉａに割り当てる。
【００３９】
ケースｂは、補間フレームＦｉの対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｂが参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｂの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｂを生成する。たとえば、原フレームＦｏ１内の当該画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複製する。また、第２原フレームＦｏ２内の当該画素を複製してもよい。また、第１原フレームＦｏ１内の当該画素および第２原フレーム内の当該画素を合成（たとえば、平均）した画素を、補間フレームＦｉ内の対象画素Ｐｉｂに複製してもよい。
【００４０】
なお、ケースｂでは、補間フレームＦｉ内の対象画素Ｐｉｂを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｂおよび第２原フレームＦｏ２内の画素Ｐｏ２ｂは、有効領域４１に存在するか参照無効領域４２ａ、４２ｂに存在するかを問わず、いずれも参照されない。
【００４１】
ケースｃは、補間フレームＦｉ内の対象画素Ｐｉｃが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｃの一方が有効領域４１に存在し、他方が参照無効領域４２ａ、４２ｂに存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｃを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｃおよび第２原フレームＦｏ２内の画素Ｐｏ２ｃの一方が参照無効領域４２ａ、４２ｂに存在する場合、他方を参照して対象画素Ｐｉｃを生成する。図５では、参照無効領域４２ａ、４２ｂに存在するほうの第１原フレームＦｏ１内の画素Ｐｏ１ｃを参照せず、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを参照して、対象画素Ｐｉｃを生成する。図５では、参照無効領域４２ａ、４２ｂに存在しないほうの第２原フレームＦｏ２内の画素Ｐｏ２ｃを、補間フレームＦｉ内の対象画素Ｐｉｃに複製する。
【００４２】
ケースｄは、補間フレームＦｉ内の対象画素Ｐｉｄが有効領域４１に存在し、第１原フレームＦｏ１内の参照画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の参照画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂ（画面４０外の領域を含む）に存在するケースである。すなわち、補間フレーム算出部１４は、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄの両方が参照無効領域４２ａ、４２ｂに存在する場合、対象画素Ｐｉｄの位置に対応または一致する、第１原フレームＦｏ１内の画素および第２原フレームＦｏ２内の画素の少なくとも一方を参照して、対象画素Ｐｉｄを生成する。たとえば、両方の画素を合成（たとえば、平均）して生成してもよいし、いずれか一方の画素を複製して生成してもよい。
【００４３】
すなわち、ケースｄでは上記動きベクトルをゼロと考える。なお、補間フレームＦｉ内の対象画素Ｐｉｄを通過する上記動きベクトルの始点および終点に対応する、第１原フレームＦｏ１内の画素Ｐｏ１ｄおよび第２原フレームＦｏ２内の画素Ｐｏ２ｄは、いずれも参照されない。
【００４４】
このようにフレームレート変換回路１００により倍速変換された動画像を、表示部４００が表示する。ここで、倍速変換するために補間する際、ＯＳＤ領域を有効領域と同様に補間すると、ＯＳＤ領域の輪郭が動きベクトルに引っ張られて崩れることがある。ＯＳＤ領域は予め定まった形状をしていることが多く、その輪郭は映像と比べて明確であるため、ＯＳＤ領域の輪郭が変化すると目立つことがある。そこで、フレームレート変換回路１００がフレーム内にあるＯＳＤ領域を参照無効領域として補間すれば、補間によってＯＳＤ領域の輪郭が崩れることを抑えられ、画質を向上させることができる。
【００４５】
情報領域検出部２０が標識を検出したとき、補間フレーム算出部１４は、補間フレーム内の情報領域を、第１フレーム内または第２フレーム内の情報領域を複製して生成する。情報領域検出部２０が標識を検出しないとき、補間フレーム算出部１４は、情報領域が存在する場合の位置に対応する画素の色信号を使用して、情報領域外に対する補間フレームの生成処理を実行し、情報領域検出部２０が標識を検出したとき、補間フレーム算出部１４は、情報領域に含まれる画素の色信号を使用せずに、情報領域外に対する補間フレームの生成処理を実行する。
【００４６】
フレームレート変換回路１００がＯＳＤ領域を参照無効領域として補間処理をする際には、あらかじめフレームレート変換回路１００にＯＳＤ領域を特定するための情報が設定される。実施形態ではＯＳＤ領域を特定するための情報として、ＯＳＤとともにＯＳＤ領域に重畳された標識を用いる。これにより、ＯＳＤの有無を示す情報を動画像に組み込むことができる。
【００４７】
図２に戻り、情報領域検出部２０は、入力部５から動画像の信号を受け取り、標識の特定情報を予め保持し、標識の特定情報にもとづいてフレーム内にＯＳＤ領域があるかどうかを検出する。たとえば、標識を付加する位置および色が標識の特定情報として予め定まっており、その標識の特定情報を重畳部３３０および情報領域検出部２０が予め保持している。情報領域検出部２０は、標識の位置情報に応じたフレーム内の対応画素が標識の色情報と同じ色の画素値であるかどうか判定することでＯＳＤ領域の有無を検出する。情報領域検出部２０はフレーム内に標識があると検出すればＯＳＤ領域があると判定し、フレーム内に標識がないと検出すればＯＳＤ領域がないと判定する。情報領域検出部２０は検出結果を補間フレーム算出部１４に送出し、補間フレーム算出部１４は、ＯＳＤ領域を参照無効領域に設定し、補間フレームを生成する。ＯＳＤ領域を特定するための標識を付加することにより、ＯＳＤ領域の有無の情報をフレーム内に組み込むことができ、ＯＳＤ領域の有無の情報を動画像信号とは別に毎回伝達する必要がなくなるため、画像生成回路３００の通信処理の負荷が軽減される。なお、ＯＳＤ領域が複数ある場合、情報領域検出部２０はそれぞれのＯＳＤ領域の有無を検出する。
【００４８】
図７は、実施形態に係る画像生成回路３００が生成したＯＳＤ領域を含むフレーム６０を示す。このフレーム６０にはＯＳＤ領域６２が表示されており、ＯＳＤ領域６２は標識６４を含んでいる。標識６４の特定情報は位置情報（Ｘ，Ｙ）および色情報（Ｒ，Ｇ，Ｂ）を含む。
【００４９】
ＯＳＤ領域６２は、種類に応じて、表示される位置および大きさが予め設定されている。たとえば、音量情報は図７に示すようにフレーム６０の下部に表示され、チャンネル情報はフレームの左上部に表示される。
【００５０】
ＯＳＤ領域６２を特定するための標識６４は、ＯＳＤ領域６２の外枠を形成する。ＯＳＤ領域６２の外枠は、ＯＳＤ領域の最外周に位置する画素の集合であり、１画素の幅で形成されてよく、数画素の幅で形成されてもよい。フレームレート変換回路１００はＯＳＤ領域６２を参照無効領域とするために、ＯＳＤ領域６２の位置情報を有する必要がある。図７に示すように、標識６４がＯＳＤ領域６２の外枠を形成することで、標識６４の位置情報をＯＳＤ領域６２の位置情報として用いることが可能となる。これにより、ＯＳＤ領域６２の位置情報を標識６４の情報と別に保持する必要がなくなる。また標識６４に応じてＯＳＤ領域６２を画定することができる。
【００５１】
標識６４は、図７に示すように、矩形に形成される。標識６４の位置を四隅の位置情報で特定できるため、標識６４が円形や楕円形などの曲線を含む場合と比べて、標識６４の位置情報を少なくすることができる。また、情報領域検出部２０が標識６４の有無を検出する際に単純な直線形状の有無を検出すればよいため、情報領域検出部２０によるＯＳＤ領域６２の有無の検出が容易となり、誤検出を少なくすることができる。
【００５２】
標識６４の色情報は、ＲＧＢ（０〜２５５、０〜２５５、０〜２５５）で表される画素値である。標識６４に設定される色は、たとえば複数色のうちいずれか１色が標識６４の色として設定される。この設定された標識６４の色を設定画素値という。また、情報領域検出部２０に設定される標識６４の色情報は所定の幅を含む値であってよく、情報領域検出部２０は色の一致判定において、標識６４と対応する位置の画素値が設定画素値から所定の幅以内のずれに収まっていれば一致すると判定する。すなわち、情報領域検出部２０は、標識６４の色情報として設定画素値および所定の幅を事前に保持し、標識の対応画素の色の画素値が設定画素値から所定の幅に収まっているかどうかにより色の一致を判定する。
【００５３】
次に、情報領域検出部２０が標識６４の位置情報および標識６４の色情報にもとづいてＯＳＤ領域６２の有無を検出する方法を具体的に説明する。まず、情報領域検出部２０は、入力部５から出力される原フレームから、標識６４の位置情報に応じた対応画素の画素値を取得し、取得した対応画素の画素値が標識６４の色情報に合致するかどうか判定する。この判定が原フレームの対応画素の全てに対してなされる。そして情報領域検出部２０は、全ての対応画素の画素値が標識６４の色情報と合致した場合に、原フレームにＯＳＤ領域６２があると判定し、標識６４の位置情報を補間フレーム算出部１４に出力する。図７の例によれば、情報領域検出部２０は、標識６４の位置情報にもとづいてＯＳＤ領域を囲む枠に含まれる対応画素の画素値を検出し、対応画素の画素値が情報領域検出部２０に予め設定された色情報と合致した場合に、標識６４がある、つまりＯＳＤ領域５２があると判定する。一方、情報領域検出部２０は、いずれかの対応画素の画素値が標識６４の色情報と合致しなかった場合に、原フレームにＯＳＤ領域６２がないと判定する。このようにして情報領域検出部２０はＯＳＤ領域６２の有無を検出することができる。
【００５４】
実施形態では、情報領域検出部２０により検出されたＯＳＤ領域は、上記参照無効領域に設定される。第１フレーム内および第２フレーム内にＯＳＤ領域がある場合、補間フレーム算出部１４は、ＯＳＤ領域の位置情報に応じた補間フレーム内の対象画素を、第１フレーム内または第２フレーム内のＯＳＤ領域の画素値を複製して生成する。このように補間フレームの対象画素に原フレームのＯＳＤ領域をそのまま複製して生成することで、補間フレームのＯＳＤ領域の輪郭が乱れることを防ぐことができる。ＯＳＤの情報の表示の有無（情報領域検出部２０の検出結果）に応じてフレームを補間する処理を変更することができる。
【００５５】
また、第１フレーム内および第２フレーム内のどちらか一方のみにＯＳＤ領域がある場合、図５に示すケースｂまたはケースｃに相当する方法で補間する。すなわち、補間フレーム算出部１４は、ＯＳＤ領域の位置情報に応じた補間フレーム内の対象画素に対して、一方の原フレームにあるＯＳＤ領域の画素値を複製するか、または、他方の原フレームにある、ＯＳＤ領域に位置情報に応じた有効領域の画素値を複製する。これらの処理のどちらか一方が、ＯＳＤ領域の位置情報に応じた補間フレーム内の対象画素の全てに対して実行される。
【００５６】
フレーム記憶部３０は、外部から入力される動画像に含まれる原フレーム、および補間フレーム生成部１０により生成される補間フレームを一時記憶し、それらフレームを表示順にしたがい外部（たとえば、表示パネル）に出力する。
【００５７】
以上説明したように本実施の形態によれば、上述した補間フレームを生成する際に、ＯＳＤ領域を参照無効領域とする場合、画面内にＯＳＤ領域を特定するための標識を重畳することで、ＯＳＤ領域に関する情報を動画像信号に組み込むことができ、ＯＳＤ領域に関する情報の伝達量を減らすことができる。
【００５８】
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５９】
たとえば、上記実施形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。
【００６０】
また、上記実施形態では、補間フレーム内のＯＳＤ領域以外の画素を、動きベクトルを用いた補間演算により生成する例を説明した。この点、当該ＯＳＤ領域以外の画素を、当該画素の位置と対応または一致する、第１原フレーム内の画素および第２原フレーム内の画素を合成して生成してもよい。
【００６１】
上記実施形態では、標識６４をＯＳＤ領域６２を囲うように設けたが、このような設け方に限定されない。たとえば、ＯＳＤ領域６２を囲う４辺のうちの１辺を標識６４とし、情報領域検出部２０は、ＯＳＤ領域６２に接する１辺に標識６４が付加されているか否かを判定する。このとき、フレーム補間処理を行うため、フレームレート変換回路１００は標識６４の位置情報とは別にＯＳＤ領域６２の位置情報を保持する必要がある。
【００６２】
また、上記実施形態では、テレビ放送される動画像を倍速変換する例を説明したが、本発明に係るフレームレート変換回路１００は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。
【符号の説明】
【００６３】
１０ 補間フレーム生成部、 １２ 動きベクトル検出部、 １４ 補間フレーム算出部、 ２０ 情報領域検出部、 ３０ フレーム記憶部、 １００ フレームレート変換回路、 ２００ アンテナ、 ３００ 画像生成回路、 ３１０ 受信部、 ３２０ 復号部、 ３３０ 重畳部、 ３４０ 制御部、 ４００ 表示部、 ５００ 表示装置。
【特許請求の範囲】
【請求項１】
動画像信号に所定の情報と、前記所定の情報の有無を示す標識と、を重畳して出力する画像生成回路に接続されたフレームレート変換回路であって、
前記動画像信号の複数のフレームから、補間フレームを生成する処理を実行する補間フレーム算出部と、
前記動画像信号に重畳された前記標識の有無を検出する情報領域検出部と、を備え、
前記補間フレーム算出部は、前記情報領域検出部の検出結果に応じて補間フレームの生成処理を変更することを特徴とするフレームレート変換回路。
【請求項２】
前記情報領域検出部は、前記標識が重畳される位置情報を保持し、前記位置情報が示す位置に前記標識があるか否かを検出し、
前記補間フレーム算出部は、前記情報領域検出部が前記標識を検出したとき、前記標識に応じて画定される前記所定の情報を表示する情報領域に対する補間フレームの生成処理を変更することを特徴とする請求項１に記載のフレームレート変換回路。
【請求項３】
前記情報領域検出部は、前記位置情報および前記標識の色情報を保持し、前記位置情報が示す位置に前記色情報があるか否かを検出することを特徴とする請求項２に記載のフレームレート変換回路。
【請求項４】
前記所定の情報はＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）の情報であり、
前記標識は前記ＯＳＤの情報が表示される領域を囲い、前記色情報の色で表示される枠であり、
前記位置情報は、前記枠の位置を示す情報であることを特徴とする請求項３に記載のフレームレート変換回路。
【請求項５】
前記情報領域検出部が前記標識を検出しないとき、前記補間フレーム算出部は、前記動画像信号に含まれる第１フレームおよび第２フレームを参照して、前記情報領域が存在する場合の位置に対応する領域に対する補間フレームの生成処理を実行し、
前記情報領域検出部が前記標識を検出したとき、前記補間フレーム算出部は、前記動画像信号に含まれる第１フレームおよび第２フレームの一方を参照して、前記情報領域に対する補間フレームの生成処理を実行することを特徴とする請求項３に記載のフレームレート変換回路。
【請求項６】
前記情報領域検出部が前記標識を検出したとき、前記補間フレーム算出部は、前記補間フレーム内の前記情報領域を、前記第１フレーム内または前記第２フレーム内の前記情報領域を複製して生成することを特徴とする請求項５に記載のフレームレート変換回路。
【請求項７】
前記情報領域検出部が前記標識を検出しないとき、前記補間フレーム算出部は、前記情報領域に含まれる色信号を使用して、前記情報領域外に対する補間フレームの生成処理を実行し、
前記情報領域検出部が前記標識を検出したとき、前記補間フレーム算出部は、前記情報領域に含まれる画素の色信号を使用せずに、前記情報領域外に対する補間フレームの生成処理を実行することを特徴とする請求項６に記載のフレームレート変換回路。
【請求項１】
動画像信号に所定の情報と、前記所定の情報の有無を示す標識と、を重畳して出力する画像生成回路に接続されたフレームレート変換回路であって、
前記動画像信号の複数のフレームから、補間フレームを生成する処理を実行する補間フレーム算出部と、
前記動画像信号に重畳された前記標識の有無を検出する情報領域検出部と、を備え、
前記補間フレーム算出部は、前記情報領域検出部の検出結果に応じて補間フレームの生成処理を変更することを特徴とするフレームレート変換回路。
【請求項２】
前記情報領域検出部は、前記標識が重畳される位置情報を保持し、前記位置情報が示す位置に前記標識があるか否かを検出し、
前記補間フレーム算出部は、前記情報領域検出部が前記標識を検出したとき、前記標識に応じて画定される前記所定の情報を表示する情報領域に対する補間フレームの生成処理を変更することを特徴とする請求項１に記載のフレームレート変換回路。
【請求項３】
前記情報領域検出部は、前記位置情報および前記標識の色情報を保持し、前記位置情報が示す位置に前記色情報があるか否かを検出することを特徴とする請求項２に記載のフレームレート変換回路。
【請求項４】
前記所定の情報はＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）の情報であり、
前記標識は前記ＯＳＤの情報が表示される領域を囲い、前記色情報の色で表示される枠であり、
前記位置情報は、前記枠の位置を示す情報であることを特徴とする請求項３に記載のフレームレート変換回路。
【請求項５】
前記情報領域検出部が前記標識を検出しないとき、前記補間フレーム算出部は、前記動画像信号に含まれる第１フレームおよび第２フレームを参照して、前記情報領域が存在する場合の位置に対応する領域に対する補間フレームの生成処理を実行し、
前記情報領域検出部が前記標識を検出したとき、前記補間フレーム算出部は、前記動画像信号に含まれる第１フレームおよび第２フレームの一方を参照して、前記情報領域に対する補間フレームの生成処理を実行することを特徴とする請求項３に記載のフレームレート変換回路。
【請求項６】
前記情報領域検出部が前記標識を検出したとき、前記補間フレーム算出部は、前記補間フレーム内の前記情報領域を、前記第１フレーム内または前記第２フレーム内の前記情報領域を複製して生成することを特徴とする請求項５に記載のフレームレート変換回路。
【請求項７】
前記情報領域検出部が前記標識を検出しないとき、前記補間フレーム算出部は、前記情報領域に含まれる色信号を使用して、前記情報領域外に対する補間フレームの生成処理を実行し、
前記情報領域検出部が前記標識を検出したとき、前記補間フレーム算出部は、前記情報領域に含まれる画素の色信号を使用せずに、前記情報領域外に対する補間フレームの生成処理を実行することを特徴とする請求項６に記載のフレームレート変換回路。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２０５５１９（Ｐ２０１１−２０５５１９Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７２３８８（Ｐ２０１０−７２３８８）
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（３１１００３７４３）オンセミコンダクター・トレーディング・リミテッド (166)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（３１１００３７４３）オンセミコンダクター・トレーディング・リミテッド (166)
【Ｆターム（参考）】
[ Back to top ]