映像表示装置及び映像処理方法
【課題】ゲームコンテンツ等の表示のときに、ユーザーに違和感を与えない。
【解決手段】実施の形態の映像表示装置は、高画質化処理と倍速処理とを行って生成した表示映像信号を表示モジュールに出力する映像処理モジュールと、映像信号に対する表示映像信号の遅延時間が短い低遅延処理の指示を受けるコントローラと、フレームメモリとを備え、映像信号処理モジュールは、フレームメモリに記憶された映像信号を信号処理して、表示映像信号を出力し、コントローラは、低遅延処理の指示を受けた場合、少なくとも1フレームの映像信号が、フレームメモリへの記憶処理を開始してから第1の所定時間経過後、記憶処理完了前に、少なくとも高画質化処理を開始するように、映像処理モジュールを制御すると共に、少なくとも高画質化処理の開始から第2の所定時間経過後、少なくとも高画質化処理の処理完了前に、倍速処理を開始するように、映像処理モジュールを制御する。
【解決手段】実施の形態の映像表示装置は、高画質化処理と倍速処理とを行って生成した表示映像信号を表示モジュールに出力する映像処理モジュールと、映像信号に対する表示映像信号の遅延時間が短い低遅延処理の指示を受けるコントローラと、フレームメモリとを備え、映像信号処理モジュールは、フレームメモリに記憶された映像信号を信号処理して、表示映像信号を出力し、コントローラは、低遅延処理の指示を受けた場合、少なくとも1フレームの映像信号が、フレームメモリへの記憶処理を開始してから第1の所定時間経過後、記憶処理完了前に、少なくとも高画質化処理を開始するように、映像処理モジュールを制御すると共に、少なくとも高画質化処理の開始から第2の所定時間経過後、少なくとも高画質化処理の処理完了前に、倍速処理を開始するように、映像処理モジュールを制御する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施の形態は、映像表示装置及び映像信号の映像処理方法に関する。
【背景技術】
【0002】
ゲーム機器を接続することにより、ユーザーがゲームを楽しむことのできるテレビジョン受信装置(以下「テレビ」という。)が普及している。ユーザーは、テレビの外部入力端子にゲーム機器を接続して動作させることにより、ゲーム機器で生成された映像及び音声がテレビのディスプレイ及びスピーカから出力される。即ち、テレビをゲーム機器の外部出力装置として用いることにより、ユーザーは大きな画面でゲームを楽しむことができる。
【0003】
近年のテレビでは、画質改善のために種々の映像信号の処理が行われている。映像信号を処理するためには、フレーム単位の情報及び処理が必要であることから、所定の時間を要する。通常の放送番組等の視聴においては、例えば50ミリ秒(ms)未満の僅かな表示遅延が問題になることはない。しかし、ゲーム機器から出力された映像信号が遅延して表示されると、その表示に対するユーザーの操作が遅れることになり、ユーザーが違和感を感じたり、あるいはゲームの結果が変わったりする等の問題が生じるおそれがあった。例えば、表示画面上を高速移動する標的を撃つシューティングゲームにおいては、僅かな遅延時間でも、シューティングのタイミングがずれてしまう。
【0004】
このため、例えば、ゲームを行う場合には、入力された映像信号のデジタル演算処理を省略して、遅延時間を短縮することのできる表示装置が知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−338605号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、ゲームコンテンツ等の表示のときに、ユーザーに違和感を与えない映像表示装置及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様の映像表示装置は、入力された映像信号に対して少なくとも高画質化処理と倍速処理とを行って生成した表示映像信号を表示モジュールに出力する映像処理モジュールと、前記映像信号に対する前記表示映像信号の遅延時間が短い低遅延処理の指示を受けるコントローラと、前記映像信号を少なくとも1フレーム記憶するフレームメモリとを備え、前記映像信号処理モジュールは、前記フレームメモリに記憶された前記映像信号を信号処理して、前記表示映像信号を出力し、前記コントローラは、前記低遅延処理の指示を受けた場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリへの記憶処理を開始してから第1の所定時間経過後、前記記憶処理完了前に、前記少なくとも高画質化処理を開始するように、前記映像処理モジュールを制御すると共に、前記少なくとも高画質化処理の開始から第2の所定時間経過後、前記少なくとも高画質化処理の処理完了前に、前記倍速処理を開始するように、前記映像処理モジュールを制御する。
【図面の簡単な説明】
【0008】
【図1】実施の形態のテレビジョン受信装置の構成図である。
【図2】テレビジョン受信装置の映像信号処理を説明するための構成図であり、図2(A)は低遅延処理OFFの場合を、図2(B)は低遅延処理ONの場合を示している。
【図3】テレビ101の遅延時間を説明するためのタイムチャートである。
【図4】表示映像信号の種類による表示パネルにおける表示状態を説明するための図であり、図4(A)は1080pの表示パネルに表示された720pの映像信号の表示状態を、図4(B)は1080pの表示パネルに表示された480pの映像信号の表示状態を示している。
【図5】実施の形態のテレビジョン受信装置の信号処理を説明するための構成図である。
【図6】同期補償モジュールを説明するための、入力映像信号の同期信号と表示映像信号の同期信号との関係を示した構成図である。
【図7】実施の形態のテレビジョン受信装置の映像信号処理の流れを説明するためのフローチャートである。
【図8】実施の形態のテレビジョン受信装置における処理モード選択方法を説明するための表示画面を示す図である。
【図9】「追い越し現象」を説明するための説明図であり、図9(A)は書き込み映像を、図9(B)は読み出し映像を、図9(C)は書き込み/読み出しのときのタイムチャートを示している。
【図10】本実施の形態における信号処理を説明するためのタイムチャートである。
【図11】実施の形態のテレビジョン受信装置の遅延時間を説明するためのタイムチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は本発明の一実施形態に係る映像表示装置を示すブロック図である。
【0010】
図1に示すように、映像表示装置であるテレビジョン受信装置(テレビ)1は、チューナ11と、外部入力端子12と、前段処理モジュール13と、フレームメモリ14と、映像処理モジュール30と、操作入力部21と、コントローラ20と、オーディオプロセッサ16と、音声遅延処理モジュール17と、を具備する。なお説明の都合上、フレームメモリ14と映像処理モジュール30とを区別しているが、フレームメモリ14は映像処理モジュール30の機能の一部とみなすこともできるし、フレームメモリ14及び映像処理モジュール30等は、ひとつのシステムLSIに実装されていてもよい。
【0011】
そして、テレビ1は、アンテナ2がチューナ11と、ゲーム操作部4を有するゲーム機器3が外部入力端子12と接続され、表示モジュールである表示パネル15に映像を、音声出力モジュールであるスピーカ18に音声を出力する。
【0012】
チューナ11は、BS放送、CS放送等の衛星放送、地上波放送等の放送信号等を選局/処理して、映像信号及び音声信号を出力する。チューナ11は、ケーブルTV回線等の通信回線からの信号も受信可能である。
【0013】
外部入力端子12は、コンポジッット信号、S端子信号、色差信号、D−sub信号等の信号形態によるゲーム機器3及びハードディスクレコーダー等をはじめとする外部装置からの映像信号/音声信号を外部入力として受ける。
【0014】
前段処理モジュール13は、チューナ11及び外部入力端子12からの複数の映像信号/音声信号等を受け、いずれかの映像信号/音声信号を選択し、前段処理を行うとともに、映像信号をフレームメモリ14に、音声信号をオーディオプロセッサ16に出力する。
【0015】
映像信号はフレームメモリ14を介して、後に詳述する映像処理モジュール30で信号処理され、表示映像信号が表示パネル15に出力される。音声信号は、オーディオプロセッサ16で信号処理された後に、映像信号の遅延時間に応じて、音声信号を遅延処理する音声遅延処理モジュール17を介してスピーカ18に出力される。
【0016】
操作入力部21は、ユーザ操作に基づく操作信号を発生してコントローラ20に与える。コントローラ20は、操作入力部21からの操作信号に基づいてテレビ1の全体の制御を行うCPUである。コントローラ20は、映像処理モジュール30を、入力された映像信号に対する表示映像信号の遅延時間が短い低遅延処理の動作をオンにして動作させるか、低遅延処理の動作をオフにして動作させるかを切換えることができるようになっている。
【0017】
コントローラ20は、映像モードに応じて、低遅延処理の動作をオン,オフ制御することができる。テレビ1は、映像モードとして、例えば、おまかせ/あざやか/標準/テレビプロ/映画プロ/ゲーム/PC等のモードに応じた動作が可能である。例えば、コントローラ20は、映像モードとして、ゲーム又はPCが選択された場合に、低遅延処理の動作をオンにするようになっている。なお、コントローラ20は、映像モードが、おまかせ/あざやか/標準/テレビプロ/映画プロである場合には、低遅延処理の動作をオフにして通常処理を行うようになっている。なお、操作入力部21によって低遅延処理の動作のオン,オフを直接指定するようにしてもよく、この場合には、コントローラ20は操作入力部21からの操作信号に基づいて低遅延処理の動作をオン,オフする。
【0018】
コントローラ20は、低遅延処理ONモードの場合には、低遅延処理の動作をオンにして映像処理モジュール30を動作させる。
【0019】
ここで、テレビ1と対比するために、テレビ1とは異なる方法で遅延時間を短縮するテレビ101について説明する。テレビ101は、フレームメモリ14及び映像処理モジュール30に夫々代えてフレームメモリ114A及び映像処理モジュール130を採用する。テレビ101では、遅延時間を短縮する低遅延処理が選択されるとコントローラ20は、映像処理モジュール130による一部の信号処理を省略するように制御する。
【0020】
即ち、テレビ101は低遅延処理OFFの場合(低遅延処理OFFモード)には、図2(A)に示す映像処理モジュール130の信号処理を全て行うのに対して、低遅延処理ONの場合(低遅延処理ONモード)には、図2(B)に示すように、高画質化モジュール134による高画質化処理しか行わない。
【0021】
テレビ101の映像処理モジュール130は、IP変換/NR(ノイズリダクション)モジュール131と、スケーラー133と、フレームメモリ114Bと、高画質化モジュール134と、超解像モジュール132と、倍速処理モジュール136と、を有する。
【0022】
IP(Interlace/Progressive)変換/NR(Noise Reduction)モジュール131は、インターレース方式の映像信号をプログレッシブ方式の映像信号へ変換するIP変換処理を行うとともに、映像の、ざらつき、ちらつき、ブロッキングノイズ及び、モスキートノイズを低減するノイズリダクション処理を行う。即ち、IP変換/NRモジュール131は、IP変換処理モジュールとNRモジュールとから構成されている。なお、プログレッシブ方式の入力映像信号に対しては、IP変換処理は行われない。また、入力映像信号のノイズが少ない場合等にはノイズリダクション処理を省略してもよい。即ち、IP変換/NRモジュール131では、IP変換及びノイズリダクション処理の少なくとも一方が行われる。
【0023】
スケーラー133は、表示パネル15の仕様と異なる映像信号に対して、表示パネル15の仕様にあわせたスケーリング処理を行う。例えば、入力映像信号のアスペクト比が4:3で、表示パネルのアスペクト比が16:9の場合、スケーラー133は、入力映像信号を、アスペクト比が16:9の表示映像信号に変換する。
【0024】
フレームメモリ114Bは、後段の高画質化モジュール134での高画質化処理のために、前段のフレームメモリ114Aと同様に、映像信号をフレーム単位で記憶(格納)する。なお、フレームメモリ114Aとフレームメモリ114Bとは、それぞれが少なくとも1フレームの映像信号を記憶可能であれば、ひとつのメモリの記憶領域を使い分けて使用しても良い。
【0025】
高画質化モジュール134は、映像の画質を改善するために、例えば、色補正(ガンマ補正、ホワイトバランス調整、ブライトネス調整、コントラスト調整)、シャープネス調整、輪郭強調(エッジエンハンスメント)、及び応答速度向上等の高画質化処理を行う。
【0026】
高解像度化モジュールである超解像モジュール132は、画素と画素との間に新しい画素値データを生成し、高い周波数成分を創造し、鮮鋭化することで、映像の元の解像度を超える映像を生成する。即ち、第1解像度である低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、第2解像度である高解像度の映像信号を復元する。ここで、「本来の画素値」とは、例えば、低解像度(第1解像度)の映像信号を得たときと同じ被写体を、高解像度(第2解像度)のカメラで撮像したときに得られる映像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする映像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い映像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、映像の相関性を利用する。なお、超解像モジュール132は、公知技術、例えば、入力映像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する映像を復元する技術を用いる。
【0027】
倍速処理モジュール136は、フレーム周波数50Hzの場合は100Hzへ、60Hz場合は120Hzと、フレーム周波数を倍にあげ、残像感を低減する倍速処理を行う。倍速処理としては、動き補償予測に基づき、連続する2つのフレームの間に挿入するための補間フレームを生成する方式でもよいし、単純に同じ映像を2回表示する、いわゆる「単純二度振り方式(Simple double repeat method)」であってもよい。
【0028】
ここで、上記の各モジュールにおける信号処理に起因する遅延時間について説明する。フレームメモリ114A及びフレームメモリ114Bは、フレーム単位で映像信号を記憶してから出力するため、それぞれ1フレームの遅延時間発生の原因となる。倍速処理モジュール136も、1フレームの遅延時間発生の原因となる。なお、以下、フレーム周波数として60Hzを例に説明するが、この場合には、1フレームは、約16.7msに相当する。
【0029】
このため、図3に示すように、テレビ101では、例えば、低遅延処理OFFモードの場合には、3フレームの約50msの遅延時間が発生するが、低遅延処理ONモードの場合には、遅延時間を、2フレームの33.3msに短縮できる。
【0030】
しかし、図4に示すように、入力映像信号が、表示パネル15の仕様(1080p)よりも小さい720p、480pの場合には、画面の上下に無信号領域(黒領域)を表示する時間が発生するために、より遅延時間が長く、それぞれ38.3ms、41.3msである。なお、低遅延処理OFFモードの場合にはスケーリング処理を行っているため、入力映像信号が720pまたは480pの場合でも遅延時間は1080pの場合と同じ50msである。
【0031】
即ち、テレビ101では、高画質化モジュール134が、フレームメモリから直接、読み出した映像信号しか処理できない仕様であるため、低遅延処理モードの場合でも、高画質化処理4の直前にフレームメモリから映像信号を取り込む必要がある。その場合、フレームメモリ114Bから映像信号を読み出す構成では、映像信号はフレームメモリに2回格納されるので、遅延時間短縮効果は小さい。そのため、図2(B)に示すように、映像信号をフレームメモリ114Aから読み出すことで、テレビ101としては最小遅延時間の低遅延処理を実現している。しかし、そのためテレビ101では、低遅延処理モードの場合には、IP変換処理/NR処理及びスケーラー処理を行うことはできないため、480iまたは1080iなどのインターレース信号は処理できない。しかし、プログレッシブ信号をノンスケーリング(Dot By Dot)処理する場合には、遅延時間を短縮することができる。言い換えれば、テレビ101は、所定の制限のもと、低遅延処理モードが選択されると、遅延時間を短縮することができる。
【0032】
これに対して、本実施の形態のテレビ1は、図2に示したテレビ101と類似した処理モジュール等を有する。図5は図1の詳細な構成、特に映像処理モジュール30の具体的な構成を示すブロック図である。図5のIP変換/NRモジュール31、スケーラー33、高画質化モジュール34、超解像モジュール32及び倍速処理モジュール36は、夫々図2(A)のIP変換/NRモジュール131、スケーラー133、高画質化モジュール134、超解像モジュール132及び倍速処理モジュール136と同様の処理を行うモジュールである。
【0033】
図5に示すように、本実施の形態のテレビ1は、テレビ101と比較すると、フレームメモリ114Bに相当するメモリが省略されており、かつ映像処理モジュール30における信号処理の順序が異なっている。即ち、映像解析モジュール22がフレームメモリ14に格納された映像信号を用いて解析処理を行うことができるため、テレビ101が有していたフレームメモリ114Bが不要であり、高画質モジュール34は、フレームメモリから映像を直接、読み出す必要のある仕様ではない。このため、テレビ1は、フレームメモリ14と、IP変換/NRモジュール31と、超解像モジュール32と、スケーラー33と、高画質化モジュール34と、倍速処理モジュール36と、映像解析モジュール22と、同期信号生成モジュール41と、クロック42と、同期補正モジュール43と、表示同期信号生成モジュール44と、を有する。なお、テレビ101において既に説明したモジュールと同名のモジュールの機能は同じであるため、説明は省略する。また、映像解析モジュール22と同期信号生成モジュール41とクロック42と同期補正モジュール43と、表示同期信号生成モジュール44とは、テレビ101も有していたが、説明を省略していた。
【0034】
映像解析モジュール22は、フレームメモリ14に記憶された映像信号を解析し、コントローラ20が映像処理モジュール30の制御に用いるフレーム情報を出力する。即ち、映像解析モジュール22は、例えば輝度レベルのダイナミックレンジをn分割し、1フレーム分の映像信号に対して、各輝度レベル1〜nに対応している画素数をカウントすることにより1フレーム分の輝度のヒストグラムデータを取得したりする。また、映像解析モジュール22は、例えば映像信号の周波数分布も検出する。なお、テレビ101では映像解析モジュールは、フレームメモリ114Bに格納された映像信号を解析し、高画質化モジュール134及び超解像モジュール132に出力していた。
【0035】
図6に示すように、同期信号生成モジュール41は、入力された映像信号から同期信号を分離し生成する。クロック42は所定の周波数の信号を発生し、表示同期信号生成モジュール44はクロック42が発生した信号をもとに、表示パネル15が表示する表示映像信号の同期信号(表示同期信号)を発生する。
【0036】
同期補正モジュール43は、同期信号生成モジュール41が生成した映像信号の入力同期信号と、表示同期信号生成モジュール44が発生した表示同期信号と、を同期させる。表示装置として、フラットパネルディスプレイ(以下、FPDという)を採用した場合には、FPDにおいて表示に用いる水平及び垂直同期信号(以下、表示用同期信号という)は、入力映像信号の水平及び垂直同期信号(入力同期信号)とは非同期に発生される。FPDの表示用同期信号の周波数には許容範囲があり、入力同期信号がこの許容範囲(以下、同期補償期間という)内であれば、FPDは常に入力映像信号に基づく表示を行うことができる。
【0037】
しかし、表示用同期信号を入力同期信号に同期させない場合には、表示用同期信号の周波数と入力同期信号の周波数との差から表示用メモリがオーバーフロー又はアンダーフローする虞がある。この理由から、同期補正モジュール43は、表示同期信号を入力同期信号に同期化するようになっている。同期補正モジュール43は、所定の同期補償期間にある入力同期信号に同期した表示同期信号を生成し、表示パネル15に出力する。
【0038】
本実施の形態においては、テレビ1では、低遅延処理ON(モード)においても、低遅延処理OFF(モード)の場合と同じく、映像処理モジュール30が、図5に示した全ての信号処理を行う。ただし、低遅延処理OFFの場合には、フレームメモリ14に1フレームの映像信号が記憶処理完了後に、信号処理を開始するように、映像処理モジュール30をコントローラ20が制御する。これに対して、低遅延処理ONの場合には、フレームメモリ14への1フレームの映像信号の記憶処理完了を待たないで、記憶処理を開始してから第1の待機時間である第1の所定時間(T1)経過後に、信号処理を開始するように、映像処理モジュール30をコントローラ20が制御する。即ち、フレームメモリ14に1フレームの映像信号が記憶処理完了するには、1フレーム相当時間(約16.7ms)を要するが、低遅延処理ONの場合には、1フレーム相当時間よりも短い第1の所定時間(T1)経過後に、映像処理モジュール30の信号処理を開始するため、遅延時間を約1フレーム相当時間分だけ短くすることができる。第1の所定時間(T1)としては、例えば、3.65ms〜8.65ms(約0.2〜0.5フレーム期間)を採用することができる。
【0039】
更に、本実施の形態においては、低遅延処理ONの場合には、フレームメモリ14への1フレームの映像信号の記憶処理完了を待たないで、且つ、倍速処理モジュール36以外のモジュール31〜34の処理の完了を待つことなく、モジュール31〜34の処理の開始から第2の待機時間である第2の所定時間(T2)経過後に、倍速処理モジュール36の信号処理を開始するように、映像処理モジュール30をコントローラ20が制御する。即ち、低遅延処理ONの場合には、1フレーム相当時間よりも短い第1の所定時間(T1)経過後に、モジュール31〜34の信号処理を開始し、モジュール31〜34の信号処理の開始から第2の所定時間(T2)経過後に、倍速処理モジュール36の信号処理を開始するため、遅延時間を約1.5フレーム相当時間分だけ短くすることができる。なお、第2の所定時間(T2)としては、例えば、8.35ms(約0.5フレーム期間)を採用することができる。
【0040】
以下、図7のフローチャートを用いて、本実施の形態のテレビ1における映像処理モジュール30の処理の流れについて説明する。
【0041】
<ステップS10>処理選択工程
信号処理モードとして、映像信号に対する表示映像信号の遅延時間が短い低遅延処理の動作をON/OFFする処理選択が行われる。例えば、図8に示すようなメニュー画面を表示パネル15に表示し、ユーザーがリモコン等により、「ゲームダイレクト」の指定を「オフ」から「オン」に切り替えることにより、コントローラ20は映像モードをゲームに切換える。コントローラ20は、映像モードをゲームに切換えた場合には、低遅延処理ONモードを選択する。逆に、ユーザが「ゲームダイレクト」の指定を「オン」から「オフ」に切り替えた場合には、コントローラ20は、低遅延処理OFFモードを選択する。また、ゲーム機器3の専用の外部入力端子を有し、ゲーム機器3からの信号が入力されたときに、コントローラ20が自動的にゲームモードを設定すると共に、低遅延処理の動作をONにするようにしてもよい。
【0042】
(低遅延処理OFFモード)
<ステップS11>記憶処理開始工程
低遅延処理がONではない場合(S10:No)、即ち、低遅延処理OFFモードの場合には、フレームメモリ14に対する1フレーム分の映像信号の記憶処理が開始される。
【0043】
<ステップS12>記憶処理完了?
フレームメモリ14に、1フレームの映像信号が、記憶処理完了するまで(S12:Yes)まで、コントローラ20は、映像処理モジュール30が信号処理を開始しないように制御する。
【0044】
<ステップS13>信号処理工程
コントローラ20は、1フレームの映像信号が記憶処理完了すると(S12:Yes)、映像処理モジュール30を信号処理開始するように制御する。すると映像処理モジュール30は映像信号を、表示パネル15に表示する表示映像信号にする信号処理を行う。即ち、図5に示したように、IP変換/NR処理と、超解像処理と、スケーリング処理と、高画質化処理と、同期補正処理と、倍速処理とが順に行われる。
【0045】
なお、映像解析モジュール22の解析により、そのフレームの映像信号が極めて劣化した信号等のように表示パネル15に表示することが好ましくないことが判明した場合には、コントローラ20は、そのフレームの表示映像信号を表示パネル15に出力しない場合もある。
【0046】
<ステップS14、S15>表示映像信号出力
映像処理モジュール30は映像信号を信号処理して、表示映像信号を表示パネル15に出力する。すると表示パネル15に信号処理された映像が表示される。そして、終了(S15:Yes)まで、S11からの処理が繰り返される。
【0047】
(低遅延処理ONモード)
次に、低遅延処理ONモードにおける信号処理について図9及び図10を参照して説明する。図9は追い越し現象を説明するための説明図であり、図10は本実施の形態における信号処理を説明するためのタイミングチャートである。
【0048】
<ステップS16>記憶処理開始工程
S10において、低遅延処理ONモードが選択された場合(S10:Yes)も、S11と同様に、フレームメモリ14に対する1フレーム分の映像信号の記憶処理が開始される
<ステップS17>第1の所定時間経過?
コントローラ20は、図示しないタイマ等により、フレームメモリ14への記憶処理を開始してからの時間を計測し、第1の所定時間(Delay値:T1)が経過する(S17:Yes)までは、信号処理を開始しないように、映像処理モジュール30を制御する。言い換えれば、フレームメモリ14への記憶処理を開始してから、第1の所定時間(Delay値:T1)が経過するまでは、フレームメモリ14に記憶された映像信号の読み出し処理を開始しない。
【0049】
これは、書き込み処理と読み出し処理とが交差する、いわゆる「追い越し現象」の発生防止のためである。
【0050】
ここで、図9(A)に示すような10個のライン群(L1〜L10)に分割された書き込み映像を、図9(B)に示すように、表示映像の中央部に貼り付ける場合を例に、「追い越し現象」について説明する。図9(C)上段に示すように、10個のライン群(L1〜L10)のメモリへの書き込み(記憶)処理は時系列的に順に行われる。しかし、図9(C)下段に示すように、図9(B)の表示映像の上部および下部に相当する領域の存在により、書き込み処理開始と同時に、書き込んだばかりのライン群のデータを読み出すことはできず、読み出そうとすると1フレーム前のデータを読み出してしまったりする。この現象が「追い越し現象」である。同様にフレームメモリ14に記憶した映像信号を、記憶処理の開始と同時、または極めて短い時間の経過後に読み出そうとすると「追い越し現象」が発生し、記憶された信号を確実に読み出すことができない。
【0051】
そこで、本実施の形態においては、モジュール31〜34の信号処理の開始までに第1の所定時間を設定する。図10は図9(A)に示すような10個のライン群(L1〜L10)に分割された書き込み映像を、図9(B)に示すように、表示映像の中央部に貼り付ける場合の信号処理を示している。
【0052】
図10(A)に示すように、10個のライン群(L1〜L10)のメモリへの書き込み(記憶)処理は、書込みクロック(WRITE)に従って時系列的に順に行われる。しかし、上述した追い越し現象により、書き込み処理開始と同時又は極めて短い時間の経過後に、書き込んだばかりのライン群のデータを読み出すことはできない。
【0053】
このため、コントローラ20は、第1の所定時間(T1)が経過するまで(S17:Yes)まで、フレームメモリ14に記憶された映像信号を用いた信号処理を開始しないように映像処理モジュール30を制御している。なお、第1の所定時間(T1)は映像信号の解像度または表示映像信号の表示方法等により適宜、決定される。
【0054】
<ステップS18>モジュール31〜34の信号処理開始工程
コントローラ20は、第1の所定時間(T1)が経過すると(S17:Yes)、1フレームの映像信号のフレームメモリ14への記憶処理完了を待たないで、映像処理モジュール30中の各モジュール31〜34が信号処理を開始するように制御する。これにより、映像処理モジュール30は、フレームメモリ14からの読出しを読出しクロック(READ)に従って開始する。各モジュール31〜34は、映像信号を表示パネル15に表示する表示映像信号にする信号処理を低遅延処理OFFモードと同様に行う。即ち、図5に示したように、IP変換/NR処理と、超解像処理と、スケーリング処理と、高画質化処理と、同期補正処理と、が順に行われる。
【0055】
<ステップS19>第2の所定時間経過?
コントローラ20は、図示しないタイマ等により、モジュール31〜34が信号処理を開始してからの時間を計測し、第2の所定時間(Delay値:T2)が経過する(S19:Yes)までは、倍速処理モジュール36の信号処理を開始しないように、映像処理モジュール30を制御する。言い換えれば、モジュール31〜34の信号処理を開始してから、第2の所定時間(Delay値:T2)が経過するまでは、モジュール31〜34の信号処理結果を倍速処理モジュール36に読出させない。これは、倍速処理モジュール36による処理がモジュール31〜34の処理を追い越さないようにするためである。なお、第2の所定時間(T2)は映像信号の解像度または表示映像信号の表示方法、倍速処理モジュール36が倍速処理に用いる図示しないFIFOメモリの書込み及び読出し処理等により適宜決定される。
【0056】
<ステップS20>モジュール36の信号処理開始工程
コントローラ20は、第2の所定時間(T2)が経過すると(S19:Yes)、1フレームの映像信号のフレームメモリ14への記憶処理完了及びモジュール31〜34の信号処理の完了を待たないで、倍速処理モジュール36が倍速処理を開始するように制御する。これにより、倍速処理モジュール36による倍速処理が開始される。なお、倍速処理モジュール36は、モジュール31〜34の信号処理後の信号を図示しないFIFOメモリに書込み、倍速で読出しを行うことで、倍速処理後の映像信号を得ている。
【0057】
<ステップS21、S22>表示映像信号出力
図10(C)は図10(B)に示すモジュール31〜34による処理の次に、テレビ101の倍速処理モジュール136による倍速処理が行われた場合の倍速処理後の出力を示している。倍速処理モジュール136は、倍速処理のための図示しないFIFOメモリの書込み及び読出しを制御して、モジュール31〜34によって信号処理された出力を順次記憶させる。倍速処理モジュール136は1フレーム分の信号が記憶されると、倍速に読出しを行って、倍速処理した映像信号を出力する。
【0058】
即ち、図10(C)に示すように、倍速処理モジュール136は、モジュール31〜34の信号処理終了後の次のフレーム、つまり、フレームメモリ14からの読出しから1フレーム期間経過後に、モジュール31〜34によって信号処理された信号が与えられて倍速処理して出力する。
【0059】
これに対し、本実施の形態においては、図10(D)に示すように、倍速処理モジュール36は、モジュール31〜34の信号処理の開始から第2の所定時間T2が経過すると、モジュール31〜34によって信号処理されてFIFOメモリに書込まれた信号の読出しを開始し、倍速処理を行って出力する。図10(D)は、第2の所定時間T2として、0.5フレーム期間が設定されていることを示している。
【0060】
倍速処理モジュール36の出力は、映像処理モジュール30からの表示映像信号として、表示パネル15に出力される。こうして、表示パネル15に信号処理された映像が表示される。そして、終了(S22:Yes)まで、S16からの処理が繰り返される。
【0061】
図11に示すように、本実施の形態のテレビ1では、低遅延処理OFFモードでは2フレームの33.3msの遅延時間となり、低遅延処理ONモードではモジュール31〜34による遅延時間(3.65〜8.65(0.2〜0.5フレーム))と倍速処理モジュール36による遅延時間((8.35(0.5フレーム))との和の約12ms〜17ms(約0.7〜1フレーム)の遅延時間となる。さらに、図11に示すように、入力映像信号が表示パネル(1080p)よりも小さい720p、480pの場合であっても、スケーリング処理を行っているために、遅延時間は1080pの場合と同じ12ms〜17msである。なお、図11では、遅延時間が12msの例を示している。
【0062】
即ち、テレビ1は、低遅延処理ONモードでは、倍速処理を行う場合であっても、総遅延時間は例えば12msと「追い越し現象」発生防止のために必要な第1及び第2の所定時間(T1,T2)の合計であるため、略1フレーム相当時間よりも小さい時間である。なお、倍速処理を行わなければ、遅延時間がさらに短くなるのは明らかである。
【0063】
以上の説明のように、本実施の形態のテレビ1は、低遅延処理の動作のON/OFFに関係なく、IP変換/ノイズリダクション処理及び前記表示モジュールにあわせたスケーリング処理及び映像信号の解像度をあげる高解像度化処理、倍速処理をするように映像処理モジュール30を制御するコントローラ20を具備する。
【0064】
即ち、本実施の形態のテレビ1は、低遅延処理ONモードにおいても、少なくとも、IP変換/NR処理、スケーリング処理、超解像処理及び倍速処理が可能であったが、例えば、より高能力のシステムLSIを用いることにより、より多くの複雑な処理を必要に応じて行うことも可能である。
【0065】
そして、テレビ1では、低遅延処理ONモードであっても、IP変換/NR処理、スケーリング処理、超解像処理及び倍速処理が行われているので、表示映像信号は高品質である。しかも、倍速処理後の映像信号を得るまでの遅延時間は、十分に小さい。
【0066】
以上の説明のように、本実施の形態のテレビ1は、ゲームコンテンツ等の表示のときに、表示遅延が極めて小さく、ユーザーのゲーム操作部4による操作に対して、表示映像及び出力音声が違和感を与えない映像表示装置であり、テレビ1の映像処理方法はゲームコンテンツ等の表示のときに、ユーザーに違和感を与えない映像を表示することができる。
【0067】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【0068】
1…テレビジョン受信装置、2…アンテナ、3…ゲーム機器、4…ゲーム操作部、11…チューナ、12…外部入力端子、13…前段処理モジュール、14…フレームメモリ、15…表示パネル、16…オーディオプロセッサ、17…音声遅延処理モジュール、18…スピーカ、20…コントローラ、21…操作入力部、22…映像解析モジュール、30…映像処理モジュール、31…IP変換/NRモジュール、32…超解像モジュール、33…スケーラー、34…高画質化モジュール、36…倍速処理モジュール、41…同期信号生成モジュール、42…クロック、43…同期補正モジュール、44…表示同期信号生成モジュール、101…テレビジョン受信装置、114A、114B…フレームメモリ、130…映像処理モジュール、131…IP変換/NRモジュール、132…超解像モジュール、133…スケーラー、134…高画質化モジュール、136…倍速処理モジュール
【技術分野】
【0001】
本発明の実施の形態は、映像表示装置及び映像信号の映像処理方法に関する。
【背景技術】
【0002】
ゲーム機器を接続することにより、ユーザーがゲームを楽しむことのできるテレビジョン受信装置(以下「テレビ」という。)が普及している。ユーザーは、テレビの外部入力端子にゲーム機器を接続して動作させることにより、ゲーム機器で生成された映像及び音声がテレビのディスプレイ及びスピーカから出力される。即ち、テレビをゲーム機器の外部出力装置として用いることにより、ユーザーは大きな画面でゲームを楽しむことができる。
【0003】
近年のテレビでは、画質改善のために種々の映像信号の処理が行われている。映像信号を処理するためには、フレーム単位の情報及び処理が必要であることから、所定の時間を要する。通常の放送番組等の視聴においては、例えば50ミリ秒(ms)未満の僅かな表示遅延が問題になることはない。しかし、ゲーム機器から出力された映像信号が遅延して表示されると、その表示に対するユーザーの操作が遅れることになり、ユーザーが違和感を感じたり、あるいはゲームの結果が変わったりする等の問題が生じるおそれがあった。例えば、表示画面上を高速移動する標的を撃つシューティングゲームにおいては、僅かな遅延時間でも、シューティングのタイミングがずれてしまう。
【0004】
このため、例えば、ゲームを行う場合には、入力された映像信号のデジタル演算処理を省略して、遅延時間を短縮することのできる表示装置が知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−338605号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、ゲームコンテンツ等の表示のときに、ユーザーに違和感を与えない映像表示装置及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様の映像表示装置は、入力された映像信号に対して少なくとも高画質化処理と倍速処理とを行って生成した表示映像信号を表示モジュールに出力する映像処理モジュールと、前記映像信号に対する前記表示映像信号の遅延時間が短い低遅延処理の指示を受けるコントローラと、前記映像信号を少なくとも1フレーム記憶するフレームメモリとを備え、前記映像信号処理モジュールは、前記フレームメモリに記憶された前記映像信号を信号処理して、前記表示映像信号を出力し、前記コントローラは、前記低遅延処理の指示を受けた場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリへの記憶処理を開始してから第1の所定時間経過後、前記記憶処理完了前に、前記少なくとも高画質化処理を開始するように、前記映像処理モジュールを制御すると共に、前記少なくとも高画質化処理の開始から第2の所定時間経過後、前記少なくとも高画質化処理の処理完了前に、前記倍速処理を開始するように、前記映像処理モジュールを制御する。
【図面の簡単な説明】
【0008】
【図1】実施の形態のテレビジョン受信装置の構成図である。
【図2】テレビジョン受信装置の映像信号処理を説明するための構成図であり、図2(A)は低遅延処理OFFの場合を、図2(B)は低遅延処理ONの場合を示している。
【図3】テレビ101の遅延時間を説明するためのタイムチャートである。
【図4】表示映像信号の種類による表示パネルにおける表示状態を説明するための図であり、図4(A)は1080pの表示パネルに表示された720pの映像信号の表示状態を、図4(B)は1080pの表示パネルに表示された480pの映像信号の表示状態を示している。
【図5】実施の形態のテレビジョン受信装置の信号処理を説明するための構成図である。
【図6】同期補償モジュールを説明するための、入力映像信号の同期信号と表示映像信号の同期信号との関係を示した構成図である。
【図7】実施の形態のテレビジョン受信装置の映像信号処理の流れを説明するためのフローチャートである。
【図8】実施の形態のテレビジョン受信装置における処理モード選択方法を説明するための表示画面を示す図である。
【図9】「追い越し現象」を説明するための説明図であり、図9(A)は書き込み映像を、図9(B)は読み出し映像を、図9(C)は書き込み/読み出しのときのタイムチャートを示している。
【図10】本実施の形態における信号処理を説明するためのタイムチャートである。
【図11】実施の形態のテレビジョン受信装置の遅延時間を説明するためのタイムチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は本発明の一実施形態に係る映像表示装置を示すブロック図である。
【0010】
図1に示すように、映像表示装置であるテレビジョン受信装置(テレビ)1は、チューナ11と、外部入力端子12と、前段処理モジュール13と、フレームメモリ14と、映像処理モジュール30と、操作入力部21と、コントローラ20と、オーディオプロセッサ16と、音声遅延処理モジュール17と、を具備する。なお説明の都合上、フレームメモリ14と映像処理モジュール30とを区別しているが、フレームメモリ14は映像処理モジュール30の機能の一部とみなすこともできるし、フレームメモリ14及び映像処理モジュール30等は、ひとつのシステムLSIに実装されていてもよい。
【0011】
そして、テレビ1は、アンテナ2がチューナ11と、ゲーム操作部4を有するゲーム機器3が外部入力端子12と接続され、表示モジュールである表示パネル15に映像を、音声出力モジュールであるスピーカ18に音声を出力する。
【0012】
チューナ11は、BS放送、CS放送等の衛星放送、地上波放送等の放送信号等を選局/処理して、映像信号及び音声信号を出力する。チューナ11は、ケーブルTV回線等の通信回線からの信号も受信可能である。
【0013】
外部入力端子12は、コンポジッット信号、S端子信号、色差信号、D−sub信号等の信号形態によるゲーム機器3及びハードディスクレコーダー等をはじめとする外部装置からの映像信号/音声信号を外部入力として受ける。
【0014】
前段処理モジュール13は、チューナ11及び外部入力端子12からの複数の映像信号/音声信号等を受け、いずれかの映像信号/音声信号を選択し、前段処理を行うとともに、映像信号をフレームメモリ14に、音声信号をオーディオプロセッサ16に出力する。
【0015】
映像信号はフレームメモリ14を介して、後に詳述する映像処理モジュール30で信号処理され、表示映像信号が表示パネル15に出力される。音声信号は、オーディオプロセッサ16で信号処理された後に、映像信号の遅延時間に応じて、音声信号を遅延処理する音声遅延処理モジュール17を介してスピーカ18に出力される。
【0016】
操作入力部21は、ユーザ操作に基づく操作信号を発生してコントローラ20に与える。コントローラ20は、操作入力部21からの操作信号に基づいてテレビ1の全体の制御を行うCPUである。コントローラ20は、映像処理モジュール30を、入力された映像信号に対する表示映像信号の遅延時間が短い低遅延処理の動作をオンにして動作させるか、低遅延処理の動作をオフにして動作させるかを切換えることができるようになっている。
【0017】
コントローラ20は、映像モードに応じて、低遅延処理の動作をオン,オフ制御することができる。テレビ1は、映像モードとして、例えば、おまかせ/あざやか/標準/テレビプロ/映画プロ/ゲーム/PC等のモードに応じた動作が可能である。例えば、コントローラ20は、映像モードとして、ゲーム又はPCが選択された場合に、低遅延処理の動作をオンにするようになっている。なお、コントローラ20は、映像モードが、おまかせ/あざやか/標準/テレビプロ/映画プロである場合には、低遅延処理の動作をオフにして通常処理を行うようになっている。なお、操作入力部21によって低遅延処理の動作のオン,オフを直接指定するようにしてもよく、この場合には、コントローラ20は操作入力部21からの操作信号に基づいて低遅延処理の動作をオン,オフする。
【0018】
コントローラ20は、低遅延処理ONモードの場合には、低遅延処理の動作をオンにして映像処理モジュール30を動作させる。
【0019】
ここで、テレビ1と対比するために、テレビ1とは異なる方法で遅延時間を短縮するテレビ101について説明する。テレビ101は、フレームメモリ14及び映像処理モジュール30に夫々代えてフレームメモリ114A及び映像処理モジュール130を採用する。テレビ101では、遅延時間を短縮する低遅延処理が選択されるとコントローラ20は、映像処理モジュール130による一部の信号処理を省略するように制御する。
【0020】
即ち、テレビ101は低遅延処理OFFの場合(低遅延処理OFFモード)には、図2(A)に示す映像処理モジュール130の信号処理を全て行うのに対して、低遅延処理ONの場合(低遅延処理ONモード)には、図2(B)に示すように、高画質化モジュール134による高画質化処理しか行わない。
【0021】
テレビ101の映像処理モジュール130は、IP変換/NR(ノイズリダクション)モジュール131と、スケーラー133と、フレームメモリ114Bと、高画質化モジュール134と、超解像モジュール132と、倍速処理モジュール136と、を有する。
【0022】
IP(Interlace/Progressive)変換/NR(Noise Reduction)モジュール131は、インターレース方式の映像信号をプログレッシブ方式の映像信号へ変換するIP変換処理を行うとともに、映像の、ざらつき、ちらつき、ブロッキングノイズ及び、モスキートノイズを低減するノイズリダクション処理を行う。即ち、IP変換/NRモジュール131は、IP変換処理モジュールとNRモジュールとから構成されている。なお、プログレッシブ方式の入力映像信号に対しては、IP変換処理は行われない。また、入力映像信号のノイズが少ない場合等にはノイズリダクション処理を省略してもよい。即ち、IP変換/NRモジュール131では、IP変換及びノイズリダクション処理の少なくとも一方が行われる。
【0023】
スケーラー133は、表示パネル15の仕様と異なる映像信号に対して、表示パネル15の仕様にあわせたスケーリング処理を行う。例えば、入力映像信号のアスペクト比が4:3で、表示パネルのアスペクト比が16:9の場合、スケーラー133は、入力映像信号を、アスペクト比が16:9の表示映像信号に変換する。
【0024】
フレームメモリ114Bは、後段の高画質化モジュール134での高画質化処理のために、前段のフレームメモリ114Aと同様に、映像信号をフレーム単位で記憶(格納)する。なお、フレームメモリ114Aとフレームメモリ114Bとは、それぞれが少なくとも1フレームの映像信号を記憶可能であれば、ひとつのメモリの記憶領域を使い分けて使用しても良い。
【0025】
高画質化モジュール134は、映像の画質を改善するために、例えば、色補正(ガンマ補正、ホワイトバランス調整、ブライトネス調整、コントラスト調整)、シャープネス調整、輪郭強調(エッジエンハンスメント)、及び応答速度向上等の高画質化処理を行う。
【0026】
高解像度化モジュールである超解像モジュール132は、画素と画素との間に新しい画素値データを生成し、高い周波数成分を創造し、鮮鋭化することで、映像の元の解像度を超える映像を生成する。即ち、第1解像度である低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、第2解像度である高解像度の映像信号を復元する。ここで、「本来の画素値」とは、例えば、低解像度(第1解像度)の映像信号を得たときと同じ被写体を、高解像度(第2解像度)のカメラで撮像したときに得られる映像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする映像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い映像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、映像の相関性を利用する。なお、超解像モジュール132は、公知技術、例えば、入力映像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する映像を復元する技術を用いる。
【0027】
倍速処理モジュール136は、フレーム周波数50Hzの場合は100Hzへ、60Hz場合は120Hzと、フレーム周波数を倍にあげ、残像感を低減する倍速処理を行う。倍速処理としては、動き補償予測に基づき、連続する2つのフレームの間に挿入するための補間フレームを生成する方式でもよいし、単純に同じ映像を2回表示する、いわゆる「単純二度振り方式(Simple double repeat method)」であってもよい。
【0028】
ここで、上記の各モジュールにおける信号処理に起因する遅延時間について説明する。フレームメモリ114A及びフレームメモリ114Bは、フレーム単位で映像信号を記憶してから出力するため、それぞれ1フレームの遅延時間発生の原因となる。倍速処理モジュール136も、1フレームの遅延時間発生の原因となる。なお、以下、フレーム周波数として60Hzを例に説明するが、この場合には、1フレームは、約16.7msに相当する。
【0029】
このため、図3に示すように、テレビ101では、例えば、低遅延処理OFFモードの場合には、3フレームの約50msの遅延時間が発生するが、低遅延処理ONモードの場合には、遅延時間を、2フレームの33.3msに短縮できる。
【0030】
しかし、図4に示すように、入力映像信号が、表示パネル15の仕様(1080p)よりも小さい720p、480pの場合には、画面の上下に無信号領域(黒領域)を表示する時間が発生するために、より遅延時間が長く、それぞれ38.3ms、41.3msである。なお、低遅延処理OFFモードの場合にはスケーリング処理を行っているため、入力映像信号が720pまたは480pの場合でも遅延時間は1080pの場合と同じ50msである。
【0031】
即ち、テレビ101では、高画質化モジュール134が、フレームメモリから直接、読み出した映像信号しか処理できない仕様であるため、低遅延処理モードの場合でも、高画質化処理4の直前にフレームメモリから映像信号を取り込む必要がある。その場合、フレームメモリ114Bから映像信号を読み出す構成では、映像信号はフレームメモリに2回格納されるので、遅延時間短縮効果は小さい。そのため、図2(B)に示すように、映像信号をフレームメモリ114Aから読み出すことで、テレビ101としては最小遅延時間の低遅延処理を実現している。しかし、そのためテレビ101では、低遅延処理モードの場合には、IP変換処理/NR処理及びスケーラー処理を行うことはできないため、480iまたは1080iなどのインターレース信号は処理できない。しかし、プログレッシブ信号をノンスケーリング(Dot By Dot)処理する場合には、遅延時間を短縮することができる。言い換えれば、テレビ101は、所定の制限のもと、低遅延処理モードが選択されると、遅延時間を短縮することができる。
【0032】
これに対して、本実施の形態のテレビ1は、図2に示したテレビ101と類似した処理モジュール等を有する。図5は図1の詳細な構成、特に映像処理モジュール30の具体的な構成を示すブロック図である。図5のIP変換/NRモジュール31、スケーラー33、高画質化モジュール34、超解像モジュール32及び倍速処理モジュール36は、夫々図2(A)のIP変換/NRモジュール131、スケーラー133、高画質化モジュール134、超解像モジュール132及び倍速処理モジュール136と同様の処理を行うモジュールである。
【0033】
図5に示すように、本実施の形態のテレビ1は、テレビ101と比較すると、フレームメモリ114Bに相当するメモリが省略されており、かつ映像処理モジュール30における信号処理の順序が異なっている。即ち、映像解析モジュール22がフレームメモリ14に格納された映像信号を用いて解析処理を行うことができるため、テレビ101が有していたフレームメモリ114Bが不要であり、高画質モジュール34は、フレームメモリから映像を直接、読み出す必要のある仕様ではない。このため、テレビ1は、フレームメモリ14と、IP変換/NRモジュール31と、超解像モジュール32と、スケーラー33と、高画質化モジュール34と、倍速処理モジュール36と、映像解析モジュール22と、同期信号生成モジュール41と、クロック42と、同期補正モジュール43と、表示同期信号生成モジュール44と、を有する。なお、テレビ101において既に説明したモジュールと同名のモジュールの機能は同じであるため、説明は省略する。また、映像解析モジュール22と同期信号生成モジュール41とクロック42と同期補正モジュール43と、表示同期信号生成モジュール44とは、テレビ101も有していたが、説明を省略していた。
【0034】
映像解析モジュール22は、フレームメモリ14に記憶された映像信号を解析し、コントローラ20が映像処理モジュール30の制御に用いるフレーム情報を出力する。即ち、映像解析モジュール22は、例えば輝度レベルのダイナミックレンジをn分割し、1フレーム分の映像信号に対して、各輝度レベル1〜nに対応している画素数をカウントすることにより1フレーム分の輝度のヒストグラムデータを取得したりする。また、映像解析モジュール22は、例えば映像信号の周波数分布も検出する。なお、テレビ101では映像解析モジュールは、フレームメモリ114Bに格納された映像信号を解析し、高画質化モジュール134及び超解像モジュール132に出力していた。
【0035】
図6に示すように、同期信号生成モジュール41は、入力された映像信号から同期信号を分離し生成する。クロック42は所定の周波数の信号を発生し、表示同期信号生成モジュール44はクロック42が発生した信号をもとに、表示パネル15が表示する表示映像信号の同期信号(表示同期信号)を発生する。
【0036】
同期補正モジュール43は、同期信号生成モジュール41が生成した映像信号の入力同期信号と、表示同期信号生成モジュール44が発生した表示同期信号と、を同期させる。表示装置として、フラットパネルディスプレイ(以下、FPDという)を採用した場合には、FPDにおいて表示に用いる水平及び垂直同期信号(以下、表示用同期信号という)は、入力映像信号の水平及び垂直同期信号(入力同期信号)とは非同期に発生される。FPDの表示用同期信号の周波数には許容範囲があり、入力同期信号がこの許容範囲(以下、同期補償期間という)内であれば、FPDは常に入力映像信号に基づく表示を行うことができる。
【0037】
しかし、表示用同期信号を入力同期信号に同期させない場合には、表示用同期信号の周波数と入力同期信号の周波数との差から表示用メモリがオーバーフロー又はアンダーフローする虞がある。この理由から、同期補正モジュール43は、表示同期信号を入力同期信号に同期化するようになっている。同期補正モジュール43は、所定の同期補償期間にある入力同期信号に同期した表示同期信号を生成し、表示パネル15に出力する。
【0038】
本実施の形態においては、テレビ1では、低遅延処理ON(モード)においても、低遅延処理OFF(モード)の場合と同じく、映像処理モジュール30が、図5に示した全ての信号処理を行う。ただし、低遅延処理OFFの場合には、フレームメモリ14に1フレームの映像信号が記憶処理完了後に、信号処理を開始するように、映像処理モジュール30をコントローラ20が制御する。これに対して、低遅延処理ONの場合には、フレームメモリ14への1フレームの映像信号の記憶処理完了を待たないで、記憶処理を開始してから第1の待機時間である第1の所定時間(T1)経過後に、信号処理を開始するように、映像処理モジュール30をコントローラ20が制御する。即ち、フレームメモリ14に1フレームの映像信号が記憶処理完了するには、1フレーム相当時間(約16.7ms)を要するが、低遅延処理ONの場合には、1フレーム相当時間よりも短い第1の所定時間(T1)経過後に、映像処理モジュール30の信号処理を開始するため、遅延時間を約1フレーム相当時間分だけ短くすることができる。第1の所定時間(T1)としては、例えば、3.65ms〜8.65ms(約0.2〜0.5フレーム期間)を採用することができる。
【0039】
更に、本実施の形態においては、低遅延処理ONの場合には、フレームメモリ14への1フレームの映像信号の記憶処理完了を待たないで、且つ、倍速処理モジュール36以外のモジュール31〜34の処理の完了を待つことなく、モジュール31〜34の処理の開始から第2の待機時間である第2の所定時間(T2)経過後に、倍速処理モジュール36の信号処理を開始するように、映像処理モジュール30をコントローラ20が制御する。即ち、低遅延処理ONの場合には、1フレーム相当時間よりも短い第1の所定時間(T1)経過後に、モジュール31〜34の信号処理を開始し、モジュール31〜34の信号処理の開始から第2の所定時間(T2)経過後に、倍速処理モジュール36の信号処理を開始するため、遅延時間を約1.5フレーム相当時間分だけ短くすることができる。なお、第2の所定時間(T2)としては、例えば、8.35ms(約0.5フレーム期間)を採用することができる。
【0040】
以下、図7のフローチャートを用いて、本実施の形態のテレビ1における映像処理モジュール30の処理の流れについて説明する。
【0041】
<ステップS10>処理選択工程
信号処理モードとして、映像信号に対する表示映像信号の遅延時間が短い低遅延処理の動作をON/OFFする処理選択が行われる。例えば、図8に示すようなメニュー画面を表示パネル15に表示し、ユーザーがリモコン等により、「ゲームダイレクト」の指定を「オフ」から「オン」に切り替えることにより、コントローラ20は映像モードをゲームに切換える。コントローラ20は、映像モードをゲームに切換えた場合には、低遅延処理ONモードを選択する。逆に、ユーザが「ゲームダイレクト」の指定を「オン」から「オフ」に切り替えた場合には、コントローラ20は、低遅延処理OFFモードを選択する。また、ゲーム機器3の専用の外部入力端子を有し、ゲーム機器3からの信号が入力されたときに、コントローラ20が自動的にゲームモードを設定すると共に、低遅延処理の動作をONにするようにしてもよい。
【0042】
(低遅延処理OFFモード)
<ステップS11>記憶処理開始工程
低遅延処理がONではない場合(S10:No)、即ち、低遅延処理OFFモードの場合には、フレームメモリ14に対する1フレーム分の映像信号の記憶処理が開始される。
【0043】
<ステップS12>記憶処理完了?
フレームメモリ14に、1フレームの映像信号が、記憶処理完了するまで(S12:Yes)まで、コントローラ20は、映像処理モジュール30が信号処理を開始しないように制御する。
【0044】
<ステップS13>信号処理工程
コントローラ20は、1フレームの映像信号が記憶処理完了すると(S12:Yes)、映像処理モジュール30を信号処理開始するように制御する。すると映像処理モジュール30は映像信号を、表示パネル15に表示する表示映像信号にする信号処理を行う。即ち、図5に示したように、IP変換/NR処理と、超解像処理と、スケーリング処理と、高画質化処理と、同期補正処理と、倍速処理とが順に行われる。
【0045】
なお、映像解析モジュール22の解析により、そのフレームの映像信号が極めて劣化した信号等のように表示パネル15に表示することが好ましくないことが判明した場合には、コントローラ20は、そのフレームの表示映像信号を表示パネル15に出力しない場合もある。
【0046】
<ステップS14、S15>表示映像信号出力
映像処理モジュール30は映像信号を信号処理して、表示映像信号を表示パネル15に出力する。すると表示パネル15に信号処理された映像が表示される。そして、終了(S15:Yes)まで、S11からの処理が繰り返される。
【0047】
(低遅延処理ONモード)
次に、低遅延処理ONモードにおける信号処理について図9及び図10を参照して説明する。図9は追い越し現象を説明するための説明図であり、図10は本実施の形態における信号処理を説明するためのタイミングチャートである。
【0048】
<ステップS16>記憶処理開始工程
S10において、低遅延処理ONモードが選択された場合(S10:Yes)も、S11と同様に、フレームメモリ14に対する1フレーム分の映像信号の記憶処理が開始される
<ステップS17>第1の所定時間経過?
コントローラ20は、図示しないタイマ等により、フレームメモリ14への記憶処理を開始してからの時間を計測し、第1の所定時間(Delay値:T1)が経過する(S17:Yes)までは、信号処理を開始しないように、映像処理モジュール30を制御する。言い換えれば、フレームメモリ14への記憶処理を開始してから、第1の所定時間(Delay値:T1)が経過するまでは、フレームメモリ14に記憶された映像信号の読み出し処理を開始しない。
【0049】
これは、書き込み処理と読み出し処理とが交差する、いわゆる「追い越し現象」の発生防止のためである。
【0050】
ここで、図9(A)に示すような10個のライン群(L1〜L10)に分割された書き込み映像を、図9(B)に示すように、表示映像の中央部に貼り付ける場合を例に、「追い越し現象」について説明する。図9(C)上段に示すように、10個のライン群(L1〜L10)のメモリへの書き込み(記憶)処理は時系列的に順に行われる。しかし、図9(C)下段に示すように、図9(B)の表示映像の上部および下部に相当する領域の存在により、書き込み処理開始と同時に、書き込んだばかりのライン群のデータを読み出すことはできず、読み出そうとすると1フレーム前のデータを読み出してしまったりする。この現象が「追い越し現象」である。同様にフレームメモリ14に記憶した映像信号を、記憶処理の開始と同時、または極めて短い時間の経過後に読み出そうとすると「追い越し現象」が発生し、記憶された信号を確実に読み出すことができない。
【0051】
そこで、本実施の形態においては、モジュール31〜34の信号処理の開始までに第1の所定時間を設定する。図10は図9(A)に示すような10個のライン群(L1〜L10)に分割された書き込み映像を、図9(B)に示すように、表示映像の中央部に貼り付ける場合の信号処理を示している。
【0052】
図10(A)に示すように、10個のライン群(L1〜L10)のメモリへの書き込み(記憶)処理は、書込みクロック(WRITE)に従って時系列的に順に行われる。しかし、上述した追い越し現象により、書き込み処理開始と同時又は極めて短い時間の経過後に、書き込んだばかりのライン群のデータを読み出すことはできない。
【0053】
このため、コントローラ20は、第1の所定時間(T1)が経過するまで(S17:Yes)まで、フレームメモリ14に記憶された映像信号を用いた信号処理を開始しないように映像処理モジュール30を制御している。なお、第1の所定時間(T1)は映像信号の解像度または表示映像信号の表示方法等により適宜、決定される。
【0054】
<ステップS18>モジュール31〜34の信号処理開始工程
コントローラ20は、第1の所定時間(T1)が経過すると(S17:Yes)、1フレームの映像信号のフレームメモリ14への記憶処理完了を待たないで、映像処理モジュール30中の各モジュール31〜34が信号処理を開始するように制御する。これにより、映像処理モジュール30は、フレームメモリ14からの読出しを読出しクロック(READ)に従って開始する。各モジュール31〜34は、映像信号を表示パネル15に表示する表示映像信号にする信号処理を低遅延処理OFFモードと同様に行う。即ち、図5に示したように、IP変換/NR処理と、超解像処理と、スケーリング処理と、高画質化処理と、同期補正処理と、が順に行われる。
【0055】
<ステップS19>第2の所定時間経過?
コントローラ20は、図示しないタイマ等により、モジュール31〜34が信号処理を開始してからの時間を計測し、第2の所定時間(Delay値:T2)が経過する(S19:Yes)までは、倍速処理モジュール36の信号処理を開始しないように、映像処理モジュール30を制御する。言い換えれば、モジュール31〜34の信号処理を開始してから、第2の所定時間(Delay値:T2)が経過するまでは、モジュール31〜34の信号処理結果を倍速処理モジュール36に読出させない。これは、倍速処理モジュール36による処理がモジュール31〜34の処理を追い越さないようにするためである。なお、第2の所定時間(T2)は映像信号の解像度または表示映像信号の表示方法、倍速処理モジュール36が倍速処理に用いる図示しないFIFOメモリの書込み及び読出し処理等により適宜決定される。
【0056】
<ステップS20>モジュール36の信号処理開始工程
コントローラ20は、第2の所定時間(T2)が経過すると(S19:Yes)、1フレームの映像信号のフレームメモリ14への記憶処理完了及びモジュール31〜34の信号処理の完了を待たないで、倍速処理モジュール36が倍速処理を開始するように制御する。これにより、倍速処理モジュール36による倍速処理が開始される。なお、倍速処理モジュール36は、モジュール31〜34の信号処理後の信号を図示しないFIFOメモリに書込み、倍速で読出しを行うことで、倍速処理後の映像信号を得ている。
【0057】
<ステップS21、S22>表示映像信号出力
図10(C)は図10(B)に示すモジュール31〜34による処理の次に、テレビ101の倍速処理モジュール136による倍速処理が行われた場合の倍速処理後の出力を示している。倍速処理モジュール136は、倍速処理のための図示しないFIFOメモリの書込み及び読出しを制御して、モジュール31〜34によって信号処理された出力を順次記憶させる。倍速処理モジュール136は1フレーム分の信号が記憶されると、倍速に読出しを行って、倍速処理した映像信号を出力する。
【0058】
即ち、図10(C)に示すように、倍速処理モジュール136は、モジュール31〜34の信号処理終了後の次のフレーム、つまり、フレームメモリ14からの読出しから1フレーム期間経過後に、モジュール31〜34によって信号処理された信号が与えられて倍速処理して出力する。
【0059】
これに対し、本実施の形態においては、図10(D)に示すように、倍速処理モジュール36は、モジュール31〜34の信号処理の開始から第2の所定時間T2が経過すると、モジュール31〜34によって信号処理されてFIFOメモリに書込まれた信号の読出しを開始し、倍速処理を行って出力する。図10(D)は、第2の所定時間T2として、0.5フレーム期間が設定されていることを示している。
【0060】
倍速処理モジュール36の出力は、映像処理モジュール30からの表示映像信号として、表示パネル15に出力される。こうして、表示パネル15に信号処理された映像が表示される。そして、終了(S22:Yes)まで、S16からの処理が繰り返される。
【0061】
図11に示すように、本実施の形態のテレビ1では、低遅延処理OFFモードでは2フレームの33.3msの遅延時間となり、低遅延処理ONモードではモジュール31〜34による遅延時間(3.65〜8.65(0.2〜0.5フレーム))と倍速処理モジュール36による遅延時間((8.35(0.5フレーム))との和の約12ms〜17ms(約0.7〜1フレーム)の遅延時間となる。さらに、図11に示すように、入力映像信号が表示パネル(1080p)よりも小さい720p、480pの場合であっても、スケーリング処理を行っているために、遅延時間は1080pの場合と同じ12ms〜17msである。なお、図11では、遅延時間が12msの例を示している。
【0062】
即ち、テレビ1は、低遅延処理ONモードでは、倍速処理を行う場合であっても、総遅延時間は例えば12msと「追い越し現象」発生防止のために必要な第1及び第2の所定時間(T1,T2)の合計であるため、略1フレーム相当時間よりも小さい時間である。なお、倍速処理を行わなければ、遅延時間がさらに短くなるのは明らかである。
【0063】
以上の説明のように、本実施の形態のテレビ1は、低遅延処理の動作のON/OFFに関係なく、IP変換/ノイズリダクション処理及び前記表示モジュールにあわせたスケーリング処理及び映像信号の解像度をあげる高解像度化処理、倍速処理をするように映像処理モジュール30を制御するコントローラ20を具備する。
【0064】
即ち、本実施の形態のテレビ1は、低遅延処理ONモードにおいても、少なくとも、IP変換/NR処理、スケーリング処理、超解像処理及び倍速処理が可能であったが、例えば、より高能力のシステムLSIを用いることにより、より多くの複雑な処理を必要に応じて行うことも可能である。
【0065】
そして、テレビ1では、低遅延処理ONモードであっても、IP変換/NR処理、スケーリング処理、超解像処理及び倍速処理が行われているので、表示映像信号は高品質である。しかも、倍速処理後の映像信号を得るまでの遅延時間は、十分に小さい。
【0066】
以上の説明のように、本実施の形態のテレビ1は、ゲームコンテンツ等の表示のときに、表示遅延が極めて小さく、ユーザーのゲーム操作部4による操作に対して、表示映像及び出力音声が違和感を与えない映像表示装置であり、テレビ1の映像処理方法はゲームコンテンツ等の表示のときに、ユーザーに違和感を与えない映像を表示することができる。
【0067】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【0068】
1…テレビジョン受信装置、2…アンテナ、3…ゲーム機器、4…ゲーム操作部、11…チューナ、12…外部入力端子、13…前段処理モジュール、14…フレームメモリ、15…表示パネル、16…オーディオプロセッサ、17…音声遅延処理モジュール、18…スピーカ、20…コントローラ、21…操作入力部、22…映像解析モジュール、30…映像処理モジュール、31…IP変換/NRモジュール、32…超解像モジュール、33…スケーラー、34…高画質化モジュール、36…倍速処理モジュール、41…同期信号生成モジュール、42…クロック、43…同期補正モジュール、44…表示同期信号生成モジュール、101…テレビジョン受信装置、114A、114B…フレームメモリ、130…映像処理モジュール、131…IP変換/NRモジュール、132…超解像モジュール、133…スケーラー、134…高画質化モジュール、136…倍速処理モジュール
【特許請求の範囲】
【請求項1】
入力された映像信号に対して少なくとも高画質化処理と倍速処理とを行って生成した表示映像信号を表示モジュールに出力する映像処理モジュールと、
前記映像信号に対する前記表示映像信号の遅延時間が短い低遅延処理の指示を受けるコントローラと、
前記映像信号を少なくとも1フレーム記憶するフレームメモリとを備え、
前記映像信号処理モジュールは、前記フレームメモリに記憶された前記映像信号を信号処理して、前記表示映像信号を出力し、
前記コントローラは、前記低遅延処理の指示を受けた場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリへの記憶処理を開始してから第1の所定時間経過後、前記記憶処理完了前に、前記少なくとも高画質化処理を開始するように、前記映像処理モジュールを制御すると共に、前記少なくとも高画質化処理の開始から第2の所定時間経過後、前記少なくとも高画質化処理の処理完了前に、前記倍速処理を開始するように、前記映像処理モジュールを制御することを特徴とする映像表示装置。
【請求項2】
前記コントローラは、前記低遅延処理の指示を受けた場合、前記映像処理モジュールが、前記高画質化処理の外に前記映像信号のIP変換及びノイズリダクション処理の少なくとも一方をするよう制御することを特徴とする請求項1に記載の映像表示装置。
【請求項3】
前記映像処理モジュールが、前記映像信号の解像度をあげる高解像度化モジュールを有し、前記コントローラは、前記低遅延処理の指示を受けた場合、前記高画質化処理の外に前記高解像度化モジュールによる処理をするよう制御することを特徴とする請求項1又は2に記載の映像表示装置。
【請求項4】
前記フレームメモリに記憶された1フレームの前記映像信号を解析し、前記コントローラが前記映像処理モジュールの制御に用いるフレーム情報を出力するフレーム解析ブロックを具備することを特徴とする請求項1に記載の映像表示装置。
【請求項5】
映像処理モジュールが、入力された映像信号に対して少なくとも高画質化処理と倍速処理とを行って表示モジュールに表示する表示映像信号を生成し、
コントローラが、フレームメモリへの前記映像信号の記憶を開始し、前記低遅延処理の指示を受けた場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリへの記憶処理を開始してから第1の所定時間経過後、前記記憶処理完了前に、前記少なくとも高画質化処理を開始するように、前記映像処理モジュールを制御すると共に、前記少なくとも高画質化処理の開始から第2の所定時間経過後、前記少なくとも高画質化処理の処理完了前に、前記倍速処理を開始する
ことを特徴とする映像処理方法。
【請求項6】
前記少なくとも高画質化処理として、IP変換及びノイズリダクション処理の少なくとも一方の処理を含むことを特徴とする請求項5に記載の映像処理方法。
【請求項7】
前記コントローラは、前記低遅延処理の指示を受けていない場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリに記憶処理完了後に、前記信号処理を開始するように、前記映像処理モジュールを制御することを特徴とする請求項1乃至4のいずれか1つに記載の映像表示装置。
【請求項8】
前記コントローラは、前記低遅延処理の指示を受けた場合、前記遅延時間を12m秒〜17m秒以下となるように前記映像処理モジュールを制御することを特徴とする請求項1乃至4及び7のいずれか1つに記載の映像表示装置。
【請求項1】
入力された映像信号に対して少なくとも高画質化処理と倍速処理とを行って生成した表示映像信号を表示モジュールに出力する映像処理モジュールと、
前記映像信号に対する前記表示映像信号の遅延時間が短い低遅延処理の指示を受けるコントローラと、
前記映像信号を少なくとも1フレーム記憶するフレームメモリとを備え、
前記映像信号処理モジュールは、前記フレームメモリに記憶された前記映像信号を信号処理して、前記表示映像信号を出力し、
前記コントローラは、前記低遅延処理の指示を受けた場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリへの記憶処理を開始してから第1の所定時間経過後、前記記憶処理完了前に、前記少なくとも高画質化処理を開始するように、前記映像処理モジュールを制御すると共に、前記少なくとも高画質化処理の開始から第2の所定時間経過後、前記少なくとも高画質化処理の処理完了前に、前記倍速処理を開始するように、前記映像処理モジュールを制御することを特徴とする映像表示装置。
【請求項2】
前記コントローラは、前記低遅延処理の指示を受けた場合、前記映像処理モジュールが、前記高画質化処理の外に前記映像信号のIP変換及びノイズリダクション処理の少なくとも一方をするよう制御することを特徴とする請求項1に記載の映像表示装置。
【請求項3】
前記映像処理モジュールが、前記映像信号の解像度をあげる高解像度化モジュールを有し、前記コントローラは、前記低遅延処理の指示を受けた場合、前記高画質化処理の外に前記高解像度化モジュールによる処理をするよう制御することを特徴とする請求項1又は2に記載の映像表示装置。
【請求項4】
前記フレームメモリに記憶された1フレームの前記映像信号を解析し、前記コントローラが前記映像処理モジュールの制御に用いるフレーム情報を出力するフレーム解析ブロックを具備することを特徴とする請求項1に記載の映像表示装置。
【請求項5】
映像処理モジュールが、入力された映像信号に対して少なくとも高画質化処理と倍速処理とを行って表示モジュールに表示する表示映像信号を生成し、
コントローラが、フレームメモリへの前記映像信号の記憶を開始し、前記低遅延処理の指示を受けた場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリへの記憶処理を開始してから第1の所定時間経過後、前記記憶処理完了前に、前記少なくとも高画質化処理を開始するように、前記映像処理モジュールを制御すると共に、前記少なくとも高画質化処理の開始から第2の所定時間経過後、前記少なくとも高画質化処理の処理完了前に、前記倍速処理を開始する
ことを特徴とする映像処理方法。
【請求項6】
前記少なくとも高画質化処理として、IP変換及びノイズリダクション処理の少なくとも一方の処理を含むことを特徴とする請求項5に記載の映像処理方法。
【請求項7】
前記コントローラは、前記低遅延処理の指示を受けていない場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリに記憶処理完了後に、前記信号処理を開始するように、前記映像処理モジュールを制御することを特徴とする請求項1乃至4のいずれか1つに記載の映像表示装置。
【請求項8】
前記コントローラは、前記低遅延処理の指示を受けた場合、前記遅延時間を12m秒〜17m秒以下となるように前記映像処理モジュールを制御することを特徴とする請求項1乃至4及び7のいずれか1つに記載の映像表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−48446(P2013−48446A)
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願番号】特願2012−213159(P2012−213159)
【出願日】平成24年9月26日(2012.9.26)
【分割の表示】特願2011−44372(P2011−44372)の分割
【原出願日】平成23年3月1日(2011.3.1)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願日】平成24年9月26日(2012.9.26)
【分割の表示】特願2011−44372(P2011−44372)の分割
【原出願日】平成23年3月1日(2011.3.1)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]