説明

映像信号補間装置、映像表示装置及び映像信号補間方法

【課題】ぼやけを低減した、好適な映像信号補間処理を行う映像信号補間装置、映像表示装置及び映像信号補間方法を提供する。
【解決手段】連続する二つの画像フレームから動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段で検出された動きベクトルに基づいて、前記二つの画像フレームから補間フレームを生成する補間フレーム生成手段と、前記動きベクトル検出手段で検出された動きベクトルから、所定方向への一様な動きを検出する解析手段と、前記解析手段が検出した一様な動きの方向と同じ方向から前記補間フレームにエンハンス処理を施すエンハンス手段と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、映像信号補間装置、映像表示装置及び映像信号補間方法に関する。
【背景技術】
【0002】
従来、液晶ディスプレイ等においては、映像の動きを滑らかに表現するため、フレーム補間機能が用いられている。係るフレーム補間機能は、入力されたフレーム単位の映像信号から補間フレームを生成し、入力フレームの映像信号と補間フレームの映像信号とを交互に倍速で表示させるものである。
【0003】
上記補間フレームの生成に関しては、時間的に連続する二枚の画像フレームに含まれた物体の動きを動きベクトルとして検出し、この検出した動きベクトルを用いることが知られている。また、従来、動きベクトルの発生頻度を表すヒストグラムを生成し、このヒストグラムから発生頻度が所定の範囲に含まれる動きベクトルを抽出することが行われている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−293097号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、状来の技術では、時間的に連続する二枚の画像フレーム間にパンやチルトにより生じた所定方向への一様な動きが存在する場合、この一様な動きにより生成される補間フレームに画像のぼやけが発生する可能性があった。
【0006】
本発明は、上記に鑑みてなされたものであって、ぼやけを低減した、好適な映像信号補間処理を行う映像信号補間装置、映像表示装置及び映像信号補間方法を提供することにある。
【課題を解決するための手段】
【0007】
実施の形態の映像信号補間装置は、動きベクトル検出手段と、補間フレーム生成手段と、解析手段と、エンハンス手段とを備えている。動きベクトル検出手段は、連続する二つの画像フレームから動きベクトルを検出する。補間フレーム生成手段は、動きベクトル検出手段で検出された動きベクトルに基づいて、二つの画像フレームから補間フレームを生成する。解析手段は、動きベクトル検出手段で検出された動きベクトルから、所定方向への一様な動きを検出する。エンハンス手段は、解析手段が検出した一様な動きの方向と同じ方向から前記補間フレームにエンハンス処理を施す。
【図面の簡単な説明】
【0008】
【図1】図1は、本実施形態に係る映像信号補間装置の構成を示すブロック図である。
【図2】図2は、本実施形態のベクトルヒストグラム生成部が生成するベクトルヒストグラムの一例を示す図である。
【図3】図3は、エンハンサが行うエンハンス処理の一例を説明するための図である。
【図4】図4は、エンハンサが行うエンハンス処理の他の例を説明するための図である。
【図5】図5は、本実施形態に係る映像信号補間処理の手順を示すフローチャートである。
【図6】図6は、本実施形態の映像信号補間装置を含むテレビジョン放送受信装置の構成を示すブロック図である。
【発明を実施するための形態】
【0009】
図1は、本実施形態にかかる映像信号補間装置10の構成を示すブロック図である。同図に示すように、映像信号補間装置10は、フレームメモリ部11、動きベクトル検出部12、補間フレーム生成部13、ベクトルヒストグラム生成部14、ベクトルヒストグラム解析部15及びエンハンサ16を備えている。
【0010】
フレームメモリ部11は、外部から入力される入力画像信号を画像フレーム毎に記憶する。入力画像信号のフレームレートは、例えば60フレーム/秒である。
【0011】
動きベクトル検出部12は、フレームメモリ部11を介さずに入力される画像フレームである現フレームと、フレームメモリ部11に記憶された画像フレームである前フレームとの連続する2フレームから、公知のブロックマッチング処理を用いることで動きベクトルを検出する。また、動きベクトル検出部12は、検出した動きベクトルを補間フレーム生成部13及びベクトルヒストグラム生成部14に出力する。
【0012】
補間フレーム生成部13は、動きベクトル検出部12の検出結果(動きベクトル)を用いて、現フレーム及び前フレームから補間フレームを生成し、エンハンサ16に出力する。なお、補間フレームの生成は公知の技術を用いることが可能である。
【0013】
ベクトルヒストグラム生成部14は、動きベクトル検出部12で検出された動きベクトルからヒストグラム(以下、ベクトルヒストグラムという)を生成し、ベクトルヒストグラム解析部15に出力する。ここで、ベクトルヒストグラムは、画像フレームの垂直方向及び水平方向の各々について、同じ動きベクトル毎にそれぞれの発生頻度(ベクトル度数)を算出したものである。
【0014】
ここで、図2は、垂直方向の動きベクトルから生成されたベクトルヒストグラムの一例を示す図である。同図において、横軸は動きベクトルの垂直方向についてのベクトル量を表しており、位置“0“(垂直ゼロベクトル)が動きのない状態に対応する。また、縦軸は、同一のベクトル量を有した動きベクトルの数(ベクトル度数)を表している。なお、図2では、垂直方向の動きベクトルについてベクトルヒストグラムを例示したが、水平方向の動きベクトルについても同様にベクトルヒストグラムが生成される。
【0015】
図1に戻り、ベクトルヒストグラム解析部15は、ベクトルヒストグラム生成部14が生成したベクトルヒストグラムを解析することで、垂直方向及び/又は水平方向に一様な動きが生じているか否かの判定(以下、動き判定という)を行う。ここで、一様な動きとは、ベクトル度数の分布が特定のベクトル量に集中していることを意味し、入力画像信号の撮影時におけるパンやチルトにより生じるものである。
【0016】
例えば、図2に示したベクトルヒストグラムの場合、ベクトルヒストグラム解析部15は、このベクトルヒストグラムから、垂直ベクトルの位置Bにベクトル度数が集中していることを検出する。この場合、ベクトルヒストグラム解析部15は、位置Bに対応するベクトル量の動きがフレーム内の全域にわたって一様に発生していると判定する。
【0017】
なお、予め定めた閾値を用いることで、上述した動き判定の対象とするベクトル度数の下限値や、ベクトル量の範囲を特定する形態としてもよい。例えば、図2に示したベクトルヒストグラムの場合、ベクトル度数が第1閾値以上の垂直ベクトルについてのみ、動き判定の対象とする形態としてもよい。また、垂直ゼロベクトル近傍に所定の閾値範囲(第2閾値)を設定した場合、この第2閾値内に含まれるベクトル量の動きベクトルについては、動き判定の対象から除外する形態としてもよい。
【0018】
また、ベクトルヒストグラム解析部15は、上述した動き判定により水平方向、垂直方向への一様な動きを確認すると、その動きの大きさに応じた強度の後述するエンハンス処理を、その動きの方向と同じ方向から施すことを指示した制御信号を生成し、エンハンサ16に出力する。ここで、“動きの大きさ”とは、一様な動きを確認したベクトル量の絶対値である。また、動きの大きさが増加するほど、エンハンス処理の強度を上げることが好ましい。
【0019】
例えば、垂直方向への一様な動きを検出した場合、ベクトルヒストグラム解析部15は、その動きの大きさに応じた強度のエンハンス処理をフレームの垂直方向に施すことを指示した制御信号を、エンハンサ16に出力する。また、水平方向への一様な動きを検出した場合、ベクトルヒストグラム解析部15は、その動きの大きさに応じた強度のエンハンス処理をフレームの水平方向に施すことを指示した制御信号を、エンハンサ16に出力する。また、斜め方向への一様な動きを検出した場合、ベクトルヒストグラム解析部15は、その動きの大きさに応じた強度のエンハンス処理をフレームの水平方向と垂直方向両方に施すことを示した制御信号を、エンハンサ16に出力する。なお、垂直方向及び水平方向の何れにも一様な動きが確認できなかった場合、ベクトルヒストグラム解析部15は、通常強度のエンハンス処理を施すことを指示した制御信号をエンハンサ16に出力する。
【0020】
エンハンサ16は、ベクトルヒストグラム解析部15から出力される制御信号に従い、補間フレーム生成部13から入力された補間フレームを強調するエンハンス処理を施し、フレームメモリ部11に格納する。
【0021】
具体的に、エンハンサ16は、ベクトルヒストグラム解析部15から、所定の強度のエンハンス処理をフレームの水平方向に施すことを指示する制御信号を受け付けた場合、補間フレームの水平方向から指示された強度のエンハンス処理を施す。また、ベクトルヒストグラム解析部15から、所定の強度のエンハンス処理をフレームの垂直方向に施すことを指示する制御信号を受け付けた場合、補間フレームの垂直方向から指示された強度のエンハンス処理を施す。以下、図3及び図4を参照して、エンハンサ16のエンハンス処理について説明する。
【0022】
図3は、エンハンサ16が行うエンハンス処理の一例を説明するための図である。また、図4は、エンハンサ16が行うエンハンス処理の他の例を説明するための図である。図3及び図4において、縦軸は信号レベルを、横軸は画素位置の座標軸を示している。また、図中P1で示す波形はエンハンス処理前のある座標におけるエッジ付近の補間フレームの輝度の信号レベルを示しており、図中P2で示す波形はエンハンス処理後のある座標におけるエッジ付近の補間フレームの輝度信号レベルを示している。
【0023】
図3に示したように、エンハンサ16では、エンハンス処理を施すことにより、補間フレームに含まれる信号レベルのエッジにシュート成分SHを付加して、そのエッジを急峻にすることで、映像の鮮鋭感を向上させる。ここで、ベクトルヒストグラム解析部15からの制御信号で指示されるエンハンス処理を施す方向(垂直方向又は水平方向)は、信号レベルのエッジの検出を行う方向に対応する。また、ベクトルヒストグラム解析部15からの制御信号で指示される強度は、急峻化する際の立ち上げ角度に対応する。
【0024】
なお、図3では、シュート成分SHの付加によりエッジを急峻化するエンハンス処理の例を示したが、これに限らず、図4に示すように、エッジの付加を行わずに急峻化するトランジェントインプルーバ処理を、エンハンス処理として施す形態としてもよい。
【0025】
図1に戻り、フレームメモリ部11は、格納された画像フレーム(前フレーム)の映像信号と、補間フレームの映像信号とを交互に且つ倍速で出力することで、画像フレーム間に補間フレームを挿入した出力画像信号を出力する。なお、出力画像信号のフレームレートは、例えば120フレーム/秒である。
【0026】
なお、上述した動きベクトル検出部12、ベクトルヒストグラム生成部14、ベクトルヒストグラム解析部15、補間フレーム生成部13及びエンハンサ16は、各々がマイクロコントローラ等の専用チップで構成する形態としてもよいし、各部の機能を統合した1チップで構成する形態としてもよい。あるいはCPU(図示されず)と所定のプログラムとの協働により実現されるソフトウエアとして構成する形態としてもよい。
【0027】
次に、図5を参照して、映像信号補間装置10の動作について説明する。ここで、図5は、映像信号補間装置10の各部が行う映像信号補間処理の手順を示すフローチャートである。
【0028】
まず、図示しない外部装置から入力画像信号が映像信号補間装置10に入力されると、動きベクトル検出部12は、この入力画像信号の現フレームと、フレームメモリ部11に格納された前フレームとから、一フレーム(画面)分の動きベクトルを検出する(ステップS11)。
【0029】
補間フレーム生成部13は、動きベクトル検出部12で検出された動きベクトルに基づき補間フレームを生成する(ステップS12)。一方、ベクトルヒストグラム生成部14は、動きベクトル検出部12で検出された動きベクトルに基づき、垂直方向及び水平方向についてのベクトルヒストグラムをそれぞれ生成する(ステップS13)。
【0030】
続いて、ベクトルヒストグラム解析部15は、ステップS13で生成されたベクトルヒストグラムを解析し(ステップS14)、垂直方向に一様な動きが生じているか否かを判定する(ステップS15)。ここで、垂直方向に一様な動きが生じていると判定した場合(ステップS15;Yes)、ベクトルヒストグラム解析部15は、さらに、水平方向にも一様な動きが生じているか否かを判定する(ステップS16)。
【0031】
ステップS16において、水平方向にも一様な動きが生じていると判定した場合、即ち斜め方向への一様な動きを検出した場合(ステップS16;Yes)、ベクトルヒストグラム解析部15は、その垂直方向の動きの大きさに応じた強度のエンハンス処理を垂直方向から施すとともに、水平方向の動きの大きさに応じた強度のエンハンス処理を水平方向から施すことを指示した制御信号をエンハンサ16に出力する(ステップS17)。
【0032】
また、ステップS16において、水平方向への一様な動きが確認できない場合(ステップS16;No)、ベクトルヒストグラム解析部15は、垂直方向の動きの大きさに応じた強度のエンハンス処理を垂直方向から施すことを指示した制御信号をエンハンサ16に出力する(ステップS18)。
【0033】
一方、ステップS15において、垂直方向への一様な動きが確認できない場合(ステップS15;No)、ベクトルヒストグラム解析部15は、水平方向に一様な動きが生じているか否かを判定する(ステップS19)。ここで、水平方向に一様な動きが生じていると判定した場合(ステップS19;Yes)、ベクトルヒストグラム解析部15は、この水平方向の動きの大きさに応じた強度のエンハンス処理を水平方向から施すことを指示した制御信号をエンハンサ16に出力する(ステップS20)。
【0034】
また、ステップS19において、水平方向への一様な動きが確認できない場合(ステップS19;No)、ベクトルヒストグラム解析部15は、通常強度のエンハンス処理を施すことを指示した制御信号をエンハンサ16に出力する(ステップS21)。なお、ここで通常強度のエンハンス処理とは、エンハンサ16が通常動作時に行う予め定められた強度のエンハンス処理であって、強度を変化させる際の基準となるものである。
【0035】
続いて、エンハンサ16は、ベクトルヒストグラム解析部15から出力された制御信号に従い、補間フレーム生成部13から入力された補間フレームの高周波成分にエンハンス処理を施し、フレームメモリ部11に格納する(ステップS22)。
【0036】
そして、フレームメモリ部11は、画像フレーム(前フレーム)の映像信号と、補間フレームの映像信号とを交互に且つ倍速で読み出すことで、画像フレーム間に補間フレームを挿入した出力画像信号を出力し(ステップS23)、本処理を終了する。
【0037】
このように、上述した構成の映像信号補間装置10によれば、ベクトルヒストグラム解析部15が、ベクトルヒストグラムから垂直方向/水平方向についての一様な動きを検出した場合、エンハンサ16は、この一様な動きの大きさに応じた強度のエンハンス処理を、この一様な動きの発生方向と同じ方向から施す。これにより、パンやチルト等により発生した画像(映像)のぼやけを効率的に改善(低減)することができるため、より高品位な補間フレームの生成が可能となる。
【0038】
なお、上記では、フレーム単位でエンハンス処理を施す強度及び方向を制御したが、これに限らず、フレームを構成するブロック単位又は画素単位でエンハンス処理を施す強度及び方向を制御する形態としてもよい。以下、この形態について説明する。
【0039】
まず、動きベクトル検出部12では、フレームメモリ部11を介さずに入力される画像フレームである現フレームと、フレームメモリ部11に記憶された画像フレームである前フレームとの連続する2フレームから、当該フレームを構成するブロック単位又は画素単位で動きベクトルを検出する。また、ベクトルヒストグラム生成部14では、動きベクトル検出部12が検出したブロック単位又は画素単位で動きベクトルから、フレームの垂直方向及び水平方向についてのベクトルヒストグラムをそれぞれ生成する。
【0040】
続く、ベクトルヒストグラム解析部15では、ベクトルヒストグラム生成部14で生成されたベクトルヒストグラムを解析することで動き判定を行う。このとき、ベクトルヒストグラム解析部15は、垂直方向及び水平方向の各々について、一様な動きと判定したベクトル度数の動きベクトルを持つブロック又は画素をエンハンス処理の単位とした制御信号をエンハンサ16に送信する。なお、制御信号は、上記と同様、一様な動きの大きさに応じた強度のエンハンス処理をその動きの方向と同じ方向から施すことを指示するものである。
【0041】
エンハンサ16は、ベクトルヒストグラム解析部15からの制御信号に従い、補間フレーム生成部13で生成された補間フレームのエンハンス処理を、当該補間フレームを構成するブロック単位又は画素単位で実施する。
【0042】
これにより、一様な動きを検出したブロック又は画素の単位で、その動き大きさに応じた強度のエンハンス処理を、一様な動きの発生方向と同じ方向から施すことができるため、上述した実施形態と同様の効果を奏することが可能となる。
【0043】
次に、図6を参照して、上述した映像信号補間装置10を、画像表示装置に適用した例を説明する。なお、以下では画像表示装置としてテレビジョン信号の受信と表示を行うテレビジョン受信装置に適用した例を説明するが、これに限らず、HDD(Hard Disk Drive)やDVD(Digital Versatile Disc)等の大容量記憶媒体への録画や、録画されたデータの再生を行う録画・再生装置、チューナやセットトップボックス等としてもよい。
【0044】
図6は、本実施形態にかかる映像信号補間装置10を含むテレビジョン放送受信装置100の構成を示すブロック図である。ここで、映像信号補間装置10は、テレビジョン放送受信装置100の信号処理部25内に設けられている。
【0045】
テレビジョン放送受信装置100において、デジタルテレビジョン放送受信用のアンテナ21で受信したデジタルテレビジョン放送信号は、入力端子22を介してチューナ部23に供給される。このチューナ部23は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局して復調し、信号処理部25に出力する。
【0046】
信号処理部25は、映像信号補間装置10を有し、チューナ部23から入力された信号から映像信号・音声信号等を分離する。ここで、分離された映像信号は入力画像信号として映像信号補間装置10に入力される。そして、映像信号補間装置10の各部は、上述した映像信号補間処理を実行することで補間フレームを挿入した出力画像信号を表示器26に出力する。これにより、出力画像信号が表示器26に表示される。
【0047】
表示器26としては、例えば液晶ディプレイやプラズマディスプレイ等のフラットパネルディスプレイが採用される。また、信号処理部25は、分離した音声信号に所定の信号処理を施し、アナログ化してスピーカ27に出力することにより、音声再生を行っている。
【0048】
ここで、テレビジョン放送受信装置100では、上述した各種の受信動作を含む種々の動作が制御部28によって統括的に制御されている。制御部28は、CPU等を内蔵したマイクロプロセッサであり、操作キーなどの操作部29からの操作情報、又はリモートコントローラ40から送信された操作情報を、受光部30を介して受けることにより、その操作内容が反映されるように各部を制御している。この場合、制御部28は、メモリ31を使用している。メモリ31は、主として、CPUが実行する制御プログラムを格納したROMと、CPUに作業エリアを提供するためのRAMと、各種設定情報及び制御情報等が格納される不揮発性メモリとを備えている。
【0049】
以上、図1〜図6を用いて本実施形態を説明したが、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。
【0050】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【0051】
例えば、上記実施形態では、画像フレームの垂直方向及び水平方向を基準に、ベクトルヒストグラムを生成し動き判定を行うこととしたが、これに限らず、他の方向を基準としてベクトルヒストグラムの生成、動き判定を行う形態としてもよい。
【符号の説明】
【0052】
10 映像信号補間装置
11 フレームメモリ部
12 動きベクトル検出部
13 補間フレーム生成部
14 ベクトルヒストグラム生成部
15 ベクトルヒストグラム解析部
16 エンハンサ
21 アンテナ
22 入力端子
23 チューナ部
25 信号処理部
26 表示器
27 スピーカ
28 制御部
29 操作部
30 受光部
31 メモリ
40 リモートコントローラ
100 テレビジョン放送受信装置

【特許請求の範囲】
【請求項1】
連続する二つの画像フレームから動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段で検出された動きベクトルに基づいて、前記二つの画像フレームから補間フレームを生成する補間フレーム生成手段と、
前記動きベクトル検出手段で検出された動きベクトルから、所定方向への一様な動きを検出する解析手段と、
前記解析手段が検出した一様な動きの方向と同じ方向から前記補間フレームにエンハンス処理を施すエンハンス手段と、
を備えたことを特徴とする映像信号補間装置。
【請求項2】
前記エンハンス手段は、前記解析手段が検出した一様な動きの大きさに応じた強度で、前記エンハンス処理を施すことを特徴とする請求項1に記載の映像信号補間装置。
【請求項3】
前記解析手段は、前記画像フレームを構成するブロック単位又は画素単位で所定方向への一様な動きを検出し、
前記エンハンス手段は、前記ブロック単位又は画素単位で前記補間フレームにエンハンス処理を施すことを特徴とする請求項1又は2に記載の映像信号補間装置。
【請求項4】
前記動きベクトル検出手段で検出された動きベクトルのヒストグラムを生成するヒストグラム生成手段を更に備え、
前記解析手段は、前記ヒストグラム生成手段で生成されたヒストグラムを解析し、所定方向への一様な動きを検出することを特徴とする請求項1〜3の何れか一項に記載の映像信号補間装置。
【請求項5】
前記ヒストグラム生成手段は、前記画像フレームの垂直方向及び水平方向の二成分について前記ヒストグラムを生成し、
前記解析手段は、前記垂直方向及び水平方向についてのヒストグラムから、垂直方向及び/又は水平方向への一様な動きベクトルを検出することを特徴とする請求項4に記載の映像信号補間装置。
【請求項6】
映像信号の表示を行う映像表示装置であって、
前記映像信号の連続する二つの画像フレームから動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段で検出された動きベクトルに基づいて、前記二つの画像フレームから補間フレームを生成する補間フレーム生成手段と、
前記動きベクトル検出手段で検出された動きベクトルから、所定方向への一様な動きを検出する解析手段と、
前記解析手段が検出した一様な動きの方向と同じ方向から前記補間フレームにエンハンス処理を施すエンハンス手段と、
前記エンハンス処理が施された補間フレームを前記二つの画像フレーム間に挿入した映像信号を表示する表示手段と、
を備えたことを特徴とする映像表示装置。
【請求項7】
アンテナにより受信された放送信号から所望のチャンネルの放送信号を選局して出力するチューナ手段を更に備え、
前記動きベクトル検出手段は、前記放送信号に含まれる映像信号の連続する二つの画像フレーム毎に、前記動きベクトルを検出することを特徴とする請求項6に記載の映像表示装置。
【請求項8】
動きベクトル検出手段が、連続する二つの画像フレームから動きベクトルを検出する動きベクトル検出工程と、
補間フレーム生成手段が、前記動きベクトル検出工程で検出された動きベクトルに基づいて、前記二つの画像フレームから補間フレームを生成する補間フレーム生成工程と、
解析手段が、前記動きベクトル検出工程で検出された動きベクトルから、所定方向への一様な動きを検出する解析工程と、
エンハンス手段が、前記解析工程で検出された一様な動きの方向と同じ方向から前記補間フレームにエンハンス処理を施すエンハンス工程と、
を含む映像信号補間方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−15753(P2012−15753A)
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願番号】特願2010−149869(P2010−149869)
【出願日】平成22年6月30日(2010.6.30)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】