映像信号処理装置および映像信号処理方法
【課題】入力映像をフレーム速度変換によってテレビ映像に変換する際に、ジャダーや補間画像を挿入することによる副作用が目立ちにくい補間画像を生成可能な映像信号処理装置および映像信号処理方法を提供する。
【解決手段】動きベクトル検出部１０２はフレームメモリ１０１の前後のフレーム画像を用いて、入力映像の動きベクトルを検出する。ベクトル信頼度算出部１０４で算出された動きベクトルの信頼度に応じて直前フレームの原画像と動きベクトルから予測される予測画像との合成比率を制御して補間画像を生成する時、上限下限リミッタ１０５でベクトル信頼度の算出結果に上限値、下限値を設定する。フォールバック量算出部１０６は、上限および下限を制限されたベクトル信頼度に基づいてフォールバック量を算出することで、極度のジャダーおよび予測副作用を軽減して、より動きが滑らかで副作用の目立たないフレーム速度変換映像を得る。
【解決手段】動きベクトル検出部１０２はフレームメモリ１０１の前後のフレーム画像を用いて、入力映像の動きベクトルを検出する。ベクトル信頼度算出部１０４で算出された動きベクトルの信頼度に応じて直前フレームの原画像と動きベクトルから予測される予測画像との合成比率を制御して補間画像を生成する時、上限下限リミッタ１０５でベクトル信頼度の算出結果に上限値、下限値を設定する。フォールバック量算出部１０６は、上限および下限を制限されたベクトル信頼度に基づいてフォールバック量を算出することで、極度のジャダーおよび予測副作用を軽減して、より動きが滑らかで副作用の目立たないフレーム速度変換映像を得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像をフレーム速度変換によってテレビ映像に変換する際に必要となる補間画像を生成する映像信号処理装置および映像信号処理方法に関する。
【背景技術】
【０００２】
フィルム映像（映画コンテンツ）をテレビ受信機で再生する場合には、両者のフレーム速度の違いを変換するために一般的にプルダウン手法が用いられる。たとえば２４Ｈｚのフィルム映像をＮＴＳＣ方式などのフィールド周波数６０Ｈｚに変換する場合に２−３プルダウンが用いられるのはよく知られている。２−３プルダウンとは、フィルム映像の奇数コマを２回、偶数コマを３回繰り返して使用して、結果的に２４コマを６０コマに変換する手法である。あるいは２５Ｈｚのフィルム映像をＰＡＬ方式、ＳＥＣＡＭ方式などのフィールド周波数５０Ｈｚに変換する場合には２−２プルダウンを用いることになる。２５Ｈｚ映像を５０Ｈｚ映像に変換する場合については、ちょうど２倍の周波数に変換することになり、説明が簡単になるので、特に断らない限り、２５Ｈｚのフィルム映像を５０Ｈｚのテレビ映像に変換する場合について述べる。
【０００３】
図１０は従来の２−２プルダウンにおける補間画像の説明図であり、２−２プルダウンによるフレーム速度変換の様子を模式的に示したイメージ図である。横軸は経過時間、縦軸は映像中の特定の点の位置を示す。映像が直線的に一定速度で移動しているとすると、元のフィルム映像の映像は図中の黒丸で示すように１／２５秒（４０ｍｓｅｃ）ごとに直線的に移動する（図１０では上昇する）。この原画像を１／５０秒（２０ｍｓｅｃ）ごとのフレーム数（インターレース表示であればフィールド数と表現されるが、デジタル放送ではプログレッシブ表示も行われるので、以下フレームと表現する）に合わせるために、元の映像の時間軸中点に原画像を繰り返して挿入して補間する。補間した画像は図中、白丸で示す。
【０００４】
このように２−２プルダウンでは、元のフィルム映像の同じコマを２枚ずつ繰り返して出力するため、人間の目で動きを追いかける際に、動きの滑らかさにおいて不自然さが出てしまう（ジャダーと呼ばれる）。この現象は２−３プルダウンではさらに顕著に現れることが知られている。
【０００５】
この問題を解決するために、放送局から送られてきた映像信号は２−２プルダウン処理された５０Ｈｚ映像であっても、テレビ受信機側で新たな補間画像を生成して滑らかな動きを実現する手法が取り入れられている。元のフィルム映像より動きベクトルを検出し、その動きベクトルに基づいて補間画像を生成する方式である。図１１は従来の動きベクトルによる補間画像の説明図である。図１１に示すように、フィルム映像である黒丸の情報に基づいて、図中の上向き方向の動きベクトルを算出し、１／５０秒後の補間画像はその半分の動きを予想して補間するものである。
【０００６】
しかしながら動きベクトルはあくまでも算出値であって、画面全体が均一な動きをするとは限らず、また予想とは異なった動きに変わる場合も当然発生する。そのような場合には動きベクトルの誤検出が起こり、間違った補間画像が生成されて補間後の映像が破綻することもある。すなわち、補間画像を挿入することにより、ジャダーは改善されるが、破綻などの副作用が生じて返って画質を悪化させる場合がある。
【０００７】
そこで、動きベクトルの誤検出による上記副作用を軽減するために、例えば特許文献１では、動きベクトルの信頼度に基づいてフォールバック制御を行わせている。フォールバック制御とは、動きベクトルの信頼度に応じて、直前フレームの原画像と生成した予測画像の合成割合を適応的に可変することであり、動きベクトルの信頼度が低い場合は原画像に近い補間画像を生成し、動きベクトルの信頼度が高い場合は動きベクトルから予測した予測画像に近い補間画像を生成する制御である。このフォールバック制御により、ジャダーの低減と動きベクトルの誤検出による破綻などの副作用の低減を行っている。
【０００８】
この様子を図１２に示す。図１２は従来のフォールバック制御の説明図である。動きベクトルの信頼度が高い場合は、フォールバック量を最小として（フォールバック量をゼロとして）動きベクトルから予測される白丸（ａ）を補間画像とする。一方、動きベクトルの信頼度が低い場合は、フォールバック量を最大とし（動きベクトル使用をゼロとして）直前の原画像を繰り返し使用する白丸（ｂ）を補間画像とする。すなわち、フォールバック量とは補間画像を生成する場合の、動きベクトルの使用量と考えることができる。
【０００９】
動きベクトルの信頼度は上記の最大と最小の場合の間に連続的に存在するので、その程度に応じてフォールバック量を調節することにする。図１２で言えば、白丸（ａ）と白丸（ｂ）の間の適当な位置に補間画像が設定される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】国際公開第２００８／１０２８２６号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
前述のように、特許文献１による方法を用いれば、動きベクトルの信頼度に応じて、原画像と生成した予測画像の合成割合を適応的に可変することにより、ジャダーの低減と動きベクトルの誤検出による破綻などの副作用の低減を両立することができる。しかしながら図１２で示したように、フォールバック量が最小の場合は補間画像として予測画像そのものを用いるので、ハローと呼ばれる新たな副作用が発生する場合がある。ここで、ハローとは、動きベクトルを用いてフレーム速度変換を行う際に、動きのある人物などの映像の輪郭に陽炎のようにノイズが見える現象である。またフォールバック量が最大の場合には補間画像として原画像をそのまま用いるので、この場合も元の映像で発生していたジャダーが顕著に発生する。
【００１２】
本発明はこのような課題を解決するためになされたものであり、入力映像をフレーム速度変換によってテレビ映像に変換する際に、ジャダーや補間画像を挿入することによる副作用が目立ちにくい補間画像を生成可能な映像信号処理装置および映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の映像信号処理装置は、入力映像に補間画像を挿入して入力映像以上のフレーム速度の出力映像を出力する映像信号処理装置であって、入力映像を蓄積するフレームメモリと、入力映像とフレームメモリの出力を用いて画像の動きベクトルを検出する動きベクトル検出部と、動きベクトルの信頼度を算出するベクトル信頼度算出部と、ベクトル信頼度算出部の算出結果の範囲を制限し、制限後の算出結果に基づいて動きベクトル使用量を低減するためのフォールバック量を算出するフォールバック量算出部と、フォールバック量算出部で得られたフォールバック量と動きベクトル検出部で得られた動きベクトルとに基づいて補間画像を生成するとともに入力映像信号に補間画像を挿入して出力映像を得る補間画像生成挿入部と、を備えることを特徴とする。
【００１４】
これにより、フィルム映像をフレーム速度変換によってテレビ映像に変換する際に、ジャダーや補間画像を挿入することによる副作用（ハローや破綻など）が目立ちにくい補間画像を生成することができる。
【００１５】
また本発明の映像信号処理装置では、補間画像を挿入することによる出力映像への副作用を検出する副作用検出部をさらに備え、フォールバック量算出部において設定されるフォールバック量を、副作用検出部による副作用検出結果に応じて調節してもよい。
【００１６】
これにより、補間画像を挿入することによる副作用（ハローや破綻など）の影響を事前に把握できるので、フォールバック量を適切に調整することができる。
【００１７】
また本発明の映像信号処理装置では、フォールバック量算出部におけるフォールバック量算出は、副作用検出結果が副作用大と判定する程度に応じてフォールバック量を増加させるように調整してもよい。
【００１８】
これにより、補間画像を挿入することによる副作用が大きいと判定される映像に対しては、フォールバック量が大きく設定されるので、副作用を効果的に軽減した補間画像を生成することができる。また本発明の映像信号処理装置では、副作用検出部における副作用の検出は、少なくとも動きベクトルの大きさ、原画像中の移動物の輝度、およびベクトル信頼度のいずれか、あるいはそれらの組合せに基づいて行ってもよい。
【００１９】
これにより、補間画像を挿入したことによる副作用の大きさを的確に判定することができる。
【００２０】
本発明の映像信号処理方法は、入力映像に補間画像を挿入して入力映像以上のフレーム速度の出力映像を出力する映像信号処理方法であって、画像の動きベクトルを検出する動きベクトル検出ステップと、動きベクトルの信頼度を算出するベクトル信頼度算出ステップと、ベクトル信頼度算出ステップでの算出結果の範囲を制限し、制限後の算出結果に基づいて動きベクトルの使用量を低減するためのフォールバック量を算出するフォールバック量算出ステップと、フォールバック量算出ステップで得られたフォールバック量と動きベクトル検出ステップで得られた動きベクトルとに基づいて補間画像を生成するとともに入力映像に補間画像を挿入して出力映像を得る補間画像生成ステップと、を備えることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、入力映像をフレーム速度変換によってテレビ映像に変換する際に、ジャダーや補間画像を挿入することによる副作用が目立ちにくい補間画像を生成可能な映像信号処理装置および映像信号処理方法を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態１における映像信号処理装置の構成例を示すブロック図である。
【図２】本発明の実施の形態１における映像信号処理装置の上限下限リミッタの機能説明図である。
【図３】本発明の実施の形態１における映像信号処理装置のフォールバック量制御の説明図である。
【図４】本発明の実施の形態１における映像信号処理装置のベクトル信頼度と補間画像の関係を示す説明図である。
【図５】本発明の実施の形態１における映像信号処理装置のベクトル信頼度と補間画像の関係を示す他の説明図である。
【図６】本発明の実施の形態１における映像信号処理装置の表示画面例を模式的に示すイメージ図である。
【図７】本発明の実施の形態２における映像信号処理装置の構成例を示すブロック図である。
【図８】本発明の実施の形態２における映像信号処理装置のフォールバック量制御の説明図である。
【図９】本発明の実施の形態２における映像信号処理装置の副作用検出方法の説明図である。
【図１０】従来の２−２プルダウンにおける補間画像の説明図である。
【図１１】従来の動きベクトルによる補間画像の説明図である。
【図１２】従来のフォールバック制御の説明図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態における映像信号処理装置について、図面を参照しながら説明する。
【００２４】
（実施の形態１）
図１は本発明の実施の形態１における映像信号処理装置１００の構成例を示すブロック図である。映像信号処理装置１００は、フレームメモリ１０１、動きベクトル検出部１０２、補間画像生成挿入部１０３、ベクトル信頼度算出部１０４、上限下限リミッタ１０５、フォールバック量算出部１０６を備えている。
【００２５】
なお、入力映像にはフィルム映像をプルダウン処理した放送受信映像、すなわち図１０の映像が供給されるが、図中の白丸の位置には、映像信号処理装置１００で望ましい補間画像を置き換えて挿入するので、黒丸の原画像のみが意味のある入力である。
【００２６】
フレームメモリ１０１は入力映像を１フレーム遅延させる遅延手段として機能する。動きベクトル検出部１０２は、入力映像および、入力映像を１フレーム遅らせた映像を与え、この２つの映像の差成分より動きベクトルを検出する。実際には、１フレームの画像を複数の小さな画像領域（ブロック）に分割し、各ブロック毎に動きベクトルを検出している。ベクトル信頼度算出部１０４は、動きベクトル検出部１０２で得られたベクトルの信頼度を推定する。上限下限リミッタ１０５は、ベクトル信頼度算出部１０４で得られたベクトル信頼度算出値の上限と下限を設定してその範囲を制限する。フォールバック量算出部１０６は、上限下限リミッタ１０５を経由して得られた制限後のベクトル信頼度に応じてフォールバック量を設定する。補間画像生成挿入部１０３は、動きベクトル、フォールバック量、および入力映像を用いて補間画像を生成するとともに、その補間画像を入力映像の２枚の連続する原画像のフレーム間に挿入する。
【００２７】
ベクトル信頼度算出部１０４における信頼度算出の具体的な方法例としては、対象とする画像領域の動きベクトルが、その周囲の画像領域の動きベクトルと同等かどうかで算出する方法がある。すなわち、周囲の画像領域の動きベクトルと同等の場合には信頼度を高いとし、逆に周囲の画像領域の動きベクトルと大きく異なっている場合には、確率的には誤検出の可能性が高いので信頼度は低いとする。信頼度算出の他の具体例としては、対象とする画像と１フレーム後の画像との輝度分布ヒストグラムが同等かどうかで算出する方法がある。すなわち、１フレーム後の画像と輝度分布ヒストグラムが似ていれば、対象領域の画像全体が多少移動した程度と類推できるので、ベクトル信頼度は高いとする。逆に輝度分布ヒストグラムが異なっていればベクトル信頼度は低いとする。また、これら２つの方法を単独で使うのではなく、組合せて使用してもよい。これにより、信頼度算出精度をより高めることができる。
【００２８】
上限下限リミッタ１０５は、ベクトル信頼度算出結果を入力し、あらかじめ設定した上限値αと下限値βを超えないように機能する。たとえばベクトル信頼度算出結果が０〜１．０の範囲で変化する場合、α〜１．０の入力はαに固定し、０〜βの入力はβに固定する。この様子を図２に示す。図２は本発明の実施の形態１における映像信号処理装置の上限下限リミッタの機能説明図である。
【００２９】
ここで上限値αの決め方について以下に述べる。まず動きベクトルの検出が比較的容易な映像（例えば、文字などが一定方向にスクロールするような映像など）を数種類準備する。上記映像は、動きベクトルの信頼度が高いため、ジャダーが少ない滑らかな補間画像となるが、全ての映像で補間の副作用（ハロー）が目立たないように上限値を設定し、その時のジャダーを確認する。副作用もジャダーも目立たないように上限値を調整し、それを固定値とする。
【００３０】
次に下限値βの決め方について以下に述べる。まず動きベクトルの検出が難しい映像（例えば、背景と物体が逆方向に移動するような映像など）を数種類準備する。上記映像は、動きベクトルの信頼度が低いため、ジャダーが多く残る補間画像となるため、全ての映像でジャダーが目立たないように下限値を設定し、その時の補間の副作用（破綻）を確認する。副作用もジャダーも目立たないように下限値を調整し、それを固定値とする。
【００３１】
なお上限値、下限値は上記の説明では、１組をメーカー設定としたが、たとえば複数種類の組合せを用意しておいて、テレビ受信機本体やリモートコントローラにおいて使用者が選択可能としてもよい。あるいは連続的に設定可能にして、その設定操作を使用者に開放してもよい。
【００３２】
上限と下限を制限されたベクトル信頼度算出結果はフォールバック量算出部１０６に入力される。フォールバック量算出部１０６では入力されたベクトル信頼度算出結果に基づいてフォールバック量を定める。すなわち、ベクトルの信頼度が高い場合は、動きベクトルを使用した予測画像を主体とした補間画像になるように、フォールバック量を小さくする。逆に動きベクトルの信頼度が低い場合は、直前の原画像を主体とした補間画像になるように、フォールバック量を大きくする。ただし、入力されるベクトル信頼度算出結果が上限下限リミッタ１０５で範囲制限されているので、フォールバック量もそれに伴って範囲制限された値となる。
【００３３】
この様子を図３に示す。図３は本発明の実施の形態１における映像信号処理装置のフォールバック量制御の説明図である。図３のように入力されるベクトル信頼度の値がβ〜αの範囲内なので、フォールバック量もｍｉｎ〜ｍａｘではなく、δ〜γの範囲に制限される。
【００３４】
補間画像生成挿入部１０３には、入力映像、１フレーム遅延された入力映像、動きベクトル検出部１０４で検出された動きベクトル、およびフォールバック量算出部１０６で算出されたフォールバック量が入力される。
【００３５】
入力映像から検出された動きベクトルとフォールバック量とにより補間画像のベクトル量が算出される。このベクトル量に基づいて原画像と予測画像の合成比率が決定されて補間画像が生成される。この補間画像が２５Ｈｚの原画像から１／５０秒後の位置に挿入されて５０Ｈｚの出力映像に変換される。
【００３６】
図４、図５は、本発明の実施の形態１における映像信号処理装置のベクトル信頼度と補間画像の関係を示す説明図であり、この構成によって得られるフレーム速度変換の様子を模式的に示したイメージ図である。図４はベクトル信頼度が高い場合の図である。図１２の従来例における白丸（ａ）ではフォールバック量は最小（ゼロ）で、動きベクトルによる予測画像をそのまま補間画像としたが、図４ではフォールバック量をゼロより少し大きいδとしたので、図４の白丸（ｃ）は動き量を少し小さくした位置に移動している。
【００３７】
一方、図５はベクトル信頼度が低い場合の図である。図１２の従来例における白丸（ｂ）ではフォールバック量は最大で、直前の原画像をそのまま補間画像としたが、図５ではフォールバック量を最大より少し小さいγとしたので、図４の白丸（ｄ）は直前の原画像より少し動いた位置に移動している。
【００３８】
図６は本発明の実施の形態１における映像信号処理装置の表示画面例を模式的に示すイメージ図であり、フォールバック量に応じたフレーム速度変換後の出力映像の様子を、実際のテレビ画面上での動きとして表している。物体Ｑが画面の左端から右端まで移動する映像を表している。図６（ａ）は２５Ｈｚフィルム映像を２−２プルダウンで５０Ｈｚにした映像である。図６（ｂ）は従来例による補間後の映像で、フォールバック量がゼロの場合である。図６（ｃ）はフォールバック量が図３のδの場合で、補間位置は図６（ｂ）の少し左寄り（手前）となる。図６（ｄ）はフォールバック量が図３のγの場合で、補間位置は図６（ａ）の少し右寄り（移動側）となる。
【００３９】
このように本実施の形態における映像信号処理装置１００では、動きベクトルの信頼度に基づいてフォールバック量を決定する従来の方法に加えて、フォールバック量に上限下限を設定することにより、補間画像挿入によるハローや破綻などの副作用を抑えるとともに、過度のジャダーを適切に抑制することができる。
【００４０】
（実施の形態２）
次に本発明の実施の形態２について説明する。図７は本発明の実施の形態２における映像信号処理装置２００の構成例を示すブロック図である。図７に示すように本実施の形態の映像信号処理装置２００には予測画像による副作用の大きさを検出する副作用検出部１０７が追加され、副作用検出部１０７により検出された副作用検出結果が適応型フォールバック量算出部１０８に入力される。適応型フォールバック量算出部１０８では、副作用検出結果に応じてフォールバック量を全体的に増加または減少させる。副作用が大きいと判断された場合にはフォールバック量を増加させて、補間画像生成における予測画像合成比率を低下させる。一方、副作用が小さいと判断された場合には、フォールバック量を減少させて補間画像生成における予測画像合成比率を増大させる。副作用検出部１０７および適応型フォールバック量算出部１０８以外の構成ブロックは図１と同じであるので、対応する構成ブロックには同じ符号を付し、説明を省略する。
【００４１】
図８は本発明の実施の形態２における映像信号処理装置のフォールバック量制御の説明図であり、適応型フォールバック量算出部１０８の動作の様子を示している。図３では固定されていたフォールバック量の上限値γ、下限値δが、副作用の大きさに応じて変化する。副作用が最も大きいと検出された場合は、上限値γ、下限値δをそれぞれ上限値γ’、下限値δ’に増加させる。逆に副作用が最も小さいと検出された場合は上限値γ、下限値δをそれぞれ上限値γ”、下限値δ”に減少させる。したがって副作用の大きさに応じて上限値はγ’〜γ”の間で、下限値はδ’〜δ”の間で適応的に変化する。これにより、副作用が大きい場合には直前の原画像寄りの補間画像となり、副作用が小さい場合は予測画像寄りの補間画像となる。
【００４２】
次に副作用検出部１０７の検出動作について説明する。副作用が大きく現れると予想される要因としては以下の３つの要因が考えられる。第1の要因は動きベクトルの大きさである。すなわち、動きベクトルが大きいということは入力映像の動きが速いということであり、このような動きの速い映像に対して、動きベクトルから予測される予測画像で補間を行うとハローや破綻などの副作用の発生する場合が多い。第２の要因はベクトル信頼度である。これは、フォールバック量の制御を動きベクトルの信頼度に基づいて決定しているためである。すなわち、ベクトル信頼度が高い場合にはフォールバック量は小さいためハローなどの副作用が大きいと検出され、逆にベクトル信頼度が低いとフォールバック量は大きいので副作用は小さいと検出される。第３の要因は画面内を移動する物体の輝度である。輝度が高い物体などが移動する場合には、副作用が視覚的によく目立つので、ハローや破綻などの副作用が大きいと検出され、逆に輝度が低い物体が移動しても視覚的に目立ちにくいので、副作用は小さいと検出される。
【００４３】
これらのことを把握するために、副作用検出部１０７には図７に示すように、入力映像、動きベクトル、ベクトル信頼度の情報が入力されている。
【００４４】
図９は本発明の実施の形態２における映像信号処理装置の副作用検出方法の説明図であり、副作用の検出結果とフォールバック量の制御の例を示している。図９（ａ）は上限下限リミッタ１０５の出力とフォールバック量の制御の関係を示す図、図９（ｂ）は副作用が大きく現れると予想される上記の３つの要因と副作用検出結果の関係を表す図である。本実施の形態では、図９（ｂ）に示すように、３種類の要因をそれぞれ３段階に分けて、結果として得られる副作用検出結果が「−５〜＋５」になるようにテーブル化しておくことができる。またこのテーブルを用いてフォールバック量制御を行った場合のフォールバック量制御の結果は図９（ａ）のようになる。図９（ａ）に示すように標準状態におけるフォールバック量がδ〜γであるのに対して、副作用が最大と判定された場合には（δ＋５）〜（γ＋５）の範囲で動作し、また逆に副作用が最小と判定された場合には（δ−５）〜（γ−５）の範囲で動作する。
【００４５】
なお図９（ｂ）のテーブル設定はあくまでも一例であり、他の要因を勘案したり、要因ごとの加重値を変更するなどは、設計的要素として種々考えられる。
【００４６】
このように本実施の形態における映像信号処理装置２００では、実施の形態１の映像信号処理装置１００の構成ブロックに加えて、副作用検出部１０７をさらに備え、動きベクトルの大きさ、ベクトル信頼度及び移動物体の輝度によって副作用を検出し、この検出結果に基づいてフォールバック量を制御することにより、より副作用の少ない高精度のフレーム速度変換を行うことができる。
【００４７】
以上説明したように、本発明によれば、フォールバック量に上限下限を設定することにより、補間画像挿入によるハローや破綻などの副作用を抑えるとともに、過度のジャダーを適切に抑制することができる。また、動きベクトルの大きさ、ベクトル信頼度及び移動物体の輝度によって副作用を検出し、この検出結果でフォールバック量を制御することにより、より副作用の少ない高精度のフレーム速度変換を行うことができる。
【００４８】
なお、上記実施の形態では、フレームメモリ１０１には１フレーム分の映像信号を蓄積するとしたが、複数フレームの映像信号を蓄積してもよい。動きのゆっくりした映像などでは、これにより動きベクトル検出の精度を上げることができる。
【００４９】
また、上記実施の形態では、ベクトル信頼度算出部１０４の算出結果の上限値と下限値を制限するために、上限下限リミッタ１０５を備えるとしたが、上限下限リミッタ１０５の機能をフォールバック量算出部１０６の中でソフト的に実現してもよい。これにより、上限下限リミッタ１０５を省略することが可能となり、回路規模を縮小することができる。
【産業上の利用可能性】
【００５０】
本発明は、映画コンテンツ等の入力映像をテレビ受信機で再生する際に、放送において施される単なるプルダウン映像をそのまま表示するのではなく、動きの滑らかさと動きベクトル予測による副作用軽減を両立して表示させることができるので、映画コンテンツ等の入力映像を表示させた場合に、見やすく安定した映像を表示可能である。そのため、画質の差が識別しやすい近年の大画面高精細度ディスプレイによるテレビ受信機への適用に好都合である。
【符号の説明】
【００５１】
１００，２００ 映像信号処理装置
１０１ フレームメモリ
１０２ 動きベクトル検出部
１０３ 補間画像生成挿入部
１０４ ベクトル信頼度算出部
１０５ 上限下限リミッタ
１０６ フォールバック量算出部
１０７ 副作用検出部
１０８ 適応型フォールバック量算出部
【技術分野】
【０００１】
本発明は、入力映像をフレーム速度変換によってテレビ映像に変換する際に必要となる補間画像を生成する映像信号処理装置および映像信号処理方法に関する。
【背景技術】
【０００２】
フィルム映像（映画コンテンツ）をテレビ受信機で再生する場合には、両者のフレーム速度の違いを変換するために一般的にプルダウン手法が用いられる。たとえば２４Ｈｚのフィルム映像をＮＴＳＣ方式などのフィールド周波数６０Ｈｚに変換する場合に２−３プルダウンが用いられるのはよく知られている。２−３プルダウンとは、フィルム映像の奇数コマを２回、偶数コマを３回繰り返して使用して、結果的に２４コマを６０コマに変換する手法である。あるいは２５Ｈｚのフィルム映像をＰＡＬ方式、ＳＥＣＡＭ方式などのフィールド周波数５０Ｈｚに変換する場合には２−２プルダウンを用いることになる。２５Ｈｚ映像を５０Ｈｚ映像に変換する場合については、ちょうど２倍の周波数に変換することになり、説明が簡単になるので、特に断らない限り、２５Ｈｚのフィルム映像を５０Ｈｚのテレビ映像に変換する場合について述べる。
【０００３】
図１０は従来の２−２プルダウンにおける補間画像の説明図であり、２−２プルダウンによるフレーム速度変換の様子を模式的に示したイメージ図である。横軸は経過時間、縦軸は映像中の特定の点の位置を示す。映像が直線的に一定速度で移動しているとすると、元のフィルム映像の映像は図中の黒丸で示すように１／２５秒（４０ｍｓｅｃ）ごとに直線的に移動する（図１０では上昇する）。この原画像を１／５０秒（２０ｍｓｅｃ）ごとのフレーム数（インターレース表示であればフィールド数と表現されるが、デジタル放送ではプログレッシブ表示も行われるので、以下フレームと表現する）に合わせるために、元の映像の時間軸中点に原画像を繰り返して挿入して補間する。補間した画像は図中、白丸で示す。
【０００４】
このように２−２プルダウンでは、元のフィルム映像の同じコマを２枚ずつ繰り返して出力するため、人間の目で動きを追いかける際に、動きの滑らかさにおいて不自然さが出てしまう（ジャダーと呼ばれる）。この現象は２−３プルダウンではさらに顕著に現れることが知られている。
【０００５】
この問題を解決するために、放送局から送られてきた映像信号は２−２プルダウン処理された５０Ｈｚ映像であっても、テレビ受信機側で新たな補間画像を生成して滑らかな動きを実現する手法が取り入れられている。元のフィルム映像より動きベクトルを検出し、その動きベクトルに基づいて補間画像を生成する方式である。図１１は従来の動きベクトルによる補間画像の説明図である。図１１に示すように、フィルム映像である黒丸の情報に基づいて、図中の上向き方向の動きベクトルを算出し、１／５０秒後の補間画像はその半分の動きを予想して補間するものである。
【０００６】
しかしながら動きベクトルはあくまでも算出値であって、画面全体が均一な動きをするとは限らず、また予想とは異なった動きに変わる場合も当然発生する。そのような場合には動きベクトルの誤検出が起こり、間違った補間画像が生成されて補間後の映像が破綻することもある。すなわち、補間画像を挿入することにより、ジャダーは改善されるが、破綻などの副作用が生じて返って画質を悪化させる場合がある。
【０００７】
そこで、動きベクトルの誤検出による上記副作用を軽減するために、例えば特許文献１では、動きベクトルの信頼度に基づいてフォールバック制御を行わせている。フォールバック制御とは、動きベクトルの信頼度に応じて、直前フレームの原画像と生成した予測画像の合成割合を適応的に可変することであり、動きベクトルの信頼度が低い場合は原画像に近い補間画像を生成し、動きベクトルの信頼度が高い場合は動きベクトルから予測した予測画像に近い補間画像を生成する制御である。このフォールバック制御により、ジャダーの低減と動きベクトルの誤検出による破綻などの副作用の低減を行っている。
【０００８】
この様子を図１２に示す。図１２は従来のフォールバック制御の説明図である。動きベクトルの信頼度が高い場合は、フォールバック量を最小として（フォールバック量をゼロとして）動きベクトルから予測される白丸（ａ）を補間画像とする。一方、動きベクトルの信頼度が低い場合は、フォールバック量を最大とし（動きベクトル使用をゼロとして）直前の原画像を繰り返し使用する白丸（ｂ）を補間画像とする。すなわち、フォールバック量とは補間画像を生成する場合の、動きベクトルの使用量と考えることができる。
【０００９】
動きベクトルの信頼度は上記の最大と最小の場合の間に連続的に存在するので、その程度に応じてフォールバック量を調節することにする。図１２で言えば、白丸（ａ）と白丸（ｂ）の間の適当な位置に補間画像が設定される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】国際公開第２００８／１０２８２６号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
前述のように、特許文献１による方法を用いれば、動きベクトルの信頼度に応じて、原画像と生成した予測画像の合成割合を適応的に可変することにより、ジャダーの低減と動きベクトルの誤検出による破綻などの副作用の低減を両立することができる。しかしながら図１２で示したように、フォールバック量が最小の場合は補間画像として予測画像そのものを用いるので、ハローと呼ばれる新たな副作用が発生する場合がある。ここで、ハローとは、動きベクトルを用いてフレーム速度変換を行う際に、動きのある人物などの映像の輪郭に陽炎のようにノイズが見える現象である。またフォールバック量が最大の場合には補間画像として原画像をそのまま用いるので、この場合も元の映像で発生していたジャダーが顕著に発生する。
【００１２】
本発明はこのような課題を解決するためになされたものであり、入力映像をフレーム速度変換によってテレビ映像に変換する際に、ジャダーや補間画像を挿入することによる副作用が目立ちにくい補間画像を生成可能な映像信号処理装置および映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の映像信号処理装置は、入力映像に補間画像を挿入して入力映像以上のフレーム速度の出力映像を出力する映像信号処理装置であって、入力映像を蓄積するフレームメモリと、入力映像とフレームメモリの出力を用いて画像の動きベクトルを検出する動きベクトル検出部と、動きベクトルの信頼度を算出するベクトル信頼度算出部と、ベクトル信頼度算出部の算出結果の範囲を制限し、制限後の算出結果に基づいて動きベクトル使用量を低減するためのフォールバック量を算出するフォールバック量算出部と、フォールバック量算出部で得られたフォールバック量と動きベクトル検出部で得られた動きベクトルとに基づいて補間画像を生成するとともに入力映像信号に補間画像を挿入して出力映像を得る補間画像生成挿入部と、を備えることを特徴とする。
【００１４】
これにより、フィルム映像をフレーム速度変換によってテレビ映像に変換する際に、ジャダーや補間画像を挿入することによる副作用（ハローや破綻など）が目立ちにくい補間画像を生成することができる。
【００１５】
また本発明の映像信号処理装置では、補間画像を挿入することによる出力映像への副作用を検出する副作用検出部をさらに備え、フォールバック量算出部において設定されるフォールバック量を、副作用検出部による副作用検出結果に応じて調節してもよい。
【００１６】
これにより、補間画像を挿入することによる副作用（ハローや破綻など）の影響を事前に把握できるので、フォールバック量を適切に調整することができる。
【００１７】
また本発明の映像信号処理装置では、フォールバック量算出部におけるフォールバック量算出は、副作用検出結果が副作用大と判定する程度に応じてフォールバック量を増加させるように調整してもよい。
【００１８】
これにより、補間画像を挿入することによる副作用が大きいと判定される映像に対しては、フォールバック量が大きく設定されるので、副作用を効果的に軽減した補間画像を生成することができる。また本発明の映像信号処理装置では、副作用検出部における副作用の検出は、少なくとも動きベクトルの大きさ、原画像中の移動物の輝度、およびベクトル信頼度のいずれか、あるいはそれらの組合せに基づいて行ってもよい。
【００１９】
これにより、補間画像を挿入したことによる副作用の大きさを的確に判定することができる。
【００２０】
本発明の映像信号処理方法は、入力映像に補間画像を挿入して入力映像以上のフレーム速度の出力映像を出力する映像信号処理方法であって、画像の動きベクトルを検出する動きベクトル検出ステップと、動きベクトルの信頼度を算出するベクトル信頼度算出ステップと、ベクトル信頼度算出ステップでの算出結果の範囲を制限し、制限後の算出結果に基づいて動きベクトルの使用量を低減するためのフォールバック量を算出するフォールバック量算出ステップと、フォールバック量算出ステップで得られたフォールバック量と動きベクトル検出ステップで得られた動きベクトルとに基づいて補間画像を生成するとともに入力映像に補間画像を挿入して出力映像を得る補間画像生成ステップと、を備えることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、入力映像をフレーム速度変換によってテレビ映像に変換する際に、ジャダーや補間画像を挿入することによる副作用が目立ちにくい補間画像を生成可能な映像信号処理装置および映像信号処理方法を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態１における映像信号処理装置の構成例を示すブロック図である。
【図２】本発明の実施の形態１における映像信号処理装置の上限下限リミッタの機能説明図である。
【図３】本発明の実施の形態１における映像信号処理装置のフォールバック量制御の説明図である。
【図４】本発明の実施の形態１における映像信号処理装置のベクトル信頼度と補間画像の関係を示す説明図である。
【図５】本発明の実施の形態１における映像信号処理装置のベクトル信頼度と補間画像の関係を示す他の説明図である。
【図６】本発明の実施の形態１における映像信号処理装置の表示画面例を模式的に示すイメージ図である。
【図７】本発明の実施の形態２における映像信号処理装置の構成例を示すブロック図である。
【図８】本発明の実施の形態２における映像信号処理装置のフォールバック量制御の説明図である。
【図９】本発明の実施の形態２における映像信号処理装置の副作用検出方法の説明図である。
【図１０】従来の２−２プルダウンにおける補間画像の説明図である。
【図１１】従来の動きベクトルによる補間画像の説明図である。
【図１２】従来のフォールバック制御の説明図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態における映像信号処理装置について、図面を参照しながら説明する。
【００２４】
（実施の形態１）
図１は本発明の実施の形態１における映像信号処理装置１００の構成例を示すブロック図である。映像信号処理装置１００は、フレームメモリ１０１、動きベクトル検出部１０２、補間画像生成挿入部１０３、ベクトル信頼度算出部１０４、上限下限リミッタ１０５、フォールバック量算出部１０６を備えている。
【００２５】
なお、入力映像にはフィルム映像をプルダウン処理した放送受信映像、すなわち図１０の映像が供給されるが、図中の白丸の位置には、映像信号処理装置１００で望ましい補間画像を置き換えて挿入するので、黒丸の原画像のみが意味のある入力である。
【００２６】
フレームメモリ１０１は入力映像を１フレーム遅延させる遅延手段として機能する。動きベクトル検出部１０２は、入力映像および、入力映像を１フレーム遅らせた映像を与え、この２つの映像の差成分より動きベクトルを検出する。実際には、１フレームの画像を複数の小さな画像領域（ブロック）に分割し、各ブロック毎に動きベクトルを検出している。ベクトル信頼度算出部１０４は、動きベクトル検出部１０２で得られたベクトルの信頼度を推定する。上限下限リミッタ１０５は、ベクトル信頼度算出部１０４で得られたベクトル信頼度算出値の上限と下限を設定してその範囲を制限する。フォールバック量算出部１０６は、上限下限リミッタ１０５を経由して得られた制限後のベクトル信頼度に応じてフォールバック量を設定する。補間画像生成挿入部１０３は、動きベクトル、フォールバック量、および入力映像を用いて補間画像を生成するとともに、その補間画像を入力映像の２枚の連続する原画像のフレーム間に挿入する。
【００２７】
ベクトル信頼度算出部１０４における信頼度算出の具体的な方法例としては、対象とする画像領域の動きベクトルが、その周囲の画像領域の動きベクトルと同等かどうかで算出する方法がある。すなわち、周囲の画像領域の動きベクトルと同等の場合には信頼度を高いとし、逆に周囲の画像領域の動きベクトルと大きく異なっている場合には、確率的には誤検出の可能性が高いので信頼度は低いとする。信頼度算出の他の具体例としては、対象とする画像と１フレーム後の画像との輝度分布ヒストグラムが同等かどうかで算出する方法がある。すなわち、１フレーム後の画像と輝度分布ヒストグラムが似ていれば、対象領域の画像全体が多少移動した程度と類推できるので、ベクトル信頼度は高いとする。逆に輝度分布ヒストグラムが異なっていればベクトル信頼度は低いとする。また、これら２つの方法を単独で使うのではなく、組合せて使用してもよい。これにより、信頼度算出精度をより高めることができる。
【００２８】
上限下限リミッタ１０５は、ベクトル信頼度算出結果を入力し、あらかじめ設定した上限値αと下限値βを超えないように機能する。たとえばベクトル信頼度算出結果が０〜１．０の範囲で変化する場合、α〜１．０の入力はαに固定し、０〜βの入力はβに固定する。この様子を図２に示す。図２は本発明の実施の形態１における映像信号処理装置の上限下限リミッタの機能説明図である。
【００２９】
ここで上限値αの決め方について以下に述べる。まず動きベクトルの検出が比較的容易な映像（例えば、文字などが一定方向にスクロールするような映像など）を数種類準備する。上記映像は、動きベクトルの信頼度が高いため、ジャダーが少ない滑らかな補間画像となるが、全ての映像で補間の副作用（ハロー）が目立たないように上限値を設定し、その時のジャダーを確認する。副作用もジャダーも目立たないように上限値を調整し、それを固定値とする。
【００３０】
次に下限値βの決め方について以下に述べる。まず動きベクトルの検出が難しい映像（例えば、背景と物体が逆方向に移動するような映像など）を数種類準備する。上記映像は、動きベクトルの信頼度が低いため、ジャダーが多く残る補間画像となるため、全ての映像でジャダーが目立たないように下限値を設定し、その時の補間の副作用（破綻）を確認する。副作用もジャダーも目立たないように下限値を調整し、それを固定値とする。
【００３１】
なお上限値、下限値は上記の説明では、１組をメーカー設定としたが、たとえば複数種類の組合せを用意しておいて、テレビ受信機本体やリモートコントローラにおいて使用者が選択可能としてもよい。あるいは連続的に設定可能にして、その設定操作を使用者に開放してもよい。
【００３２】
上限と下限を制限されたベクトル信頼度算出結果はフォールバック量算出部１０６に入力される。フォールバック量算出部１０６では入力されたベクトル信頼度算出結果に基づいてフォールバック量を定める。すなわち、ベクトルの信頼度が高い場合は、動きベクトルを使用した予測画像を主体とした補間画像になるように、フォールバック量を小さくする。逆に動きベクトルの信頼度が低い場合は、直前の原画像を主体とした補間画像になるように、フォールバック量を大きくする。ただし、入力されるベクトル信頼度算出結果が上限下限リミッタ１０５で範囲制限されているので、フォールバック量もそれに伴って範囲制限された値となる。
【００３３】
この様子を図３に示す。図３は本発明の実施の形態１における映像信号処理装置のフォールバック量制御の説明図である。図３のように入力されるベクトル信頼度の値がβ〜αの範囲内なので、フォールバック量もｍｉｎ〜ｍａｘではなく、δ〜γの範囲に制限される。
【００３４】
補間画像生成挿入部１０３には、入力映像、１フレーム遅延された入力映像、動きベクトル検出部１０４で検出された動きベクトル、およびフォールバック量算出部１０６で算出されたフォールバック量が入力される。
【００３５】
入力映像から検出された動きベクトルとフォールバック量とにより補間画像のベクトル量が算出される。このベクトル量に基づいて原画像と予測画像の合成比率が決定されて補間画像が生成される。この補間画像が２５Ｈｚの原画像から１／５０秒後の位置に挿入されて５０Ｈｚの出力映像に変換される。
【００３６】
図４、図５は、本発明の実施の形態１における映像信号処理装置のベクトル信頼度と補間画像の関係を示す説明図であり、この構成によって得られるフレーム速度変換の様子を模式的に示したイメージ図である。図４はベクトル信頼度が高い場合の図である。図１２の従来例における白丸（ａ）ではフォールバック量は最小（ゼロ）で、動きベクトルによる予測画像をそのまま補間画像としたが、図４ではフォールバック量をゼロより少し大きいδとしたので、図４の白丸（ｃ）は動き量を少し小さくした位置に移動している。
【００３７】
一方、図５はベクトル信頼度が低い場合の図である。図１２の従来例における白丸（ｂ）ではフォールバック量は最大で、直前の原画像をそのまま補間画像としたが、図５ではフォールバック量を最大より少し小さいγとしたので、図４の白丸（ｄ）は直前の原画像より少し動いた位置に移動している。
【００３８】
図６は本発明の実施の形態１における映像信号処理装置の表示画面例を模式的に示すイメージ図であり、フォールバック量に応じたフレーム速度変換後の出力映像の様子を、実際のテレビ画面上での動きとして表している。物体Ｑが画面の左端から右端まで移動する映像を表している。図６（ａ）は２５Ｈｚフィルム映像を２−２プルダウンで５０Ｈｚにした映像である。図６（ｂ）は従来例による補間後の映像で、フォールバック量がゼロの場合である。図６（ｃ）はフォールバック量が図３のδの場合で、補間位置は図６（ｂ）の少し左寄り（手前）となる。図６（ｄ）はフォールバック量が図３のγの場合で、補間位置は図６（ａ）の少し右寄り（移動側）となる。
【００３９】
このように本実施の形態における映像信号処理装置１００では、動きベクトルの信頼度に基づいてフォールバック量を決定する従来の方法に加えて、フォールバック量に上限下限を設定することにより、補間画像挿入によるハローや破綻などの副作用を抑えるとともに、過度のジャダーを適切に抑制することができる。
【００４０】
（実施の形態２）
次に本発明の実施の形態２について説明する。図７は本発明の実施の形態２における映像信号処理装置２００の構成例を示すブロック図である。図７に示すように本実施の形態の映像信号処理装置２００には予測画像による副作用の大きさを検出する副作用検出部１０７が追加され、副作用検出部１０７により検出された副作用検出結果が適応型フォールバック量算出部１０８に入力される。適応型フォールバック量算出部１０８では、副作用検出結果に応じてフォールバック量を全体的に増加または減少させる。副作用が大きいと判断された場合にはフォールバック量を増加させて、補間画像生成における予測画像合成比率を低下させる。一方、副作用が小さいと判断された場合には、フォールバック量を減少させて補間画像生成における予測画像合成比率を増大させる。副作用検出部１０７および適応型フォールバック量算出部１０８以外の構成ブロックは図１と同じであるので、対応する構成ブロックには同じ符号を付し、説明を省略する。
【００４１】
図８は本発明の実施の形態２における映像信号処理装置のフォールバック量制御の説明図であり、適応型フォールバック量算出部１０８の動作の様子を示している。図３では固定されていたフォールバック量の上限値γ、下限値δが、副作用の大きさに応じて変化する。副作用が最も大きいと検出された場合は、上限値γ、下限値δをそれぞれ上限値γ’、下限値δ’に増加させる。逆に副作用が最も小さいと検出された場合は上限値γ、下限値δをそれぞれ上限値γ”、下限値δ”に減少させる。したがって副作用の大きさに応じて上限値はγ’〜γ”の間で、下限値はδ’〜δ”の間で適応的に変化する。これにより、副作用が大きい場合には直前の原画像寄りの補間画像となり、副作用が小さい場合は予測画像寄りの補間画像となる。
【００４２】
次に副作用検出部１０７の検出動作について説明する。副作用が大きく現れると予想される要因としては以下の３つの要因が考えられる。第1の要因は動きベクトルの大きさである。すなわち、動きベクトルが大きいということは入力映像の動きが速いということであり、このような動きの速い映像に対して、動きベクトルから予測される予測画像で補間を行うとハローや破綻などの副作用の発生する場合が多い。第２の要因はベクトル信頼度である。これは、フォールバック量の制御を動きベクトルの信頼度に基づいて決定しているためである。すなわち、ベクトル信頼度が高い場合にはフォールバック量は小さいためハローなどの副作用が大きいと検出され、逆にベクトル信頼度が低いとフォールバック量は大きいので副作用は小さいと検出される。第３の要因は画面内を移動する物体の輝度である。輝度が高い物体などが移動する場合には、副作用が視覚的によく目立つので、ハローや破綻などの副作用が大きいと検出され、逆に輝度が低い物体が移動しても視覚的に目立ちにくいので、副作用は小さいと検出される。
【００４３】
これらのことを把握するために、副作用検出部１０７には図７に示すように、入力映像、動きベクトル、ベクトル信頼度の情報が入力されている。
【００４４】
図９は本発明の実施の形態２における映像信号処理装置の副作用検出方法の説明図であり、副作用の検出結果とフォールバック量の制御の例を示している。図９（ａ）は上限下限リミッタ１０５の出力とフォールバック量の制御の関係を示す図、図９（ｂ）は副作用が大きく現れると予想される上記の３つの要因と副作用検出結果の関係を表す図である。本実施の形態では、図９（ｂ）に示すように、３種類の要因をそれぞれ３段階に分けて、結果として得られる副作用検出結果が「−５〜＋５」になるようにテーブル化しておくことができる。またこのテーブルを用いてフォールバック量制御を行った場合のフォールバック量制御の結果は図９（ａ）のようになる。図９（ａ）に示すように標準状態におけるフォールバック量がδ〜γであるのに対して、副作用が最大と判定された場合には（δ＋５）〜（γ＋５）の範囲で動作し、また逆に副作用が最小と判定された場合には（δ−５）〜（γ−５）の範囲で動作する。
【００４５】
なお図９（ｂ）のテーブル設定はあくまでも一例であり、他の要因を勘案したり、要因ごとの加重値を変更するなどは、設計的要素として種々考えられる。
【００４６】
このように本実施の形態における映像信号処理装置２００では、実施の形態１の映像信号処理装置１００の構成ブロックに加えて、副作用検出部１０７をさらに備え、動きベクトルの大きさ、ベクトル信頼度及び移動物体の輝度によって副作用を検出し、この検出結果に基づいてフォールバック量を制御することにより、より副作用の少ない高精度のフレーム速度変換を行うことができる。
【００４７】
以上説明したように、本発明によれば、フォールバック量に上限下限を設定することにより、補間画像挿入によるハローや破綻などの副作用を抑えるとともに、過度のジャダーを適切に抑制することができる。また、動きベクトルの大きさ、ベクトル信頼度及び移動物体の輝度によって副作用を検出し、この検出結果でフォールバック量を制御することにより、より副作用の少ない高精度のフレーム速度変換を行うことができる。
【００４８】
なお、上記実施の形態では、フレームメモリ１０１には１フレーム分の映像信号を蓄積するとしたが、複数フレームの映像信号を蓄積してもよい。動きのゆっくりした映像などでは、これにより動きベクトル検出の精度を上げることができる。
【００４９】
また、上記実施の形態では、ベクトル信頼度算出部１０４の算出結果の上限値と下限値を制限するために、上限下限リミッタ１０５を備えるとしたが、上限下限リミッタ１０５の機能をフォールバック量算出部１０６の中でソフト的に実現してもよい。これにより、上限下限リミッタ１０５を省略することが可能となり、回路規模を縮小することができる。
【産業上の利用可能性】
【００５０】
本発明は、映画コンテンツ等の入力映像をテレビ受信機で再生する際に、放送において施される単なるプルダウン映像をそのまま表示するのではなく、動きの滑らかさと動きベクトル予測による副作用軽減を両立して表示させることができるので、映画コンテンツ等の入力映像を表示させた場合に、見やすく安定した映像を表示可能である。そのため、画質の差が識別しやすい近年の大画面高精細度ディスプレイによるテレビ受信機への適用に好都合である。
【符号の説明】
【００５１】
１００，２００ 映像信号処理装置
１０１ フレームメモリ
１０２ 動きベクトル検出部
１０３ 補間画像生成挿入部
１０４ ベクトル信頼度算出部
１０５ 上限下限リミッタ
１０６ フォールバック量算出部
１０７ 副作用検出部
１０８ 適応型フォールバック量算出部
【特許請求の範囲】
【請求項１】
入力映像に補間画像を挿入して前記入力映像以上のフレーム速度の出力映像を出力する映像信号処理装置であって、
前記入力映像を蓄積するフレームメモリと、
前記入力映像と前記フレームメモリの出力を用いて画像の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルの信頼度を算出するベクトル信頼度算出部と、
前記ベクトル信頼度算出部の算出結果の範囲を制限し、制限後の算出結果に基づいて前記動きベクトルの使用量を低減するためのフォールバック量を算出するフォールバック量算出部と、
前記フォールバック量算出部で得られたフォールバック量と前記動きベクトル検出部で得られた動きベクトルとに基づいて補間画像を生成するとともに前記入力映像に前記補間画像を挿入して出力映像を得る補間画像生成挿入部と、
を備えることを特徴とする映像信号処理装置。
【請求項２】
前記補間画像を挿入することによる前記出力映像への副作用を検出する副作用検出部をさらに備え、前記フォールバック量算出部において設定されるフォールバック量を、前記副作用検出部による副作用検出結果に応じて調節することを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記フォールバック量算出部におけるフォールバック量算出は、前記副作用検出結果が副作用大と判定する程度に応じてフォールバック量を増加させるように調整することを特徴とする請求項２に記載の映像信号処理装置。
【請求項４】
前記副作用検出部における副作用の検出は、少なくとも前記動きベクトルの大きさ、原画像中の移動物の輝度、および前記ベクトル信頼度のいずれか、あるいはそれらの組合せに基づいて行うことを特徴とする請求項２または請求項３に記載の映像信号処理装置。
【請求項５】
入力映像に補間画像を挿入して前記入力映像以上のフレーム速度の出力映像を出力する映像信号処理方法であって、
画像の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトルの信頼度を算出するベクトル信頼度算出ステップと、
前記ベクトル信頼度算出ステップでの算出結果の範囲を制限し、制限後の算出結果に基づいて前記動きベクトルの使用量を低減するためのフォールバック量を算出するフォールバック量算出ステップと、
前記フォールバック量算出ステップで得られたフォールバック量と前記動きベクトル検出ステップで得られた動きベクトルとに基づいて補間画像を生成するとともに前記入力映像に前記補間画像を挿入して出力映像を得る補間画像生成ステップと、
を備えることを特徴とする映像信号処理方法。
【請求項１】
入力映像に補間画像を挿入して前記入力映像以上のフレーム速度の出力映像を出力する映像信号処理装置であって、
前記入力映像を蓄積するフレームメモリと、
前記入力映像と前記フレームメモリの出力を用いて画像の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルの信頼度を算出するベクトル信頼度算出部と、
前記ベクトル信頼度算出部の算出結果の範囲を制限し、制限後の算出結果に基づいて前記動きベクトルの使用量を低減するためのフォールバック量を算出するフォールバック量算出部と、
前記フォールバック量算出部で得られたフォールバック量と前記動きベクトル検出部で得られた動きベクトルとに基づいて補間画像を生成するとともに前記入力映像に前記補間画像を挿入して出力映像を得る補間画像生成挿入部と、
を備えることを特徴とする映像信号処理装置。
【請求項２】
前記補間画像を挿入することによる前記出力映像への副作用を検出する副作用検出部をさらに備え、前記フォールバック量算出部において設定されるフォールバック量を、前記副作用検出部による副作用検出結果に応じて調節することを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記フォールバック量算出部におけるフォールバック量算出は、前記副作用検出結果が副作用大と判定する程度に応じてフォールバック量を増加させるように調整することを特徴とする請求項２に記載の映像信号処理装置。
【請求項４】
前記副作用検出部における副作用の検出は、少なくとも前記動きベクトルの大きさ、原画像中の移動物の輝度、および前記ベクトル信頼度のいずれか、あるいはそれらの組合せに基づいて行うことを特徴とする請求項２または請求項３に記載の映像信号処理装置。
【請求項５】
入力映像に補間画像を挿入して前記入力映像以上のフレーム速度の出力映像を出力する映像信号処理方法であって、
画像の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトルの信頼度を算出するベクトル信頼度算出ステップと、
前記ベクトル信頼度算出ステップでの算出結果の範囲を制限し、制限後の算出結果に基づいて前記動きベクトルの使用量を低減するためのフォールバック量を算出するフォールバック量算出ステップと、
前記フォールバック量算出ステップで得られたフォールバック量と前記動きベクトル検出ステップで得られた動きベクトルとに基づいて補間画像を生成するとともに前記入力映像に前記補間画像を挿入して出力映像を得る補間画像生成ステップと、
を備えることを特徴とする映像信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−７７８６２（Ｐ２０１３−７７８６２Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１０−２５０７７（Ｐ２０１０−２５０７７）
【出願日】平成２２年２月８日（２０１０．２．８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２２年２月８日（２０１０．２．８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]