映像処理装置及び映像処理方法
【課題】
動き補償法によるフレームレート変換時の補間フレーム生成方法に関し、人間の視覚認知の特性を利用し、映像本来の情報を伝達する効果を向上させる技術を提供する。
【解決手段】
映像の動きベクトルを検出する動きベクトル検出ステップと、検出した動きベクトルに基づいてフレームレートを算出するフレームレート算出ステップと、算出したフレームレートに基づいて補間フレームを生成する補間フレーム生成ステップとを備え、フレームレート算出ステップでは、動きベクトル検出ステップで検出した動きベクトルから映像の動き特徴量を算出し、その動き特徴量が所定の閾値を越えた映像のフレームレートが、動き特徴量が当該所定の閾値以下の映像のフレームレートよりも低くなるようフレームレートを算出するように構成する。
動き補償法によるフレームレート変換時の補間フレーム生成方法に関し、人間の視覚認知の特性を利用し、映像本来の情報を伝達する効果を向上させる技術を提供する。
【解決手段】
映像の動きベクトルを検出する動きベクトル検出ステップと、検出した動きベクトルに基づいてフレームレートを算出するフレームレート算出ステップと、算出したフレームレートに基づいて補間フレームを生成する補間フレーム生成ステップとを備え、フレームレート算出ステップでは、動きベクトル検出ステップで検出した動きベクトルから映像の動き特徴量を算出し、その動き特徴量が所定の閾値を越えた映像のフレームレートが、動き特徴量が当該所定の閾値以下の映像のフレームレートよりも低くなるようフレームレートを算出するように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置に係り、特に映像信号中のフレームから補間フレームを作成してフレームレート変換を行うための技術に関する。
【背景技術】
【０００２】
近年、動画表示におけるぼやけ感やカクカク感といった不自然な動きを改善するために、フレームレート変換を適用した高画質化技術が注目されている。一般的には、現在のフレームと１フレーム前のフレーム間の動きベクトル情報を元に、フレーム間の動き補償処理を用いて、補間フレームを作成し、映像のなめらかな動きを補間する方法が利用されている。
【０００３】
特許文献１には、「より正確に動きベクトルを検出可能にして、高画質にフレームレート変換を行うことが可能な技術を提供すること」（特許文献１［０００５］参照）を課題とし、その解決手段として「フレーム間の動きの特徴に応じて補間フレーム生成部における水平・垂直・時間方向の補間方法を適応的に切り替える」（特許文献１［０００６］参照）ことが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２３６０９８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の方式は、動きベクトルヒストグラム分布を利用し、検出する動きベクトルの特徴判定の精度を向上させ、補間フレーム生成方法を切替えることで、動き補償法によるフレームレート変換時の映像の破綻を抑制することができる。しかし、特許文献１には、人間の視覚認知の特性を利用した補間フレーム生成方法に関しては、記載されていない。
【０００６】
本発明は、上記課題を鑑みて考えたものであり、動き補償法によるフレームレート変換時の補間フレーム生成方法に関し、人間の視覚認知の特性を利用し、映像本来の情報を伝達する効果を向上させる技術を提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一実施の態様は、例えば映像の動きベクトルを検出する動きベクトル検出ステップと、検出した動きベクトルに基づいてフレームレートを算出するフレームレート算出ステップと、算出したフレームレートに基づいて補間フレームを生成する補間フレーム生成ステップとを備え、フレームレート算出ステップでは、動きベクトル検出ステップで検出した動きベクトルから映像の動き特徴量を算出し、その動き特徴量が所定の閾値を越えた映像のフレームレートが、動き特徴量が当該所定の閾値以下の映像のフレームレートよりも低くなるようフレームレートを算出するように構成する。
【発明の効果】
【０００８】
上記手段によれば、映像中のオブジェクトの認識度を向上させ、映像コンテンツのストーリーやそのシーンの理解度を高める効果がある。さらには、適切なフレームレート表示に切替えることにより、省電力効果も実現できる。
【図面の簡単な説明】
【０００９】
【図１】映像処理装置の構成の一例を示すブロック図である。
【図２】映像処理装置に係る、フレーム間の映像の動きの大きさがある閾値以内の場合の主観評価結果である。
【図３】映像処理装置に係る、フレーム間の映像の動きの大きさがある閾値以上の場合の主観評価結果である。
【図４】フレームレート算出部１０５での動きベクトルヒストグラム結果を示した例である。
【図５】フレームレート算出部１０５での動きベクトルヒストグラム分布の集中度を示す分布値とフレームレートの関係を示した例である。
【図６】フレームレート算出部１０５でのフレームレート選択処理シーケンスを示した例である。
【図７】補間フレーム生成部１０６での補間フレーム生成処理シーケンスを示した例である。
【図８】映像中の動きベクトルヒストグラム分散値Ｈの違いによる出力映像を図示した例である。
【図９】映像処理装置の構成の一例を示すブロック図である。
【図１０】文字検知部９００で文字を検知する範囲の例である。
【図１１】文字が横スクロールした際の動きベクトル検知を示す例である。
【図１２】文字検出部９００での動きベクトルヒストグラム分布値とフレームレートの関係を示した例である。
【図１３】文字検出部９００でのフレームレート選択処理シーケンスを示した例である。
【図１４】映像処理装置の構成の一例を示すブロック図である。
【図１５】フレームレート算出部１０５での動きベクトルヒストグラム結果からエリア毎のフレームレートを算出している例を示している。
【図１６】映像表示装置のハードウェア構成例である。
【発明を実施するための形態】
【００１０】
以下、図面を用いて実施例を説明する。
【実施例１】
【００１１】
まず、第１の実施例を、図１〜図８を参照して説明する。
【００１２】
図１は、第１の実施例である映像処理装置の構成の一例を示すブロック図である。
【００１３】
図１において、１００は入力信号(現フレーム信号)、１０１は入力信号(１フレーム前信号)、１０２はフレーム列生成部(フレームメモリI/F)、１０３は画像メモリ、１０４は動きベクトル検出部、１０５はフレームレート算出部、１０６は補間フレーム生成部、１０７はタイミング制御部、１０８は表示部である。
【００１４】
入力信号１００、１０１としては、デコードされた映像信号源で、チューナで受信したTV映像をデコードした映像や、CDやDVD、Blu-ray Discなど、メディアに記録された映像や、ハードディスクに保存した映像や、ネット上の映像コンテンツなど様々に考えられる。
【００１５】
フレーム列生成部（メモリＩ／Ｆ）１０２は、画像メモリ１０３から画像情報を読み出し、入力信号１００のオリジナルフレームと、時間的に１フレーム前の入力信号１０１と、さらに補間フレームとを組合せた新たなフレーム列を生成し、タイミング制御部１０７に映像にて、そのフレーム列に合った周波数での映像信号を表示部１０８に出力する。
【００１６】
画像メモリ１０３では、オリジナルのフレームの信号を記憶する。そして、フレーム列生成部（メモリＩ／Ｆ）１０２は画像メモリ１０３にアクセスしながら上記補間フレームの生成を行う。
【００１７】
また、画像メモリ１０３は、生成した補間フレームも記憶する。そして、補間フレーム生成処理部１０６は画像メモリ１０３にアクセスしながら上記記憶されたオリジナルフレームと補間フレームとを組合せることによって、上述の新たなフレーム列の映像信号を出力する。
【００１８】
動きベクトル検出部１０４は、入力信号１００と１０１のフレーム間の動きベクトルを検出し、フレーム間、または、フレームに含まれる画像のオブジェクト単位の動き量を方向ベクトルとして検出する。動きベクトル検出方法としては、例えばブロックマッチング法や勾配法、位相相関法等を用いればよい。
【００１９】
フレームレート算出部１０５は、フレーム間のベクトル検出部１０４の情報を用いて、映像の中で、ある方向に動いているオブジェクトを検知し、その中で、最も大きなエリアを占めているオブジェクトが、映像製作者が映像として伝えたいものであるとして、そのオブジェクトのフレーム間での動きベクトルの大きさを元に、フレームレートを算出する。
【００２０】
補間フレーム生成部１０６は、フレームレート算出部１０５から算出したフレームレートに応じて、動きベクトル検出部での情報を元に、フレームとフレームの間に存在するであろう画像を推測し、補間フレームを生成する。
【００２１】
タイミング制御部１０７では、補間フレーム生成部１０６で生成されたフレームレートに対応した枚数の映像フレームを、対応した周波数間隔で映像を出力するためのタイミングを調整し、所望のフレームレートでの映像を表示部１０８に出力する。
【００２２】
本制御により、視覚特性に合わせたフレームレートの補間フレームを生成し、表示部での適切なフレームレート映像出力が可能であり、見た目の認識度の向上をユーザに提供することができる。人間が認識し易い最低限の表示方法をすることは、最終的には省エネにも繋がる。
【００２３】
例えば、入力映像が６０Ｈｚ（何の周波数？）の場合に、フレームレート算出部１０５において、動きベクトル検知部１０４の動きベクトル情報を元に、映像の中のメインのオブジェクトの動きベクトルの大きさを算出し、その大きさがある閾値以内であり、人間がその動きのオブジェクトを認識し易いフレームレートである２４０Ｈｚを選択する。選択されたフレームレートに応じて、補間フレーム生成部１０６は、現フレームと前フレームの間に３枚の補間フレームを生成し、フレーム列生成部（メモリＩ／Ｆ）１０２を介して、秒間２４０フレームのフレーム列を生成し、タイミング制御部１０７において、２４０Ｈｚ周波数で表示装置１０８に出力する。その際、同時に表示装置１０８に対して、表示装置の２４０Ｈｚ駆動の動作周波数を設定する。
【００２４】
上記では、動きベクトル検出部１０４、補間フレーム生成部１０６に、現フレームと前フレームを入力する例で記載しているが、さらに複数フレームを入力とする方法により、倍速周波数出力のみでなく、様々な周波数での表示装置への出力が可能としても良い。
【００２５】
本構成により、人間への情報の伝達効率を向上することができる。人間が認識できる最低限のレベルでのフレームレート設定も可能となるため、従来の一定のフレームレート設定の表示装置より、低電力化を図ることも可能である。
【００２６】
図２は、第１の実施例の映像処理装置に係る、フレーム間の映像の動き特徴の大きさがある閾値以内の場合の主観評価結果である。
【００２７】
入力信号１００と入力信号１０１間で映像の中のメインのオブジェクトの動きベクトルの動き特徴量Ｈが、ある閾値以下の場合の映像に対して、フレームレートを６０Ｈｚ〜９６０Ｈｚに変化させた映像を、被験者に提示して、認識度の主観評価を行った結果である。
【００２８】
ここで、動きベクトルの動き特徴量Ｈの閾値に関しては、映像を構成する画素または、オブジェクトのフレーム間の動きベクトル量（移動量とその方向）の特徴を示す値である。その特徴の捕らえ方は様々考えられるが、眼球の随従運動は、３０°／ｓ以下という報告がある（“眼球運動の制御機構”、ＮＨＫ技研(１９６６)）。
【００２９】
そこで本実験では、まず映像中の特徴を示すメインのオブジェクトの映像を眼球が滑らかに随従できる限界、つまり、眼球の随従運動３０°／ｓの映像の特徴量をＨ３０とし、眼球が滑らかに随従できる範囲（Ｈ１≦Ｈ３０とする）３０）の映像について実験を行った。
【００３０】
なお、角速度から動きの特徴量を求める場合、角速度の計算に用いる回転の中心位置を考慮しなければならない。すなわち、同じ速さで動くオブジェクトであっても、そのオブジェクトから回転の中心までの距離が長い場合と短い場合とでは、短い場合の方が角速度は大きくなる。
【００３１】
そこで、３０°／ｓから映像の特徴量Ｈ３０を求める場合、回転の中心、すなわちユーザの位置は、例えば各映像処理装置で推奨されるユーザの視聴位置や、映像を表示するディスプレイの大きさに応じて予め定めた位置等、所定の基準に基づいて決められればよい。
【００３２】
主観評価としては、ディスプレイにある速度で横スクロールする映像を提示して、「全く認識ができなかった」、「ぎりぎり認識ができた」、「はっきり認識できた」を指標に、ＶＡＳ（Visual Analog Scale）方式で被験者１０名程度の人に記入してもらう形式での実験を行った。
【００３３】
その結果フレームレートを向上させて、映像のぼやけ幅が減少するに従い、主観評価による認識度が向上することが確認できた。眼球が滑らかに随従できる範囲H１において、２４０Ｈｚ以上（２４０Ｈｚ、４８０Ｈｚ、９６０Ｈｚ）では、認識度にあまり差は見られなかったので、装置の駆動周波数を抑えることで省エネできる２４０Ｈｚを選択することを考える。なお、本選択は、一例であり、フレームレート設定は適宜変更可能である。
【００３４】
図３は、第１の実施例の映像処理装置に係る、フレーム間の映像の動き特徴の大きさがある閾値以上（眼球が滑らかに随従するには困難な範囲）の場合の主観評価結果である。
【００３５】
図２と同様の実験において、入力信号１００と入力信号１０１の動きベクトルの動き特徴量Ｈが、ある閾値Ｈ３０以上の場合（眼球が滑らかに随従するには困難な範囲）の映像に対して、フレームレートを変化させた映像を、被験者に提示して、認識度の主観評価を行った結果である。
【００３６】
その結果、フレームレートを向上させると、実際の映像のぼやけ幅は減少するが、オブジェクトの動きが速すぎて、ほとんど認識できないと答えた被験者が多かった。しかし、６０Ｈｚの映像は認識度が高かった結果だった。
【００３７】
これは、フレームレートを上げると映像の動きは滑らかになり、映像が速い速度で滑らかにスクロールしているのがわかるが、それが何の映像だったかを認識できる人は少ないということを示している。
【００３８】
これに関しては、上述の通り眼球の随従運動は、３０°／ｓ以下という報告もあるので、この限界を超えると、滑らかに映像を随従できないと考えられる。これに対して、随従ではなく、跳躍運動は視対象の速度に応じて動く系であり、その速度は２００°／ｓ〜６００°／ｓに達すると言われている（“The Neurology of Eye Movement”、R．John Leight，et al.（１９８４））。
【００３９】
つまり、動きが速く目で随従できない映像でも、跳ぶような速い動きの映像は、眼球の跳躍運動により検知できる可能性があることを示している。動きが速い映像の６０Ｈｚ表示に関しては、現フレームと前フレームとの間の補間フレーム生成がなされないため、遠い距離を飛び飛びに移動している映像に見えることとなり、眼球の跳躍運動に似た視対象の追跡となり、認識度が向上したと考えられる。
【００４０】
つまり、ある閾値以上の速さで動く映像に関しては、フレームレートを６０Ｈｚに落として表示させることで、映像の認識度を向上できる場合があると考えられる。
【００４１】
図４は、第１の実施例の動きベクトル検出部１０４で検出される動きベクトルヒストグラムの結果の一例を示した図である。
【００４２】
２次元映像の横方向をｘ方向、縦方向をｙ方向として、動きベクトル検出部１０４での動きベクトルでの動き検知の大きさは、垂直ｙ方向ベクトル(−２、−１、０、＋１、＋２)、水平ｘ方向ベクトル(−５、−４、−３、−２、−１、０、＋１、＋２、＋３、＋４、＋５)とした場合を示しており、同じ成分を持つ動きベクトルの数をヒストグラム化して高さ軸方向にグラフ化したものである。この例では、ｘ方向＋４と＋５の大きさの動きベクトルを持つ成分が集中していることが読取れ、フレーム間の映像が右にスクロールしている場合である。このように、動きベクトルのヒストグラム分布を用いて、映像中の動きの特徴を判定できる。
【００４３】
この動きベクトルのヒストグラム分布の特徴をみることで、映像の中のメインのオブジェクトのスクロールを推測することができる。例えば、動きベクトル検出部１０４でのあるエリアの動きベクトルのヒストグラム分布が、図４のような特徴を持つ場合、ｘ方向に＋４の大きさ、ｙ方向に＋２の大きさを持つ動きベクトル検知数が大きいため、検知エリアの中で、あるオブジェクトがその方向に動いている映像が表現されていることが推測できる。
【００４４】
すなわち、ある特徴をもつ動きベクトル情報に集中し、この動きベクトルヒストグラム分布を示す分布値を算出すれば、映像の動き特徴を検出できる。
【００４５】
図５は、第１の実施例のフレームレート算出部１０５で用いる動きベクトルヒストグラム分布の集中度を示す分布値とフレームレートの関係を示した例である。
【００４６】
フレームレート算出部１０５では、まず動きベクトル検出部１０４での動きベクトルのヒストグラム分布から動きベクトルヒストグラム分布値Ｈを求める。この算出方法は、例えば、統計データ処理の基本統計量で用いられる平均値、中央値、最頻値などの代表値を利用することが考えられる。動き方向と動きの大きさの分散の仕方と、ヒストグラム値（動きベクトル積算数）から、動き特徴を導き出すことができる式を利用して、分散値（動き特徴量）Ｈを求めることとする。
【００４７】
この分散値は、あるベクトル量であり、画面全体またはメインのオブジェクトの動く大きさと方向を示し、数値が大きい場合は、１フレーム間での動き量が大きく、方向で画面上のどこからどの向きへの動きなのかを示す。例えば、画面が横スクロールする場合には、スクロール方向以外の方向への移動量も存在するが、スクロール方向の特徴量が大きく分散値としては、スクロール速度とその方向の特徴量が現れたものとなる。分散値とフレームレートとの関係は、主観評価結果を利用し、ユーザの認識度を向上させる対応付けをする。
【００４８】
本手法の動き方向と動きの大きさの分散の仕方と、ヒストグラム値を用いることにより、ヒストグラム値が大きい場合には、動きベクトル検出部１０４での検知エリア内に同じ動きをするオブジェクトの大きさが大きいことが推測される。つまり、映像制作者が、そのオブジェクトをメインに撮影やＣＧ合成していると考えられる。このような推測をすると、映像制作者が伝えたい情報の認識度を上げるように、映像を表現することができる。検出エリア情報のみでなく、複数のエリアの動きベクトルヒストグラム分散値を考慮することにより、さらに映像全体の特徴値を算出できる。
【００４９】
また、主観評価結果と対応させて、認識度を向上させる方法としては、例えば、図２の主観評価結果から、動きの特徴量Ｈが、ある閾値Ｈ０以下の場合は、特に動きに特徴がない（エリア全体がばらばらな動きをしている）映像が表示されていると判断して、映像の滑らかさを重視して、２４０Ｈｚ設定、微小な動きの範囲Ｈ０＜Ｈ≦Ｈ１では、静止画に近く、動画の滑らかさよりも省エネを考慮した６０Ｈｚ、ある程度の動きの範囲Ｈ１＜Ｈ≦Ｈ２、省エネと認識度を考慮して１２０Ｈｚ、Ｈ２＜Ｈ≦Ｈ３では映像の滑らかさを優先して２４０Ｈｚ、ある閾値よりも大きいＨ＞Ｈ３の場合は、図３で示した認識度の主観評価結果から６０Ｈｚという設定にする（但し、Ｈ０＜Ｈ１＜Ｈ２＜Ｈ３）。
【００５０】
なお、ここでＨ３は、前述した眼球の随従運動３０°／ｓの映像の特徴量であるＨ３０としてもよい。
【００５１】
本例では、動きベクトルヒストグラム分散値をH０からH３と複数閾値を設けた例を示したが、眼球の追従運動限界である３０°／ｓよりも高いか低いかの2種類の閾値で制御しても良い。閾値を細かく制御すると、上記の例の様に、認識度も考慮しつつ、省エネできる可能性がある。
【００５２】
Ｈ＞Ｈ３の場合は、２４０Ｈｚ可能なハードウェアを利用して、６０Ｈｚ駆動するため、ハードウェア的にも余裕があるため、補間フレームを作らない代わりに、他の映像処理を追加しても良い。例えば、処理動きが速く撮影時の映像ソースの映像も、ぼやけている可能性もあるため、その場合には、超解像技術などで映像を補間してから６０Ｈｚで表示することも考えられる。超解像技術とは、一般的には、アップスケーリングされた画像拡大処理（バイリニアやバイキュービックなど）を行った場合に生じる画像のボケやエッジの粗さを改善する技術である。
【００５３】
また、低解像度の複数の画像を元に推定した値を使って、高精細やクリアにする技術も含まれる。たとえば、動画データでは、時間的に近いフレーム内では、似たような画像の集まりであることが多く、１画素のフレーム間での動きを予測しやすく、元々どのような画像だったのか推測して、高精細化した画像データを作り出す技術である。
【００５４】
本設定は、ユーザインタフェースを介して、ユーザが設定できるようにしても良い。その場合、ある速度のスクロール映像をフレームレート毎にユーザに提示して、その見易さをユーザに回答させ、その回答結果からそのユーザに最も適したフレームレートを算出する。これにより、そのユーザにとって、映像の認識度を向上させる映像のフレームレートを算出できるメリットがある。
【００５５】
図６は、第１の実施例のフレームレート算出部１０５でのフレームレート選択処理シーケンスを示した例である。
【００５６】
まず、動きベクトル検知１０４からエリア毎の動きベクトル検出結果を入手する（Ｓ６００）。次に、動きベクトル毎のベクトル数をカウントし、図４に示すような動きベクトルヒストグラム分布を算出し、その動きの特徴の代表値を、動きベクトルヒストグラム分布値Ｈとする（Ｓ６０１）。
【００５７】
動きベクトルヒストグラム分布値Ｈは、動き方向と動きの大きさの分散の仕方と、ヒストグラム値を用い、さらに、エリア毎、もしくは、複数のエリアの動きベクトルヒストグラム分散値を考慮して、映像の中のメインのオブジェクトの動きの特徴を現す指標である。
【００５８】
複数のエリアの情報を考慮する場合は、動きベクトルヒストグラム分布値が同じような分散の仕方のエリアが隣り合っていれば、映像内で動いているオブジェクトが複数のエリアを跨いでいることがわかり、映像内で動いているオブジェクトの大きさ（１画面に占める割合）が推定できることになる。
【００５９】
また、LEDバックライト制御により１画面を分割して別々に制御できる場合は、それぞれのエリア毎の特徴量を算出し、エリア毎に認識度を向上するようなフレームレートに制御してもよい。
【００６０】
次に、動きベクトルヒストグラム分布値Ｈに対応したフレームレートを図５の主観評価を元に作成した動きベクトルヒストグラム分布値とフレームレートの関係を示したテーブルから参照する（Ｓ６０２）。
【００６１】
本処理により、フレームレート算出部１０５において、動きベクトル検知１０４からエリア毎の動きベクトル検出結果を元に、動きベクトルヒストグラム分布値Ｈを算出し、動きベクトルヒストグラム分布値Ｈに対応した主観評価（認識度）が最適になるフレームレートを選択できることができる。
【００６２】
図７は、第１の実施例の補間フレーム生成部１０６での補間フレーム生成処理シーケンスの一例を示した図である。
補間フレーム生成部１０６は、フレームレート算出部１０５から、表示する映像に最適なフレームレート情報を入手する（Ｓ７００）。入力信号１００、１０１とそのフレーム間の動きベクトル１０４からの結果を利用して、フレームレートに対応した補間フレームを生成する（Ｓ７０１）。
【００６３】
例えば、入力信号が６０Ｈｚの場合に、フレームレート１２０Ｈｚが選択された場合には、入力キーフレームの間に１枚の補間フレームを生成する。２４０Ｈｚ時は、１２０Ｈｚ時に生成した補間フレームと入力キーフレーム（現フレーム）の間に１枚、入力キーフレーム（前フレーム）の間に１枚の計３枚の補間フレームを生成する。
【００６４】
これにより、フレームレート算出部１０５で算出したコンテンツの認識度を向上させるフレームレートの表示を行うために必要な枚数にフレームを生成できる。
【００６５】
図８は、第１の実施例の映像中の動きベクトルヒストグラム分散値Ｈの違いによる出力映像を図示した例である。
【００６６】
図８（１）は、入力映像のフレーム間でのメインオブジェクト（飛行機）の動きベクトルヒストグラム分散値Ｈが閾値Ｈ３以上の場合の例である。１フレーム間でのオブジェクトの動きが大きく、オブジェクトの認識度を向上させるために、主観評価で認識度が高かった６０Ｈｚ設定での出力を示している。
【００６７】
図８（２）は、Ｈ１＜Ｈ≦Ｈ２の例であり、入力６０Ｈｚに対して、主観評価で認識度が高かった１２０Ｈｚ設定での出力を示している。
【００６８】
図８（３）は、Ｈ２＜Ｈ≦Ｈ３の例であり、入力６０Ｈｚに対して、主観評価で認識度が高かった２４０Ｈｚ設定での出力を示している。
【００６９】
実施例１に示したように、映像の動きに応じてフレームレートを変化させることで、ユーザにとって認識しやすい映像を出力することが可能となり、更には装置の駆動周波数を抑えることで省エネルギー効果をもたらすことができる。
【実施例２】
【００７０】
次に、第二の実施例を、図９〜図１３を参照して説明する。図９は、第２の実施例の映像処理装置の構成の一例を示すブロック図である。
【００７１】
図１の構成と比較して、フレームレート算出部１０５を、文字検出部９００と入れ替えた構成である。同じ構成のモジュールは図１に記載しているので省略する。
【００７２】
図１の構成では、映像の動きベクトルヒストグラム分散値を用いて、映像の動き特徴量から認識度を向上させるフレームレートを算出したが、本実施例では、文字検出部９００で文字スクロール（文字テロップ）の有無を検出して、映像中の文字の認識度が最適になるように、映像のフレームレートを選択する方法について説明する。
【００７３】
図１０は、第２の実施例例の文字検知部９００での文字を検知する範囲の例を示す図である。
【００７４】
地上波や衛星、ケーブルテレビなどの放送コンテンツを始めとする映像の中で、番組の終わりに近いタイミングで、図１０のような画面下部の高さ△の範囲に番組制作に係ったスタッフの名前が横スクロールで流れることがある（スタッフロール、文字テロップ等）。
【００７５】
この△の部分の範囲に文字が出現することを想定する例であり、図１１で示す文字スクロールの特徴を利用して、この範囲に関して、文字の検出、文字のスクロール速度を算出する。なお、全画面に対して文字のスクロール速度の算出を行ってもよいが、範囲を絞ることで、文字検知処理の高速化が図れる効果がある。
【００７６】
図１１は、第２の実施例の文字が横スクロールした際の動きベクトル検知を示す例で、“あいうえお”という文字が、画面の右から左に水平にスクロールしている例である。
【００７７】
画素をマクロブロックで区切り、マクロブロック毎の現フレームと前フレームの差分の動きベクトルを考えると、流れる文字テロップでは、図１１のように、同じ方向、同じ長さの動きベクトルになることがわかる。つまり、図１０で示す△の範囲に文字が横スクロールするとし、各マクロブロックの動きベクトルを検出すると、同じ方向に、同じ大きさの動きベクトルが数多く検出できることとなる。
【００７８】
この特徴を利用して、図４の動きベクトルヒストグラムを利用して、文字がスクロールしていることを推測、検知することができる。
【００７９】
文字検出に関しては、文字は背景に対して、輝度のエッジが俊敏なので、エッジ検出などを利用すれば、さらに精度を上げることができる。
【００８０】
図１２は、第２の実施例の文字検出部９００での動きベクトルヒストグラム分布値とフレームレートの関係を示した例である。
【００８１】
第１の実施例のフレームレート算出部１０５で示した図５と同様に、図２、図３の主観評価の認識度結果から、動きベクトルヒストグラム分布値とフレームレートの関係を対応付けた例である。
【００８２】
図２の主観評価結果から、動きベクトルヒストグラム分布値Ｈに特徴がなく、文字検出部９００において△領域に文字を検出できなく、文字のない映像コンテンツ表示時は、入力信号の６０Ｈｚよりは滑らかに動画を表示でき、消費電力が抑えられる１２０Ｈｚを採用する。
【００８３】
図５の説明で利用した動き特徴量Ｈの閾値Ｈ０からＨ３を利用すると、Ｈ＞Ｈ３の場合は、文字の動きが速く高フレームレートにすると、逆に認識度が低下してしまうので６０Ｈｚ設定、△領域に文字が検出でき、Ｈ≦Ｈ３の場合には、文字の認識度の向上が期待できる２４０Ｈｚ設定にする。
【００８４】
本設定は、ユーザインタフェースを介して、ユーザが設定できるようにしても良い。その場合、ある速度のスクロール映像をフレームレート毎にユーザに提示して、その見易さをユーザに回答させ、その回答結果からそのユーザに最も適したフレームレートを算出する。
【００８５】
本処理により、文字検出部９００において、動きベクトル検知１０４からエリア毎の動きベクトル検出結果を元に、文字テロップの動きベクトルヒストグラム分布値Ｈを算出し、動きベクトルヒストグラム分布値Ｈに対応した主観評価による文字の認識度が最適になるフレームレートを選択できることができる。
【００８６】
図１３は、第２の実施例である文字検出部９００でのフレームレート選択処理シーケンスを示した例である。
【００８７】
動きベクトル検知１０４から指定したエリア（△領域）に関して、動きベクトル結果を入手する（Ｓ１３００）。
【００８８】
次に、動きベクトル毎のベクトル数をカウントし、図４に示すような動きベクトルヒストグラム分布を算出し、その動きの特徴の代表値を、動きベクトルヒストグラム分布値Ｈとする（Ｓ１３０１）。
【００８９】
次に、動きベクトルヒストグラム分布値Ｈに対応した文字の認識度が高いフレームレートを図１２の動きベクトルヒストグラム分布値とフレームレートの関係を示したテーブルから参照する（Ｓ１３０２）。
【００９０】
本処理により、文字検出部９００において、あるエリアの文字スクロールの有無と、その動き特徴量を算出し、動き特徴量に対応した文字の主観評価（認識度）が最適になるフレームレートを選択できることができる。すなわち、文字テロップを想定した動きベクトル検出結果から、文字の有無、スクロール速度を推測し、認識度を向上させるフレームレートを選択できる。
【００９１】
以下、本発明の第３の実施例を、図１４〜図１５を参照して説明する。
図１４は、第３の実施例の映像処理装置の構成の一例を示すブロック図である。
【００９２】
同じ構成のモジュールは図１に記載しているので省略する。図１の構成と比較して、液晶ディスプレイを想定したバックライト制御部１４００とバックライト部１４０１とを追加した構成である。同じ構成のモジュールは図１に記載しているので省略する。
【００９３】
液晶ディスプレイでは、液晶の応答の遅さを補う方法としてバックライト制御が考えられる。液晶の物理的特性からパネルの応答速度は決まるが、例えば、あるエリアを白から黒に変化させる場合に、バックライトの光を遮るように液晶に電圧をかけて液晶の透過率を変化させた際に、バックライトの光を消灯すれば、液晶の応答を待たずに、黒を表現できるようになるので、パネルの応答速度としては、高速化が可能となる。さらに、ＬＥＤバックライトなどを利用して、エリア毎の細かい応答の制御も可能である。
【００９４】
図１４の構成において、フレームレート算出部で利用したエリア毎の動きベクトルヒストグラム分散値を利用して、エリア毎に最適なフレームレートを算出可能であるので、それをバックライト制御部１４００に伝達し、バックライト部をエリア毎に制御し、エリア毎の見た目の液晶応答速度を向上させることにより、さらにユーザの認識度を向上させることができる。
【００９５】
フレームレート算出部で利用したエリア毎の動きベクトルヒストグラム分散値から、認識度を向上させるフレームレート算出は、実施例第一の図５で示した方法と同じ手法を利用する。
【００９６】
また、原価コスト削減のために、応答の遅い液晶パネルを使用した場合には、バックライト制御１４００により、エリア毎の見た目の応答速度を向上でき、見た目の認識度を低コストで向上できる効果もある。
【００９７】
例えば、１２０Ｈｚ対応の液晶パネルを利用した場合に、そのエリアを白から黒に変化させる場合に、液晶に電圧をかけて透過率を変化させている途中で、バックライト制御部１４００において、バックライトをオフに制御すると、液晶が光を遮る前にそもそものバックライトからの光がなくなるので、早めに黒に変化することができ、見た目２４０Ｈｚの液晶の応答速度を実現できる。
【００９８】
図１５は、第３の実施例のフレームレート算出部１０５での動きベクトルヒストグラム結果からエリア毎のフレームレートを算出している例を示している。
【００９９】
図１５に示す様に、表示部がバックライト制御１４００で制御可能なエリア毎に分かれている場合に、エリア毎に動きベクトルヒストグラム分散値Ｈを求め、その分散値を元に主観評価の認識度に合ったフレームレートを算出する例を示している。
【０１００】
本処理により、エリア毎に認識度を向上させるフレームレートを設定でき、それをバックライト制御１４００で、エリア毎の見た目の液晶応答速度を向上させることにより、エリア毎に見た目の認識度を向上することができる。
【０１０１】
本例では、エリア毎に求めた動きベクトルヒストグラム分散値を利用して、フレームレートを求めているが、複数エリアの動きベクトルヒストグラム分散値分析の結果から複数のエリアを纏めてバックライト制御しても良い。
【０１０２】
この場合、メインのオブジェクトの動きが複数のエリアを跨って映像の中を動く場合に、エリアの切れ目におけるオブジェクトのつなぎ目でフレームレートが変わることによる破綻がなくなると考えられる。
【０１０３】
図１６は、各実施例の映像表示装置のハードウェア構成例である。
【０１０４】
図１６において、１６００はアンテナ、１６０１はチューナ、１６０２は入力Ｉ／Ｆ、１６０３は映像デコーダ回路、１６０４は映像処理装置部分であり、１６０５はフレーム処理回路、１６０６はフレームメモリ、１６０７はタイミングコントローラ、１６０８は表示装置である。
【０１０５】
アンテナ１６００は、地上波デジタル放送やＢＳ／ＣＳなど衛星放送のアンテナ装置や、ＣＡＴＶなど外部からの放送波を入力する回路である。チューナ１６０１は、周波数同調回路であり、放送波を受信するための部品、回路である。入力Ｉ／Ｆ １６０２は、DVDやBD、メモリカード、ネットワークなどに保存してある映像や音声情報の入力Ｉ／Ｆであり、コンポジット、D端子、ＨDMI端子、EtＨernet（RJ-４５）端子、ＩＥＥＥ１３９４端子や、IEEE８０２．１１シリーズ、ＬＴＥ、Ｂｌｕｅｔｏｏｔｈなど無線を介してなど様々な映像入力を受け付ける入力Ｉ／Ｆである。
【０１０６】
映像デコーダ回路１６０３は、一定の規則に基づいて符号化されたデータを復号する回路で、ＭＰＥＧデコーダなどに相当する回路である。映像処理装置１６０４が、実施例１〜３に示した、フレームレート算出部、補間フレーム生成部を含む処理部が実装されている回路で構成された装置であり、映像デコーダ回路１６０３で映像や音声としてデコードされたフレーム単位の映像を入力信号とする。
【０１０７】
フレーム処理回路１６０５には、ベクトル検知１０４、フレームレート算出部１０５、補間フレーム生成部１０６、フレーム列生成部（メモリＩ／Ｆ）１０２が含まれ、画像メモリ１０３を含む、フレームメモリ１６０６を介して、補間フレームが生成される。
【０１０８】
タイミング制御部１０７を含む、タイミングコントローラ１６０７は、映像処理装置１６０４から得られたフレームレートにて出力を表示装置１６０８に表示するためのタイミング調整を行う。
【０１０９】
なお、上述した本実施形態は、本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施できる。例えば、本実施では、文字検出部での検知エリアを画面下部の△領域としているが、映画のスタッフロールの様に、画面の縦中央部分を検知エリアとしても良い。また、実施例第三の構成でのフレームレート算出部が、実施例第二の構成の文字検出部と入れ替わっても良い。また、ユーザインタフェースを有するシステムに組み込まれた場合には、“認識度アップモード”などのモード設け、そのモードに設定された時のみ、本実施がなされるものとしても良い。
【符号の説明】
【０１１０】
１００ 入力信号(現フレーム信号)
１０１ 入力信号(１フレーム前信号)
１０２ フレーム列生成部(フレームメモリI/F)
１０３ 画像メモリ
１０４ 動きベクトル検出部
１０５ フレームレート算出部
１０６ 補間フレーム生成部
１０７ タイミング制御部
１０８ 表示部
９００ 文字検出部
１４００ バックライト制御部
１４０１ バックライト部
１６００ アンテナ
１６０１ チューナ
１６０２ 入力Ｉ／Ｆ
１６０３ 映像デコーダ回路
１６０４ 映像処理装置部分
１６０５ フレーム処理回路
１６０６ フレームメモリ
１６０７ タイミングコントローラ
１６０８ 表示装置
【技術分野】
【０００１】
本発明は、映像処理装置に係り、特に映像信号中のフレームから補間フレームを作成してフレームレート変換を行うための技術に関する。
【背景技術】
【０００２】
近年、動画表示におけるぼやけ感やカクカク感といった不自然な動きを改善するために、フレームレート変換を適用した高画質化技術が注目されている。一般的には、現在のフレームと１フレーム前のフレーム間の動きベクトル情報を元に、フレーム間の動き補償処理を用いて、補間フレームを作成し、映像のなめらかな動きを補間する方法が利用されている。
【０００３】
特許文献１には、「より正確に動きベクトルを検出可能にして、高画質にフレームレート変換を行うことが可能な技術を提供すること」（特許文献１［０００５］参照）を課題とし、その解決手段として「フレーム間の動きの特徴に応じて補間フレーム生成部における水平・垂直・時間方向の補間方法を適応的に切り替える」（特許文献１［０００６］参照）ことが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２３６０９８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の方式は、動きベクトルヒストグラム分布を利用し、検出する動きベクトルの特徴判定の精度を向上させ、補間フレーム生成方法を切替えることで、動き補償法によるフレームレート変換時の映像の破綻を抑制することができる。しかし、特許文献１には、人間の視覚認知の特性を利用した補間フレーム生成方法に関しては、記載されていない。
【０００６】
本発明は、上記課題を鑑みて考えたものであり、動き補償法によるフレームレート変換時の補間フレーム生成方法に関し、人間の視覚認知の特性を利用し、映像本来の情報を伝達する効果を向上させる技術を提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一実施の態様は、例えば映像の動きベクトルを検出する動きベクトル検出ステップと、検出した動きベクトルに基づいてフレームレートを算出するフレームレート算出ステップと、算出したフレームレートに基づいて補間フレームを生成する補間フレーム生成ステップとを備え、フレームレート算出ステップでは、動きベクトル検出ステップで検出した動きベクトルから映像の動き特徴量を算出し、その動き特徴量が所定の閾値を越えた映像のフレームレートが、動き特徴量が当該所定の閾値以下の映像のフレームレートよりも低くなるようフレームレートを算出するように構成する。
【発明の効果】
【０００８】
上記手段によれば、映像中のオブジェクトの認識度を向上させ、映像コンテンツのストーリーやそのシーンの理解度を高める効果がある。さらには、適切なフレームレート表示に切替えることにより、省電力効果も実現できる。
【図面の簡単な説明】
【０００９】
【図１】映像処理装置の構成の一例を示すブロック図である。
【図２】映像処理装置に係る、フレーム間の映像の動きの大きさがある閾値以内の場合の主観評価結果である。
【図３】映像処理装置に係る、フレーム間の映像の動きの大きさがある閾値以上の場合の主観評価結果である。
【図４】フレームレート算出部１０５での動きベクトルヒストグラム結果を示した例である。
【図５】フレームレート算出部１０５での動きベクトルヒストグラム分布の集中度を示す分布値とフレームレートの関係を示した例である。
【図６】フレームレート算出部１０５でのフレームレート選択処理シーケンスを示した例である。
【図７】補間フレーム生成部１０６での補間フレーム生成処理シーケンスを示した例である。
【図８】映像中の動きベクトルヒストグラム分散値Ｈの違いによる出力映像を図示した例である。
【図９】映像処理装置の構成の一例を示すブロック図である。
【図１０】文字検知部９００で文字を検知する範囲の例である。
【図１１】文字が横スクロールした際の動きベクトル検知を示す例である。
【図１２】文字検出部９００での動きベクトルヒストグラム分布値とフレームレートの関係を示した例である。
【図１３】文字検出部９００でのフレームレート選択処理シーケンスを示した例である。
【図１４】映像処理装置の構成の一例を示すブロック図である。
【図１５】フレームレート算出部１０５での動きベクトルヒストグラム結果からエリア毎のフレームレートを算出している例を示している。
【図１６】映像表示装置のハードウェア構成例である。
【発明を実施するための形態】
【００１０】
以下、図面を用いて実施例を説明する。
【実施例１】
【００１１】
まず、第１の実施例を、図１〜図８を参照して説明する。
【００１２】
図１は、第１の実施例である映像処理装置の構成の一例を示すブロック図である。
【００１３】
図１において、１００は入力信号(現フレーム信号)、１０１は入力信号(１フレーム前信号)、１０２はフレーム列生成部(フレームメモリI/F)、１０３は画像メモリ、１０４は動きベクトル検出部、１０５はフレームレート算出部、１０６は補間フレーム生成部、１０７はタイミング制御部、１０８は表示部である。
【００１４】
入力信号１００、１０１としては、デコードされた映像信号源で、チューナで受信したTV映像をデコードした映像や、CDやDVD、Blu-ray Discなど、メディアに記録された映像や、ハードディスクに保存した映像や、ネット上の映像コンテンツなど様々に考えられる。
【００１５】
フレーム列生成部（メモリＩ／Ｆ）１０２は、画像メモリ１０３から画像情報を読み出し、入力信号１００のオリジナルフレームと、時間的に１フレーム前の入力信号１０１と、さらに補間フレームとを組合せた新たなフレーム列を生成し、タイミング制御部１０７に映像にて、そのフレーム列に合った周波数での映像信号を表示部１０８に出力する。
【００１６】
画像メモリ１０３では、オリジナルのフレームの信号を記憶する。そして、フレーム列生成部（メモリＩ／Ｆ）１０２は画像メモリ１０３にアクセスしながら上記補間フレームの生成を行う。
【００１７】
また、画像メモリ１０３は、生成した補間フレームも記憶する。そして、補間フレーム生成処理部１０６は画像メモリ１０３にアクセスしながら上記記憶されたオリジナルフレームと補間フレームとを組合せることによって、上述の新たなフレーム列の映像信号を出力する。
【００１８】
動きベクトル検出部１０４は、入力信号１００と１０１のフレーム間の動きベクトルを検出し、フレーム間、または、フレームに含まれる画像のオブジェクト単位の動き量を方向ベクトルとして検出する。動きベクトル検出方法としては、例えばブロックマッチング法や勾配法、位相相関法等を用いればよい。
【００１９】
フレームレート算出部１０５は、フレーム間のベクトル検出部１０４の情報を用いて、映像の中で、ある方向に動いているオブジェクトを検知し、その中で、最も大きなエリアを占めているオブジェクトが、映像製作者が映像として伝えたいものであるとして、そのオブジェクトのフレーム間での動きベクトルの大きさを元に、フレームレートを算出する。
【００２０】
補間フレーム生成部１０６は、フレームレート算出部１０５から算出したフレームレートに応じて、動きベクトル検出部での情報を元に、フレームとフレームの間に存在するであろう画像を推測し、補間フレームを生成する。
【００２１】
タイミング制御部１０７では、補間フレーム生成部１０６で生成されたフレームレートに対応した枚数の映像フレームを、対応した周波数間隔で映像を出力するためのタイミングを調整し、所望のフレームレートでの映像を表示部１０８に出力する。
【００２２】
本制御により、視覚特性に合わせたフレームレートの補間フレームを生成し、表示部での適切なフレームレート映像出力が可能であり、見た目の認識度の向上をユーザに提供することができる。人間が認識し易い最低限の表示方法をすることは、最終的には省エネにも繋がる。
【００２３】
例えば、入力映像が６０Ｈｚ（何の周波数？）の場合に、フレームレート算出部１０５において、動きベクトル検知部１０４の動きベクトル情報を元に、映像の中のメインのオブジェクトの動きベクトルの大きさを算出し、その大きさがある閾値以内であり、人間がその動きのオブジェクトを認識し易いフレームレートである２４０Ｈｚを選択する。選択されたフレームレートに応じて、補間フレーム生成部１０６は、現フレームと前フレームの間に３枚の補間フレームを生成し、フレーム列生成部（メモリＩ／Ｆ）１０２を介して、秒間２４０フレームのフレーム列を生成し、タイミング制御部１０７において、２４０Ｈｚ周波数で表示装置１０８に出力する。その際、同時に表示装置１０８に対して、表示装置の２４０Ｈｚ駆動の動作周波数を設定する。
【００２４】
上記では、動きベクトル検出部１０４、補間フレーム生成部１０６に、現フレームと前フレームを入力する例で記載しているが、さらに複数フレームを入力とする方法により、倍速周波数出力のみでなく、様々な周波数での表示装置への出力が可能としても良い。
【００２５】
本構成により、人間への情報の伝達効率を向上することができる。人間が認識できる最低限のレベルでのフレームレート設定も可能となるため、従来の一定のフレームレート設定の表示装置より、低電力化を図ることも可能である。
【００２６】
図２は、第１の実施例の映像処理装置に係る、フレーム間の映像の動き特徴の大きさがある閾値以内の場合の主観評価結果である。
【００２７】
入力信号１００と入力信号１０１間で映像の中のメインのオブジェクトの動きベクトルの動き特徴量Ｈが、ある閾値以下の場合の映像に対して、フレームレートを６０Ｈｚ〜９６０Ｈｚに変化させた映像を、被験者に提示して、認識度の主観評価を行った結果である。
【００２８】
ここで、動きベクトルの動き特徴量Ｈの閾値に関しては、映像を構成する画素または、オブジェクトのフレーム間の動きベクトル量（移動量とその方向）の特徴を示す値である。その特徴の捕らえ方は様々考えられるが、眼球の随従運動は、３０°／ｓ以下という報告がある（“眼球運動の制御機構”、ＮＨＫ技研(１９６６)）。
【００２９】
そこで本実験では、まず映像中の特徴を示すメインのオブジェクトの映像を眼球が滑らかに随従できる限界、つまり、眼球の随従運動３０°／ｓの映像の特徴量をＨ３０とし、眼球が滑らかに随従できる範囲（Ｈ１≦Ｈ３０とする）３０）の映像について実験を行った。
【００３０】
なお、角速度から動きの特徴量を求める場合、角速度の計算に用いる回転の中心位置を考慮しなければならない。すなわち、同じ速さで動くオブジェクトであっても、そのオブジェクトから回転の中心までの距離が長い場合と短い場合とでは、短い場合の方が角速度は大きくなる。
【００３１】
そこで、３０°／ｓから映像の特徴量Ｈ３０を求める場合、回転の中心、すなわちユーザの位置は、例えば各映像処理装置で推奨されるユーザの視聴位置や、映像を表示するディスプレイの大きさに応じて予め定めた位置等、所定の基準に基づいて決められればよい。
【００３２】
主観評価としては、ディスプレイにある速度で横スクロールする映像を提示して、「全く認識ができなかった」、「ぎりぎり認識ができた」、「はっきり認識できた」を指標に、ＶＡＳ（Visual Analog Scale）方式で被験者１０名程度の人に記入してもらう形式での実験を行った。
【００３３】
その結果フレームレートを向上させて、映像のぼやけ幅が減少するに従い、主観評価による認識度が向上することが確認できた。眼球が滑らかに随従できる範囲H１において、２４０Ｈｚ以上（２４０Ｈｚ、４８０Ｈｚ、９６０Ｈｚ）では、認識度にあまり差は見られなかったので、装置の駆動周波数を抑えることで省エネできる２４０Ｈｚを選択することを考える。なお、本選択は、一例であり、フレームレート設定は適宜変更可能である。
【００３４】
図３は、第１の実施例の映像処理装置に係る、フレーム間の映像の動き特徴の大きさがある閾値以上（眼球が滑らかに随従するには困難な範囲）の場合の主観評価結果である。
【００３５】
図２と同様の実験において、入力信号１００と入力信号１０１の動きベクトルの動き特徴量Ｈが、ある閾値Ｈ３０以上の場合（眼球が滑らかに随従するには困難な範囲）の映像に対して、フレームレートを変化させた映像を、被験者に提示して、認識度の主観評価を行った結果である。
【００３６】
その結果、フレームレートを向上させると、実際の映像のぼやけ幅は減少するが、オブジェクトの動きが速すぎて、ほとんど認識できないと答えた被験者が多かった。しかし、６０Ｈｚの映像は認識度が高かった結果だった。
【００３７】
これは、フレームレートを上げると映像の動きは滑らかになり、映像が速い速度で滑らかにスクロールしているのがわかるが、それが何の映像だったかを認識できる人は少ないということを示している。
【００３８】
これに関しては、上述の通り眼球の随従運動は、３０°／ｓ以下という報告もあるので、この限界を超えると、滑らかに映像を随従できないと考えられる。これに対して、随従ではなく、跳躍運動は視対象の速度に応じて動く系であり、その速度は２００°／ｓ〜６００°／ｓに達すると言われている（“The Neurology of Eye Movement”、R．John Leight，et al.（１９８４））。
【００３９】
つまり、動きが速く目で随従できない映像でも、跳ぶような速い動きの映像は、眼球の跳躍運動により検知できる可能性があることを示している。動きが速い映像の６０Ｈｚ表示に関しては、現フレームと前フレームとの間の補間フレーム生成がなされないため、遠い距離を飛び飛びに移動している映像に見えることとなり、眼球の跳躍運動に似た視対象の追跡となり、認識度が向上したと考えられる。
【００４０】
つまり、ある閾値以上の速さで動く映像に関しては、フレームレートを６０Ｈｚに落として表示させることで、映像の認識度を向上できる場合があると考えられる。
【００４１】
図４は、第１の実施例の動きベクトル検出部１０４で検出される動きベクトルヒストグラムの結果の一例を示した図である。
【００４２】
２次元映像の横方向をｘ方向、縦方向をｙ方向として、動きベクトル検出部１０４での動きベクトルでの動き検知の大きさは、垂直ｙ方向ベクトル(−２、−１、０、＋１、＋２)、水平ｘ方向ベクトル(−５、−４、−３、−２、−１、０、＋１、＋２、＋３、＋４、＋５)とした場合を示しており、同じ成分を持つ動きベクトルの数をヒストグラム化して高さ軸方向にグラフ化したものである。この例では、ｘ方向＋４と＋５の大きさの動きベクトルを持つ成分が集中していることが読取れ、フレーム間の映像が右にスクロールしている場合である。このように、動きベクトルのヒストグラム分布を用いて、映像中の動きの特徴を判定できる。
【００４３】
この動きベクトルのヒストグラム分布の特徴をみることで、映像の中のメインのオブジェクトのスクロールを推測することができる。例えば、動きベクトル検出部１０４でのあるエリアの動きベクトルのヒストグラム分布が、図４のような特徴を持つ場合、ｘ方向に＋４の大きさ、ｙ方向に＋２の大きさを持つ動きベクトル検知数が大きいため、検知エリアの中で、あるオブジェクトがその方向に動いている映像が表現されていることが推測できる。
【００４４】
すなわち、ある特徴をもつ動きベクトル情報に集中し、この動きベクトルヒストグラム分布を示す分布値を算出すれば、映像の動き特徴を検出できる。
【００４５】
図５は、第１の実施例のフレームレート算出部１０５で用いる動きベクトルヒストグラム分布の集中度を示す分布値とフレームレートの関係を示した例である。
【００４６】
フレームレート算出部１０５では、まず動きベクトル検出部１０４での動きベクトルのヒストグラム分布から動きベクトルヒストグラム分布値Ｈを求める。この算出方法は、例えば、統計データ処理の基本統計量で用いられる平均値、中央値、最頻値などの代表値を利用することが考えられる。動き方向と動きの大きさの分散の仕方と、ヒストグラム値（動きベクトル積算数）から、動き特徴を導き出すことができる式を利用して、分散値（動き特徴量）Ｈを求めることとする。
【００４７】
この分散値は、あるベクトル量であり、画面全体またはメインのオブジェクトの動く大きさと方向を示し、数値が大きい場合は、１フレーム間での動き量が大きく、方向で画面上のどこからどの向きへの動きなのかを示す。例えば、画面が横スクロールする場合には、スクロール方向以外の方向への移動量も存在するが、スクロール方向の特徴量が大きく分散値としては、スクロール速度とその方向の特徴量が現れたものとなる。分散値とフレームレートとの関係は、主観評価結果を利用し、ユーザの認識度を向上させる対応付けをする。
【００４８】
本手法の動き方向と動きの大きさの分散の仕方と、ヒストグラム値を用いることにより、ヒストグラム値が大きい場合には、動きベクトル検出部１０４での検知エリア内に同じ動きをするオブジェクトの大きさが大きいことが推測される。つまり、映像制作者が、そのオブジェクトをメインに撮影やＣＧ合成していると考えられる。このような推測をすると、映像制作者が伝えたい情報の認識度を上げるように、映像を表現することができる。検出エリア情報のみでなく、複数のエリアの動きベクトルヒストグラム分散値を考慮することにより、さらに映像全体の特徴値を算出できる。
【００４９】
また、主観評価結果と対応させて、認識度を向上させる方法としては、例えば、図２の主観評価結果から、動きの特徴量Ｈが、ある閾値Ｈ０以下の場合は、特に動きに特徴がない（エリア全体がばらばらな動きをしている）映像が表示されていると判断して、映像の滑らかさを重視して、２４０Ｈｚ設定、微小な動きの範囲Ｈ０＜Ｈ≦Ｈ１では、静止画に近く、動画の滑らかさよりも省エネを考慮した６０Ｈｚ、ある程度の動きの範囲Ｈ１＜Ｈ≦Ｈ２、省エネと認識度を考慮して１２０Ｈｚ、Ｈ２＜Ｈ≦Ｈ３では映像の滑らかさを優先して２４０Ｈｚ、ある閾値よりも大きいＨ＞Ｈ３の場合は、図３で示した認識度の主観評価結果から６０Ｈｚという設定にする（但し、Ｈ０＜Ｈ１＜Ｈ２＜Ｈ３）。
【００５０】
なお、ここでＨ３は、前述した眼球の随従運動３０°／ｓの映像の特徴量であるＨ３０としてもよい。
【００５１】
本例では、動きベクトルヒストグラム分散値をH０からH３と複数閾値を設けた例を示したが、眼球の追従運動限界である３０°／ｓよりも高いか低いかの2種類の閾値で制御しても良い。閾値を細かく制御すると、上記の例の様に、認識度も考慮しつつ、省エネできる可能性がある。
【００５２】
Ｈ＞Ｈ３の場合は、２４０Ｈｚ可能なハードウェアを利用して、６０Ｈｚ駆動するため、ハードウェア的にも余裕があるため、補間フレームを作らない代わりに、他の映像処理を追加しても良い。例えば、処理動きが速く撮影時の映像ソースの映像も、ぼやけている可能性もあるため、その場合には、超解像技術などで映像を補間してから６０Ｈｚで表示することも考えられる。超解像技術とは、一般的には、アップスケーリングされた画像拡大処理（バイリニアやバイキュービックなど）を行った場合に生じる画像のボケやエッジの粗さを改善する技術である。
【００５３】
また、低解像度の複数の画像を元に推定した値を使って、高精細やクリアにする技術も含まれる。たとえば、動画データでは、時間的に近いフレーム内では、似たような画像の集まりであることが多く、１画素のフレーム間での動きを予測しやすく、元々どのような画像だったのか推測して、高精細化した画像データを作り出す技術である。
【００５４】
本設定は、ユーザインタフェースを介して、ユーザが設定できるようにしても良い。その場合、ある速度のスクロール映像をフレームレート毎にユーザに提示して、その見易さをユーザに回答させ、その回答結果からそのユーザに最も適したフレームレートを算出する。これにより、そのユーザにとって、映像の認識度を向上させる映像のフレームレートを算出できるメリットがある。
【００５５】
図６は、第１の実施例のフレームレート算出部１０５でのフレームレート選択処理シーケンスを示した例である。
【００５６】
まず、動きベクトル検知１０４からエリア毎の動きベクトル検出結果を入手する（Ｓ６００）。次に、動きベクトル毎のベクトル数をカウントし、図４に示すような動きベクトルヒストグラム分布を算出し、その動きの特徴の代表値を、動きベクトルヒストグラム分布値Ｈとする（Ｓ６０１）。
【００５７】
動きベクトルヒストグラム分布値Ｈは、動き方向と動きの大きさの分散の仕方と、ヒストグラム値を用い、さらに、エリア毎、もしくは、複数のエリアの動きベクトルヒストグラム分散値を考慮して、映像の中のメインのオブジェクトの動きの特徴を現す指標である。
【００５８】
複数のエリアの情報を考慮する場合は、動きベクトルヒストグラム分布値が同じような分散の仕方のエリアが隣り合っていれば、映像内で動いているオブジェクトが複数のエリアを跨いでいることがわかり、映像内で動いているオブジェクトの大きさ（１画面に占める割合）が推定できることになる。
【００５９】
また、LEDバックライト制御により１画面を分割して別々に制御できる場合は、それぞれのエリア毎の特徴量を算出し、エリア毎に認識度を向上するようなフレームレートに制御してもよい。
【００６０】
次に、動きベクトルヒストグラム分布値Ｈに対応したフレームレートを図５の主観評価を元に作成した動きベクトルヒストグラム分布値とフレームレートの関係を示したテーブルから参照する（Ｓ６０２）。
【００６１】
本処理により、フレームレート算出部１０５において、動きベクトル検知１０４からエリア毎の動きベクトル検出結果を元に、動きベクトルヒストグラム分布値Ｈを算出し、動きベクトルヒストグラム分布値Ｈに対応した主観評価（認識度）が最適になるフレームレートを選択できることができる。
【００６２】
図７は、第１の実施例の補間フレーム生成部１０６での補間フレーム生成処理シーケンスの一例を示した図である。
補間フレーム生成部１０６は、フレームレート算出部１０５から、表示する映像に最適なフレームレート情報を入手する（Ｓ７００）。入力信号１００、１０１とそのフレーム間の動きベクトル１０４からの結果を利用して、フレームレートに対応した補間フレームを生成する（Ｓ７０１）。
【００６３】
例えば、入力信号が６０Ｈｚの場合に、フレームレート１２０Ｈｚが選択された場合には、入力キーフレームの間に１枚の補間フレームを生成する。２４０Ｈｚ時は、１２０Ｈｚ時に生成した補間フレームと入力キーフレーム（現フレーム）の間に１枚、入力キーフレーム（前フレーム）の間に１枚の計３枚の補間フレームを生成する。
【００６４】
これにより、フレームレート算出部１０５で算出したコンテンツの認識度を向上させるフレームレートの表示を行うために必要な枚数にフレームを生成できる。
【００６５】
図８は、第１の実施例の映像中の動きベクトルヒストグラム分散値Ｈの違いによる出力映像を図示した例である。
【００６６】
図８（１）は、入力映像のフレーム間でのメインオブジェクト（飛行機）の動きベクトルヒストグラム分散値Ｈが閾値Ｈ３以上の場合の例である。１フレーム間でのオブジェクトの動きが大きく、オブジェクトの認識度を向上させるために、主観評価で認識度が高かった６０Ｈｚ設定での出力を示している。
【００６７】
図８（２）は、Ｈ１＜Ｈ≦Ｈ２の例であり、入力６０Ｈｚに対して、主観評価で認識度が高かった１２０Ｈｚ設定での出力を示している。
【００６８】
図８（３）は、Ｈ２＜Ｈ≦Ｈ３の例であり、入力６０Ｈｚに対して、主観評価で認識度が高かった２４０Ｈｚ設定での出力を示している。
【００６９】
実施例１に示したように、映像の動きに応じてフレームレートを変化させることで、ユーザにとって認識しやすい映像を出力することが可能となり、更には装置の駆動周波数を抑えることで省エネルギー効果をもたらすことができる。
【実施例２】
【００７０】
次に、第二の実施例を、図９〜図１３を参照して説明する。図９は、第２の実施例の映像処理装置の構成の一例を示すブロック図である。
【００７１】
図１の構成と比較して、フレームレート算出部１０５を、文字検出部９００と入れ替えた構成である。同じ構成のモジュールは図１に記載しているので省略する。
【００７２】
図１の構成では、映像の動きベクトルヒストグラム分散値を用いて、映像の動き特徴量から認識度を向上させるフレームレートを算出したが、本実施例では、文字検出部９００で文字スクロール（文字テロップ）の有無を検出して、映像中の文字の認識度が最適になるように、映像のフレームレートを選択する方法について説明する。
【００７３】
図１０は、第２の実施例例の文字検知部９００での文字を検知する範囲の例を示す図である。
【００７４】
地上波や衛星、ケーブルテレビなどの放送コンテンツを始めとする映像の中で、番組の終わりに近いタイミングで、図１０のような画面下部の高さ△の範囲に番組制作に係ったスタッフの名前が横スクロールで流れることがある（スタッフロール、文字テロップ等）。
【００７５】
この△の部分の範囲に文字が出現することを想定する例であり、図１１で示す文字スクロールの特徴を利用して、この範囲に関して、文字の検出、文字のスクロール速度を算出する。なお、全画面に対して文字のスクロール速度の算出を行ってもよいが、範囲を絞ることで、文字検知処理の高速化が図れる効果がある。
【００７６】
図１１は、第２の実施例の文字が横スクロールした際の動きベクトル検知を示す例で、“あいうえお”という文字が、画面の右から左に水平にスクロールしている例である。
【００７７】
画素をマクロブロックで区切り、マクロブロック毎の現フレームと前フレームの差分の動きベクトルを考えると、流れる文字テロップでは、図１１のように、同じ方向、同じ長さの動きベクトルになることがわかる。つまり、図１０で示す△の範囲に文字が横スクロールするとし、各マクロブロックの動きベクトルを検出すると、同じ方向に、同じ大きさの動きベクトルが数多く検出できることとなる。
【００７８】
この特徴を利用して、図４の動きベクトルヒストグラムを利用して、文字がスクロールしていることを推測、検知することができる。
【００７９】
文字検出に関しては、文字は背景に対して、輝度のエッジが俊敏なので、エッジ検出などを利用すれば、さらに精度を上げることができる。
【００８０】
図１２は、第２の実施例の文字検出部９００での動きベクトルヒストグラム分布値とフレームレートの関係を示した例である。
【００８１】
第１の実施例のフレームレート算出部１０５で示した図５と同様に、図２、図３の主観評価の認識度結果から、動きベクトルヒストグラム分布値とフレームレートの関係を対応付けた例である。
【００８２】
図２の主観評価結果から、動きベクトルヒストグラム分布値Ｈに特徴がなく、文字検出部９００において△領域に文字を検出できなく、文字のない映像コンテンツ表示時は、入力信号の６０Ｈｚよりは滑らかに動画を表示でき、消費電力が抑えられる１２０Ｈｚを採用する。
【００８３】
図５の説明で利用した動き特徴量Ｈの閾値Ｈ０からＨ３を利用すると、Ｈ＞Ｈ３の場合は、文字の動きが速く高フレームレートにすると、逆に認識度が低下してしまうので６０Ｈｚ設定、△領域に文字が検出でき、Ｈ≦Ｈ３の場合には、文字の認識度の向上が期待できる２４０Ｈｚ設定にする。
【００８４】
本設定は、ユーザインタフェースを介して、ユーザが設定できるようにしても良い。その場合、ある速度のスクロール映像をフレームレート毎にユーザに提示して、その見易さをユーザに回答させ、その回答結果からそのユーザに最も適したフレームレートを算出する。
【００８５】
本処理により、文字検出部９００において、動きベクトル検知１０４からエリア毎の動きベクトル検出結果を元に、文字テロップの動きベクトルヒストグラム分布値Ｈを算出し、動きベクトルヒストグラム分布値Ｈに対応した主観評価による文字の認識度が最適になるフレームレートを選択できることができる。
【００８６】
図１３は、第２の実施例である文字検出部９００でのフレームレート選択処理シーケンスを示した例である。
【００８７】
動きベクトル検知１０４から指定したエリア（△領域）に関して、動きベクトル結果を入手する（Ｓ１３００）。
【００８８】
次に、動きベクトル毎のベクトル数をカウントし、図４に示すような動きベクトルヒストグラム分布を算出し、その動きの特徴の代表値を、動きベクトルヒストグラム分布値Ｈとする（Ｓ１３０１）。
【００８９】
次に、動きベクトルヒストグラム分布値Ｈに対応した文字の認識度が高いフレームレートを図１２の動きベクトルヒストグラム分布値とフレームレートの関係を示したテーブルから参照する（Ｓ１３０２）。
【００９０】
本処理により、文字検出部９００において、あるエリアの文字スクロールの有無と、その動き特徴量を算出し、動き特徴量に対応した文字の主観評価（認識度）が最適になるフレームレートを選択できることができる。すなわち、文字テロップを想定した動きベクトル検出結果から、文字の有無、スクロール速度を推測し、認識度を向上させるフレームレートを選択できる。
【００９１】
以下、本発明の第３の実施例を、図１４〜図１５を参照して説明する。
図１４は、第３の実施例の映像処理装置の構成の一例を示すブロック図である。
【００９２】
同じ構成のモジュールは図１に記載しているので省略する。図１の構成と比較して、液晶ディスプレイを想定したバックライト制御部１４００とバックライト部１４０１とを追加した構成である。同じ構成のモジュールは図１に記載しているので省略する。
【００９３】
液晶ディスプレイでは、液晶の応答の遅さを補う方法としてバックライト制御が考えられる。液晶の物理的特性からパネルの応答速度は決まるが、例えば、あるエリアを白から黒に変化させる場合に、バックライトの光を遮るように液晶に電圧をかけて液晶の透過率を変化させた際に、バックライトの光を消灯すれば、液晶の応答を待たずに、黒を表現できるようになるので、パネルの応答速度としては、高速化が可能となる。さらに、ＬＥＤバックライトなどを利用して、エリア毎の細かい応答の制御も可能である。
【００９４】
図１４の構成において、フレームレート算出部で利用したエリア毎の動きベクトルヒストグラム分散値を利用して、エリア毎に最適なフレームレートを算出可能であるので、それをバックライト制御部１４００に伝達し、バックライト部をエリア毎に制御し、エリア毎の見た目の液晶応答速度を向上させることにより、さらにユーザの認識度を向上させることができる。
【００９５】
フレームレート算出部で利用したエリア毎の動きベクトルヒストグラム分散値から、認識度を向上させるフレームレート算出は、実施例第一の図５で示した方法と同じ手法を利用する。
【００９６】
また、原価コスト削減のために、応答の遅い液晶パネルを使用した場合には、バックライト制御１４００により、エリア毎の見た目の応答速度を向上でき、見た目の認識度を低コストで向上できる効果もある。
【００９７】
例えば、１２０Ｈｚ対応の液晶パネルを利用した場合に、そのエリアを白から黒に変化させる場合に、液晶に電圧をかけて透過率を変化させている途中で、バックライト制御部１４００において、バックライトをオフに制御すると、液晶が光を遮る前にそもそものバックライトからの光がなくなるので、早めに黒に変化することができ、見た目２４０Ｈｚの液晶の応答速度を実現できる。
【００９８】
図１５は、第３の実施例のフレームレート算出部１０５での動きベクトルヒストグラム結果からエリア毎のフレームレートを算出している例を示している。
【００９９】
図１５に示す様に、表示部がバックライト制御１４００で制御可能なエリア毎に分かれている場合に、エリア毎に動きベクトルヒストグラム分散値Ｈを求め、その分散値を元に主観評価の認識度に合ったフレームレートを算出する例を示している。
【０１００】
本処理により、エリア毎に認識度を向上させるフレームレートを設定でき、それをバックライト制御１４００で、エリア毎の見た目の液晶応答速度を向上させることにより、エリア毎に見た目の認識度を向上することができる。
【０１０１】
本例では、エリア毎に求めた動きベクトルヒストグラム分散値を利用して、フレームレートを求めているが、複数エリアの動きベクトルヒストグラム分散値分析の結果から複数のエリアを纏めてバックライト制御しても良い。
【０１０２】
この場合、メインのオブジェクトの動きが複数のエリアを跨って映像の中を動く場合に、エリアの切れ目におけるオブジェクトのつなぎ目でフレームレートが変わることによる破綻がなくなると考えられる。
【０１０３】
図１６は、各実施例の映像表示装置のハードウェア構成例である。
【０１０４】
図１６において、１６００はアンテナ、１６０１はチューナ、１６０２は入力Ｉ／Ｆ、１６０３は映像デコーダ回路、１６０４は映像処理装置部分であり、１６０５はフレーム処理回路、１６０６はフレームメモリ、１６０７はタイミングコントローラ、１６０８は表示装置である。
【０１０５】
アンテナ１６００は、地上波デジタル放送やＢＳ／ＣＳなど衛星放送のアンテナ装置や、ＣＡＴＶなど外部からの放送波を入力する回路である。チューナ１６０１は、周波数同調回路であり、放送波を受信するための部品、回路である。入力Ｉ／Ｆ １６０２は、DVDやBD、メモリカード、ネットワークなどに保存してある映像や音声情報の入力Ｉ／Ｆであり、コンポジット、D端子、ＨDMI端子、EtＨernet（RJ-４５）端子、ＩＥＥＥ１３９４端子や、IEEE８０２．１１シリーズ、ＬＴＥ、Ｂｌｕｅｔｏｏｔｈなど無線を介してなど様々な映像入力を受け付ける入力Ｉ／Ｆである。
【０１０６】
映像デコーダ回路１６０３は、一定の規則に基づいて符号化されたデータを復号する回路で、ＭＰＥＧデコーダなどに相当する回路である。映像処理装置１６０４が、実施例１〜３に示した、フレームレート算出部、補間フレーム生成部を含む処理部が実装されている回路で構成された装置であり、映像デコーダ回路１６０３で映像や音声としてデコードされたフレーム単位の映像を入力信号とする。
【０１０７】
フレーム処理回路１６０５には、ベクトル検知１０４、フレームレート算出部１０５、補間フレーム生成部１０６、フレーム列生成部（メモリＩ／Ｆ）１０２が含まれ、画像メモリ１０３を含む、フレームメモリ１６０６を介して、補間フレームが生成される。
【０１０８】
タイミング制御部１０７を含む、タイミングコントローラ１６０７は、映像処理装置１６０４から得られたフレームレートにて出力を表示装置１６０８に表示するためのタイミング調整を行う。
【０１０９】
なお、上述した本実施形態は、本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施できる。例えば、本実施では、文字検出部での検知エリアを画面下部の△領域としているが、映画のスタッフロールの様に、画面の縦中央部分を検知エリアとしても良い。また、実施例第三の構成でのフレームレート算出部が、実施例第二の構成の文字検出部と入れ替わっても良い。また、ユーザインタフェースを有するシステムに組み込まれた場合には、“認識度アップモード”などのモード設け、そのモードに設定された時のみ、本実施がなされるものとしても良い。
【符号の説明】
【０１１０】
１００ 入力信号(現フレーム信号)
１０１ 入力信号(１フレーム前信号)
１０２ フレーム列生成部(フレームメモリI/F)
１０３ 画像メモリ
１０４ 動きベクトル検出部
１０５ フレームレート算出部
１０６ 補間フレーム生成部
１０７ タイミング制御部
１０８ 表示部
９００ 文字検出部
１４００ バックライト制御部
１４０１ バックライト部
１６００ アンテナ
１６０１ チューナ
１６０２ 入力Ｉ／Ｆ
１６０３ 映像デコーダ回路
１６０４ 映像処理装置部分
１６０５ フレーム処理回路
１６０６ フレームメモリ
１６０７ タイミングコントローラ
１６０８ 表示装置
【特許請求の範囲】
【請求項１】
映像信号の補間フレームを生成する映像処理装置において、
映像の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出した動きベクトルに基づいてフレームレートを算出するフレームレート算出部と、
前記フレームレート算出部で算出したフレームレートに基づいて補間フレームを生成する補間フレーム生成部とを備え、
前記フレームレート算出部は、前記動きベクトル検出部で検出した動きベクトルから映像の動き特徴量を算出し、当該動き特徴量が所定の閾値を越えた映像のフレームレートが、動き特徴量が当該所定の閾値以下の映像のフレームレートよりも低くなるようフレームレートを算出する映像処理装置。
【請求項２】
請求項１の映像処理装置であって、
映像を表示する表示部を備え、
前記表示部は前記フレームレート算出部で算出されたフレームレートで映像を表示する映像処理装置。
【請求項３】
請求項１又は２の映像処理装置であって、
前記動きベクトル検出部は映像のエリアごとの動きベクトルヒストグラム分布値を検出し、
前記フレームレート算出部は、前記動きベクトル検出部で検出されたエリア毎の動きベクトルヒストグラム分布値を用いて映像の動き特徴量を算出する手段を有する映像処理装置及び映像処理装置。
【請求項４】
請求項３の映像処理装置であって、
前記フレームレート算出部は、前記エリア毎の動きベクトルヒストグラム分布値の平均値、中央値、最頻値のいずれかを代表値として利用する映像処理装置。
【請求項５】
請求項１〜４の映像処理装置であって、
前記動き特徴量が所定の閾値を超えた映像とは当該映像のオブジェクトの角速度が３０°／秒より大きい映像で、前記動き特徴量が所定の閾値以下の映像とは当該映像のオブジェクトの角速度が３０°／秒以下の映像である映像処理装置。
【請求項６】
映像信号の補間フレームを生成する映像処理装置において、
映像の動きベクトルを検出する動きベクトル検出部と、
映像の中の文字を検出し、当該検出した文字に基づいてフレームレートを算出する文字検出部と、
前記前記動きベクトル検出部で検出された映像の動きベクトルと前記文字検出部で検出された文字とに基づいて補間フレームを生成する補間フレーム生成部とを備え、
前記文字検出部は、前記動きベクトル検出部で検出した映像の動きベクトルから前記検出した文字の動き特徴量を算出し、当該文字の動き特徴量が所定の閾値を越えた映像のフレームレートが、動き特徴量が当該所定の閾値以下の映像のフレームレートよりも低くなるようにフレームレートを算出することを特徴とする映像処理装置。
【請求項７】
請求項６の映像処理装置であって、
映像を表示する表示部を備え、
前記表示部は前記フレームレート算出部で算出されたフレームレートで映像を表示する映像処理装置。
【請求項８】
請求項６又は７の映像処理装置であって、
前記動きベクトル検出部は映像の動きベクトルヒストグラム分布値を検出し、
前記文字検出部は、入力された映像の所定のエリアの文字を検出し、前記動きベクトル検出部で検出された前記所定のエリアの文字の動きベクトルヒストグラム分布値を用いて当該文字の動き特徴量を算出し、当該文字の動き特徴量に基づいてフレームレートを算出することを特徴とする映像処理装置。
【請求項９】
請求項８の映像処理装置であって、
前記文字検出部は、前記動きベクトル検出部で検出された動きベクトルヒストグラム分布の平均値、中央値、最頻値のいずれかを代表値として利用することを特徴とする映像処理装置。
【請求項１０】
請求項８又は９の映像処理装置であって、
前記所定のエリアとは入力された映像の垂直方向下部のエリアであることを特徴とする映像処理装置。
【請求項１１】
請求項６〜１０のいずれかの映像処理装置であって、
前記動き特徴量が所定の閾値を超えた映像とは前記検出された文字の角速度が３０°／秒より大きい映像で、前記動き特徴量が所定の閾値以下の映像とは前記検出された文字の角速度が３０°／秒以下の映像である映像処理装置。
【請求項１２】
請求項２又は７の映像処理装置であって、
前記表示部の裏側で発光するバックライト部と、
前記バックライト部の発光を制御するバックライト制御部とを備え、
前記バックライト制御部は、前記フレームレート算出部で算出されたフレームレートに基づいて、前記バックライト部を制御することを特徴とする映像処理装置。
【請求項１３】
映像信号の補間フレームを生成する映像処理方法において、
映像の動きベクトルを検出する動きベクトル検出ステップと、
前記検出した動きベクトルに基づいてフレームレートを算出するフレームレート算出ステップと、
前記算出したフレームレートに基づいて補間フレームを生成する補間フレーム生成ステップとを備え、
前記フレームレート算出ステップでは、前記動きベクトル検出ステップで検出した動きベクトルから映像の動き特徴量を算出し、当該動き特徴量が所定の閾値を越えた映像のフレームレートが、動き特徴量が当該所定の閾値以下の映像のフレームレートよりも低くなるようフレームレートを算出する映像処理方法。
【請求項１】
映像信号の補間フレームを生成する映像処理装置において、
映像の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出した動きベクトルに基づいてフレームレートを算出するフレームレート算出部と、
前記フレームレート算出部で算出したフレームレートに基づいて補間フレームを生成する補間フレーム生成部とを備え、
前記フレームレート算出部は、前記動きベクトル検出部で検出した動きベクトルから映像の動き特徴量を算出し、当該動き特徴量が所定の閾値を越えた映像のフレームレートが、動き特徴量が当該所定の閾値以下の映像のフレームレートよりも低くなるようフレームレートを算出する映像処理装置。
【請求項２】
請求項１の映像処理装置であって、
映像を表示する表示部を備え、
前記表示部は前記フレームレート算出部で算出されたフレームレートで映像を表示する映像処理装置。
【請求項３】
請求項１又は２の映像処理装置であって、
前記動きベクトル検出部は映像のエリアごとの動きベクトルヒストグラム分布値を検出し、
前記フレームレート算出部は、前記動きベクトル検出部で検出されたエリア毎の動きベクトルヒストグラム分布値を用いて映像の動き特徴量を算出する手段を有する映像処理装置及び映像処理装置。
【請求項４】
請求項３の映像処理装置であって、
前記フレームレート算出部は、前記エリア毎の動きベクトルヒストグラム分布値の平均値、中央値、最頻値のいずれかを代表値として利用する映像処理装置。
【請求項５】
請求項１〜４の映像処理装置であって、
前記動き特徴量が所定の閾値を超えた映像とは当該映像のオブジェクトの角速度が３０°／秒より大きい映像で、前記動き特徴量が所定の閾値以下の映像とは当該映像のオブジェクトの角速度が３０°／秒以下の映像である映像処理装置。
【請求項６】
映像信号の補間フレームを生成する映像処理装置において、
映像の動きベクトルを検出する動きベクトル検出部と、
映像の中の文字を検出し、当該検出した文字に基づいてフレームレートを算出する文字検出部と、
前記前記動きベクトル検出部で検出された映像の動きベクトルと前記文字検出部で検出された文字とに基づいて補間フレームを生成する補間フレーム生成部とを備え、
前記文字検出部は、前記動きベクトル検出部で検出した映像の動きベクトルから前記検出した文字の動き特徴量を算出し、当該文字の動き特徴量が所定の閾値を越えた映像のフレームレートが、動き特徴量が当該所定の閾値以下の映像のフレームレートよりも低くなるようにフレームレートを算出することを特徴とする映像処理装置。
【請求項７】
請求項６の映像処理装置であって、
映像を表示する表示部を備え、
前記表示部は前記フレームレート算出部で算出されたフレームレートで映像を表示する映像処理装置。
【請求項８】
請求項６又は７の映像処理装置であって、
前記動きベクトル検出部は映像の動きベクトルヒストグラム分布値を検出し、
前記文字検出部は、入力された映像の所定のエリアの文字を検出し、前記動きベクトル検出部で検出された前記所定のエリアの文字の動きベクトルヒストグラム分布値を用いて当該文字の動き特徴量を算出し、当該文字の動き特徴量に基づいてフレームレートを算出することを特徴とする映像処理装置。
【請求項９】
請求項８の映像処理装置であって、
前記文字検出部は、前記動きベクトル検出部で検出された動きベクトルヒストグラム分布の平均値、中央値、最頻値のいずれかを代表値として利用することを特徴とする映像処理装置。
【請求項１０】
請求項８又は９の映像処理装置であって、
前記所定のエリアとは入力された映像の垂直方向下部のエリアであることを特徴とする映像処理装置。
【請求項１１】
請求項６〜１０のいずれかの映像処理装置であって、
前記動き特徴量が所定の閾値を超えた映像とは前記検出された文字の角速度が３０°／秒より大きい映像で、前記動き特徴量が所定の閾値以下の映像とは前記検出された文字の角速度が３０°／秒以下の映像である映像処理装置。
【請求項１２】
請求項２又は７の映像処理装置であって、
前記表示部の裏側で発光するバックライト部と、
前記バックライト部の発光を制御するバックライト制御部とを備え、
前記バックライト制御部は、前記フレームレート算出部で算出されたフレームレートに基づいて、前記バックライト部を制御することを特徴とする映像処理装置。
【請求項１３】
映像信号の補間フレームを生成する映像処理方法において、
映像の動きベクトルを検出する動きベクトル検出ステップと、
前記検出した動きベクトルに基づいてフレームレートを算出するフレームレート算出ステップと、
前記算出したフレームレートに基づいて補間フレームを生成する補間フレーム生成ステップとを備え、
前記フレームレート算出ステップでは、前記動きベクトル検出ステップで検出した動きベクトルから映像の動き特徴量を算出し、当該動き特徴量が所定の閾値を越えた映像のフレームレートが、動き特徴量が当該所定の閾値以下の映像のフレームレートよりも低くなるようフレームレートを算出する映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−３５７９６（Ｐ２０１１−３５７９６Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１８２０４４（Ｐ２００９−１８２０４４）
【出願日】平成２１年８月５日（２００９．８．５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＴＨＥＲＮＥＴ
２．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年８月５日（２００９．８．５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＴＨＥＲＮＥＴ
２．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]