フレーム補間装置
【課題】テロップの誤検出が起こらないフレーム間補間装置を提供する。
【解決手段】第１のシーン解析部において、処理対象領域がスクロール画面か否かを判定する。テロップ検出部は、処理対象領域がテロップか否かを判断する。第２のシーン解析部は、第１のシーン解析部とは独自の基準で、処理対象領域がスクロール画面か否かを判断する。第１のシーン解析部がスクロール画面と判断した場合には、スクロールシーンとして補間画像を生成する。そうでない場合は、テロップ検出部がテロップと判断し、第２のシーン解析部が、スクロールでないと判断した場合、テロップとして補間画像を生成する。
【解決手段】第１のシーン解析部において、処理対象領域がスクロール画面か否かを判定する。テロップ検出部は、処理対象領域がテロップか否かを判断する。第２のシーン解析部は、第１のシーン解析部とは独自の基準で、処理対象領域がスクロール画面か否かを判断する。第１のシーン解析部がスクロール画面と判断した場合には、スクロールシーンとして補間画像を生成する。そうでない場合は、テロップ検出部がテロップと判断し、第２のシーン解析部が、スクロールでないと判断した場合、テロップとして補間画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のフレームレートを変換するためにフレーム間に補間フレームを挿入するフレーム補間装置に関する。
【背景技術】
【０００２】
モーションジャダ（Motion Judder）や液晶パネルの動きボケを、フレーム補間装置により表示するフレーム数を増やすことで改善する技術がある。
図１４〜図１６を用いて、従来のフレーム補間装置を説明する。
【０００３】
まず、映像データ受信機１０で動画像データを取得し、フレーム補間装置１１で現フレームと、遅延器１２で生成された１フレーム遅延した動画像データから補間画像を生成する。液晶パネルなどのディスプレイ１３で、生成した補間画像と受信データを交互に表示することで２倍のフレームレートで表示する。これにより、動きボケやモーションジャダを低減することができる。当然、挿入するフレーム数や、表示時間を調整することで、２倍以外のフレームレートでも出力可能である。
【０００４】
フレーム補間処理は映像の動きが複雑な場合、補間画像に破綻が生じる場合がある。このため、カメラパンなどによるスクロール映像や、文字列が一定の速度で移動するテロップなど、効果が良くわかる映像範囲に限定することで、十分な改善効果を得ながら破綻の発生を抑える方法が考えられている。
【０００５】
例えば、図１５に示したフレーム補間装置を用いることで、テロップに対してのみ補間を行うことができる。
まず、テロップ検出部１５で、図１６に示したようなテロップ検出領域単位に領域内にテロップが存在するか判定する。テロップベクトル探索部１６は、テロップの動きを検出し、テロップベクトルを返す。補間ベクトル生成部１７で、テロップ判定結果を基に動きベクトルを決定し、補間画像生成部１８で補間画像を生成する。
【０００６】
例えばテロップを検出し補間する技術として非特許文献１がある。非特許文献１のテロップ検出方法は、画面全体の平均速度とテロップ検出領域内の移動速度の差分が大きい場合にその領域にテロップが存在するものと判定する。しかしこの方法は、移動速度のみでテロップの特性をほとんど考慮していないため、車や人の移動などの一般物体の移動をテロップと誤検出してしまう可能性が大きいといった問題がある。
【０００７】
また、テロップの特性を考慮してテロップをより高精度に検出する方法として、非特許文献２がある。この方法によりテロップを検出する場合でも、スクロールしている背景中に含まれる看板の文字などはテロップと誤検出してしまうことがある。
【０００８】
この様な誤検出が発生すると、例えば、看板が存在する領域などの一部分のみで補間がかかる。その結果、補間がかかる領域とかからない領域が発生し、その差が画質劣化として認識されてしまう。
【非特許文献１】「大型ＬＣＤ−ＴＶ用倍速フレームレート変換技術とその画質改善効果の検証」、吉田育弘 他、映像情報メディア学会誌 Vol.62 No.5 pp.778-787、2008年5月
【非特許文献２】「映像中のテロップ表示フレーム検出方法」、新井啓之 他、電子情報通信学会論文誌D-II Vol.J83-D-II No.6 pp.1477-1486、2000年6月
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のフレーム補間装置では、例えば背景中の看板に書かれた文字がカメラパンにより横移動していた場合、その文字をテロップとして検出してしまい、テロップでないにも関わらず補間をしてしまうことがある。この補間は、テロップ検出領域単位で起きるため、例えば、看板が存在する領域などの一部分のみで補間がかかる。その結果、補間がかかる領域とかからない領域が発生し、その差が画質劣化として認識されてしまう。
【００１０】
図１７に、従来の技術における画質劣化の様子を示した。
図１７は、画面全体が横スクロールしている映像を入力した場合の例である。看板の文字とその周辺を誤ってテロップとして検出してしまい、看板の一部分だけに補間がかかってしまう。
【００１１】
また、横や縦に動くテロップのみを補間対象としているため、スクロールシーンの検出や補間を行うことができない。
本発明の課題は、テロップの誤検出が起こらないフレーム補間装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明のフレーム補間装置は、動画像のフレーム間にフレームを挿入するフレーム補間装置において、フレーム内にあるテロップがあるか否かを検出するテロップ検出手段と、テロップの動きベクトルを取得するテロップベクトル取得手段と、フレーム内の第１の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断する第１のベクトル解析手段と、フレーム内の、第１の割合より少ない第２の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断する第２のベクトル解析手段と、該第１のベクトル解析手段が、第１の割合以上の領域がほぼ同じベクトルを有していないと判断し、該テロップ検出手段が、テロップを検出し、該第２のベクトル解析手段が、第２の割合以上の領域がほぼ同じベクトルを有していないと判断した場合に、該テロップベクトル取得手段が取得した動きベクトルを補間ベクトルとして出力する補間ベクトル生成手段と、該補間ベクトル生成手段の出力する補間ベクトルを用いて、補間フレームを生成する補間フレーム生成手段とを備える。
【発明の効果】
【００１３】
テロップの誤検出が起こらないフレーム間補間装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明の実施形態の基本構成を示す図である。
図１の構成においては、テロップの動きベクトルを算出するテロップベクトル探索部２１と、テロップ検出領域単位にテロップ検出を行うテロップ検出部２０と、シーンの動きベクトルを算出するシーンベクトル探索部２２と、シーンの補間を行うかを決定するためにシーンの動きベクトルを基にスクロールを検出する第１のシーン解析部２４と、テロップの補間を行うかを判定するためにシーンの動きベクトルを基にスクロールを検出する第２のシーン解析部２５と、テロップ判定結果や２通りのスクロール判定結果を基に補間に用いる動きベクトルを決定する補間ベクトル生成部２３と、得られたベクトルより補間画像を生成する補間画像生成部２６とを具備する。
【００１５】
図２は、補間ベクトル生成部の構成図である。
補間ベクトル生成部２３は、ゼロベクトルを生成するゼロベクトル生成部３０と、テロップの動きベクトルとゼロベクトルの選択をテロップ判定結果と第１のシーン判定結果から判断し、さらにその選択結果とシーンの動きベクトルとの選択を第２のシーン判定結果から判断する判断部３１と、判断部３１の結果を基に出力する動きベクトルを選択するベクトル選択部３２を具備する。
【００１６】
第１のシーン解析部２４は、スクロールで補間可能なシーンを検出する。検出されたシーンはシーンベクトル探索部２２で得られた動きベクトルで補間する。これにより、スクロールシーンの補間を行う。
【００１７】
看板などの文字の画質劣化はカメラパンなど画面全体がスクロールしている場合に発生することが多い。そこで、第２のシーン解析部２５を用いて、テロップ検出で誤検出が発生するスクロールシーンを検出する。検出されたシーンはテロップベクトル探索部２１で求めた動きベクトルによる補間を行わないようにすることで、テロップ誤検出による画質劣化を抑制することができる。
【００１８】
このようにシーン解析を２つ用意することで、テロップでの誤検出抑制対象シーンと補間対象とするスクロールシーンを、それぞれで適切に選択することができる。例えば、第２のシーン解析部２５は、テロップの誤検出を多くカバーするために広い範囲のパンニングを検出し、第１のシーン解析部２４ではスクロールシーンでの破綻をなるべく抑えるために、例えば画面全体が同じ方向に動いているシーンを検出する、といったことができるようになる。このとき第１のシーン解析部２４でのスクロールシーンの検出には、画面の50%以上が同一とみなせる方向に動いているシーンを検出することで破綻の少ない安定した結果が得られることが経験的にわかっている。
【００１９】
また、図３に、画面全体に占めるテロップが存在する領域の割合を調査した結果を示した。
この調査結果より、画面の25%以上にテロップが存在する動画像は存在確率が低いことがわかる。このため、画面の25%以上が同じ方向に動いているシーンでテロップが存在すると検出した場合、それは問題点で上げたような誤検出である可能性が高い。そのため、第２のシーン解析部２５で、画面の25%以上が同じとみなせる速度・方向に動いているシーンを検出し、テロップの誤検出を抑える。
【００２０】
図４は、本実施形態の変形例を示す図である。
図４において、図１と同じ構成要素には、同じ参照符号を付し、その説明を省略する。
図４においては、入力された画像を複数の解像度をもつ縮小画像に変換する画像縮小部４０をさらに備えている。これは、複数の縮小画像を基にシーンの動きベクトルを探索するものである。シーン検出に用いる画像を縮小することで、広い範囲の動き量を持った動きベクトルを少ない演算量で算出可能とすることができる。
【００２１】
図５は、本実施形態の第２の変形例を示す図である。
図５において、図１と同じ構成要素には、同じ参照符号を付し、その説明を省略する。
テロップベクトル探索部とシーンベクトル探索部の代わりに、シーンとテロップの動きベクトルを同時に算出するベクトル探索部４１を設けた。
ベクトル探索処理を一つにまとめることで、少ない演算量でベクトルを決定することができる。
【００２２】
図６は、本実施形態の第３の変形例を示す図である。
図６において、図１と同じ構成要素には、同じ参照符号を付して、その説明を省略する。
テロップ検出部２０は第１のシーン解析部２４の解析結果を利用してテロップ検出を行い、テロップベクトル探索部２１は、第１のシーン解析部２４の解析結果を利用してテロ
ップ検出を行う。
【００２３】
シーン解析結果から得られるスクロール情報をテロップ検出で利用することにより、テロップが存在する領域を効率良く抽出することができる。例えば、静止背景上をテロップが横切る場合、前後フレームの差分を取ることでテロップが存在する領域を抽出することができる。しかし、背景がスクロールしている場合、背景の差分が発生するため検出の精度が落ちる。このとき、スクロール方向に対して差分を取ることで、背景の差分を無くすことができる。これによって、テロップの存在をより高精度に検出できる。
【００２４】
また同様に、シーン解析結果から得られるスクロール情報をテロップベクトル探索で利用することにより、テロップの動きベクトルを正確に検出できる。例えば、スクロール方向に対して差分が存在しない領域のみでマッチングを取ることにより、背景の動きに影響を受けづらくなり、ベクトルの精度が向上する。
【００２５】
図７は、テロップ検出部の処理フローである。
図７の処理は、すべてのテロップ検出領域に対して行い、テロップを検出するものである。ステップＳ１０において、現フレームと前フレームで画素ごとに輝度の差分を計算し、差が大きい領域を抽出する。これにより、テロップが存在する可能性のある領域を限定する。ステップＳ１１において、ステップＳ１０で得られた誤差の大きい領域のみで、現フレームと前フレームのマッチングを行い、動きを検出する。テロップの動きは一般的に水平、垂直方向に限定されるため、その方向のみを探索する。ステップＳ１２において、得られた動きが信頼できるものか判定する。すなわち、当該領域のＳＡＤ（Sum of Absolute Difference）が大きい場合（予め定められた閾値と比較するなど）や、前後フレームの差分画素が少ない（予め定められた閾値と比較するなど）場合は信頼できないとする。信頼できないと判断された場合には、データを捨てて、当該領域にはテロップが存在しないとする。ステップＳ１２で、信頼できると判断された場合には、ステップＳ１３において、当該領域の過去の動きと比較し、何回連続で一致（もしくは類似）しているかをカウントする。ステップＳ１３のカウント数が、例えば、４回以上一致していることを示している場合には、領域内にテロップが存在すると判定し、そのときの動きをテロップ速度とする。ステップＳ１３で、一致が４回未満であると判断された場合には、領域内にはテロップは存在しないと判定する。
【００２６】
図８は、テロップベクトル探索部の処理フローである。
図８の処理は、８×８画素のブロック単位で、動きベクトルの検出を行う。ステップＳ１５において、ＳＡＤ基準のブロックマッチングにより動きベクトルを検出する。つまり、８×８画素のブロック単位に全動きベクトル候補に対するＳＡＤを計算し、最小のＳＡＤを取る動きベクトルをそのブロックの動きベクトルとする。探索の方向は、水平、垂直方向のみに限定する。ステップＳ１６において、動きベクトルが信頼できるものか否かを判定する。すなわち、ＳＡＤが大きい場合（予め閾値を設け、これと比較して大きいか否かを判断するようにすれば良い）や、ブロック内の輝度の分散が小さい（例えば、予め設定された閾値と比較する）場合は、信頼できないとする。ステップＳ１６において、信頼できると判断された場合には、検出された動きベクトルをテロップの動きベクトル（テロップベクトル）として出力する。ステップＳ１６において、信頼できないと判断された場合には、零ベクトルをテロップベクトルとして出力する。
なお、図６の構成の場合には、第１のシーン解析部から、処理中のテロップ検出領域が、スクロールシーンか否かの判定結果をもらい、これを利用して検出を行う。
【００２７】
図９は、シーンベクトル探索部の処理フローである。
図９の処理は、８×８画素のブロック単位に、フレーム全体にわたり動きベクトルの検
出を行う。ステップＳ２０において、ＳＡＤ基準のブロックマッチングにより、動きベクトルを検出する。探索の方向は、縦、横、斜めなど全方位に探索する。得られたベクトルをシーンベクトルとする。
【００２８】
図１０は、第１のシーン解析部の処理フローである。
図１０の処理では、シーンベクトルを元に、スクロールシーンを検出する、スクロールシーンとして補間をするか否かを判定するための処理である。ステップＳ２５において、画面全体のシーンベクトルの分散・一致度を計算する。一致度は画面全体の何%が類似した方向に動いているかを示す値で、例えば、最大頻度のベクトルとの差分絶対値が予め定められた閾値と比較して小さいベクトルの個数をカウントし、画面全体のブロック数で割ることにより求まる。ステップＳ２６において、動きベクトルの分散を判定する。すなわち、予め決められた閾値と比較し、分散と閾値との大小を判定する。ステップＳ２６の判定で、分散が大きいと判断された場合には、非スクロールシーンと判定する。分散が小さいと判断された場合には、ステップＳ２７において、画面の50%以上の領域が同じ方向（もしくは類似した方向）のベクトルか否かを判断する。50%以上が同じ方向あるいは類似した方向であると判断された場合には、スクロールシーンであると判定し、50%未満と判定された場合には、非スクロールシーンであると判定する。
【００２９】
図１１は、第２のシーン解析部の処理フローである。
図１１の処理では、シーンベクトルを元に、スクロールシーンを検出し、テロップを補間するか否かを判定するための処理である。
【００３０】
ステップＳ３０において、画面全体のシーンベクトルの分散・一致度を計算する。一致度は、前述したとおりである。ステップＳ３１において、動きベクトルの分散を判定する。この判定の仕方も前述と同様である。ステップＳ３１において、分散が大きいと判断された場合には、非スクロールシーンと判定する。すなわち、テロップの補間を行う。ステップＳ３１において、分散が小さいと判断された場合には、ステップＳ３２において、全画面のうち、25%の領域が同じ方向（もしくは、類似した方向）のベクトルか否かを判定する。ステップＳ３２において、25%以上が同じ方向（もしくは、類似した方向）の動きベクトルと判断された場合には、スクロールシーンと判定し、テロップの補間は行わない。ステップＳ３２で、25%未満しか同じ方向もしくは類似した方向の動きベクトルを持っていないと判断された場合には、非スクロールシーンと判定し、テロップの補間を行う。
【００３１】
図１２及び図１３は、判断部の判断ロジックを説明する図である。
図１２の表は、テロップ検出部のテロップ判定の結果、第１のシーン解析部の第１のシーン判定結果、第２のシーン解析部の第２のシーン判定の結果の組み合わせから、どのようなベクトルを補間用ベクトルとして出力するかを示すものである。表中の○は、それぞれの判定結果によって、テロップが検出された（テロップ検出部）、スクロールシーンが検出された（第１のシーン解析部）、テロップ補間を行わないこと（第２のシーン解析部）が検出されたことを示す。×は、上記が検出されなかったことを示す。シーンベクトルは、シーンベクトル探索部により得られる画面全体のスクロールを補間するベクトルであり、テロップベクトルは、テロップベクトル探索部により得られるテロップの動きを補間するベクトルである。また、ゼロベクトルは、検出された動きベクトルによる補間を一切行わないことを示す。このようにスクロールやテロップと検出されたシーン以外のシーンの補間を行わないことで、十分な補間効果を得ながら、破綻を最小限に抑えることが出来る。
【００３２】
図１３は判断部の判断ロジックを示す図である。まず、ステップＳ３５で、第１のシーン判定結果でスクロールと判定されたか否かを判断する。ステップＳ３５で、スクロールと判定された場合には、補間ベクトル生成部はシーンベクトルを出力する。スクロールと
判定されなかった場合には、ステップＳ３６において、テロップ判定結果で、テロップと判定されたか否かを判定する。ステップＳ３６において、テロップと判定されなかった場合には、補間ベクトル生成部はゼロベクトルを出力する。テロップと判定された場合には、ステップＳ３７において、第２のシーン判定結果でスクロールと判定されたか否かを判断する。ステップＳ３７で、スクロールと判定された場合には、補間ベクトル生成部はゼロベクトルを出力する。スクロールでないと判定された場合には、補間ベクトル生成部はテロップベクトルを出力する。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態の基本構成を示す図である。
【図２】補間ベクトル生成部の構成図である。
【図３】画面全体に占めるテロップが存在する領域の割合を調査した結果を示す図である。
【図４】本実施形態の変形例を示す図である。
【図５】本実施形態の第２の変形例を示す図である。
【図６】本実施形態の第３の変形例を示す図である。
【図７】テロップ検出部の処理フローである。
【図８】テロップベクトル探索部の処理フローである。
【図９】シーンベクトル探索部の処理フローである。
【図１０】第１のシーン解析部の処理フローである。
【図１１】第２のシーン解析部の処理フローである。
【図１２】判断部の判断ロジックを説明する図（その１）である。
【図１３】判断部の判断ロジックを説明する図（その２）である。
【図１４】従来のフレーム補間装置を説明する図（その１）である。
【図１５】従来のフレーム補間装置を説明する図（その２）である。
【図１６】従来のフレーム補間装置を説明する図（その３）である。
【図１７】従来の技術における画質劣化の様子を示す図である。
【符号の説明】
【００３４】
１０ 映像データ受信機（チューナ／デコーダ）
１１ フレーム補間装置
１２ 遅延器
１３ ディスプレイ（液晶パネル）
１５、２０ テロップ検出部
１６、２１ テロップベクトル探索部
１７、２３ 補間ベクトル生成部
１８、２６ 補間画像生成部
２２ シーンベクトル探索部
２４ 第１のシーン解析部
２５ 第２のシーン解析部
３０ ゼロベクトル生成部
３１ 判断部
３２ ベクトル選択部
４０ 画像縮小部
４１ ベクトル探索部
【技術分野】
【０００１】
本発明は、動画像のフレームレートを変換するためにフレーム間に補間フレームを挿入するフレーム補間装置に関する。
【背景技術】
【０００２】
モーションジャダ（Motion Judder）や液晶パネルの動きボケを、フレーム補間装置により表示するフレーム数を増やすことで改善する技術がある。
図１４〜図１６を用いて、従来のフレーム補間装置を説明する。
【０００３】
まず、映像データ受信機１０で動画像データを取得し、フレーム補間装置１１で現フレームと、遅延器１２で生成された１フレーム遅延した動画像データから補間画像を生成する。液晶パネルなどのディスプレイ１３で、生成した補間画像と受信データを交互に表示することで２倍のフレームレートで表示する。これにより、動きボケやモーションジャダを低減することができる。当然、挿入するフレーム数や、表示時間を調整することで、２倍以外のフレームレートでも出力可能である。
【０００４】
フレーム補間処理は映像の動きが複雑な場合、補間画像に破綻が生じる場合がある。このため、カメラパンなどによるスクロール映像や、文字列が一定の速度で移動するテロップなど、効果が良くわかる映像範囲に限定することで、十分な改善効果を得ながら破綻の発生を抑える方法が考えられている。
【０００５】
例えば、図１５に示したフレーム補間装置を用いることで、テロップに対してのみ補間を行うことができる。
まず、テロップ検出部１５で、図１６に示したようなテロップ検出領域単位に領域内にテロップが存在するか判定する。テロップベクトル探索部１６は、テロップの動きを検出し、テロップベクトルを返す。補間ベクトル生成部１７で、テロップ判定結果を基に動きベクトルを決定し、補間画像生成部１８で補間画像を生成する。
【０００６】
例えばテロップを検出し補間する技術として非特許文献１がある。非特許文献１のテロップ検出方法は、画面全体の平均速度とテロップ検出領域内の移動速度の差分が大きい場合にその領域にテロップが存在するものと判定する。しかしこの方法は、移動速度のみでテロップの特性をほとんど考慮していないため、車や人の移動などの一般物体の移動をテロップと誤検出してしまう可能性が大きいといった問題がある。
【０００７】
また、テロップの特性を考慮してテロップをより高精度に検出する方法として、非特許文献２がある。この方法によりテロップを検出する場合でも、スクロールしている背景中に含まれる看板の文字などはテロップと誤検出してしまうことがある。
【０００８】
この様な誤検出が発生すると、例えば、看板が存在する領域などの一部分のみで補間がかかる。その結果、補間がかかる領域とかからない領域が発生し、その差が画質劣化として認識されてしまう。
【非特許文献１】「大型ＬＣＤ−ＴＶ用倍速フレームレート変換技術とその画質改善効果の検証」、吉田育弘 他、映像情報メディア学会誌 Vol.62 No.5 pp.778-787、2008年5月
【非特許文献２】「映像中のテロップ表示フレーム検出方法」、新井啓之 他、電子情報通信学会論文誌D-II Vol.J83-D-II No.6 pp.1477-1486、2000年6月
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のフレーム補間装置では、例えば背景中の看板に書かれた文字がカメラパンにより横移動していた場合、その文字をテロップとして検出してしまい、テロップでないにも関わらず補間をしてしまうことがある。この補間は、テロップ検出領域単位で起きるため、例えば、看板が存在する領域などの一部分のみで補間がかかる。その結果、補間がかかる領域とかからない領域が発生し、その差が画質劣化として認識されてしまう。
【００１０】
図１７に、従来の技術における画質劣化の様子を示した。
図１７は、画面全体が横スクロールしている映像を入力した場合の例である。看板の文字とその周辺を誤ってテロップとして検出してしまい、看板の一部分だけに補間がかかってしまう。
【００１１】
また、横や縦に動くテロップのみを補間対象としているため、スクロールシーンの検出や補間を行うことができない。
本発明の課題は、テロップの誤検出が起こらないフレーム補間装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明のフレーム補間装置は、動画像のフレーム間にフレームを挿入するフレーム補間装置において、フレーム内にあるテロップがあるか否かを検出するテロップ検出手段と、テロップの動きベクトルを取得するテロップベクトル取得手段と、フレーム内の第１の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断する第１のベクトル解析手段と、フレーム内の、第１の割合より少ない第２の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断する第２のベクトル解析手段と、該第１のベクトル解析手段が、第１の割合以上の領域がほぼ同じベクトルを有していないと判断し、該テロップ検出手段が、テロップを検出し、該第２のベクトル解析手段が、第２の割合以上の領域がほぼ同じベクトルを有していないと判断した場合に、該テロップベクトル取得手段が取得した動きベクトルを補間ベクトルとして出力する補間ベクトル生成手段と、該補間ベクトル生成手段の出力する補間ベクトルを用いて、補間フレームを生成する補間フレーム生成手段とを備える。
【発明の効果】
【００１３】
テロップの誤検出が起こらないフレーム間補間装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明の実施形態の基本構成を示す図である。
図１の構成においては、テロップの動きベクトルを算出するテロップベクトル探索部２１と、テロップ検出領域単位にテロップ検出を行うテロップ検出部２０と、シーンの動きベクトルを算出するシーンベクトル探索部２２と、シーンの補間を行うかを決定するためにシーンの動きベクトルを基にスクロールを検出する第１のシーン解析部２４と、テロップの補間を行うかを判定するためにシーンの動きベクトルを基にスクロールを検出する第２のシーン解析部２５と、テロップ判定結果や２通りのスクロール判定結果を基に補間に用いる動きベクトルを決定する補間ベクトル生成部２３と、得られたベクトルより補間画像を生成する補間画像生成部２６とを具備する。
【００１５】
図２は、補間ベクトル生成部の構成図である。
補間ベクトル生成部２３は、ゼロベクトルを生成するゼロベクトル生成部３０と、テロップの動きベクトルとゼロベクトルの選択をテロップ判定結果と第１のシーン判定結果から判断し、さらにその選択結果とシーンの動きベクトルとの選択を第２のシーン判定結果から判断する判断部３１と、判断部３１の結果を基に出力する動きベクトルを選択するベクトル選択部３２を具備する。
【００１６】
第１のシーン解析部２４は、スクロールで補間可能なシーンを検出する。検出されたシーンはシーンベクトル探索部２２で得られた動きベクトルで補間する。これにより、スクロールシーンの補間を行う。
【００１７】
看板などの文字の画質劣化はカメラパンなど画面全体がスクロールしている場合に発生することが多い。そこで、第２のシーン解析部２５を用いて、テロップ検出で誤検出が発生するスクロールシーンを検出する。検出されたシーンはテロップベクトル探索部２１で求めた動きベクトルによる補間を行わないようにすることで、テロップ誤検出による画質劣化を抑制することができる。
【００１８】
このようにシーン解析を２つ用意することで、テロップでの誤検出抑制対象シーンと補間対象とするスクロールシーンを、それぞれで適切に選択することができる。例えば、第２のシーン解析部２５は、テロップの誤検出を多くカバーするために広い範囲のパンニングを検出し、第１のシーン解析部２４ではスクロールシーンでの破綻をなるべく抑えるために、例えば画面全体が同じ方向に動いているシーンを検出する、といったことができるようになる。このとき第１のシーン解析部２４でのスクロールシーンの検出には、画面の50%以上が同一とみなせる方向に動いているシーンを検出することで破綻の少ない安定した結果が得られることが経験的にわかっている。
【００１９】
また、図３に、画面全体に占めるテロップが存在する領域の割合を調査した結果を示した。
この調査結果より、画面の25%以上にテロップが存在する動画像は存在確率が低いことがわかる。このため、画面の25%以上が同じ方向に動いているシーンでテロップが存在すると検出した場合、それは問題点で上げたような誤検出である可能性が高い。そのため、第２のシーン解析部２５で、画面の25%以上が同じとみなせる速度・方向に動いているシーンを検出し、テロップの誤検出を抑える。
【００２０】
図４は、本実施形態の変形例を示す図である。
図４において、図１と同じ構成要素には、同じ参照符号を付し、その説明を省略する。
図４においては、入力された画像を複数の解像度をもつ縮小画像に変換する画像縮小部４０をさらに備えている。これは、複数の縮小画像を基にシーンの動きベクトルを探索するものである。シーン検出に用いる画像を縮小することで、広い範囲の動き量を持った動きベクトルを少ない演算量で算出可能とすることができる。
【００２１】
図５は、本実施形態の第２の変形例を示す図である。
図５において、図１と同じ構成要素には、同じ参照符号を付し、その説明を省略する。
テロップベクトル探索部とシーンベクトル探索部の代わりに、シーンとテロップの動きベクトルを同時に算出するベクトル探索部４１を設けた。
ベクトル探索処理を一つにまとめることで、少ない演算量でベクトルを決定することができる。
【００２２】
図６は、本実施形態の第３の変形例を示す図である。
図６において、図１と同じ構成要素には、同じ参照符号を付して、その説明を省略する。
テロップ検出部２０は第１のシーン解析部２４の解析結果を利用してテロップ検出を行い、テロップベクトル探索部２１は、第１のシーン解析部２４の解析結果を利用してテロ
ップ検出を行う。
【００２３】
シーン解析結果から得られるスクロール情報をテロップ検出で利用することにより、テロップが存在する領域を効率良く抽出することができる。例えば、静止背景上をテロップが横切る場合、前後フレームの差分を取ることでテロップが存在する領域を抽出することができる。しかし、背景がスクロールしている場合、背景の差分が発生するため検出の精度が落ちる。このとき、スクロール方向に対して差分を取ることで、背景の差分を無くすことができる。これによって、テロップの存在をより高精度に検出できる。
【００２４】
また同様に、シーン解析結果から得られるスクロール情報をテロップベクトル探索で利用することにより、テロップの動きベクトルを正確に検出できる。例えば、スクロール方向に対して差分が存在しない領域のみでマッチングを取ることにより、背景の動きに影響を受けづらくなり、ベクトルの精度が向上する。
【００２５】
図７は、テロップ検出部の処理フローである。
図７の処理は、すべてのテロップ検出領域に対して行い、テロップを検出するものである。ステップＳ１０において、現フレームと前フレームで画素ごとに輝度の差分を計算し、差が大きい領域を抽出する。これにより、テロップが存在する可能性のある領域を限定する。ステップＳ１１において、ステップＳ１０で得られた誤差の大きい領域のみで、現フレームと前フレームのマッチングを行い、動きを検出する。テロップの動きは一般的に水平、垂直方向に限定されるため、その方向のみを探索する。ステップＳ１２において、得られた動きが信頼できるものか判定する。すなわち、当該領域のＳＡＤ（Sum of Absolute Difference）が大きい場合（予め定められた閾値と比較するなど）や、前後フレームの差分画素が少ない（予め定められた閾値と比較するなど）場合は信頼できないとする。信頼できないと判断された場合には、データを捨てて、当該領域にはテロップが存在しないとする。ステップＳ１２で、信頼できると判断された場合には、ステップＳ１３において、当該領域の過去の動きと比較し、何回連続で一致（もしくは類似）しているかをカウントする。ステップＳ１３のカウント数が、例えば、４回以上一致していることを示している場合には、領域内にテロップが存在すると判定し、そのときの動きをテロップ速度とする。ステップＳ１３で、一致が４回未満であると判断された場合には、領域内にはテロップは存在しないと判定する。
【００２６】
図８は、テロップベクトル探索部の処理フローである。
図８の処理は、８×８画素のブロック単位で、動きベクトルの検出を行う。ステップＳ１５において、ＳＡＤ基準のブロックマッチングにより動きベクトルを検出する。つまり、８×８画素のブロック単位に全動きベクトル候補に対するＳＡＤを計算し、最小のＳＡＤを取る動きベクトルをそのブロックの動きベクトルとする。探索の方向は、水平、垂直方向のみに限定する。ステップＳ１６において、動きベクトルが信頼できるものか否かを判定する。すなわち、ＳＡＤが大きい場合（予め閾値を設け、これと比較して大きいか否かを判断するようにすれば良い）や、ブロック内の輝度の分散が小さい（例えば、予め設定された閾値と比較する）場合は、信頼できないとする。ステップＳ１６において、信頼できると判断された場合には、検出された動きベクトルをテロップの動きベクトル（テロップベクトル）として出力する。ステップＳ１６において、信頼できないと判断された場合には、零ベクトルをテロップベクトルとして出力する。
なお、図６の構成の場合には、第１のシーン解析部から、処理中のテロップ検出領域が、スクロールシーンか否かの判定結果をもらい、これを利用して検出を行う。
【００２７】
図９は、シーンベクトル探索部の処理フローである。
図９の処理は、８×８画素のブロック単位に、フレーム全体にわたり動きベクトルの検
出を行う。ステップＳ２０において、ＳＡＤ基準のブロックマッチングにより、動きベクトルを検出する。探索の方向は、縦、横、斜めなど全方位に探索する。得られたベクトルをシーンベクトルとする。
【００２８】
図１０は、第１のシーン解析部の処理フローである。
図１０の処理では、シーンベクトルを元に、スクロールシーンを検出する、スクロールシーンとして補間をするか否かを判定するための処理である。ステップＳ２５において、画面全体のシーンベクトルの分散・一致度を計算する。一致度は画面全体の何%が類似した方向に動いているかを示す値で、例えば、最大頻度のベクトルとの差分絶対値が予め定められた閾値と比較して小さいベクトルの個数をカウントし、画面全体のブロック数で割ることにより求まる。ステップＳ２６において、動きベクトルの分散を判定する。すなわち、予め決められた閾値と比較し、分散と閾値との大小を判定する。ステップＳ２６の判定で、分散が大きいと判断された場合には、非スクロールシーンと判定する。分散が小さいと判断された場合には、ステップＳ２７において、画面の50%以上の領域が同じ方向（もしくは類似した方向）のベクトルか否かを判断する。50%以上が同じ方向あるいは類似した方向であると判断された場合には、スクロールシーンであると判定し、50%未満と判定された場合には、非スクロールシーンであると判定する。
【００２９】
図１１は、第２のシーン解析部の処理フローである。
図１１の処理では、シーンベクトルを元に、スクロールシーンを検出し、テロップを補間するか否かを判定するための処理である。
【００３０】
ステップＳ３０において、画面全体のシーンベクトルの分散・一致度を計算する。一致度は、前述したとおりである。ステップＳ３１において、動きベクトルの分散を判定する。この判定の仕方も前述と同様である。ステップＳ３１において、分散が大きいと判断された場合には、非スクロールシーンと判定する。すなわち、テロップの補間を行う。ステップＳ３１において、分散が小さいと判断された場合には、ステップＳ３２において、全画面のうち、25%の領域が同じ方向（もしくは、類似した方向）のベクトルか否かを判定する。ステップＳ３２において、25%以上が同じ方向（もしくは、類似した方向）の動きベクトルと判断された場合には、スクロールシーンと判定し、テロップの補間は行わない。ステップＳ３２で、25%未満しか同じ方向もしくは類似した方向の動きベクトルを持っていないと判断された場合には、非スクロールシーンと判定し、テロップの補間を行う。
【００３１】
図１２及び図１３は、判断部の判断ロジックを説明する図である。
図１２の表は、テロップ検出部のテロップ判定の結果、第１のシーン解析部の第１のシーン判定結果、第２のシーン解析部の第２のシーン判定の結果の組み合わせから、どのようなベクトルを補間用ベクトルとして出力するかを示すものである。表中の○は、それぞれの判定結果によって、テロップが検出された（テロップ検出部）、スクロールシーンが検出された（第１のシーン解析部）、テロップ補間を行わないこと（第２のシーン解析部）が検出されたことを示す。×は、上記が検出されなかったことを示す。シーンベクトルは、シーンベクトル探索部により得られる画面全体のスクロールを補間するベクトルであり、テロップベクトルは、テロップベクトル探索部により得られるテロップの動きを補間するベクトルである。また、ゼロベクトルは、検出された動きベクトルによる補間を一切行わないことを示す。このようにスクロールやテロップと検出されたシーン以外のシーンの補間を行わないことで、十分な補間効果を得ながら、破綻を最小限に抑えることが出来る。
【００３２】
図１３は判断部の判断ロジックを示す図である。まず、ステップＳ３５で、第１のシーン判定結果でスクロールと判定されたか否かを判断する。ステップＳ３５で、スクロールと判定された場合には、補間ベクトル生成部はシーンベクトルを出力する。スクロールと
判定されなかった場合には、ステップＳ３６において、テロップ判定結果で、テロップと判定されたか否かを判定する。ステップＳ３６において、テロップと判定されなかった場合には、補間ベクトル生成部はゼロベクトルを出力する。テロップと判定された場合には、ステップＳ３７において、第２のシーン判定結果でスクロールと判定されたか否かを判断する。ステップＳ３７で、スクロールと判定された場合には、補間ベクトル生成部はゼロベクトルを出力する。スクロールでないと判定された場合には、補間ベクトル生成部はテロップベクトルを出力する。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態の基本構成を示す図である。
【図２】補間ベクトル生成部の構成図である。
【図３】画面全体に占めるテロップが存在する領域の割合を調査した結果を示す図である。
【図４】本実施形態の変形例を示す図である。
【図５】本実施形態の第２の変形例を示す図である。
【図６】本実施形態の第３の変形例を示す図である。
【図７】テロップ検出部の処理フローである。
【図８】テロップベクトル探索部の処理フローである。
【図９】シーンベクトル探索部の処理フローである。
【図１０】第１のシーン解析部の処理フローである。
【図１１】第２のシーン解析部の処理フローである。
【図１２】判断部の判断ロジックを説明する図（その１）である。
【図１３】判断部の判断ロジックを説明する図（その２）である。
【図１４】従来のフレーム補間装置を説明する図（その１）である。
【図１５】従来のフレーム補間装置を説明する図（その２）である。
【図１６】従来のフレーム補間装置を説明する図（その３）である。
【図１７】従来の技術における画質劣化の様子を示す図である。
【符号の説明】
【００３４】
１０ 映像データ受信機（チューナ／デコーダ）
１１ フレーム補間装置
１２ 遅延器
１３ ディスプレイ（液晶パネル）
１５、２０ テロップ検出部
１６、２１ テロップベクトル探索部
１７、２３ 補間ベクトル生成部
１８、２６ 補間画像生成部
２２ シーンベクトル探索部
２４ 第１のシーン解析部
２５ 第２のシーン解析部
３０ ゼロベクトル生成部
３１ 判断部
３２ ベクトル選択部
４０ 画像縮小部
４１ ベクトル探索部
【特許請求の範囲】
【請求項１】
動画像のフレーム間にフレームを挿入するフレーム補間装置において、
フレーム内にあるテロップがあるか否かを検出するテロップ検出手段と、
テロップの動きベクトルを取得するテロップベクトル取得手段と、
フレーム内の第１の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断する第１のベクトル解析手段と、
フレーム内の、第１の割合より少ない第２の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断する第２のベクトル解析手段と、
該第１のベクトル解析手段が、第１の割合以上の領域がほぼ同じベクトルを有していないと判断し、該テロップ検出手段が、テロップを検出し、該第２のベクトル解析手段が、第２の割合以上の領域がほぼ同じベクトルを有していないと判断した場合に、該テロップベクトル取得手段が取得した、補間に用いる動きベクトルを生成する補間ベクトル生成手段と、
該補間ベクトル生成手段の出力する補間ベクトルを用いて、補間フレームを生成する補間フレーム生成手段と、
を備えることを特徴とするフレーム補間装置。
【請求項２】
動画像全体のスクロールによる動きベクトルを取得するシーンベクトル取得手段を備え、
前記補間ベクトル生成手段は、前記第１のベクトル解析手段が、前記第１の割合以上の領域がほぼ同じ動きベクトルを有していると判断した場合に、該シーンベクトル取得手段の取得した動きベクトルを補間ベクトルとして出力することを特徴とする請求項１に記載のフレーム補間装置。
【請求項３】
前記テロップベクトル取得手段と、前記シーンベクトル取得手段は、１つのユニットで構成されていることを特徴とする請求項２に記載のフレーム補間装置。
【請求項４】
画像フレームを縮小する画像縮小手段を更に備え、
前記シーンベクトル取得手段は、該縮小画像フレームについて動きベクトルを取得することを特徴とする請求項２に記載のフレーム補間装置。
【請求項５】
前記補間ベクトル生成手段は、前記第１のベクトル解析手段が、前記第１の割合以上の領域がほぼ同じ動きベクトルを有していないと判断し、かつ、前記テロップ検出手段が、テロップを検出していないか、前記第１の割合以上の領域がほぼ同じ動きベクトルを有していないと判断し、かつ、前記テロップ検出手段が、テロップを検出し、かつ、前記第２のベクトル解析手段が、前記第２の割合以上の領域がほぼ同じ動きベクトルを有していると判断した場合は、補間ベクトルとして、ゼロベクトルを出力することを特徴とする請求項１に記載のフレーム補間装置。
【請求項６】
前記テロップ検出手段と、前記テロップベクトル取得手段とは、前記第１のベクトル解析手段の取得する動きとほぼ同じ動きを有する領域以外の領域を用いて、テロップ検出及びテロップの動きベクトルの取得を行うことを特徴とする請求項１に記載のフレーム補間装置。
【請求項７】
前記第１の割合は50%であり、前記第２の割合は25%であることを特徴とする請求項１に記載のフレーム補間装置。
【請求項８】
動画像のフレーム間にフレームを挿入するフレーム補間方法において、
フレーム内にあるテロップがあるか否かを検出し、
テロップの動きベクトルを取得し、
フレーム内の第１の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断し、
フレーム内の、第１の割合より少ない第２の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断し、
第１の割合以上の領域がほぼ同じベクトルを有していないと判断し、テロップを検出し、第２の割合以上の領域がほぼ同じベクトルを有していないと判断した場合に、テロップの動きベクトルを補間ベクトルとして出力し、
出力された補間ベクトルを用いて、補間フレームを生成する、
ことを特徴とするフレーム補間方法。
【請求項１】
動画像のフレーム間にフレームを挿入するフレーム補間装置において、
フレーム内にあるテロップがあるか否かを検出するテロップ検出手段と、
テロップの動きベクトルを取得するテロップベクトル取得手段と、
フレーム内の第１の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断する第１のベクトル解析手段と、
フレーム内の、第１の割合より少ない第２の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断する第２のベクトル解析手段と、
該第１のベクトル解析手段が、第１の割合以上の領域がほぼ同じベクトルを有していないと判断し、該テロップ検出手段が、テロップを検出し、該第２のベクトル解析手段が、第２の割合以上の領域がほぼ同じベクトルを有していないと判断した場合に、該テロップベクトル取得手段が取得した、補間に用いる動きベクトルを生成する補間ベクトル生成手段と、
該補間ベクトル生成手段の出力する補間ベクトルを用いて、補間フレームを生成する補間フレーム生成手段と、
を備えることを特徴とするフレーム補間装置。
【請求項２】
動画像全体のスクロールによる動きベクトルを取得するシーンベクトル取得手段を備え、
前記補間ベクトル生成手段は、前記第１のベクトル解析手段が、前記第１の割合以上の領域がほぼ同じ動きベクトルを有していると判断した場合に、該シーンベクトル取得手段の取得した動きベクトルを補間ベクトルとして出力することを特徴とする請求項１に記載のフレーム補間装置。
【請求項３】
前記テロップベクトル取得手段と、前記シーンベクトル取得手段は、１つのユニットで構成されていることを特徴とする請求項２に記載のフレーム補間装置。
【請求項４】
画像フレームを縮小する画像縮小手段を更に備え、
前記シーンベクトル取得手段は、該縮小画像フレームについて動きベクトルを取得することを特徴とする請求項２に記載のフレーム補間装置。
【請求項５】
前記補間ベクトル生成手段は、前記第１のベクトル解析手段が、前記第１の割合以上の領域がほぼ同じ動きベクトルを有していないと判断し、かつ、前記テロップ検出手段が、テロップを検出していないか、前記第１の割合以上の領域がほぼ同じ動きベクトルを有していないと判断し、かつ、前記テロップ検出手段が、テロップを検出し、かつ、前記第２のベクトル解析手段が、前記第２の割合以上の領域がほぼ同じ動きベクトルを有していると判断した場合は、補間ベクトルとして、ゼロベクトルを出力することを特徴とする請求項１に記載のフレーム補間装置。
【請求項６】
前記テロップ検出手段と、前記テロップベクトル取得手段とは、前記第１のベクトル解析手段の取得する動きとほぼ同じ動きを有する領域以外の領域を用いて、テロップ検出及びテロップの動きベクトルの取得を行うことを特徴とする請求項１に記載のフレーム補間装置。
【請求項７】
前記第１の割合は50%であり、前記第２の割合は25%であることを特徴とする請求項１に記載のフレーム補間装置。
【請求項８】
動画像のフレーム間にフレームを挿入するフレーム補間方法において、
フレーム内にあるテロップがあるか否かを検出し、
テロップの動きベクトルを取得し、
フレーム内の第１の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断し、
フレーム内の、第１の割合より少ない第２の割合以上の領域がほぼ同じ動きベクトルを有しているか否かを判断し、
第１の割合以上の領域がほぼ同じベクトルを有していないと判断し、テロップを検出し、第２の割合以上の領域がほぼ同じベクトルを有していないと判断した場合に、テロップの動きベクトルを補間ベクトルとして出力し、
出力された補間ベクトルを用いて、補間フレームを生成する、
ことを特徴とするフレーム補間方法。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図３】
【図１２】
【図１７】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図３】
【図１２】
【図１７】
【公開番号】特開２０１０−４１２３４（Ｐ２０１０−４１２３４Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−１９９９８６（Ｐ２００８−１９９９８６）
【出願日】平成２０年８月１日（２００８．８．１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【出願人】（３０８０１４３４１）富士通マイクロエレクトロニクス株式会社 (2,507)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月１日（２００８．８．１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【出願人】（３０８０１４３４１）富士通マイクロエレクトロニクス株式会社 (2,507)
【Ｆターム（参考）】
[ Back to top ]