フレーム補間装置及び方法、並びにプログラム及び記録媒体
【課題】映像の動画ぼやけや、ジャダーを抑制した、滑らかな動きを実現する高画質な補間フレーム（Ｆｈ）を生成する。
【解決手段】動きベクトル推定部（４）で求められた動きベクトル（ＭＶ）を基に生成された動き補償型補間フレーム（Ｆｃ）を、動きベクトル（ＭＶ）の境界を基に補正する。互いに隣接する画素の動きベクトル（ＭＶ）が所定以上に大きく異なる位置を動きベクトル（ＭＶ）の境界とし、境界画素が集中する領域内に位置する、動き補償型補間フレーム（Ｆｃ）の画素の画素値を補正する。ブロックの各々について、当該ブロック内の動きベクトル境界画素数が所定の割合以上のブロックを境界画素が集中する領域と判断する。
【解決手段】動きベクトル推定部（４）で求められた動きベクトル（ＭＶ）を基に生成された動き補償型補間フレーム（Ｆｃ）を、動きベクトル（ＭＶ）の境界を基に補正する。互いに隣接する画素の動きベクトル（ＭＶ）が所定以上に大きく異なる位置を動きベクトル（ＭＶ）の境界とし、境界画素が集中する領域内に位置する、動き補償型補間フレーム（Ｆｃ）の画素の画素値を補正する。ブロックの各々について、当該ブロック内の動きベクトル境界画素数が所定の割合以上のブロックを境界画素が集中する領域と判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に含まれる複数のフレームの画像を用いて、これらのフレームの間に補間フレームの画像を生成し動画を滑らかにするフレーム補間装置及び方法に関するものである。本発明はまた、該フレーム補間方法の実施に用いられるプログラム、及び該プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
液晶テレビなどのホールド型の画像表示装置は、１フレーム期間同じ画像を表示し続けており、画像中の動く物体に対して、人間の目の動きが動く物体に追従する一方、表示される位置は１フレーム期間同じであるので、境界部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を増やし、物体を表示する位置を動きに追従させながら細かく変化させることで物体の動きを滑らかに表示することが考えられる。
【０００３】
また、フレームレートの異なる映像や、コンピュータ処理が施された映像をテレビ信号に変換して表示した場合、複数のフレームが同じ画像となることで動きのぼやけや動きがぎこちなくなるジャダーと呼ばれる現象が生じる問題がある。これも、フレームを補間し表示フレーム数を増やすことで、解決することができる。
【０００４】
フレーム補間の一つの方法として、入力映像のフレーム間の動きベクトルに基づいて補間フレームを生成する動き補償型フレーム補間方法が知られている。この動き補償型フレーム補間の手法として、現フレームを一定の大きさのブロックに分割し、各ブロックに関し、前フレーム上において、同様の大きさのブロックを移動させながらブロック内の各画素の絶対輝度差分総和が最小になる位置を探索し、絶対輝度差分総和最小となる位置関係から動きベクトルを推定するブロックマッチング法など、様々な手法が提案されているが、画像情報のみから動きベクトルを正確に推定することは容易ではない。
【０００５】
真の動きと異なる動きベクトルを検出した場合、この動きベクトルを基に生成される補間フレームには画像の乱れが生じてしまう。そこで、動きベクトルを推定したブロック間の類似度などの画素値を基に動きベクトルの信頼度を定義し、信頼度の低い動きベクトルは、誤検出された画像の乱れを引き起こすベクトルとして、別途用意した破綻防止画像で補正する手法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４４８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１をはじめとする従来のフレーム補間方法では、動きベクトルの信頼度を画素値に基づいて判断しているため、動きベクトルの誤検出の原因である局所的な周期パターンやノイズの影響により、信頼度を正確に把握することができない。とりわけ、物体と背景の境界付近などでは異なる動きが隣接するため画像情報に基づいて推定された動きベクトルの信頼度は画像の破綻の程度よりも大幅に低くなる。このため、画像の破綻の程度に対し大幅に信頼度が低くなる領域では、画像破綻が小さいにもかかわらず補正が行われてしまう。補正を行う破綻防止画像は、前後フレームの平均画像が用いられることが多く、物体の輪郭がぼやけて見える問題が生じる。また、繰り返しパターンなどにより、真の動きベクトルと異なる動きベクトルを検出したにもかかわらず、画素値が似通っており、本来より信頼度が高くなった場合は、画像の乱れを適切に補正できないという問題もあった。
【課題を解決するための手段】
【０００８】
本発明のフレーム補間装置は、
映像信号入力から得られる最新の第１フレームと、前記第１フレームと異なる過去の第２フレームの間に、前記第１フレーム及び前記第２フレームを含む２枚以上のフレームの組を基に補間フレームを生成するフレーム補間装置において、
前記フレームの組を基に、前記第１フレームと前記第２フレームの間の動きベクトルを求める動きベクトル推定部と、
前記動きベクトル推定部で求められた動きベクトルを基に動き補償型補間フレームを生成する補間フレーム生成部と、
前記補間フレーム生成部で生成された動き補償型補間フレームを補正する補間フレーム補正部を備え、
前記補間フレーム補正部は、前記動きベクトル推定部で求められた動きベクトルの境界を基に前記動き補償型補間フレームを補正する
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動きベクトル分布を基に画像乱れを推定し、補正を行うことにより、画像乱れを抑制した補間フレームを生成し、ちらつきが少なく、且つ、動きが滑らかな映像を生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係るフレーム補間装置を表すブロック図である。
【図２】図１の補間フレーム生成部４の一例を示すブロック図である。
【図３】図１の補間フレーム補正部５の一例を示すブロック図である。
【図４】動き補償補間による補間フレームの画素値の決定方法を示す図である。
【図５】図３の補間フレーム補正部５内の境界集中ブロック検出部５３の処理の流れを示すフローチャートである。
【図６】一つの境界集中ブロックの中心を中心とする境界集中領域の一例を示す図である。
【図７】複数の境界集中領域で構成される補正対象領域ＡＨの一例を示す図である。
【図８】一つの境界集中ブロックの中心を中心とする境界集中領域の他の例を示す図である。
【図９】一つの境界集中ブロックの中心を中心とする境界集中領域の他の例を示す図である。
【図１０】一つの境界集中ブロックの中心を中心とする境界集中領域の他の例を示す図である。
【図１１】境界集中領域の範囲を決定するパラメータの算出方法を説明する図である。
【図１２】複数の境界集中ブロックの中心を中心とする境界集中領域に含まれる画素の例を示す図である。
【図１３】各画素について境界集中領域の中心からの距離と、同じ方向における縁までの距離の一例を示す図である。
【図１４】補間フレーム補正部の処理の流れをまとめた図である。
【図１５】本発明の実施の形態２の補間装置で用いられる補間フレーム補正部の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
以下、本発明の実施の形態１を図面により説明する。
図１は本発明の実施の形態１のフレーム補間装置を示すブロック図である。図示のフレーム補間装置は、映像入力端子１、フレームバッファ２、動きベクトル推定部３、補間フレーム生成部４、補間フレーム補正部５、及び補間フレーム出力端子６を備える。
【００１２】
映像入力端子１から入力された映像はフレームバッファ２に蓄えられる。
動きベクトル推定部３はフレームバッファ２から読み出される第１および第２フレームＦ１及びＦ２のデータ（以下「フレームのデータ」を単に「フレーム」と言うことがある）を受けて動きベクトルＭＶを出力する。ここで、第１フレームＦ１が最新のフレーム（現フレーム）であり、第２フレームＦ２は、第１フレームＦ１よりも時間的に前のフレーム（過去フレーム）である。
【００１３】
補間フレーム生成部４は動きベクトル推定部３から出力される動きベクトルＭＶとフレームバッファ２から読み出される第１及び第２フレームＦ１及びＦ２を受けて画像の動きを考慮した動き補償型補間フレームＦｃを出力するとともに、補間フレームの時間的位相に応じた割合で第１及び第２フレームＦ１及びＦ２を足し合わせたブレンド型補間フレームＦｂを出力する。ここで言う時間的位相とは、第１フレームＦ１と第２フレームＦ２の間における補間フレームの時間軸上の位置を、第１フレームＦ１と第２フレームＦ２の間隔を１周期として表したものである。
【００１４】
補間フレーム補正部５は、動きベクトル推定部３から出力される動きベクトルＭＶと補間フレーム生成部４から出力される動き補償型補間フレームＦｃ及びブレンド型補間フレームＦｂを受けて、ブレンド型補間フレームＦｂを用いて、動きベクトルＭＶに応じて動き補償型補間フレームＦｃを補正し、補正された動き補償型補間フレーム（補正補間フレーム）Ｆｈを出力する。補間フレーム補正部５から出力される補正補間フレームＦｈは、補間フレーム出力端子６を介して出力される。
【００１５】
図２は補間フレーム生成部４の一例を示すブロック図である。図示の補間フレーム生成部４は、動きベクトル入力端子４０と、フレーム入力端子４１ａ及び４１ｂと、動き補償型補間フレーム生成部４２と、ブレンド型補間フレーム生成部４３と、補間フレーム出力端子４５ａと、ブレンド型補間フレーム出力端子４５ｂを備える。
【００１６】
動きベクトル入力端子４０は、動きベクトル推定部３から出力される動きベクトルＭＶ（を示すデータ）を受ける。フレーム入力端子４１ａ及び４１ｂは、フレームバッファ２よりそれぞれ第１及び第２フレームＦ１及びＦ２を受ける。
【００１７】
動き補償型補間フレーム生成部４２は、入力端子４０より動きベクトルＭＶを受けるとともに、入力端子４１ａ及び４１ｂより第１及び第２フレームＦ１及びＦ２を受けて、動き補償型補間フレームＦｃを出力する。ブレンド型補間フレーム生成部４３は、フレーム入力端子４１ａ及び４１ｂより第１及び第２フレームＦ１及びＦ２を受けて、位相重み付きブレンド（加重平均）を行ってブレンド型補間フレームＦｂを出力する。動き補償型補間フレームＦｃは出力端子４５ａより出力され、ブレンド型補間フレームＦｂは出力端子４５ｂより出力される。
【００１８】
図３は補間フレーム補正部５の一例を示すブロック図である。図示の補間フレーム補正部５は、動きベクトル入力端子５０と、フレーム入力端子５１ａ及び５１ｂと、動きベクトル境界検出部５２と、境界集中ブロック検出部５３と、境界集中領域決定部５４と、補正マップ生成部５５と、補間フレーム合成部５６と、補正補間フレーム出力端子５７を備える。
【００１９】
動きベクトル入力端子５０は、動きベクトル推定部３より出力される動きベクトルＭＶを受ける。
フレーム入力端子５１ａ及び５１ｂは、補間フレーム生成部４より出力される動き補償型補間フレームＦｃ及びブレンド型補間フレームＦｂを受ける。
【００２０】
動きベクトル境界検出部５２は、入力端子５０より動きベクトルＭＶを受け、動きベクトルの境界に位置する画素から成る境界画像ＥＶを出力する。動きベクトルの境界の検出に当たっては、互いに隣接する画素の動きベクトルＭＶが大きく異なる位置、例えば隣接する画素間で動きベクトルＭＶの差が所定値以上となる位置を動きベクトルＭＶの境界とし、該境界に位置する画素（境界画素）を検出し、該境界画素から成る画像を動きベクトル境界画像ＥＶとする。一例として、後述の図１１には、境界画素が黒丸で示されている。
【００２１】
境界集中ブロック検出部５３は、動きベクトル境界検出部５２から出力される動きベクトル境界画像ＥＶを受け、動きベクトル境界集中度分布情報ＤＣを出力する。境界集中ブロック検出部５３は、例えば、それぞれ画面の一部をなすブロックの各々が、境界画素を所定の割合以上含んでいるか否かの判定を行い、境界画素を所定の割合以上含んでいると判断されたブロックを境界集中ブロック）として検出し、該境界集中ブロックを示す情報を上記の動きベクトル境界集中度分布情報ＤＣとして出力する。
【００２２】
画面の一部をなすブロックとは、画面を所定の大きさに分割することにより得られるものであり、例えば、各ブロックは横方向にｗ個の画素から成り、縦方向にｈ個の画素（ｈライン）から成るものとされる。また、以下では、画面が横方向ｍ個、縦方向ｎ個に分割されるものとする。各ブロックを示す情報は、当該ブロックを識別するための情報であり、例えば画面内に位置に応じて与えられた番号である。
【００２３】
境界集中領域決定部５４は、境界集中ブロック検出部５３から境界集中ブロックを示す情報を受け、各境界集中ブロックに対応して、境界集中領域を決定する。この境界集中領域の決定に当たっては、境界集中ブロック検出部５３から出力された境界集中ブロックを示す情報を受け、各境界集中ブロックの中心(幾何学的中心)、又はその近傍を中心とし、例えば所定のサイズ（大きさ）及び形状を有する領域或いは当該境界集中ブロックの周辺の動きベクトルに基づいて定められたサイズ及び形状を有する領域を境界集中領域とし、該境界集中領域を示す情報を出力する。このような境界集中領域の決定は、画面内に新たな境界集中領域を生成する処理であるとも言える。
境界集中領域の例については、後に図６、図８、図９、図１０を参照して説明する。
【００２４】
補正マップ生成部５５は、境界集中領域決定部５４から出力される境界集中領域を示す情報を受けて補間フレーム補正マップＨＭを生成する。この補間フレーム補正マップＨＭは、画面内の各画素が補正を要する画素（補正対象画素）であるか否かを示す情報を含む。補間フレーム補正マップＨＭが、さらに補正対象画素の各々についてその補正度（後述する）を示す情報とを含むものであるのが望ましい。
【００２５】
補間フレーム合成部５６は、補正マップ生成部５５より出力される補間フレーム補正マップＨＭと、入力端子５１ａより入力される動き補償型補間フレームＦｃと、入力端子５１ｂから入力されるブレンド型補間フレームＦｂを受けて、補正補間フレームＦｈを出力する。補正補間フレームＦｈは出力端子５７より出力される。
【００２６】
境界集中ブロック検出部５３、境界集中領域決定部５４、補正マップ生成部５５、及び補間フレーム合成部５６により、動きベクトル境界検出部５２で検出された境界画素が集中する領域（境界集中領域）内に位置する、補間フレーム生成部４で生成された動き補償型補間フレームＦｃの画素（の画素値）が補正される。
【００２７】
以下に、実施の形態１の処理の流れを説明する。
フレームバッファ２に蓄えられたフレームのうち、第１及び第２フレームＦ１及びＦ２が動きベクトル推定部３に送られ、第１及び第２フレームＦ１及びＦ２間の動きベクトルＭＶが求められる。以下に、２フレーム間の動きベクトルを求める一般的な方法としてブロックマッチング法を説明する。
【００２８】
ブロックマッチング法は、まず、一方のフレームを所定の大きさのブロックに分割し、ブロックごとの動きベクトルＭＶを求めるものである。ここでは第２フレームＦ２をブロックに分割するものとして説明する。各ブロックは、画面を横方向ｐ個、縦方向ｑ個に分割することで得られるもので、横方向ｓ個、縦方向ｔ個の画素（ｔライン）から成るものとする。なお、これらの分割数（ｐ、ｑ）及び各ブロックのサイズ（ｓ、ｔ）は、境界集中ブロック検出部５３の動作について説明した分割数（ｍ、ｎ）及び各ブロックのサイズ（ｗ、ｈ）と同じであっても良く、異なっていても良い。
【００２９】
第２フレームＦ２上の、分割されたブロックの各々（着目ブロック）の動きを求めるには、第１フレームＦ１上に着目ブロックと同じ大きさのブロック（参照ブロック）を配置し、着目ブロックと参照ブロックのパターンの類似度を求める。類似度の定義は様々であるが、ブロック間の画素ごとの輝度差分の絶対値の総和（以下、ＳＡＤと呼ぶ）を、所定の値を基準に極性を反転したものを用いることが一般的である。極性を反転させるのは、算出される値が大きいほど類似度が高くなるようにするためである。
【００３０】
着目ブロックに対して、参照ブロックの位置を変えながら各位置での類似度を求め、最も類似度が高くなる位置（着目ブロックに対する参照ブロックの相対位置）から着目ブロックの動きベクトルＭＶを求める。参照ブロックの位置は、画面全体を網羅するように移動させるのが理想的であるが、画像のすべての位置に対して類似度を算出するには、膨大な演算が必要であるため、着目ブロックを中心とする一定の範囲で移動させるのが一般的である。
また、各ブロックについて動きベクトルを求めるためのブロックマッチングに、当該ブロックのすべての画素を用いても良いが、代わりに、当該ブロックの画素の一部のみを用いても良い。例えば第２フレームＦ２上の各ブロックの中心に近い部分を着目領域とし、第１フレームＦ１上の、上記着目領域と同じ大きさの領域（参照領域）内の画素を用い、上記着目領域と参照領域との類似度を求めても良い。
この処理を第２フレームＦ２のすべてのブロックに対して繰り返すことで、第１及び第２フレームＦ１及びＦ２間のブロック単位の動きベクトルＭＶを求めることができる。
【００３１】
ブロックマッチング法によってブロック単位で動きベクトルＭＶが求まる。次にブロック単位の動きベクトルに基づいて画素単位の動きベクトルを求める。画素単位の動きベクトルを求める手法は様々であり、どのような手法をとっても良い。最も簡単な手法は、ブロック内の画素はすべて一律でブロックの動きベクトルＭＶと同じ値を持つとして処理する手法である。ブロックが十分小さければ、１つのブロック内の画素がすべて同じ動きベクトルＭＶを持つとしても、この動きベクトルＭＶを基に生成する補間フレームなどの画質への影響は少ない。なお、ブロック単位の動きベクトルＭＶから画素単位の動きベクトルを求める方法は、前述の方法に限ったものではなく、その他の方法を用いても良い。
【００３２】
以上が、ブロックマッチング法により動きベクトルＭＶを求める動きベクトル推定部３の一例であるが、動きベクトルを推定する手法はブロックマッチング法に限ったものではなく、その他の方法で動きベクトルを求めても良い。
【００３３】
動きベクトル推定部３により推定された動きベクトルＭＶを基に、補間フレーム生成部４では、動き補償型補間フレーム生成部４２が、第１及び第２フレームＦ１及びＦ２間の動き補償型補間フレームＦｃを生成する。補間フレーム生成部４ではまた、ブレンド型補間フレーム生成部４３が、第１及び第２フレームＦ１及びＦ２に基づいてブレンド型補間フレームＦｂを生成する。ここでは、動き補償型補間フレームＦｃ及びブレンド型補間フレームＦｂは時間的に第１及び第２フレームＦ１及びＦ２の中央に位置するものとして説明する。
【００３４】
動き補償型補間フレーム生成部４２は、第１及び第２フレームＦ１及びＦ２間の動きベクトルＭＶを基に動き補償型補間フレームＦｃを生成する。動き補償型補間フレームＦｃの各画素の値は以下のようにして求めることができる。
【００３５】
図４は動き補償型補間フレームＦｃの各画素の画素値の決定方法を示すものである。
第２フレームＦ２上の画素Ｐ２は動きベクトルＭＶに従い、動き補償型補間フレームＦｃ、第１フレームＦ１と時間経過とともに、画素Ｐｃ、画素Ｐ１の位置へと移動する。すなわち、画素Ｐ２及びＰｃ、Ｐ１は同じ画素値を持つはずである。よって、動き補償型補間フレームＦｃ上の画素Ｐｃの値は第２フレームＦ２の画素Ｐ２と第１フレームＦ１上の画素Ｐ１によって決まる。ただし、時間経過とともに、画素値が変化することも考慮し、動き補償型補間フレームＦｃ上の画素Ｐｃの値は第２フレームＦ２上の画素Ｐ２と第１フレームＦ１上の画素Ｐ１の値の平均値であるとする。
【００３６】
なお、ここでは、動き補償型補間フレームＦｃが第１及び第２フレームＦ１及びＦ２の中央に位置するとして説明したが、動き補償型補間フレームＦｃの位置は第１及び第２フレームＦ１及びＦ２の中央に限ったものではなく、他の位置にあっても良い。ただし、その際は、第１及び第２フレームＦ１及びＦ２上の画素の平均ではなく、第１及び第２フレームＦ１及びＦ２間の位置の内分比に応じた重み付け平均によって動き補償型補間フレームＦｃの画素値を決定する。すなわち、動き補償型補間フレームＦｃ上の画素値は下記の式（１）で表わされる。
【数１】
ただし、Ｐｃ（ｘ,ｙ）は（ｘ，ｙ）座標における動き補償型補間フレームＦｃの画素値、Ｐ１（ｘ,ｙ）は（ｘ，ｙ）座標における第１フレームＦ１の画素値、Ｐ２（ｘ,ｙ）は（ｘ，ｙ）座標における第２フレームＦ２の画素値、ＭＶｘ（ｘ,ｙ）及びＭＶｙ（ｘ,ｙ）は、第２フレームＦ２上の（ｘ，ｙ）座標を起点とする動きベクトルＭＶのｘ及びｙ成分を表す。また、動き補償型補間フレームＦｃは第２及び第１フレームＦ２及びＦ１のｄ２：ｄ１の内分点（ＦｃとＦ２の間隔とＦｃとＦ１の間隔の比がｄ２：ｄ１）に位置するものである。
【００３７】
ブレンド型補間フレーム生成部４３は、動きベクトルＭＶを考慮せず、第１及び第２フレームＦ１及びＦ２を位相重み付き平均（ブレンド）したものをブレンド型補間フレームＦｂとして出力するものである。この「位相重み付き平均」は、補間フレームの位相に応じた重みを付けて平均を求める処理である。すなわち、ブレンド型補間フレームＦｂの各画素値Ｐｂは下記の式（２）で表される演算により求められる。
【数２】
ただし、Ｐｂ（ｘ,ｙ）はブレンド型補間フレームＦｂの（ｘ，ｙ）座標における画素値、Ｐ１（ｘ,ｙ）は（ｘ，ｙ）座標における第１フレームＦ１の画素値、Ｐ２（ｘ,ｙ）は（ｘ，ｙ）座標における第２フレームＦ２の画素値を表す。また、ブレンド型補間フレームＦｂの位相は第２及び第１フレームＦ２及びＦ１のｄ２：ｄ１の内分点に位置とする。
補間フレームＦｂが第１フレームＦ１と第２フレームＦ２の中央に位置する場合には、式（２）でｄ１＝ｄ２として
Ｐｂ（ｘ，ｙ）＝｛Ｐ２（ｘ，ｙ）＋Ｐ１（ｘ，ｙ）｝／２ …（２ｂ）
により、即ち、単純平均により、補間フレームＦｂの画素値が得られる。
【００３８】
補間フレーム補正部５では、補間フレーム生成部４で生成された動き補償型補間フレームＦｃの画像の乱れや破綻を検出し、これらが映像中で目立たないように補正を行う。
【００３９】
動きベクトル境界検出部５２では、動きベクトルＭＶの境界を画素単位で検出する。検出方法として、ラプラシアンフィルタを用いる方法を説明する。画素値に対するラプラシアンフィルタは下記の式（３）で表される。
【数３】
ただし、Ｇ（ｘ，ｙ）は座標（ｘ，ｙ）における２次微分値、Ｐ（ｘ，ｙ）は座標（ｘ，ｙ）における画素値を表す。
なお、ここで、各画素位置のｘ座標値、ｙ座標値は整数であり、ｘ方向、ｙ方向の各々について、隣り合う画素位置の座標値の差は１であるとする。以下でも同様であるとする。
【００４０】
動きベクトルＭＶの境界の検出に当たっては、上記式（３）で表されるように画素値の２次微分値を求める代わりに、下記の式（４）で表されるように、動きベクトルＭＶのｘ，ｙ成分を用いてそれぞれの２次微分値を求め、その和をとる。
【数４】
ただし、ＭＶｘ（ｘ，ｙ）及びＭＶｙ（ｘ，ｙ）は座標（ｘ，ｙ）における動きベクトルＭＶのｘ及びｙ成分を表す。
２次微分値Ｇ（ｘ，ｙ）が所定の閾値より大きい画素を境界画素、所定の閾値よりも小さい画素は境界外画素とすることで動きベクトルＭＶの境界を検出することができる。出力としては、例えば境界画素を「１」、境界外画素を「０」とした画像（動きベクトル境界画像ＥＶ）を作成し、境界集中ブロック検出部５３に境界画素分布を表すものとして伝達する。
【００４１】
なお、動きベクトル境界を求めるにあたってラプラシアンフィルタを用いたが、フィルタに関しては、ラプラシアンフィルタに限ったものではなく、その他のフィルタ、例えばソーベルフィルタを用いても良い。また、２次微分値のｘ，ｙ成分の和を取ることに関しても、単純な和ではなく重み付け和を用いても良い。例えば、下記の式（５）で表されるように動きベクトルＭＶのｘ成分、ｙ成分の値に応じた重み付け和を用いても良い。
【００４２】
【数５】
さらに、式（５）の代りに下記の式（６）で表されるように、動きベクトルＭＶのｘ成分、ｙ成分の値の逆比に応じた重み付け和を用いても良い。
【数６】
【００４３】
境界集中ブロック検出部５３は、動きベクトル境界検出部５２の出力を受けて、境界画素が集中しているブロックを検出し、検出結果を境界集中ブロックＢｅを表す情報として出力する。境界画素が集中しているか否かの判定は、例えば各ブロック内に境界画素が所定の割合以上存在するか否かに拠る。即ち、各ブロック内の境界画素が所定の割合以上存在する場合には、当該ブロックは境界集中ブロックであると判断する。ブロック内の画素の数が一定であれば、上記所定の割合以上か否かの判定は、ブロック内の境界画素が所定数以上か否かの判定を行うことで実現できる。
【００４４】
図５は、境界集中ブロック検出部５３の処理の流れを示すフローチャートである。
【００４５】
まず、ステップＳＴ１０において動きベクトル境界画像ＥＶをブロック分割する。例えば画面全体をｍ×ｎ個のブロックに分割する。
分割されたブロックの各々について境界画素が集中しているか（所定数以上の境界画素が含まれるか）を判定するステップＳＴ１２で開始されるループ処理を行う。このステップＳＴ１２で開始されるループ処理は、ステップＳＴ２８において、画面内のすべてのブロックについて処理が終わった（ｉがｍ×ｎに達した）と判定されるまで続けられる。
【００４６】
ステップＳＴ１４において、境界集中ブロック検出部５３内の境界画素カウンタ５３ｃのカウント値Ｃｔを「０」とし、ステップＳＴ１６で開始されるループ内において、ブロック内の各画素について、境界画素かどうかの判断を行う。このステップＳＴ１６で開始されるループの処理は、ステップＳＴ２２において、ブロック内のすべての画素について処理が終わった（ｊがｗ×ｈに達した）と判定されるまで続けられる。
【００４７】
ステップＳＴ１６で開始されるループ内において、最初にステップＳＴ１８で、各画素が境界に位置する画素か（境界画素か）どうかの判定を行なう。境界画素であると判断されたときは、ステップＳＴ２０にて境界画素カウンタ５３ｃのカウント値Ｃｔに「１」を加算する。
次に、ステップＳＴ２４において、境界画素カウンタ５３ｃのカウント値Ｃｔが所定の閾値以上か否かの判定を行い、閾値以上であると判断されたときは、ステップＳＴ２６において、該ブロックを境界集中ブロックＢｅとして登録する。
【００４８】
以上のように、ブロック分割を行い、ブロックごとに境界画素の集中度合いを算出することで、簡便な方法で動きベクトル境界の集中度合いを評価することができる。
【００４９】
先にも述べたように、境界集中領域決定部５４は、境界集中ブロック検出部５３から境界集中ブロックＢｅを示す情報を受け、各ブロックに対応して、境界集中領域を決定する。この境界集中領域の決定に当たっては、境界集中ブロック検出部５３から出力された境界集中ブロックＢｅを示す情報を受け、各境界集中ブロックＢｅの中心（幾何学的中心）、又はその近傍を中心Ｃｓとする領域を境界集中領域ＡＳと決定する。例えば、ブロックが矩形であれば対角線の交点が該ブロックの幾何学的中心である。
【００５０】
例えば、各境界集中ブロックＢｅに対し、図６に示すように、当該ブロックの中心Ｃｂｅを中心Ｃｓとし、所定のサイズ及び形状を有する領域、例えば一辺の長さＳａが予め定められた正方形状の領域を境界集中領域ＡＳとする。
【００５１】
ブロックの幾何学的中心が画素位置と一致しない場合には、幾何学的中心に最も近い画素位置（最も近い画素位置が複数個ある場合には、そのうちの一つ）を境界集中領域の中心Ｃｓとすることとしても良い。例えば、ブロックの一辺の長さが偶数画素である場合には、幾何学的中心が画素位置と一致しないが、その場合には、幾何学的中心に最も近い画素位置（又はそのうちの一つ）を境界集中領域中心Ｃｓとする。画素位置の座標が整数で表される座標系では、幾何学的中心の座標が整数でない場合、小数点未満を四捨五入することにより最も近い画素位置の座標を求めることになる。また、最も近い画素位置でなくても、例えば幾何学的中心の座標を切り上げるなどの、予め定められた丸め処理により得られた座標を境界集中領域中心Ｃｓの座標としても良い。
【００５２】
補正マップ生成部５５は、境界集中領域決定部５４から出力される境界集中領域ＡＳを示す情報を受け、補正対象画素の分布を示す（画面内の各画素が補正対象画素か否かを示す）補正マップＨＭを生成する。ここで言う、補正対象画素は、動き補償補間フレームＦｃの画像の乱れなどを補正すべき領域にある画素を意味する。
【００５３】
例えば、それぞれの境界集中ブロックＢｅに対し、境界集中領域決定部５４により、図６に示すように、当該ブロックの中心Ｃｂｅを中心Ｃｓとし、所定の形状の領域、例えば一辺の長さＳａが予め定められた正方形状の領域が境界集中領域ＡＳと決定されるが、補正マップ生成部５５は、画面内のすべての画素のうち、いずれかの境界集中領域ＡＳに含まれる画素を補正対象画素とし、その集合を補正対象領域ＡＨとする。図７には、画面内の３つの境界集中領域ＡＳ（１）〜ＡＳ（３）により、補正対象領域ＡＨが構成された例が示されている。補正マップＨＭは、先にも述べたように、画面内の各画素が補正対象領域ＡＨ内に位置するか否か、言い換えると各画素が補正対象画素であるか否かを示すものであり、さらに、各補正対象画素についてその補正度を示すものであるのが望ましい。
【００５４】
各境界集中ブロックに対応する境界集中領域ＡＳが決定され、生成されると、その度に生成された境界集中領域ＡＳ内の画素が補正マップＨＭの一部として登録され（言い換えると、補正マップＨＭが更新され）、画面内のすべてのブロックについて境界集中ブロックか否かの判定及び境界集中領域ＡＳの生成が終わったときに、画面全体について補正マップＨＭが完成する。
【００５５】
図６に示すように、境界集中領域ＡＳを正方形とする代わりに、図８に示すように円形としても良い。
【００５６】
正方形の一辺の長さや円の直径を、ブロックの一辺の２倍とすると、隣接するブロックがともに境界集中ブロックである場合に、複数の境界集中領域が互いにつながって、途切れが生じなくなる。ただし、ブロックの一辺の２倍の値以外でも良い。
【００５７】
例えば、境界集中領域のサイズを、ブロックと同じとし、境界集中ブロックと判定されたブロックが占める範囲自体を境界集中領域とすることもできる。この場合には、境界集中領域決定部５４を別途設ける必要がなく、境界集中ブロック検出部５３で検出されたブロックの中心Ｃｂｅを示す情報を境界集中領域の中心Ｃｓを示す情報として、境界集中ブロック検出部５３から補正マップ生成部５５に供給するようにしても良い。この場合には、境界集中ブロック検出部５３が境界集中領域決定部５４を兼ねていると見ることもできる。
【００５８】
しかし、前述のように境界集中領域のサイズをブロックのサイズとは異なる値として、独立に設定可能とすることで、動きベクトル境界集中度算出に用いるブロックのサイズ及び形状による制約を受けることなく適切な領域で補正が可能となる。
【００５９】
各ブロックについて境界集中領域のサイズ（正方形の辺の長さＳａ、円の直径Ｄａ）を、当該ブロックの周辺の動きベクトルの分布に基づいて決定することとしても良い。境界集中領域のサイズを動きベクトルの分布に基づいて定めることとすれば、より適切に補正を行うことができる。
【００６０】
また、動きベクトルの分布に基づいて境界集中領域のサイズを決める場合、境界集中領域を、図９に示すように長方形としても良く、図１０に示すように楕円形としても良い。なお、図９は、横方向に長い長方形を示し、図１０は横方向に長い楕円を示すが、どの方向に長い形状とするかは予め定めるのではなく、当該境界集中領域ＡＳ内又はその周辺の動きベクトルの分布によって定めることとしても良い。
また、長方形や楕円状の境界集中領域の場合にも、そのサイズ（長方形の各辺の長さＳｂ、Ｓｃ、楕円の長径Ｄｂ、短径Ｄｃ）を、当該境界集中領域ＡＳ内又はその周辺の動きベクトルに基づいて定めることとしても良い。
【００６１】
以下、境界集中領域を楕円とする場合について、横方向の径Ｄｘ及び縦方向の径Ｄｙの決定方法の一例を、図１１を用いて説明する。図１１中の白丸は非境界画素、黒丸が境界画素である。
境界集中ブロックＢｅの中心画素位置（ブロックの幾何学的中心が画素位置に一致しないために、切り上げ処理により得られた画素位置）を境界集中領域中心Ｃｓとして、この境界集中領域中心Ｃｓに対し、上下左右方向の、所定の距離にある画素Ｐｓａ、Ｐｓｂ、Ｐｓｃ、Ｐｓｄの動きベクトルを用いる。例えば、上下方向の所定の距離にある一対の画素Ｐｓａ、Ｐｓｂの動きベクトルＭＶの上下方向成分（ｙ成分）ＭＶｙ（Ｐｓａ）及びＭＶｙ（Ｐｓｂ）の絶対差分（差分の絶対値）｜ＭＶｙ（Ｐｓａ）−ＭＶｙ（Ｐｓｂ）｜を計算し、この値に２を乗じたものを楕円の上下方向（ｙ方向）の径Ｄｙの値とする。即ち、
Ｄｙ＝２×｜ＭＶｙ（Ｐｓａ）−ＭＶｙ（Ｐｓｂ）｜
によりＤｙを求める。
同様に、左右方向の所定の距離にある一対の画素Ｐｓｃ、Ｐｓｄの動きベクトルＭＶの左右方向成分（ｘ成分）ＭＶｘ（Ｐｓｃ）及びＭＶｘ（Ｐｓｄ）の絶対差分を計算し、この値に２を乗じたものを左右方向（ｘ方向）の径Ｄｘの値とする。即ち、
Ｄｘ＝２×｜ＭＶｘ（Ｐｓｃ）−ＭＶｘ（Ｐｓｄ）｜
により、Ｄｘを求める。
これにより、楕円状の領域が決定する。
【００６２】
長方形の領域の２辺の長さについても同様に上下方向のサイズ（辺の長さ）及び左右方向のサイズ（辺の長さ）を決定することができる。周辺の動きベクトルＭＶを基に境界集中領域のサイズを決定することで、補正対象とする画素の範囲をより適切に決定することが可能となる。
【００６３】
上記の例では、境界集中領域のサイズ（長方形の辺の長さ、円の径）を、中心に対して所定の位置にある画素についての動きベクトルの差の２倍にしているが、２倍以外の値としても良い。
さらに、境界集中領域の形状を、正方形、長方形などの矩形、円、楕円としているが、それ以外の所定の形状としても良い。
【００６４】
画面内に複数の境界集中ブロックが検出され、これに対応して複数の境界集中領域が生成された場合、画面内の各画素は、いずれか一つ以上の境界集中領域内に含まれる場合には、補正対象画素として扱われる。図１２では、画素Ｐｗａ及びＰｗｂが２つの境界集中領域ＡＳ（１）、ＡＳ（２）内に含まれる場合を示す。２つの境界集中領域ＡＳ（１）、ＡＳ（２）は、それぞれブロックＢｅ（１）、Ｂｅ（２）の中心の近傍を中心Ｃｓ（１）、Ｃｓ（２）とするものである。
【００６５】
なお、画面全体について補正マップＨＭが完成した状態で、各画素が補正対象画素か非補正対象画素かに区別され、補正対象画素には、一律に補正を加え、非補正対象画素には一切補正を加えないこととしても良いが、そのようにすると、補正を加えられた領域と補正を加えられなかった領域の境界が擬似的な輪郭となって画質低下を招く。これを防ぐため、補正対象領域の中心部分から、その周囲（補正対象領域とその周囲の領域の境界）に向かって次第に減少する補正度（補正度分布）を持つ補正マップＨＭを作成することが有効である。ここで言う補正度は、動き補償補間に対するブレンド型補間による補正の度合いを意味し、動き補償補間の結果とブレンド型補間の結果を混合する際の混合率を決めるものであり、ブレンド型補間の結果を全く用いない場合には「０」、ブレンド型補間の結果のみを用いる場合には、「１」或いは１００％となる。
【００６６】
たとえば、各画素Ｐｉについての補正度は、境界集中領域が生成される度に当該境界集中領域ＡＳの中心Ｃｓから当該画素Ｐｉまでの距離（Ｒｐ）の、上記境界集中領域ＡＳの中心Ｃｓから、当該画素Ｐｉの方向における境界集中領域の縁Ｅａまでの距離（Ｒｅ）に対する比（Ｒｗ）に基づいて定めることとする。上記の距離Ｒｐ、Ｒｅの一例が図１３に示されている。
例えば、百分率で表す補正度Ｄｈは
Ｄｈ＝１００×（１−Ｒｐ／Ｒｅ）
で与えることとする。
【００６７】
なお、補正度は、上記の式で表されるように、距離に応じて直線的に減少しなくても、単調減少するものであれば良い。
【００６８】
補正度を用いる場合には、境界集中領域決定部５４は、境界集中領域ＡＳを示す情報のみならず、境界集中領域内の各画素についての補正度Ｄｈを示す情報を出力し、補正マップ生成部５５は、補正対象領域内の各補正対象画素についての補正度Ｄｈを含む補正マップＨＭを生成する。
【００６９】
複数の境界集中領域ＡＳが検出された場合、画面内の各画素について、複数の境界集中領域ＡＳ内に含まれ、複数の異なる補正度Ｄｈが算出される場合がある。その場合には算出された補正度Ｄｈのうちの最大のものを当該画素の補正度として扱う。例えば図１２において、画素Ｐｗａについて、境界集中領域ＡＳ（１）に含まれる結果算出された補正度がＤｈ（１）で、別の境界集中領域ＡＳ（２）に含まれる結果算出された補正度がＤｈ（２）であるとすると、補正度Ｄｈ（１）及びＤｈ（２）のうちのより大きなものを画素Ｐｗａの補正度とする。補正マップ生成部５５は、各画素について補正度Ｄｈが算出される度に、補正マップＨＭにすでに登録されている補正度と比較し、新たに算出された補正度のほうが大きければ、補正度を置き換える。
【００７０】
以下、各画素について補正度が与えられた補正マップを用いた動き補償型補間フレームＦｃの補正について説明する。以下では補正度を百分率で表すものとする。
【００７１】
補間フレーム合成部５６は、補正マップ生成部５５から出力される補間フレーム補正マップＨＭ（各画素が補正対象か否かを示す情報と、補正対象である画素についての補正度を示す情報を含む）と、動き補償型補間フレームＦｃと、ブレンド型補間フレームＦｂを受けて、動き補償型補間フレームＦｃとブレンド型補間フレームＦｂとを合成することで、動き補償型補間フレームＦｃの補正を行う。補間フレームの合成は、補間フレーム補正マップＨＭで示される補正対象画素の各々についての、動き補償型補間フレームＦｃの画素値と、ブレンド型補間フレームＦｂの画素値を、当該画素についての補正度に対応する混合率で混合することにより行われる。この混合は、下記の式（７）で表される。
【数７】
ただし、Ｐｈ（ｘ，ｙ）は補正補間フレームＦｈの座標（ｘ，ｙ）における画素値、Ｄｈ（ｘ，ｙ）は座標（ｘ，ｙ）における補正度（百分率で表したもの）、Ｐｃ（ｘ，ｙ）は座標（ｘ，ｙ）における動き補償型補間フレームＦｃの画素値、Ｐｂ（ｘ，ｙ）は座標（ｘ，ｙ）におけるブレンド型補間フレームＦｂの画素値である。
【００７２】
上記の混合は、補正マップＨＭにより示される補正対象画素の各々について、その補正度に応じて動き補償型補間フレームＦｃの画素値一部又は全部を、ブレンド型補間フレームＦｂの画素値で置き換える処理であると見ることもできる。
なお、補正対象画素以外の画素については、上記の置き換えは行われず、動き補償型補間フレームＦｃの画素値が、そのまま、補正補間フレームＦｈの画素として出力される。
【００７３】
ブレンド型補間フレームＦｂによって動き補償型補間フレームＦｃを補正することで、自然な形で動き補償型補間フレームＦｃを補正することができる。
【００７４】
図１４は補間フレーム補正部５の処理の流れをまとめた図である。第２フレームＦ２から第１フレームＦ１への時間経過とともに、画像内の物体を示す丸Ｃｒｃは右に、三角Ｔｒｇは左に動いている。第１フレームＦ１及び第２フレームＦ２の間の動き補償型補間フレームＦｃには、動きベクトルＭＶの誤検出に起因する画像の乱れＤｂｒが生じている。
ブレンド型補間フレームＦｂは、第１及び第２フレームＦ１及びＦ２より、ブレンド型補間フレーム生成部４３によって生成される。また、動きベクトル境界検出部５２によって動きベクトルＭＶの境界が検出され、動きベクトル境界画像ＥＶが出力される。
【００７５】
動きベクトル境界画像ＥＶを基に、境界集中ブロック検出部５３、境界集中領域決定部５４、及び補正マップ生成部５５によって、動きベクトル境界画素が集中している領域(境界集中領域)で構成される補正対象領域を示す補正マップＨＭが生成される。
このとき、補正対象領域内の画素には、補正対象領域の中心部分に近いほど大きな補正度が割り当てられ、補正マップは各画素についての補正度を示す情報をも保持している。
【００７６】
補正マップＨＭにより示される補正度とブレンド型補間フレームＦｂの画素値の積と、補正マップＨＭを反転したマップ（反転補正マップ）ＩＨＭにより示される非補正度（百分立で表した非補正度と補正度の和は１００である）と動き補償型補間フレームＦｃの画素値の積との和を求めることで補正補間フレームＦｈの画素値を得る。図１４では、補正マップＨＭにおける補正度及び反転補正マップＩＨＭにおける非補正度が、ハッチング及びクロスハッチングの２段階で表されているが、補正度及び非補正度はより多くの段数を有することができる。
【００７７】
上記の積、和を求める演算は画素毎に行われるものであり、補間フレーム上の各画素についての、補正マップＨＭの補正度とブレンド型補間フレームＦｂの画素値の積と、反転補正マップＩＨＭの非補正度と動き補償型補間フレームＦｃの画素値の積との和を求める。
【００７８】
以上のように、動きベクトルＭＶの境界が集中する領域を画像の乱れや破綻が存在する領域として処理することで、より正確に画像の乱れや破綻を検出することができ、画像のノイズや局所的な周期パターンなどの影響を抑制することができる。また、動きベクトル境界の集中度合いについては、ブロック分割を行い、ブロックごとに、ブロック内の動きベクトル境界画素の個数を利用することで、簡便な方法により、高い精度での集中度の算出が可能となる。
【００７９】
さらに、検出した画像の乱れや破綻を補正するに当たっては、境界画素が集中するブロックの中心（幾何学的中心）を境界集中領域の中心として設定することで、必要十分な領域を補正することが可能となる。
さらに周辺の動きベクトルＭＶをも考慮して境界集中領域を定めることで、境界集中領域の決定をより適切に行なうことができる。
加えて、境界集中領域内において、中心部分から境界集中領域の境界に近づくに従って単調減少するような補正度を設定し、補正の度合いを滑らかに変化させることで、補正した領域と補正しなかった領域の境界部分に人工的なノイズを生じさせることなく補正をすることができる。
【００８０】
実施の形態２．
以下、本発明の実施の形態２を説明する。
実施の形態２のフレーム補間装置の全体的構成は図１に示すごとくであるが、補間フレーム補正部５の構成が、実施の形態１に関し図３を参照して説明したものとは異なり、例えば図１５に示されるように構成されている。図１５に示す補間フレーム補正部５は、図３の境界集中領域決定部５４の代わりに、境界集中領域決定部５８が用いられている点で異なる。動きベクトル境界検出部５２、境界集中ブロック検出部５３、補正マップ生成部５５、及び補間フレーム合成部５６は図３に示すものと同様である。
【００８１】
図４の境界集中領域決定部５４は、各ブロックの幾何学的中心を求めたが、図１５の境界集中領域決定部５８は、各ブロックの重心Ｃｗを境界集中領域の中心Ｃｓとする。
この重心Ｃｗは、各境界集中ブロックＢｅ内に位置する、動きベクトル境界画像ＥＶの各画素の値を重みとして考慮に入れた中心であり、ブロックＢｉについての重心Ｃｗの座標（ｘｃｗ（Ｂｉ），ｙｃｗ（Ｂｉ））は、例えば下記の式（８）で表される。
【数８】
ただし、Ｎはブロック内の画素数、Ｅは当該ブロック間における境界画素の座標の集合である。
【００８２】
なお、上記のように、動きベクトル境界画像ＥＶにおいては、境界画素が値「１」を有し、境界外画素が値「０」を有するので、ブロックＢｉについての上記の重心Ｃｗは、ブロック内のすべての境界画素の重心でもある。
【００８３】
補正マップ生成部５５は、上記の境界集中領域決定部５４から出力される境界集中領域を示す情報を受けて、実施の形態１の補正マップ生成部５５と同様の処理を行う。
【００８４】
以上のように、動きベクトル境界の重心Ｃｗを境界集中領域の中心とすることで、画像破綻の位置をより正確に検出し、境界集中領域をより適切に決定することができ、より適切に補正を行うことができる。
【００８５】
なお、重心Ｃｗが画素位置と一致しない場合には、重心Ｃｗに最も近い画素位置（最も近い画素位置が複数個ある場合には、そのうちの一つ）を境界集中領域中心Ｃｓとすることとしても良い。画素位置の座標が整数で表される座標系では、重心Ｃｗの座標が整数でない場合、小数点未満を四捨五入することにより最も近い画素位置の座標を求めることになる。また、最も近い画素位置でなくても、例えば重心Ｃｗの座標を切り上げるなどの、予め定められた丸め処理により得られた座標を境界集中領域中心Ｃｓの座標としても良い。
【００８６】
上記の実施の形態１及び２では、２枚のフレームＦ１、Ｆ２の組から補間フレームＦｃ、Ｆｂを求めているが、３枚以上のフレームの組から補間フレームＦｃ、Ｆｂを求めることとしても良い。
【００８７】
以上本発明を装置に係る発明として説明したが、上記の装置により実施される方法もまた本発明の一部を成す。さらに、装置における処理、或いは方法をプログラムされたコンピュータで実現することができ、該実行のためのプログラム及び該プログラムを記録したコンピュータで読み取り可能な記録媒体も本発明の一部を成す。
【符号の説明】
【００８８】
１ 映像入力端子、 ２ フレームバッファ、 ３ 動きベクトル推定部、 ４ 補間フレーム生成部、 ５ 補間フレーム補正部、 ６ 出力端子、 ４０、４１ａ、４１ｂ 入力端子、 ４２ 動き補償型補間フレーム生成部、 ４３ ブレンド型補間フレーム生成部、 ４５ａ、４５ｂ 出力端子、 ５０、５１ａ、５１ｂ 入力端子、 ５２ 動きベクトル境界検出部、 ５３ 境界集中ブロック検出部、 ５４ 境界集中領域決定部、 ５５ 補正マップ生成部、 ５６ 補間フレーム合成部、 ５７ 出力端子、 ５８ 境界集中領域決定部。
【技術分野】
【０００１】
本発明は、映像信号に含まれる複数のフレームの画像を用いて、これらのフレームの間に補間フレームの画像を生成し動画を滑らかにするフレーム補間装置及び方法に関するものである。本発明はまた、該フレーム補間方法の実施に用いられるプログラム、及び該プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
液晶テレビなどのホールド型の画像表示装置は、１フレーム期間同じ画像を表示し続けており、画像中の動く物体に対して、人間の目の動きが動く物体に追従する一方、表示される位置は１フレーム期間同じであるので、境界部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を増やし、物体を表示する位置を動きに追従させながら細かく変化させることで物体の動きを滑らかに表示することが考えられる。
【０００３】
また、フレームレートの異なる映像や、コンピュータ処理が施された映像をテレビ信号に変換して表示した場合、複数のフレームが同じ画像となることで動きのぼやけや動きがぎこちなくなるジャダーと呼ばれる現象が生じる問題がある。これも、フレームを補間し表示フレーム数を増やすことで、解決することができる。
【０００４】
フレーム補間の一つの方法として、入力映像のフレーム間の動きベクトルに基づいて補間フレームを生成する動き補償型フレーム補間方法が知られている。この動き補償型フレーム補間の手法として、現フレームを一定の大きさのブロックに分割し、各ブロックに関し、前フレーム上において、同様の大きさのブロックを移動させながらブロック内の各画素の絶対輝度差分総和が最小になる位置を探索し、絶対輝度差分総和最小となる位置関係から動きベクトルを推定するブロックマッチング法など、様々な手法が提案されているが、画像情報のみから動きベクトルを正確に推定することは容易ではない。
【０００５】
真の動きと異なる動きベクトルを検出した場合、この動きベクトルを基に生成される補間フレームには画像の乱れが生じてしまう。そこで、動きベクトルを推定したブロック間の類似度などの画素値を基に動きベクトルの信頼度を定義し、信頼度の低い動きベクトルは、誤検出された画像の乱れを引き起こすベクトルとして、別途用意した破綻防止画像で補正する手法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４４８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１をはじめとする従来のフレーム補間方法では、動きベクトルの信頼度を画素値に基づいて判断しているため、動きベクトルの誤検出の原因である局所的な周期パターンやノイズの影響により、信頼度を正確に把握することができない。とりわけ、物体と背景の境界付近などでは異なる動きが隣接するため画像情報に基づいて推定された動きベクトルの信頼度は画像の破綻の程度よりも大幅に低くなる。このため、画像の破綻の程度に対し大幅に信頼度が低くなる領域では、画像破綻が小さいにもかかわらず補正が行われてしまう。補正を行う破綻防止画像は、前後フレームの平均画像が用いられることが多く、物体の輪郭がぼやけて見える問題が生じる。また、繰り返しパターンなどにより、真の動きベクトルと異なる動きベクトルを検出したにもかかわらず、画素値が似通っており、本来より信頼度が高くなった場合は、画像の乱れを適切に補正できないという問題もあった。
【課題を解決するための手段】
【０００８】
本発明のフレーム補間装置は、
映像信号入力から得られる最新の第１フレームと、前記第１フレームと異なる過去の第２フレームの間に、前記第１フレーム及び前記第２フレームを含む２枚以上のフレームの組を基に補間フレームを生成するフレーム補間装置において、
前記フレームの組を基に、前記第１フレームと前記第２フレームの間の動きベクトルを求める動きベクトル推定部と、
前記動きベクトル推定部で求められた動きベクトルを基に動き補償型補間フレームを生成する補間フレーム生成部と、
前記補間フレーム生成部で生成された動き補償型補間フレームを補正する補間フレーム補正部を備え、
前記補間フレーム補正部は、前記動きベクトル推定部で求められた動きベクトルの境界を基に前記動き補償型補間フレームを補正する
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動きベクトル分布を基に画像乱れを推定し、補正を行うことにより、画像乱れを抑制した補間フレームを生成し、ちらつきが少なく、且つ、動きが滑らかな映像を生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係るフレーム補間装置を表すブロック図である。
【図２】図１の補間フレーム生成部４の一例を示すブロック図である。
【図３】図１の補間フレーム補正部５の一例を示すブロック図である。
【図４】動き補償補間による補間フレームの画素値の決定方法を示す図である。
【図５】図３の補間フレーム補正部５内の境界集中ブロック検出部５３の処理の流れを示すフローチャートである。
【図６】一つの境界集中ブロックの中心を中心とする境界集中領域の一例を示す図である。
【図７】複数の境界集中領域で構成される補正対象領域ＡＨの一例を示す図である。
【図８】一つの境界集中ブロックの中心を中心とする境界集中領域の他の例を示す図である。
【図９】一つの境界集中ブロックの中心を中心とする境界集中領域の他の例を示す図である。
【図１０】一つの境界集中ブロックの中心を中心とする境界集中領域の他の例を示す図である。
【図１１】境界集中領域の範囲を決定するパラメータの算出方法を説明する図である。
【図１２】複数の境界集中ブロックの中心を中心とする境界集中領域に含まれる画素の例を示す図である。
【図１３】各画素について境界集中領域の中心からの距離と、同じ方向における縁までの距離の一例を示す図である。
【図１４】補間フレーム補正部の処理の流れをまとめた図である。
【図１５】本発明の実施の形態２の補間装置で用いられる補間フレーム補正部の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
以下、本発明の実施の形態１を図面により説明する。
図１は本発明の実施の形態１のフレーム補間装置を示すブロック図である。図示のフレーム補間装置は、映像入力端子１、フレームバッファ２、動きベクトル推定部３、補間フレーム生成部４、補間フレーム補正部５、及び補間フレーム出力端子６を備える。
【００１２】
映像入力端子１から入力された映像はフレームバッファ２に蓄えられる。
動きベクトル推定部３はフレームバッファ２から読み出される第１および第２フレームＦ１及びＦ２のデータ（以下「フレームのデータ」を単に「フレーム」と言うことがある）を受けて動きベクトルＭＶを出力する。ここで、第１フレームＦ１が最新のフレーム（現フレーム）であり、第２フレームＦ２は、第１フレームＦ１よりも時間的に前のフレーム（過去フレーム）である。
【００１３】
補間フレーム生成部４は動きベクトル推定部３から出力される動きベクトルＭＶとフレームバッファ２から読み出される第１及び第２フレームＦ１及びＦ２を受けて画像の動きを考慮した動き補償型補間フレームＦｃを出力するとともに、補間フレームの時間的位相に応じた割合で第１及び第２フレームＦ１及びＦ２を足し合わせたブレンド型補間フレームＦｂを出力する。ここで言う時間的位相とは、第１フレームＦ１と第２フレームＦ２の間における補間フレームの時間軸上の位置を、第１フレームＦ１と第２フレームＦ２の間隔を１周期として表したものである。
【００１４】
補間フレーム補正部５は、動きベクトル推定部３から出力される動きベクトルＭＶと補間フレーム生成部４から出力される動き補償型補間フレームＦｃ及びブレンド型補間フレームＦｂを受けて、ブレンド型補間フレームＦｂを用いて、動きベクトルＭＶに応じて動き補償型補間フレームＦｃを補正し、補正された動き補償型補間フレーム（補正補間フレーム）Ｆｈを出力する。補間フレーム補正部５から出力される補正補間フレームＦｈは、補間フレーム出力端子６を介して出力される。
【００１５】
図２は補間フレーム生成部４の一例を示すブロック図である。図示の補間フレーム生成部４は、動きベクトル入力端子４０と、フレーム入力端子４１ａ及び４１ｂと、動き補償型補間フレーム生成部４２と、ブレンド型補間フレーム生成部４３と、補間フレーム出力端子４５ａと、ブレンド型補間フレーム出力端子４５ｂを備える。
【００１６】
動きベクトル入力端子４０は、動きベクトル推定部３から出力される動きベクトルＭＶ（を示すデータ）を受ける。フレーム入力端子４１ａ及び４１ｂは、フレームバッファ２よりそれぞれ第１及び第２フレームＦ１及びＦ２を受ける。
【００１７】
動き補償型補間フレーム生成部４２は、入力端子４０より動きベクトルＭＶを受けるとともに、入力端子４１ａ及び４１ｂより第１及び第２フレームＦ１及びＦ２を受けて、動き補償型補間フレームＦｃを出力する。ブレンド型補間フレーム生成部４３は、フレーム入力端子４１ａ及び４１ｂより第１及び第２フレームＦ１及びＦ２を受けて、位相重み付きブレンド（加重平均）を行ってブレンド型補間フレームＦｂを出力する。動き補償型補間フレームＦｃは出力端子４５ａより出力され、ブレンド型補間フレームＦｂは出力端子４５ｂより出力される。
【００１８】
図３は補間フレーム補正部５の一例を示すブロック図である。図示の補間フレーム補正部５は、動きベクトル入力端子５０と、フレーム入力端子５１ａ及び５１ｂと、動きベクトル境界検出部５２と、境界集中ブロック検出部５３と、境界集中領域決定部５４と、補正マップ生成部５５と、補間フレーム合成部５６と、補正補間フレーム出力端子５７を備える。
【００１９】
動きベクトル入力端子５０は、動きベクトル推定部３より出力される動きベクトルＭＶを受ける。
フレーム入力端子５１ａ及び５１ｂは、補間フレーム生成部４より出力される動き補償型補間フレームＦｃ及びブレンド型補間フレームＦｂを受ける。
【００２０】
動きベクトル境界検出部５２は、入力端子５０より動きベクトルＭＶを受け、動きベクトルの境界に位置する画素から成る境界画像ＥＶを出力する。動きベクトルの境界の検出に当たっては、互いに隣接する画素の動きベクトルＭＶが大きく異なる位置、例えば隣接する画素間で動きベクトルＭＶの差が所定値以上となる位置を動きベクトルＭＶの境界とし、該境界に位置する画素（境界画素）を検出し、該境界画素から成る画像を動きベクトル境界画像ＥＶとする。一例として、後述の図１１には、境界画素が黒丸で示されている。
【００２１】
境界集中ブロック検出部５３は、動きベクトル境界検出部５２から出力される動きベクトル境界画像ＥＶを受け、動きベクトル境界集中度分布情報ＤＣを出力する。境界集中ブロック検出部５３は、例えば、それぞれ画面の一部をなすブロックの各々が、境界画素を所定の割合以上含んでいるか否かの判定を行い、境界画素を所定の割合以上含んでいると判断されたブロックを境界集中ブロック）として検出し、該境界集中ブロックを示す情報を上記の動きベクトル境界集中度分布情報ＤＣとして出力する。
【００２２】
画面の一部をなすブロックとは、画面を所定の大きさに分割することにより得られるものであり、例えば、各ブロックは横方向にｗ個の画素から成り、縦方向にｈ個の画素（ｈライン）から成るものとされる。また、以下では、画面が横方向ｍ個、縦方向ｎ個に分割されるものとする。各ブロックを示す情報は、当該ブロックを識別するための情報であり、例えば画面内に位置に応じて与えられた番号である。
【００２３】
境界集中領域決定部５４は、境界集中ブロック検出部５３から境界集中ブロックを示す情報を受け、各境界集中ブロックに対応して、境界集中領域を決定する。この境界集中領域の決定に当たっては、境界集中ブロック検出部５３から出力された境界集中ブロックを示す情報を受け、各境界集中ブロックの中心(幾何学的中心)、又はその近傍を中心とし、例えば所定のサイズ（大きさ）及び形状を有する領域或いは当該境界集中ブロックの周辺の動きベクトルに基づいて定められたサイズ及び形状を有する領域を境界集中領域とし、該境界集中領域を示す情報を出力する。このような境界集中領域の決定は、画面内に新たな境界集中領域を生成する処理であるとも言える。
境界集中領域の例については、後に図６、図８、図９、図１０を参照して説明する。
【００２４】
補正マップ生成部５５は、境界集中領域決定部５４から出力される境界集中領域を示す情報を受けて補間フレーム補正マップＨＭを生成する。この補間フレーム補正マップＨＭは、画面内の各画素が補正を要する画素（補正対象画素）であるか否かを示す情報を含む。補間フレーム補正マップＨＭが、さらに補正対象画素の各々についてその補正度（後述する）を示す情報とを含むものであるのが望ましい。
【００２５】
補間フレーム合成部５６は、補正マップ生成部５５より出力される補間フレーム補正マップＨＭと、入力端子５１ａより入力される動き補償型補間フレームＦｃと、入力端子５１ｂから入力されるブレンド型補間フレームＦｂを受けて、補正補間フレームＦｈを出力する。補正補間フレームＦｈは出力端子５７より出力される。
【００２６】
境界集中ブロック検出部５３、境界集中領域決定部５４、補正マップ生成部５５、及び補間フレーム合成部５６により、動きベクトル境界検出部５２で検出された境界画素が集中する領域（境界集中領域）内に位置する、補間フレーム生成部４で生成された動き補償型補間フレームＦｃの画素（の画素値）が補正される。
【００２７】
以下に、実施の形態１の処理の流れを説明する。
フレームバッファ２に蓄えられたフレームのうち、第１及び第２フレームＦ１及びＦ２が動きベクトル推定部３に送られ、第１及び第２フレームＦ１及びＦ２間の動きベクトルＭＶが求められる。以下に、２フレーム間の動きベクトルを求める一般的な方法としてブロックマッチング法を説明する。
【００２８】
ブロックマッチング法は、まず、一方のフレームを所定の大きさのブロックに分割し、ブロックごとの動きベクトルＭＶを求めるものである。ここでは第２フレームＦ２をブロックに分割するものとして説明する。各ブロックは、画面を横方向ｐ個、縦方向ｑ個に分割することで得られるもので、横方向ｓ個、縦方向ｔ個の画素（ｔライン）から成るものとする。なお、これらの分割数（ｐ、ｑ）及び各ブロックのサイズ（ｓ、ｔ）は、境界集中ブロック検出部５３の動作について説明した分割数（ｍ、ｎ）及び各ブロックのサイズ（ｗ、ｈ）と同じであっても良く、異なっていても良い。
【００２９】
第２フレームＦ２上の、分割されたブロックの各々（着目ブロック）の動きを求めるには、第１フレームＦ１上に着目ブロックと同じ大きさのブロック（参照ブロック）を配置し、着目ブロックと参照ブロックのパターンの類似度を求める。類似度の定義は様々であるが、ブロック間の画素ごとの輝度差分の絶対値の総和（以下、ＳＡＤと呼ぶ）を、所定の値を基準に極性を反転したものを用いることが一般的である。極性を反転させるのは、算出される値が大きいほど類似度が高くなるようにするためである。
【００３０】
着目ブロックに対して、参照ブロックの位置を変えながら各位置での類似度を求め、最も類似度が高くなる位置（着目ブロックに対する参照ブロックの相対位置）から着目ブロックの動きベクトルＭＶを求める。参照ブロックの位置は、画面全体を網羅するように移動させるのが理想的であるが、画像のすべての位置に対して類似度を算出するには、膨大な演算が必要であるため、着目ブロックを中心とする一定の範囲で移動させるのが一般的である。
また、各ブロックについて動きベクトルを求めるためのブロックマッチングに、当該ブロックのすべての画素を用いても良いが、代わりに、当該ブロックの画素の一部のみを用いても良い。例えば第２フレームＦ２上の各ブロックの中心に近い部分を着目領域とし、第１フレームＦ１上の、上記着目領域と同じ大きさの領域（参照領域）内の画素を用い、上記着目領域と参照領域との類似度を求めても良い。
この処理を第２フレームＦ２のすべてのブロックに対して繰り返すことで、第１及び第２フレームＦ１及びＦ２間のブロック単位の動きベクトルＭＶを求めることができる。
【００３１】
ブロックマッチング法によってブロック単位で動きベクトルＭＶが求まる。次にブロック単位の動きベクトルに基づいて画素単位の動きベクトルを求める。画素単位の動きベクトルを求める手法は様々であり、どのような手法をとっても良い。最も簡単な手法は、ブロック内の画素はすべて一律でブロックの動きベクトルＭＶと同じ値を持つとして処理する手法である。ブロックが十分小さければ、１つのブロック内の画素がすべて同じ動きベクトルＭＶを持つとしても、この動きベクトルＭＶを基に生成する補間フレームなどの画質への影響は少ない。なお、ブロック単位の動きベクトルＭＶから画素単位の動きベクトルを求める方法は、前述の方法に限ったものではなく、その他の方法を用いても良い。
【００３２】
以上が、ブロックマッチング法により動きベクトルＭＶを求める動きベクトル推定部３の一例であるが、動きベクトルを推定する手法はブロックマッチング法に限ったものではなく、その他の方法で動きベクトルを求めても良い。
【００３３】
動きベクトル推定部３により推定された動きベクトルＭＶを基に、補間フレーム生成部４では、動き補償型補間フレーム生成部４２が、第１及び第２フレームＦ１及びＦ２間の動き補償型補間フレームＦｃを生成する。補間フレーム生成部４ではまた、ブレンド型補間フレーム生成部４３が、第１及び第２フレームＦ１及びＦ２に基づいてブレンド型補間フレームＦｂを生成する。ここでは、動き補償型補間フレームＦｃ及びブレンド型補間フレームＦｂは時間的に第１及び第２フレームＦ１及びＦ２の中央に位置するものとして説明する。
【００３４】
動き補償型補間フレーム生成部４２は、第１及び第２フレームＦ１及びＦ２間の動きベクトルＭＶを基に動き補償型補間フレームＦｃを生成する。動き補償型補間フレームＦｃの各画素の値は以下のようにして求めることができる。
【００３５】
図４は動き補償型補間フレームＦｃの各画素の画素値の決定方法を示すものである。
第２フレームＦ２上の画素Ｐ２は動きベクトルＭＶに従い、動き補償型補間フレームＦｃ、第１フレームＦ１と時間経過とともに、画素Ｐｃ、画素Ｐ１の位置へと移動する。すなわち、画素Ｐ２及びＰｃ、Ｐ１は同じ画素値を持つはずである。よって、動き補償型補間フレームＦｃ上の画素Ｐｃの値は第２フレームＦ２の画素Ｐ２と第１フレームＦ１上の画素Ｐ１によって決まる。ただし、時間経過とともに、画素値が変化することも考慮し、動き補償型補間フレームＦｃ上の画素Ｐｃの値は第２フレームＦ２上の画素Ｐ２と第１フレームＦ１上の画素Ｐ１の値の平均値であるとする。
【００３６】
なお、ここでは、動き補償型補間フレームＦｃが第１及び第２フレームＦ１及びＦ２の中央に位置するとして説明したが、動き補償型補間フレームＦｃの位置は第１及び第２フレームＦ１及びＦ２の中央に限ったものではなく、他の位置にあっても良い。ただし、その際は、第１及び第２フレームＦ１及びＦ２上の画素の平均ではなく、第１及び第２フレームＦ１及びＦ２間の位置の内分比に応じた重み付け平均によって動き補償型補間フレームＦｃの画素値を決定する。すなわち、動き補償型補間フレームＦｃ上の画素値は下記の式（１）で表わされる。
【数１】
ただし、Ｐｃ（ｘ,ｙ）は（ｘ，ｙ）座標における動き補償型補間フレームＦｃの画素値、Ｐ１（ｘ,ｙ）は（ｘ，ｙ）座標における第１フレームＦ１の画素値、Ｐ２（ｘ,ｙ）は（ｘ，ｙ）座標における第２フレームＦ２の画素値、ＭＶｘ（ｘ,ｙ）及びＭＶｙ（ｘ,ｙ）は、第２フレームＦ２上の（ｘ，ｙ）座標を起点とする動きベクトルＭＶのｘ及びｙ成分を表す。また、動き補償型補間フレームＦｃは第２及び第１フレームＦ２及びＦ１のｄ２：ｄ１の内分点（ＦｃとＦ２の間隔とＦｃとＦ１の間隔の比がｄ２：ｄ１）に位置するものである。
【００３７】
ブレンド型補間フレーム生成部４３は、動きベクトルＭＶを考慮せず、第１及び第２フレームＦ１及びＦ２を位相重み付き平均（ブレンド）したものをブレンド型補間フレームＦｂとして出力するものである。この「位相重み付き平均」は、補間フレームの位相に応じた重みを付けて平均を求める処理である。すなわち、ブレンド型補間フレームＦｂの各画素値Ｐｂは下記の式（２）で表される演算により求められる。
【数２】
ただし、Ｐｂ（ｘ,ｙ）はブレンド型補間フレームＦｂの（ｘ，ｙ）座標における画素値、Ｐ１（ｘ,ｙ）は（ｘ，ｙ）座標における第１フレームＦ１の画素値、Ｐ２（ｘ,ｙ）は（ｘ，ｙ）座標における第２フレームＦ２の画素値を表す。また、ブレンド型補間フレームＦｂの位相は第２及び第１フレームＦ２及びＦ１のｄ２：ｄ１の内分点に位置とする。
補間フレームＦｂが第１フレームＦ１と第２フレームＦ２の中央に位置する場合には、式（２）でｄ１＝ｄ２として
Ｐｂ（ｘ，ｙ）＝｛Ｐ２（ｘ，ｙ）＋Ｐ１（ｘ，ｙ）｝／２ …（２ｂ）
により、即ち、単純平均により、補間フレームＦｂの画素値が得られる。
【００３８】
補間フレーム補正部５では、補間フレーム生成部４で生成された動き補償型補間フレームＦｃの画像の乱れや破綻を検出し、これらが映像中で目立たないように補正を行う。
【００３９】
動きベクトル境界検出部５２では、動きベクトルＭＶの境界を画素単位で検出する。検出方法として、ラプラシアンフィルタを用いる方法を説明する。画素値に対するラプラシアンフィルタは下記の式（３）で表される。
【数３】
ただし、Ｇ（ｘ，ｙ）は座標（ｘ，ｙ）における２次微分値、Ｐ（ｘ，ｙ）は座標（ｘ，ｙ）における画素値を表す。
なお、ここで、各画素位置のｘ座標値、ｙ座標値は整数であり、ｘ方向、ｙ方向の各々について、隣り合う画素位置の座標値の差は１であるとする。以下でも同様であるとする。
【００４０】
動きベクトルＭＶの境界の検出に当たっては、上記式（３）で表されるように画素値の２次微分値を求める代わりに、下記の式（４）で表されるように、動きベクトルＭＶのｘ，ｙ成分を用いてそれぞれの２次微分値を求め、その和をとる。
【数４】
ただし、ＭＶｘ（ｘ，ｙ）及びＭＶｙ（ｘ，ｙ）は座標（ｘ，ｙ）における動きベクトルＭＶのｘ及びｙ成分を表す。
２次微分値Ｇ（ｘ，ｙ）が所定の閾値より大きい画素を境界画素、所定の閾値よりも小さい画素は境界外画素とすることで動きベクトルＭＶの境界を検出することができる。出力としては、例えば境界画素を「１」、境界外画素を「０」とした画像（動きベクトル境界画像ＥＶ）を作成し、境界集中ブロック検出部５３に境界画素分布を表すものとして伝達する。
【００４１】
なお、動きベクトル境界を求めるにあたってラプラシアンフィルタを用いたが、フィルタに関しては、ラプラシアンフィルタに限ったものではなく、その他のフィルタ、例えばソーベルフィルタを用いても良い。また、２次微分値のｘ，ｙ成分の和を取ることに関しても、単純な和ではなく重み付け和を用いても良い。例えば、下記の式（５）で表されるように動きベクトルＭＶのｘ成分、ｙ成分の値に応じた重み付け和を用いても良い。
【００４２】
【数５】
さらに、式（５）の代りに下記の式（６）で表されるように、動きベクトルＭＶのｘ成分、ｙ成分の値の逆比に応じた重み付け和を用いても良い。
【数６】
【００４３】
境界集中ブロック検出部５３は、動きベクトル境界検出部５２の出力を受けて、境界画素が集中しているブロックを検出し、検出結果を境界集中ブロックＢｅを表す情報として出力する。境界画素が集中しているか否かの判定は、例えば各ブロック内に境界画素が所定の割合以上存在するか否かに拠る。即ち、各ブロック内の境界画素が所定の割合以上存在する場合には、当該ブロックは境界集中ブロックであると判断する。ブロック内の画素の数が一定であれば、上記所定の割合以上か否かの判定は、ブロック内の境界画素が所定数以上か否かの判定を行うことで実現できる。
【００４４】
図５は、境界集中ブロック検出部５３の処理の流れを示すフローチャートである。
【００４５】
まず、ステップＳＴ１０において動きベクトル境界画像ＥＶをブロック分割する。例えば画面全体をｍ×ｎ個のブロックに分割する。
分割されたブロックの各々について境界画素が集中しているか（所定数以上の境界画素が含まれるか）を判定するステップＳＴ１２で開始されるループ処理を行う。このステップＳＴ１２で開始されるループ処理は、ステップＳＴ２８において、画面内のすべてのブロックについて処理が終わった（ｉがｍ×ｎに達した）と判定されるまで続けられる。
【００４６】
ステップＳＴ１４において、境界集中ブロック検出部５３内の境界画素カウンタ５３ｃのカウント値Ｃｔを「０」とし、ステップＳＴ１６で開始されるループ内において、ブロック内の各画素について、境界画素かどうかの判断を行う。このステップＳＴ１６で開始されるループの処理は、ステップＳＴ２２において、ブロック内のすべての画素について処理が終わった（ｊがｗ×ｈに達した）と判定されるまで続けられる。
【００４７】
ステップＳＴ１６で開始されるループ内において、最初にステップＳＴ１８で、各画素が境界に位置する画素か（境界画素か）どうかの判定を行なう。境界画素であると判断されたときは、ステップＳＴ２０にて境界画素カウンタ５３ｃのカウント値Ｃｔに「１」を加算する。
次に、ステップＳＴ２４において、境界画素カウンタ５３ｃのカウント値Ｃｔが所定の閾値以上か否かの判定を行い、閾値以上であると判断されたときは、ステップＳＴ２６において、該ブロックを境界集中ブロックＢｅとして登録する。
【００４８】
以上のように、ブロック分割を行い、ブロックごとに境界画素の集中度合いを算出することで、簡便な方法で動きベクトル境界の集中度合いを評価することができる。
【００４９】
先にも述べたように、境界集中領域決定部５４は、境界集中ブロック検出部５３から境界集中ブロックＢｅを示す情報を受け、各ブロックに対応して、境界集中領域を決定する。この境界集中領域の決定に当たっては、境界集中ブロック検出部５３から出力された境界集中ブロックＢｅを示す情報を受け、各境界集中ブロックＢｅの中心（幾何学的中心）、又はその近傍を中心Ｃｓとする領域を境界集中領域ＡＳと決定する。例えば、ブロックが矩形であれば対角線の交点が該ブロックの幾何学的中心である。
【００５０】
例えば、各境界集中ブロックＢｅに対し、図６に示すように、当該ブロックの中心Ｃｂｅを中心Ｃｓとし、所定のサイズ及び形状を有する領域、例えば一辺の長さＳａが予め定められた正方形状の領域を境界集中領域ＡＳとする。
【００５１】
ブロックの幾何学的中心が画素位置と一致しない場合には、幾何学的中心に最も近い画素位置（最も近い画素位置が複数個ある場合には、そのうちの一つ）を境界集中領域の中心Ｃｓとすることとしても良い。例えば、ブロックの一辺の長さが偶数画素である場合には、幾何学的中心が画素位置と一致しないが、その場合には、幾何学的中心に最も近い画素位置（又はそのうちの一つ）を境界集中領域中心Ｃｓとする。画素位置の座標が整数で表される座標系では、幾何学的中心の座標が整数でない場合、小数点未満を四捨五入することにより最も近い画素位置の座標を求めることになる。また、最も近い画素位置でなくても、例えば幾何学的中心の座標を切り上げるなどの、予め定められた丸め処理により得られた座標を境界集中領域中心Ｃｓの座標としても良い。
【００５２】
補正マップ生成部５５は、境界集中領域決定部５４から出力される境界集中領域ＡＳを示す情報を受け、補正対象画素の分布を示す（画面内の各画素が補正対象画素か否かを示す）補正マップＨＭを生成する。ここで言う、補正対象画素は、動き補償補間フレームＦｃの画像の乱れなどを補正すべき領域にある画素を意味する。
【００５３】
例えば、それぞれの境界集中ブロックＢｅに対し、境界集中領域決定部５４により、図６に示すように、当該ブロックの中心Ｃｂｅを中心Ｃｓとし、所定の形状の領域、例えば一辺の長さＳａが予め定められた正方形状の領域が境界集中領域ＡＳと決定されるが、補正マップ生成部５５は、画面内のすべての画素のうち、いずれかの境界集中領域ＡＳに含まれる画素を補正対象画素とし、その集合を補正対象領域ＡＨとする。図７には、画面内の３つの境界集中領域ＡＳ（１）〜ＡＳ（３）により、補正対象領域ＡＨが構成された例が示されている。補正マップＨＭは、先にも述べたように、画面内の各画素が補正対象領域ＡＨ内に位置するか否か、言い換えると各画素が補正対象画素であるか否かを示すものであり、さらに、各補正対象画素についてその補正度を示すものであるのが望ましい。
【００５４】
各境界集中ブロックに対応する境界集中領域ＡＳが決定され、生成されると、その度に生成された境界集中領域ＡＳ内の画素が補正マップＨＭの一部として登録され（言い換えると、補正マップＨＭが更新され）、画面内のすべてのブロックについて境界集中ブロックか否かの判定及び境界集中領域ＡＳの生成が終わったときに、画面全体について補正マップＨＭが完成する。
【００５５】
図６に示すように、境界集中領域ＡＳを正方形とする代わりに、図８に示すように円形としても良い。
【００５６】
正方形の一辺の長さや円の直径を、ブロックの一辺の２倍とすると、隣接するブロックがともに境界集中ブロックである場合に、複数の境界集中領域が互いにつながって、途切れが生じなくなる。ただし、ブロックの一辺の２倍の値以外でも良い。
【００５７】
例えば、境界集中領域のサイズを、ブロックと同じとし、境界集中ブロックと判定されたブロックが占める範囲自体を境界集中領域とすることもできる。この場合には、境界集中領域決定部５４を別途設ける必要がなく、境界集中ブロック検出部５３で検出されたブロックの中心Ｃｂｅを示す情報を境界集中領域の中心Ｃｓを示す情報として、境界集中ブロック検出部５３から補正マップ生成部５５に供給するようにしても良い。この場合には、境界集中ブロック検出部５３が境界集中領域決定部５４を兼ねていると見ることもできる。
【００５８】
しかし、前述のように境界集中領域のサイズをブロックのサイズとは異なる値として、独立に設定可能とすることで、動きベクトル境界集中度算出に用いるブロックのサイズ及び形状による制約を受けることなく適切な領域で補正が可能となる。
【００５９】
各ブロックについて境界集中領域のサイズ（正方形の辺の長さＳａ、円の直径Ｄａ）を、当該ブロックの周辺の動きベクトルの分布に基づいて決定することとしても良い。境界集中領域のサイズを動きベクトルの分布に基づいて定めることとすれば、より適切に補正を行うことができる。
【００６０】
また、動きベクトルの分布に基づいて境界集中領域のサイズを決める場合、境界集中領域を、図９に示すように長方形としても良く、図１０に示すように楕円形としても良い。なお、図９は、横方向に長い長方形を示し、図１０は横方向に長い楕円を示すが、どの方向に長い形状とするかは予め定めるのではなく、当該境界集中領域ＡＳ内又はその周辺の動きベクトルの分布によって定めることとしても良い。
また、長方形や楕円状の境界集中領域の場合にも、そのサイズ（長方形の各辺の長さＳｂ、Ｓｃ、楕円の長径Ｄｂ、短径Ｄｃ）を、当該境界集中領域ＡＳ内又はその周辺の動きベクトルに基づいて定めることとしても良い。
【００６１】
以下、境界集中領域を楕円とする場合について、横方向の径Ｄｘ及び縦方向の径Ｄｙの決定方法の一例を、図１１を用いて説明する。図１１中の白丸は非境界画素、黒丸が境界画素である。
境界集中ブロックＢｅの中心画素位置（ブロックの幾何学的中心が画素位置に一致しないために、切り上げ処理により得られた画素位置）を境界集中領域中心Ｃｓとして、この境界集中領域中心Ｃｓに対し、上下左右方向の、所定の距離にある画素Ｐｓａ、Ｐｓｂ、Ｐｓｃ、Ｐｓｄの動きベクトルを用いる。例えば、上下方向の所定の距離にある一対の画素Ｐｓａ、Ｐｓｂの動きベクトルＭＶの上下方向成分（ｙ成分）ＭＶｙ（Ｐｓａ）及びＭＶｙ（Ｐｓｂ）の絶対差分（差分の絶対値）｜ＭＶｙ（Ｐｓａ）−ＭＶｙ（Ｐｓｂ）｜を計算し、この値に２を乗じたものを楕円の上下方向（ｙ方向）の径Ｄｙの値とする。即ち、
Ｄｙ＝２×｜ＭＶｙ（Ｐｓａ）−ＭＶｙ（Ｐｓｂ）｜
によりＤｙを求める。
同様に、左右方向の所定の距離にある一対の画素Ｐｓｃ、Ｐｓｄの動きベクトルＭＶの左右方向成分（ｘ成分）ＭＶｘ（Ｐｓｃ）及びＭＶｘ（Ｐｓｄ）の絶対差分を計算し、この値に２を乗じたものを左右方向（ｘ方向）の径Ｄｘの値とする。即ち、
Ｄｘ＝２×｜ＭＶｘ（Ｐｓｃ）−ＭＶｘ（Ｐｓｄ）｜
により、Ｄｘを求める。
これにより、楕円状の領域が決定する。
【００６２】
長方形の領域の２辺の長さについても同様に上下方向のサイズ（辺の長さ）及び左右方向のサイズ（辺の長さ）を決定することができる。周辺の動きベクトルＭＶを基に境界集中領域のサイズを決定することで、補正対象とする画素の範囲をより適切に決定することが可能となる。
【００６３】
上記の例では、境界集中領域のサイズ（長方形の辺の長さ、円の径）を、中心に対して所定の位置にある画素についての動きベクトルの差の２倍にしているが、２倍以外の値としても良い。
さらに、境界集中領域の形状を、正方形、長方形などの矩形、円、楕円としているが、それ以外の所定の形状としても良い。
【００６４】
画面内に複数の境界集中ブロックが検出され、これに対応して複数の境界集中領域が生成された場合、画面内の各画素は、いずれか一つ以上の境界集中領域内に含まれる場合には、補正対象画素として扱われる。図１２では、画素Ｐｗａ及びＰｗｂが２つの境界集中領域ＡＳ（１）、ＡＳ（２）内に含まれる場合を示す。２つの境界集中領域ＡＳ（１）、ＡＳ（２）は、それぞれブロックＢｅ（１）、Ｂｅ（２）の中心の近傍を中心Ｃｓ（１）、Ｃｓ（２）とするものである。
【００６５】
なお、画面全体について補正マップＨＭが完成した状態で、各画素が補正対象画素か非補正対象画素かに区別され、補正対象画素には、一律に補正を加え、非補正対象画素には一切補正を加えないこととしても良いが、そのようにすると、補正を加えられた領域と補正を加えられなかった領域の境界が擬似的な輪郭となって画質低下を招く。これを防ぐため、補正対象領域の中心部分から、その周囲（補正対象領域とその周囲の領域の境界）に向かって次第に減少する補正度（補正度分布）を持つ補正マップＨＭを作成することが有効である。ここで言う補正度は、動き補償補間に対するブレンド型補間による補正の度合いを意味し、動き補償補間の結果とブレンド型補間の結果を混合する際の混合率を決めるものであり、ブレンド型補間の結果を全く用いない場合には「０」、ブレンド型補間の結果のみを用いる場合には、「１」或いは１００％となる。
【００６６】
たとえば、各画素Ｐｉについての補正度は、境界集中領域が生成される度に当該境界集中領域ＡＳの中心Ｃｓから当該画素Ｐｉまでの距離（Ｒｐ）の、上記境界集中領域ＡＳの中心Ｃｓから、当該画素Ｐｉの方向における境界集中領域の縁Ｅａまでの距離（Ｒｅ）に対する比（Ｒｗ）に基づいて定めることとする。上記の距離Ｒｐ、Ｒｅの一例が図１３に示されている。
例えば、百分率で表す補正度Ｄｈは
Ｄｈ＝１００×（１−Ｒｐ／Ｒｅ）
で与えることとする。
【００６７】
なお、補正度は、上記の式で表されるように、距離に応じて直線的に減少しなくても、単調減少するものであれば良い。
【００６８】
補正度を用いる場合には、境界集中領域決定部５４は、境界集中領域ＡＳを示す情報のみならず、境界集中領域内の各画素についての補正度Ｄｈを示す情報を出力し、補正マップ生成部５５は、補正対象領域内の各補正対象画素についての補正度Ｄｈを含む補正マップＨＭを生成する。
【００６９】
複数の境界集中領域ＡＳが検出された場合、画面内の各画素について、複数の境界集中領域ＡＳ内に含まれ、複数の異なる補正度Ｄｈが算出される場合がある。その場合には算出された補正度Ｄｈのうちの最大のものを当該画素の補正度として扱う。例えば図１２において、画素Ｐｗａについて、境界集中領域ＡＳ（１）に含まれる結果算出された補正度がＤｈ（１）で、別の境界集中領域ＡＳ（２）に含まれる結果算出された補正度がＤｈ（２）であるとすると、補正度Ｄｈ（１）及びＤｈ（２）のうちのより大きなものを画素Ｐｗａの補正度とする。補正マップ生成部５５は、各画素について補正度Ｄｈが算出される度に、補正マップＨＭにすでに登録されている補正度と比較し、新たに算出された補正度のほうが大きければ、補正度を置き換える。
【００７０】
以下、各画素について補正度が与えられた補正マップを用いた動き補償型補間フレームＦｃの補正について説明する。以下では補正度を百分率で表すものとする。
【００７１】
補間フレーム合成部５６は、補正マップ生成部５５から出力される補間フレーム補正マップＨＭ（各画素が補正対象か否かを示す情報と、補正対象である画素についての補正度を示す情報を含む）と、動き補償型補間フレームＦｃと、ブレンド型補間フレームＦｂを受けて、動き補償型補間フレームＦｃとブレンド型補間フレームＦｂとを合成することで、動き補償型補間フレームＦｃの補正を行う。補間フレームの合成は、補間フレーム補正マップＨＭで示される補正対象画素の各々についての、動き補償型補間フレームＦｃの画素値と、ブレンド型補間フレームＦｂの画素値を、当該画素についての補正度に対応する混合率で混合することにより行われる。この混合は、下記の式（７）で表される。
【数７】
ただし、Ｐｈ（ｘ，ｙ）は補正補間フレームＦｈの座標（ｘ，ｙ）における画素値、Ｄｈ（ｘ，ｙ）は座標（ｘ，ｙ）における補正度（百分率で表したもの）、Ｐｃ（ｘ，ｙ）は座標（ｘ，ｙ）における動き補償型補間フレームＦｃの画素値、Ｐｂ（ｘ，ｙ）は座標（ｘ，ｙ）におけるブレンド型補間フレームＦｂの画素値である。
【００７２】
上記の混合は、補正マップＨＭにより示される補正対象画素の各々について、その補正度に応じて動き補償型補間フレームＦｃの画素値一部又は全部を、ブレンド型補間フレームＦｂの画素値で置き換える処理であると見ることもできる。
なお、補正対象画素以外の画素については、上記の置き換えは行われず、動き補償型補間フレームＦｃの画素値が、そのまま、補正補間フレームＦｈの画素として出力される。
【００７３】
ブレンド型補間フレームＦｂによって動き補償型補間フレームＦｃを補正することで、自然な形で動き補償型補間フレームＦｃを補正することができる。
【００７４】
図１４は補間フレーム補正部５の処理の流れをまとめた図である。第２フレームＦ２から第１フレームＦ１への時間経過とともに、画像内の物体を示す丸Ｃｒｃは右に、三角Ｔｒｇは左に動いている。第１フレームＦ１及び第２フレームＦ２の間の動き補償型補間フレームＦｃには、動きベクトルＭＶの誤検出に起因する画像の乱れＤｂｒが生じている。
ブレンド型補間フレームＦｂは、第１及び第２フレームＦ１及びＦ２より、ブレンド型補間フレーム生成部４３によって生成される。また、動きベクトル境界検出部５２によって動きベクトルＭＶの境界が検出され、動きベクトル境界画像ＥＶが出力される。
【００７５】
動きベクトル境界画像ＥＶを基に、境界集中ブロック検出部５３、境界集中領域決定部５４、及び補正マップ生成部５５によって、動きベクトル境界画素が集中している領域(境界集中領域)で構成される補正対象領域を示す補正マップＨＭが生成される。
このとき、補正対象領域内の画素には、補正対象領域の中心部分に近いほど大きな補正度が割り当てられ、補正マップは各画素についての補正度を示す情報をも保持している。
【００７６】
補正マップＨＭにより示される補正度とブレンド型補間フレームＦｂの画素値の積と、補正マップＨＭを反転したマップ（反転補正マップ）ＩＨＭにより示される非補正度（百分立で表した非補正度と補正度の和は１００である）と動き補償型補間フレームＦｃの画素値の積との和を求めることで補正補間フレームＦｈの画素値を得る。図１４では、補正マップＨＭにおける補正度及び反転補正マップＩＨＭにおける非補正度が、ハッチング及びクロスハッチングの２段階で表されているが、補正度及び非補正度はより多くの段数を有することができる。
【００７７】
上記の積、和を求める演算は画素毎に行われるものであり、補間フレーム上の各画素についての、補正マップＨＭの補正度とブレンド型補間フレームＦｂの画素値の積と、反転補正マップＩＨＭの非補正度と動き補償型補間フレームＦｃの画素値の積との和を求める。
【００７８】
以上のように、動きベクトルＭＶの境界が集中する領域を画像の乱れや破綻が存在する領域として処理することで、より正確に画像の乱れや破綻を検出することができ、画像のノイズや局所的な周期パターンなどの影響を抑制することができる。また、動きベクトル境界の集中度合いについては、ブロック分割を行い、ブロックごとに、ブロック内の動きベクトル境界画素の個数を利用することで、簡便な方法により、高い精度での集中度の算出が可能となる。
【００７９】
さらに、検出した画像の乱れや破綻を補正するに当たっては、境界画素が集中するブロックの中心（幾何学的中心）を境界集中領域の中心として設定することで、必要十分な領域を補正することが可能となる。
さらに周辺の動きベクトルＭＶをも考慮して境界集中領域を定めることで、境界集中領域の決定をより適切に行なうことができる。
加えて、境界集中領域内において、中心部分から境界集中領域の境界に近づくに従って単調減少するような補正度を設定し、補正の度合いを滑らかに変化させることで、補正した領域と補正しなかった領域の境界部分に人工的なノイズを生じさせることなく補正をすることができる。
【００８０】
実施の形態２．
以下、本発明の実施の形態２を説明する。
実施の形態２のフレーム補間装置の全体的構成は図１に示すごとくであるが、補間フレーム補正部５の構成が、実施の形態１に関し図３を参照して説明したものとは異なり、例えば図１５に示されるように構成されている。図１５に示す補間フレーム補正部５は、図３の境界集中領域決定部５４の代わりに、境界集中領域決定部５８が用いられている点で異なる。動きベクトル境界検出部５２、境界集中ブロック検出部５３、補正マップ生成部５５、及び補間フレーム合成部５６は図３に示すものと同様である。
【００８１】
図４の境界集中領域決定部５４は、各ブロックの幾何学的中心を求めたが、図１５の境界集中領域決定部５８は、各ブロックの重心Ｃｗを境界集中領域の中心Ｃｓとする。
この重心Ｃｗは、各境界集中ブロックＢｅ内に位置する、動きベクトル境界画像ＥＶの各画素の値を重みとして考慮に入れた中心であり、ブロックＢｉについての重心Ｃｗの座標（ｘｃｗ（Ｂｉ），ｙｃｗ（Ｂｉ））は、例えば下記の式（８）で表される。
【数８】
ただし、Ｎはブロック内の画素数、Ｅは当該ブロック間における境界画素の座標の集合である。
【００８２】
なお、上記のように、動きベクトル境界画像ＥＶにおいては、境界画素が値「１」を有し、境界外画素が値「０」を有するので、ブロックＢｉについての上記の重心Ｃｗは、ブロック内のすべての境界画素の重心でもある。
【００８３】
補正マップ生成部５５は、上記の境界集中領域決定部５４から出力される境界集中領域を示す情報を受けて、実施の形態１の補正マップ生成部５５と同様の処理を行う。
【００８４】
以上のように、動きベクトル境界の重心Ｃｗを境界集中領域の中心とすることで、画像破綻の位置をより正確に検出し、境界集中領域をより適切に決定することができ、より適切に補正を行うことができる。
【００８５】
なお、重心Ｃｗが画素位置と一致しない場合には、重心Ｃｗに最も近い画素位置（最も近い画素位置が複数個ある場合には、そのうちの一つ）を境界集中領域中心Ｃｓとすることとしても良い。画素位置の座標が整数で表される座標系では、重心Ｃｗの座標が整数でない場合、小数点未満を四捨五入することにより最も近い画素位置の座標を求めることになる。また、最も近い画素位置でなくても、例えば重心Ｃｗの座標を切り上げるなどの、予め定められた丸め処理により得られた座標を境界集中領域中心Ｃｓの座標としても良い。
【００８６】
上記の実施の形態１及び２では、２枚のフレームＦ１、Ｆ２の組から補間フレームＦｃ、Ｆｂを求めているが、３枚以上のフレームの組から補間フレームＦｃ、Ｆｂを求めることとしても良い。
【００８７】
以上本発明を装置に係る発明として説明したが、上記の装置により実施される方法もまた本発明の一部を成す。さらに、装置における処理、或いは方法をプログラムされたコンピュータで実現することができ、該実行のためのプログラム及び該プログラムを記録したコンピュータで読み取り可能な記録媒体も本発明の一部を成す。
【符号の説明】
【００８８】
１ 映像入力端子、 ２ フレームバッファ、 ３ 動きベクトル推定部、 ４ 補間フレーム生成部、 ５ 補間フレーム補正部、 ６ 出力端子、 ４０、４１ａ、４１ｂ 入力端子、 ４２ 動き補償型補間フレーム生成部、 ４３ ブレンド型補間フレーム生成部、 ４５ａ、４５ｂ 出力端子、 ５０、５１ａ、５１ｂ 入力端子、 ５２ 動きベクトル境界検出部、 ５３ 境界集中ブロック検出部、 ５４ 境界集中領域決定部、 ５５ 補正マップ生成部、 ５６ 補間フレーム合成部、 ５７ 出力端子、 ５８ 境界集中領域決定部。
【特許請求の範囲】
【請求項１】
映像信号入力から得られる最新の第１フレームと、前記第１フレームと異なる過去の第２フレームの間に、前記第１フレーム及び前記第２フレームを含む２枚以上のフレームの組を基に補間フレームを生成するフレーム補間装置において、
前記フレームの組を基に、前記第１フレームと前記第２フレームの間の動きベクトルを求める動きベクトル推定部と、
前記動きベクトル推定部で求められた動きベクトルを基に動き補償型補間フレームを生成する補間フレーム生成部と、
前記補間フレーム生成部で生成された動き補償型補間フレームを補正する補間フレーム補正部を備え、
前記補間フレーム補正部は、前記動きベクトル推定部で求められた動きベクトルの境界を基に前記動き補償型補間フレームを補正する
ことを特徴とするフレーム補間装置。
【請求項２】
前記補間フレーム補正部は、互いに隣接する画素の動きベクトルが所定以上に大きく異なる位置を動きベクトルの境界とし、該境界に位置する画素を検出する動きベクトル境界検出部を備え、
前記動きベクトル境界検出部で検出された境界画素が集中する領域内に位置する、動き補償型補間フレームの画素の画素値を補正する
ことを特徴とする請求項１に記載のフレーム補間装置。
【請求項３】
前記補間フレーム補正部は、フレームを所定の大きさのブロックに分割し、分割されたブロックの各々について、当該ブロック内の動きベクトル境界画素数が所定の割合以上のブロックを境界画素が集中する領域と判断する境界集中ブロック検出部を備える
ことを特徴とする請求項２に記載のフレーム補間装置。
【請求項４】
前記補間フレーム補正部は、
各境界集中ブロックの幾何学中心を中心とする境界集中領域を決定し、決定した境界集中領域を示す情報を出力する境界集中領域決定部を備え、
前記境界集中領域決定部で決定された境界集中領域内の画素を補正対象画素とする
ことを特徴とする請求項３に記載のフレーム補間装置。
【請求項５】
前記補間フレーム補正部は、
各境界集中ブロック内のすべての境界画素の重心を中心とする境界集中領域を決定し、決定した境界集中領域を示す情報を出力する境界集中領域決定部を備え、
前記境界集中領域決定部で決定された境界集中領域内の画素を補正対象画素とする
ことを特徴とする請求項３に記載のフレーム補間装置。
【請求項６】
前記補間フレーム補正部は、
各境界集中ブロックについて、その周辺の動きベクトルによって、前記境界集中領域のサイズを決定する
ことを特徴とする請求項４又は５に記載のフレーム補間装置。
【請求項７】
前記補間フレーム補正部は、
前記境界集中領域の中心から、上下方向の所定の距離にある一対の画素の動きベクトルの上下方向成分の差により、前記境界集中領域の上下方向のサイズを決定し、
前記境界集中領域の中心から、左右方向の所定の距離にある一対の画素の動きベクトルの左右方向成分の差により、前記境界集中領域の左右方向のサイズを決定する
ことを特徴とする請求項６に記載のフレーム補間装置。
【請求項８】
前記補間フレーム補正部は、
各補正対象画素の画素値を、当該補正対象画素の補正度に応じて、
前記第１フレームと前記第２フレームを補間フレームの時間的位相に応じた割合で足し合わせたブレンド型補間フレームの画素値で置き換えることで補正を行う
ことを特徴とする請求項１から７のいずれかに記載のフレーム補間装置。
【請求項９】
前記補間フレーム補正部は、
前記補正を加える領域の中心部分から、その周囲に向かって次第に減少する補正度に応じて、各補正対象画素について、前記ブレンド型補間フレームの画素値による置換えを行う
ことを特徴とする請求項８に記載のフレーム補間装置。
【請求項１０】
前記境界集中領域決定部は、前記境界集中領域の各々についてその中心から周囲に向かって次第に減少するように、各画素についての補正度を決定し、
前記補間フレーム補正部は、前記境界集中領域決定部で決定された境界集中領域内の各画素についての補正度のうち、最大のものを当該画素についての補正度として、前記ブレンド型補間フレームの画素値による置換えを行う
ことを特徴とする請求項９に記載のフレーム補間装置。
【請求項１１】
映像信号入力から得られる最新の第１フレームと、前記第１フレームと異なる過去の第２フレームの間に、前記第１フレーム及び前記第２フレームを含む２枚以上のフレームの組を基に補間フレームを生成するフレーム補間方法において、
前記フレームの組を基に、前記第１フレームと前記第２フレームの間の動きベクトルを求める動きベクトル推定ステップと、
前記動きベクトル推定ステップで求められた動きベクトルを基に動き補償型補間フレームを生成する補間フレーム生成ステップと、
前記補間フレーム生成ステップで生成された動き補償型補間フレームを補正する補間フレーム補正ステップを含み、
前記補間フレーム補正ステップは、前記動きベクトル推定ステップで求められた動きベクトルの境界を基に前記動き補償型補間フレームを補正する
ことを特徴とするフレーム補間方法。
【請求項１２】
前記補間フレーム補正ステップは、互いに隣接する画素の動きベクトルが所定以上に大きく異なる位置を動きベクトルの境界とし、該境界に位置する画素を検出する動きベクトル境界検出ステップを含み、
前記動きベクトル境界検出ステップで検出された境界画素が集中する領域内に位置する、動き補償型補間フレームの画素の画素値を補正する
ことを特徴とする請求項１１に記載のフレーム補間方法。
【請求項１３】
前記補間フレーム補正ステップは、フレームを所定の大きさのブロックに分割し、分割されたブロックの各々について、当該ブロック内の動きベクトル境界画素数が所定の割合以上のブロックを境界画素が集中する領域と判断する境界集中ブロック検出ステップを含む
ことを特徴とする請求項１２に記載のフレーム補間方法。
【請求項１４】
前記補間フレーム補正ステップは、
各境界集中ブロックの幾何学中心を中心とする境界集中領域を決定し、決定した境界集中領域を示す情報を出力する境界集中領域決定ステップを含み、
前記境界集中領域決定ステップで決定された境界集中領域内の画素を補正対象画素とする
ことを特徴とする請求項１３に記載のフレーム補間方法。
【請求項１５】
前記補間フレーム補正ステップは、
各境界集中ブロック内のすべての境界画素の重心を中心とする境界集中領域を決定し、決定した境界集中領域を示す情報を出力する境界集中領域決定ステップを含み、
前記境界集中領域決定ステップで決定された境界集中領域内の画素を補正対象画素とする
ことを特徴とする請求項１３に記載のフレーム補間方法。
【請求項１６】
前記補間フレーム補正ステップは、
各境界集中ブロックについて、その周辺の動きベクトルによって、前記境界集中領域のサイズを決定する
ことを特徴とする請求項１４又は１５に記載のフレーム補間方法。
【請求項１７】
前記補間フレーム補正ステップは、
前記境界集中領域の中心から、上下方向の所定の距離にある一対の画素の動きベクトルの上下方向成分の差により、前記境界集中領域の上下方向のサイズを決定し、
前記境界集中領域の中心から、左右方向の所定の距離にある一対の画素の動きベクトルの左右方向成分の差により、前記境界集中領域の左右方向のサイズを決定する
ことを特徴とする請求項１６に記載のフレーム補間方法。
【請求項１８】
前記補間フレーム補正ステップは、
各補正対象画素の画素値を、当該補正対象画素の補正度に応じて、
前記第１フレームと前記第２フレームを補間フレームの時間的位相に応じた割合で足し合わせたブレンド型補間フレームの画素値で置き換えることで補正を行う
ことを特徴とする請求項１１から１７のいずれかに記載のフレーム補間方法。
【請求項１９】
前記補間フレーム補正ステップは、
前記補正を加える領域の中心部分から、その周囲に向かって次第に減少する補正度に応じて、各補正対象画素について、前記ブレンド型補間フレームの画素値による置換えを行う
ことを特徴とする請求項１８に記載のフレーム補間方法。
【請求項２０】
前記境界集中領域決定ステップは、前記境界集中領域の各々についてその中心から周囲に向かって次第に減少するように、各画素についての補正度を決定し、
前記補間フレーム補正ステップは、前記境界集中領域決定ステップで決定された境界集中領域内の各画素についての補正度のうち、最大のものを当該画素についての補正度として、前記ブレンド型補間フレームの画素値による置換えを行う
ことを特徴とする請求項１９に記載のフレーム補間方法。
【請求項２１】
請求項１１から２０までのいずれかに記載のフレーム補間方法における処理をコンピュータに実行させるためのプログラム。
【請求項２２】
請求項２１に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１】
映像信号入力から得られる最新の第１フレームと、前記第１フレームと異なる過去の第２フレームの間に、前記第１フレーム及び前記第２フレームを含む２枚以上のフレームの組を基に補間フレームを生成するフレーム補間装置において、
前記フレームの組を基に、前記第１フレームと前記第２フレームの間の動きベクトルを求める動きベクトル推定部と、
前記動きベクトル推定部で求められた動きベクトルを基に動き補償型補間フレームを生成する補間フレーム生成部と、
前記補間フレーム生成部で生成された動き補償型補間フレームを補正する補間フレーム補正部を備え、
前記補間フレーム補正部は、前記動きベクトル推定部で求められた動きベクトルの境界を基に前記動き補償型補間フレームを補正する
ことを特徴とするフレーム補間装置。
【請求項２】
前記補間フレーム補正部は、互いに隣接する画素の動きベクトルが所定以上に大きく異なる位置を動きベクトルの境界とし、該境界に位置する画素を検出する動きベクトル境界検出部を備え、
前記動きベクトル境界検出部で検出された境界画素が集中する領域内に位置する、動き補償型補間フレームの画素の画素値を補正する
ことを特徴とする請求項１に記載のフレーム補間装置。
【請求項３】
前記補間フレーム補正部は、フレームを所定の大きさのブロックに分割し、分割されたブロックの各々について、当該ブロック内の動きベクトル境界画素数が所定の割合以上のブロックを境界画素が集中する領域と判断する境界集中ブロック検出部を備える
ことを特徴とする請求項２に記載のフレーム補間装置。
【請求項４】
前記補間フレーム補正部は、
各境界集中ブロックの幾何学中心を中心とする境界集中領域を決定し、決定した境界集中領域を示す情報を出力する境界集中領域決定部を備え、
前記境界集中領域決定部で決定された境界集中領域内の画素を補正対象画素とする
ことを特徴とする請求項３に記載のフレーム補間装置。
【請求項５】
前記補間フレーム補正部は、
各境界集中ブロック内のすべての境界画素の重心を中心とする境界集中領域を決定し、決定した境界集中領域を示す情報を出力する境界集中領域決定部を備え、
前記境界集中領域決定部で決定された境界集中領域内の画素を補正対象画素とする
ことを特徴とする請求項３に記載のフレーム補間装置。
【請求項６】
前記補間フレーム補正部は、
各境界集中ブロックについて、その周辺の動きベクトルによって、前記境界集中領域のサイズを決定する
ことを特徴とする請求項４又は５に記載のフレーム補間装置。
【請求項７】
前記補間フレーム補正部は、
前記境界集中領域の中心から、上下方向の所定の距離にある一対の画素の動きベクトルの上下方向成分の差により、前記境界集中領域の上下方向のサイズを決定し、
前記境界集中領域の中心から、左右方向の所定の距離にある一対の画素の動きベクトルの左右方向成分の差により、前記境界集中領域の左右方向のサイズを決定する
ことを特徴とする請求項６に記載のフレーム補間装置。
【請求項８】
前記補間フレーム補正部は、
各補正対象画素の画素値を、当該補正対象画素の補正度に応じて、
前記第１フレームと前記第２フレームを補間フレームの時間的位相に応じた割合で足し合わせたブレンド型補間フレームの画素値で置き換えることで補正を行う
ことを特徴とする請求項１から７のいずれかに記載のフレーム補間装置。
【請求項９】
前記補間フレーム補正部は、
前記補正を加える領域の中心部分から、その周囲に向かって次第に減少する補正度に応じて、各補正対象画素について、前記ブレンド型補間フレームの画素値による置換えを行う
ことを特徴とする請求項８に記載のフレーム補間装置。
【請求項１０】
前記境界集中領域決定部は、前記境界集中領域の各々についてその中心から周囲に向かって次第に減少するように、各画素についての補正度を決定し、
前記補間フレーム補正部は、前記境界集中領域決定部で決定された境界集中領域内の各画素についての補正度のうち、最大のものを当該画素についての補正度として、前記ブレンド型補間フレームの画素値による置換えを行う
ことを特徴とする請求項９に記載のフレーム補間装置。
【請求項１１】
映像信号入力から得られる最新の第１フレームと、前記第１フレームと異なる過去の第２フレームの間に、前記第１フレーム及び前記第２フレームを含む２枚以上のフレームの組を基に補間フレームを生成するフレーム補間方法において、
前記フレームの組を基に、前記第１フレームと前記第２フレームの間の動きベクトルを求める動きベクトル推定ステップと、
前記動きベクトル推定ステップで求められた動きベクトルを基に動き補償型補間フレームを生成する補間フレーム生成ステップと、
前記補間フレーム生成ステップで生成された動き補償型補間フレームを補正する補間フレーム補正ステップを含み、
前記補間フレーム補正ステップは、前記動きベクトル推定ステップで求められた動きベクトルの境界を基に前記動き補償型補間フレームを補正する
ことを特徴とするフレーム補間方法。
【請求項１２】
前記補間フレーム補正ステップは、互いに隣接する画素の動きベクトルが所定以上に大きく異なる位置を動きベクトルの境界とし、該境界に位置する画素を検出する動きベクトル境界検出ステップを含み、
前記動きベクトル境界検出ステップで検出された境界画素が集中する領域内に位置する、動き補償型補間フレームの画素の画素値を補正する
ことを特徴とする請求項１１に記載のフレーム補間方法。
【請求項１３】
前記補間フレーム補正ステップは、フレームを所定の大きさのブロックに分割し、分割されたブロックの各々について、当該ブロック内の動きベクトル境界画素数が所定の割合以上のブロックを境界画素が集中する領域と判断する境界集中ブロック検出ステップを含む
ことを特徴とする請求項１２に記載のフレーム補間方法。
【請求項１４】
前記補間フレーム補正ステップは、
各境界集中ブロックの幾何学中心を中心とする境界集中領域を決定し、決定した境界集中領域を示す情報を出力する境界集中領域決定ステップを含み、
前記境界集中領域決定ステップで決定された境界集中領域内の画素を補正対象画素とする
ことを特徴とする請求項１３に記載のフレーム補間方法。
【請求項１５】
前記補間フレーム補正ステップは、
各境界集中ブロック内のすべての境界画素の重心を中心とする境界集中領域を決定し、決定した境界集中領域を示す情報を出力する境界集中領域決定ステップを含み、
前記境界集中領域決定ステップで決定された境界集中領域内の画素を補正対象画素とする
ことを特徴とする請求項１３に記載のフレーム補間方法。
【請求項１６】
前記補間フレーム補正ステップは、
各境界集中ブロックについて、その周辺の動きベクトルによって、前記境界集中領域のサイズを決定する
ことを特徴とする請求項１４又は１５に記載のフレーム補間方法。
【請求項１７】
前記補間フレーム補正ステップは、
前記境界集中領域の中心から、上下方向の所定の距離にある一対の画素の動きベクトルの上下方向成分の差により、前記境界集中領域の上下方向のサイズを決定し、
前記境界集中領域の中心から、左右方向の所定の距離にある一対の画素の動きベクトルの左右方向成分の差により、前記境界集中領域の左右方向のサイズを決定する
ことを特徴とする請求項１６に記載のフレーム補間方法。
【請求項１８】
前記補間フレーム補正ステップは、
各補正対象画素の画素値を、当該補正対象画素の補正度に応じて、
前記第１フレームと前記第２フレームを補間フレームの時間的位相に応じた割合で足し合わせたブレンド型補間フレームの画素値で置き換えることで補正を行う
ことを特徴とする請求項１１から１７のいずれかに記載のフレーム補間方法。
【請求項１９】
前記補間フレーム補正ステップは、
前記補正を加える領域の中心部分から、その周囲に向かって次第に減少する補正度に応じて、各補正対象画素について、前記ブレンド型補間フレームの画素値による置換えを行う
ことを特徴とする請求項１８に記載のフレーム補間方法。
【請求項２０】
前記境界集中領域決定ステップは、前記境界集中領域の各々についてその中心から周囲に向かって次第に減少するように、各画素についての補正度を決定し、
前記補間フレーム補正ステップは、前記境界集中領域決定ステップで決定された境界集中領域内の各画素についての補正度のうち、最大のものを当該画素についての補正度として、前記ブレンド型補間フレームの画素値による置換えを行う
ことを特徴とする請求項１９に記載のフレーム補間方法。
【請求項２１】
請求項１１から２０までのいずれかに記載のフレーム補間方法における処理をコンピュータに実行させるためのプログラム。
【請求項２２】
請求項２１に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１２９８４２（Ｐ２０１２−１２９８４２Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８０２３７（Ｐ２０１０−２８０２３７）
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]