動き適応型フィールド補間装置及び動き適応型フィールド補間方法
【課題】本来動画として検出すべき領域を静止画として誤検出することをメモリ容量や演算量を増加させることなく抑制する。
【解決手段】動き適応型フィールド補間装置は、画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する装置であって、フィールド間差分を算出するフィールド間差分算出部と、前記フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新する動きカウント更新部と、前記動きカウントに基づいて静止画であるか動画であるかを判定する判定部と、前記判定結果に基づいて画像の動き量を表す係数を算出する係数算出部と、前記係数に基づいてフィールド補間する補間部とを備える。
【解決手段】動き適応型フィールド補間装置は、画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する装置であって、フィールド間差分を算出するフィールド間差分算出部と、前記フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新する動きカウント更新部と、前記動きカウントに基づいて静止画であるか動画であるかを判定する判定部と、前記判定結果に基づいて画像の動き量を表す係数を算出する係数算出部と、前記係数に基づいてフィールド補間する補間部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレース画像をプログレッシブ画像に変換する動き適応型フィールド補間装置及び動き適応型フィールド補間方法に関する。
【背景技術】
【０００２】
インターレース画像の各フィールドにラインを補間することでインターレース画像をプログレッシブ画像に変換するフィールド補間が知られている。フィールド補間には、補間しようとするフィールドに隣接するフィールド内に存在する画素を用いて補間するフィールド間補間と、補間しようとするフィールドと同一フィールド内に存在する画素を用いて補間するフィールド内補間とがある。フィールド内補間は動画に適し、フィールド間補間は静止画に適している。そこで、良質なプログレッシブ画像を得るため、画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間が知られている。例えば、特許文献１には、画像の動き量を表す動き係数ｋ（０≦ｋ≦１）によりフィールド間補間画素とフィールド内補間画素を重み平均して補間することが開示されている。以下、特許文献１に開示されている従来例について、図面を用いて説明する。
【０００３】
図９は、前記特許文献１に開示されている動き適応型フィールド補間回路の構成図である。図９において、２０１，２０３，２０４はフィールドメモリ、２０２，２０５はラインメモリ、２０６，２０７，２１２，２１９は加算回路、２０８，２０９は乗算回路、２１０，２１１は係数乗算回路、２１３，２１４，２１５は減算回路、２１６，２１７，２１８は絶対値回路、２２０は係数算出回路を示す。
【０００４】
図１０は、相続く４フィールドのラインの配置を時間軸ｔとフィールドの垂直軸Ｖとにより表したものである。図１０において、縦軸はラインの垂直位置を、横軸はフィールド単位の時刻を表す。ｉ（ｉ＝１，２，…）はフィールド数を示し、白丸および黒丸はそれぞれ１本のラインを示す。更に黒丸は補間しようとするラインを示す。図９のＡ１，Ａ２，Ｂ１，Ｃ１，Ｃ２，Ｄ１，Ｘは、図１０の同じ符号で示すラインを表している。
【０００５】
図１１は、図９に示す構成図を基にした従来の処理手順を示すフローチャートである。図１１の処理が補間画素１画素毎に繰り返される。一つの補間画素に対する処理が開始されると、まず、フレーム間差分ＳＡＤ１とＳＡＤ２を算出する（図１１、ステップＳ１０）。図１０において補間処理を実施する注目フィールドをi−１とすると、ＳＡＤ１は、注目フィールド（ｉ−１）と注目フィールドの２フィールド前（ｉ−３）との差分絶対値である。ＳＡＤ２は、注目フィールドの直前フィールド（ｉ−２）と、注目フィールドの直後フィールド（ｉ）との差分絶対値である。図１０でいうと、ＳＡＤ１はラインＡ１の画素とラインＣ１の画素との差分絶対値およびラインＡ２の画素とラインＣ２の画素との差分絶対値であり、ＳＡＤ２はラインＢ１の画素とラインＤ１の画素との差分絶対値である。
【０００６】
次いで、フレーム間差分ＳＡＤ１とＳＡＤ２の和ＳＡＤｓｕｍを算出する（図１１、ステップＳ２０）。さらに、０≦ｋ≦１（但し、１以上は１）になるように、動き係数ｋ＝Ｇａｉｎ×ＳＡＤｓｕｍを算出する（図１１、ステップＳ３０）。最後に、Ｐｏｕｔ＝ｋ×Ｐｍｏｖｅ＋(１−ｋ)×Ｐｓｔｉｌｌによりフィールド補間する（図１１、ステップＳ４０）。ＰｍｏｖｅはラインＢ１の画素およびラインＤ１の画素から補間された画素値、ＰｓｔｉｌｌはラインＣ１の画素およびラインＣ２の画素から補間された画素値である。このようにして補間に使われる全てのラインのフレーム間差分に基づき適応的にフィールド補間がなされる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特公平７−１２２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の動き適応型フィールド補間によると、本来動画として検出すべき領域を静止画として誤検出してしまうことがあった。以下、このように静止画として誤検出するに至る経緯を図面に従って説明する。
【０００９】
ここでは、図１２に示す画像パターンにおいて、太枠で示した画素（注目画素）を補間する場合を例示する。図中のｉ（ｉ＝１，２，…）はフィールド数を示す。画素値１．０を背景にして、画素値０と０．５の縦縞パターンが画面左から右の方向に１フィールド当たり２画素移動している。図１２では、ｉ−８フィールドからｉ＋１フィールドまでを示しているが、太枠の注目画素は、ｉ−８フィールド以前も画素値１．０の背景とする。トップフィールド内のラインＴ１，Ｔ２，Ｔ３，…は画像が存在するラインを示し、その間は画像が存在せずに間引かれたラインを示す。同様に、ボトムフィールド内のラインＢ１，Ｂ２，Ｂ３，…は画像が存在するラインを示し、その間は画像が存在せずに間引かれたラインを示す。
【００１０】
図１２の画像パターンについて図１１のフローチャートに従うと図１３のようになる。図１３において、ＳＡＤ１は太枠で示した注目画素の直上に位置する画素同士（ラインＡ１の画素とラインＣ１の画素）の差分絶対値、ＳＡＤ２は太枠で示した注目画素と同じ場所に位置する画素同士（ラインＢ１の画素とラインＤ１の画素）の差分絶対値とする。まず、ｉ−６フィールド目について説明すると、ＳＡＤ１は、ｉ−６フィールドとｉ−８フィールドとの差分絶対値であるため、ＳＡＤ１＝ＡＢＳ｛（ｉ−６）−（ｉ−８）｝＝０となる（図１１、ステップＳ１０）。また、ＳＡＤ２は、ｉ−５フィールドとｉ−７フィールドとの差分絶対値であるため、ＳＡＤ２＝ＡＢＳ｛（ｉ−５）−（ｉ−７）｝＝０となる（図１１、ステップＳ１０）。これにより、フレーム間差分ＳＡＤ１とＳＡＤ２の和ＳＡＤｓｕｍはＳＡＤ１＋ＳＡＤ２＝０となり（図１１、ステップＳ２０）、図９の係数算出回路２２０を乗算器、Ｇａｉｎ＝８と仮定すると、動き係数ｋはＧａｉｎ×ＳＡＤｓｕｍ＝８×０＝０となる（図１１、ステップＳ３０）。その結果、Ｐｏｕｔ＝ｋ×Ｐｍｏｖｅ＋（１−ｋ）×Ｐｓｔｉｌｌ＝０×Ｐｍｏｖｅ＋（１−０）×Ｐｓｔｉｌｌ＝Ｐｓｔｉｌｌであるため静止画処理を行う（図１１、ステップＳ４０）。この場合、注目画素は画素値１．０の背景となるため、静止画処理は望ましい処理と言える。以降のｉ−５フィールド目からｉ−３フィールド目についても同様の手順で望ましい処理を行う。ここで、ｉ−２フィールド目については静止画処理を行うことになるが、この場合は動画処理を行うのが望ましい。静止画処理を行うと注目画素は画素値０となるが、縦縞パターンを表すためには画素値０．５とすべきである。また、ｉ−１フィールド目についても静止画処理を行うことになるが、この場合も動画処理を行うのが望ましい。静止画処理を行うと注目画素は画素値０．５となるが、縦縞パターンを表すためには画素値０とすべきである。最後に、ｉフィールド目については望ましい処理を行う。
【００１１】
以上のように、従来の動き適応型フィールド補間によると、ｉ−２フィールド目及びｉ−１フィールド目において本来動画として検出すべき領域を静止画として誤検出してしまう。その結果、図１４に示すように、ｉ−２フィールド目において画素値０．５とすべきところが画素値０となってしまい、また、ｉ−１フィールド目において画素値０とすべきところが画素値０．５とってしまい、目障りな画質劣化となる問題があった。これを避けるべく、参照するフィールド数や演算量を増やし検出感度を上げる改善がなされるが、このような方法ではメモリ容量や演算量の増加を伴いコストアップになるという問題があった。つまり、図１２のような画像パターンでは、ｉ−１フィールド目の画像を正しく動画と検出するにはｉ−５フィールド目を参照する必要があり、５フィールド分の画像を記憶するためのメモリが必要になる。縦縞の繰り返しの数が多くなれば、より過去のフィールドを参照する必要があり、より多くのフィールド分の画像を記憶するためのメモリが必要になる。
【００１２】
本発明は前記課題を解決するためになされたものであり、その目的は、本来動画として検出すべき領域を静止画として誤検出することをメモリ容量や演算量を増加させることなく抑制することのできる動き適応型フィールド補間装置及び動き適応型フィールド補間方法を提供することである。
【課題を解決するための手段】
【００１３】
前記課題を解決するために、本発明の実施形態に係る動き適応型フィールド補間装置は、画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間装置であって、フィールド間差分を算出するフィールド間差分算出部と、前記フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新する動きカウント更新部と、前記動きカウントに基づいて静止画であるか動画であるかを判定する判定部と、前記判定結果に基づいて画像の動き量を表す係数を算出する係数算出部と、前記係数に基づいてフィールド補間する補間部とを備えることを特徴とする。
【００１４】
前記動き適応型フィールド補間装置において、前記判定部は、前記動きカウントが第２の閾値以上である場合は静止画であると判定し、前記係数算出部は、前記静止画であると判定された場合、前記フィールド間差分を０としてもよい。
【００１５】
前記動き適応型フィールド補間装置において、前記判定部は、前記動きカウントが第２の閾値以上である場合は静止画であると判定し、前記動きカウント更新部は、前記静止画であると判定された場合、新しい動きカウントを１フィールド以前の動きカウントにしてもよい。
【００１６】
前記動き適応型フィールド補間装置において、前記動きカウント更新部は、前記フィールド間差分が第１の閾値より小さい場合、新しい動きカウントを０にリセットしてもよい。
【００１７】
前記課題を解決するために、本発明の実施形態に係る動き適応型フィールド補間方法は、画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間方法であって、フィールド間差分を算出するステップと、前記フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新するステップと、前記動きカウントに基づいて静止画であるか動画であるかを判定するステップと、前記判定結果に基づいて画像の動き量を表す係数を算出するステップと、前記係数に基づいてフィールド補間するステップとを備えることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新するようにしているので、本来動画として検出すべき領域を静止画として誤検出することをメモリ容量や演算量を増加させることなく抑制することのできる動き適応型フィールド補間装置及び動き適応型フィールド補間方法を提供することが可能である。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態における動き適応型フィールド補間回路の構成図である。
【図２】本発明の実施形態におけるフィールド間差分を説明するための図である。
【図３】本発明の実施形態における処理手順を示すフローチャートである。
【図４】本発明の実施形態におけるフィールド補間対象となる画像の一例を示す図である。
【図５】本発明の実施形態における処理結果を示す図である。
【図６】本発明の実施形態における処理結果を示す図である。
【図７】本発明の実施形態における処理結果を示す図である。
【図８】従来技術と本発明の実施形態の検出結果を示す図である。
【図９】特許文献１に開示されている動き適応型フィールド補間回路の構成図である。
【図１０】フレーム間差分ＳＡＤ１とＳＡＤ２を説明するための図である。
【図１１】従来の処理手順を示すフローチャートである。
【図１２】フィールド補間対象となる画像の一例を示す図である。
【図１３】従来の処理結果を示す図である。
【図１４】従来技術と本発明の実施形態のフィールド補間後の画像を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００２１】
図１は、本発明の実施形態における動き適応型フィールド補間回路１０の構成図である。この動き適応型フィールド補間回路１０は、画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間装置の一例である。図１において、２０１，２０３はフィールドメモリ、２０２はラインメモリ、２０６，２０７，２１２，２１９，２２１は加算回路、２０８，２０９は乗算回路、２１０，２１１は係数乗算回路、２１３，２１４，２１５は減算回路、２１６，２１７，２１８は絶対値回路、２２０は係数算出回路、２２２は選択回路、２２３はメモリ、２２４，２２５は２値化回路、２２６はカウンター回路を示す。
【００２２】
図２は、図１０と同様、相続く４フィールドのラインの配置を時間軸ｔとフィールドの垂直軸Ｖとにより表したものである。図１のＢ１，Ｃ１，Ｃ２，Ｄ１，Ｘは、図２の同じ符号で示すラインを表している。図２中の白矢印はフレーム間差分に相当し、斜線を付した矢印はフィールド間差分に相当する。フィールド間差分については後で詳しく説明する。
【００２３】
図３は、本発明の実施形態における動き適応型フィールド補間回路１０の処理手順を示すフローチャートである。従来（図１１）に比べて、図１１ステップＳ１０が図３ステップＳ１１に変更され、図１１ステップＳ２０が削除されている。更に図３の破線枠で示すステップＳ１２〜Ｓ２６が追加されている。ステップＳ３０，Ｓ４０は従来と同じとする。以下、図１２の太枠で示した画素（注目画素）を補間する場合を例示して従来と異なる点を中心に説明する。
【００２４】
まず、フレーム間差分ＳＡＤ２を算出する（図３、ステップＳ１１）。フレーム間差分ＳＡＤ２とは、注目フィールドの１フィールド前の画像と注目フィールドの１フィールド後の画像の差分絶対値である。ここでは、注目画素と同じ場所に位置する画素同士（ラインＢ１の画素とラインＤ１の画素）の差分絶対値（Ｂ１−Ｄ１）とする。
【００２５】
次いで、フィールド間差分ＳＡＤ３を算出する（図３、ステップＳ１２）。フィールド間差分ＳＡＤ３とは、注目フィールドと注目フィールドの１フィールド前または１フィールド後の画像の差分絶対値である。ここでは、注目画素の１ライン上にあるラインＣ１の画素と、注目フィールドの１フィールド前にある注目画素と同じ場所に位置するラインＢ１の画素の差分絶対値（Ｂ１−Ｃ１）と、注目画素の１ライン下にあるラインＣ２の画素と、注目フィールドの１フィールド前にある注目画素と同じ場所に位置するラインＢ１の画素の差分絶対値（Ｂ１−Ｃ２）の和とする。このように和を算出する方法に代えて、差分絶対値（Ｂ１−Ｃ１）と差分絶対値（Ｂ１−Ｃ２）の最大値を算出するようにしてもよい。
【００２６】
次いで、フィールド間差分ＳＡＤ３を２値化し、そのフィールド間差分ＳＡＤ３と第１の閾値ＳＡＤ＿ＴＨとを比較する（図３、ステップＳ１３）。フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨ以上である場合は、その判定結果を示すフラグＭＶＦＬＧを１にする。一方、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨよりも小さい場合は、ＭＶＦＬＧを０にする。ここでは、第１の閾値ＳＡＤ＿ＴＨは仮に０．１とする。
【００２７】
次いで、１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）をメモリ２２３から読み出し（図３、ステップＳ２１）、その動きカウントＣＯＵＮＴ（ｉ−１）に基づいて静止画であるか動画であるかを仮判定する（図３、ステップＳ２２）。すなわち、動きカウントＣＯＵＮＴ（ｉ−１）は、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨ以上であると判定したフィールド数を示している。動きカウントＣＯＵＮＴ（ｉ−１）が第２の閾値ＭＡＸ＿ＴＨ以上である場合は静止画であると仮判定し、その判定結果を示すフラグＭＡＸＦＬＧを１にする。一方、動きカウントＣＯＵＮＴ（ｉ−１）が第２の閾値ＭＡＸ＿ＴＨより小さい場合は動画であると仮判定し、ＭＡＸＦＬＧを０にする。ここでは、第２の閾値ＭＡＸ＿ＴＨは仮に４とする。
【００２８】
次いで、フィールド間差分ＳＡＤ３’を算出する（図３、ステップＳ２３）。ＭＡＸＦＬＧが１である場合は静止画であると仮判定するので、フィールド間差分ＳＡＤ３’を０にする。一方、ＭＡＸＦＬＧが０である場合は動画であると仮判定するので、フィールド間差分ＳＡＤ３’の値をフィールド間差分ＳＡＤ３の値にする。これにより、図４に示すように、グレーの横線と黒の横線とからなる横縞の静止物体が現れた場合でも不都合が生じない。すなわち、このような横縞の静止物体について単にフィールド間差分をとるだけでは、横線の明るさの違いからフィールド間差分が０とならないため、動画処理され続け、フリッカー現象を伴う目障りな画質になる。そこで、ＭＡＸＦＬＧが１である場合は、フィールド間差分ＳＡＤ３’を０にして、目障りな画質になることを回避するようにしている（ステップＳ２３）。
【００２９】
次いで、フレーム間差分ＳＡＤ２とフィールド間差分ＳＡＤ３’の和を算出する（図３、ステップＳ２４）。このように和を算出する方法に代えて、フレーム間差分ＳＡＤ２とフィールド間差分ＳＡＤ３’の最大値を算出するようにしてもよい。
【００３０】
次いで、動き係数ｋ＝Ｇａｉｎ×ΣＳＡＤを求め（図３、ステップＳ３０）、Ｐｏｕｔ＝ｋ×Ｐｍｏｖｅ＋（１−ｋ）×Ｐｓｔｉｌｌによりフィールド補間する（図３、ステップＳ４０）。ここでは、係数算出回路２２０を乗算器とし、Ｇａｉｎ＝８と仮定する。ただし、０≦ｋ≦１とし、ｋが１以上の場合は１とする。
【００３１】
また、静止画／動画を仮判定した後（図３、ステップＳ２２）、新しい動きカウントＣＯＵＮＴ（ｉ）を算出する（図３、ステップＳ２５）。すなわち、ＭＶＦＬＧが１であり且つＭＡＸＦＬＧが１である場合、ＭＡＸＦＬＧが１になれば静止画であると仮判定するので、これ以上カウンターをインクリメントしなくても静止画／動画の仮判定結果は変わらない。よって、カウンターをオーバーフローさせないために、カウンター値を現在の値で保持する。すなわち、新しい動きカウントＣＯＵＮＴ（ｉ）を１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）にする。また、ＭＶＦＬＧが１であり且つＭＡＸＦＬＧが０である場合、ＭＡＸＦＬＧが０なら動画であると仮判定するので、カウンター値を１インクリメントとする。すなわち、新しい動きカウントＣＯＵＮＴ（ｉ）を“１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）＋１”にする。更に、ＭＶＦＬＧが０である場合、カウンター値に関係なく静止画であると仮判定し、カウンター値すなわち新しい動きカウントＣＯＵＮＴ（ｉ）を０にリセットする。その後、メモリ２２３上の動きカウントＣＯＵＮＴ（ｉ−１）を動きカウントＣＯＵＮＴ（ｉ）で更新する（図３、ステップＳ２６）。
【００３２】
図１２の画像パターンについて図３のフローチャートに従うと図５〜図７のようになる。
【００３３】
まず、ｉ−６フィールド目について説明すると、フレーム間差分ＳＡＤ２はＡＢＳ｛（ｉ−５）−（ｉ−７）｝＝０となる（ステップＳ１１）。また、フィールド間差分ＳＡＤ３はＡＢＳ｛（ｉ−６）−（ｉ−７）｝＝０となる（ステップＳ１２）。ここでは、第１の閾値ＳＡＤ＿ＴＨは０．１であり、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨよりも小さいため、ＭＶＦＬＧを０にする（ステップＳ１３）。この時点でメモリ２２３に記憶されている１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）は０である（ステップＳ２１）。ここでは、第２の閾値ＭＡＸ＿ＴＨは４であり、動きカウントＣＯＵＮＴ（ｉ−１）が第２の閾値ＭＡＸ＿ＴＨより小さいため、ＭＡＸＦＬＧを０にする（ステップＳ２２）。ＭＡＸＦＬＧが０である場合は動画であると仮判定するので、フィールド間差分ＳＡＤ３’＝フィールド間差分ＳＡＤ３＝０となる（ステップＳ２３）。これにより、フレーム間差分ＳＡＤ２とフィールド間差分ＳＡＤ３’の和は０＋０＝０となり（ステップＳ２４）、動き係数ｋ＝Ｇａｉｎ×ΣＳＡＤ＝８×０＝０となるため（ステップＳ３０）、静止画処理を行う（ステップＳ４０）。一方、ＭＶＦＬＧが０であるため、新しい動きカウントＣＯＵＮＴ（ｉ）は０となる（ステップＳ２５）。
【００３４】
以降のｉ−５フィールド目からｉ−３フィールド目についても同様の手順で望ましい処理を行う。ここで、従来の動き適応型フィールド補間によると、ｉ−２フィールド目及びｉ−１フィールド目において本来動画として検出すべき領域を静止画として誤検出してしまう問題があった。以下、本発明によれば動画と正しく検出されることを説明する。
【００３５】
まず、ｉ−２フィールド目について説明すると、フレーム間差分ＳＡＤ２はＡＢＳ｛（ｉ−１）−（ｉ−３）｝＝０となる（ステップＳ１１）。また、フィールド間差分ＳＡＤ３はＡＢＳ｛（ｉ−２）−（ｉ−３）｝＝０．５となる（ステップＳ１２）。ここでは、第１の閾値ＳＡＤ＿ＴＨは０．１であり、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨ以上であるため、ＭＶＦＬＧを１にする（ステップＳ１３）。この時点でメモリ２２３に記憶されている１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）は２である（ステップＳ２１）。ここでは、第２の閾値ＭＡＸ＿ＴＨは４であり、動きカウントＣＯＵＮＴ（ｉ−１）が第２の閾値ＭＡＸ＿ＴＨより小さいため、ＭＡＸＦＬＧを０にする（ステップＳ２２）。ＭＡＸＦＬＧが０である場合は動画であると仮判定するので、フィールド間差分ＳＡＤ３’＝フィールド間差分ＳＡＤ３＝０．５となる（ステップＳ２３）。これにより、フレーム間差分ＳＡＤ２とフィールド間差分ＳＡＤ３’の和は０＋０．５＝０．５となり（ステップＳ２４）、動き係数ｋ＝Ｇａｉｎ×ΣＳＡＤ＝８×０．５＝１となるため（ステップＳ３０）、動画処理を行う（ステップＳ４０）。一方、ＭＶＦＬＧが１であり且つＭＡＸＦＬＧが０であるため、新しい動きカウントＣＯＵＮＴ（ｉ）＝ＣＯＵＮＴ（ｉ−１）＋１＝２＋１＝３となる（ステップＳ２５）。
【００３６】
次いで、ｉ−１フィールド目について説明すると、フレーム間差分ＳＡＤ２はＡＢＳ｛（ｉ−０）−（ｉ−２）｝＝０となる（ステップＳ１１）。また、フィールド間差分ＳＡＤ３はＡＢＳ｛（ｉ−１）−（ｉ−２）｝＝０．５となる（ステップＳ１２）。ここでは、第１の閾値ＳＡＤ＿ＴＨは０．１であり、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨ以上であるため、ＭＶＦＬＧを１にする（ステップＳ１３）。この時点でメモリ２２３に記憶されている１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）は３である（ステップＳ２１）。ここでは、第２の閾値ＭＡＸ＿ＴＨは４であり、動きカウントＣＯＵＮＴ（ｉ−１）が第２の閾値ＭＡＸ＿ＴＨより小さいため、ＭＡＸＦＬＧを０にする（ステップＳ２２）。ＭＡＸＦＬＧが０である場合は動画であると仮判定するので、フィールド間差分ＳＡＤ３’＝フィールド間差分ＳＡＤ３＝０．５となる（ステップＳ２３）。これにより、フレーム間差分ＳＡＤ２とフィールド間差分ＳＡＤ３’の和は０＋０．５＝０．５となり（ステップＳ２４）、動き係数ｋ＝Ｇａｉｎ×ΣＳＡＤ＝８×０．５＝１となるため（ステップＳ３０）、動画処理を行う（ステップＳ４０）。一方、ＭＶＦＬＧが１であり且つＭＡＸＦＬＧが０であるため、新しい動きカウントＣＯＵＮＴ（ｉ）＝ＣＯＵＮＴ（ｉ−１）＋１＝３＋１＝４となる（ステップＳ２５）。
【００３７】
以降のｉフィールド目〜ｉ＋２フィールド目についても同様の手順で望ましい処理を行う。ここで、ｉフィールド目では、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨを超えたフィールド数が第２の閾値ＭＡＸ＿ＴＨ以上連続した（ＭＡＸＦＬＧ＝１）ので、静止画であると仮判定し、フィールド間差分ＳＡＤ３’を０にする（ステップＳ２３）。そして、ＣＯＵＮＴ（ｉ）がオーバーフローしないようにＣＯＵＮＴ（ｉ−１）で保持するようになっている（ステップＳ２５）。また、ｉ＋２フィールド目では、フィールド間差分ＳＡＤ３が前フィールドとは異なり第１の閾値ＳＡＤ＿ＴＨを下回った（ＭＶＦＬＧ＝０）ので、ＣＯＵＮＴ（ｉ）を０にリセットするようになっている（ステップＳ２５）。
【００３８】
従来技術と本発明の実施形態の検出結果をまとめたものを図８に示す。この図に示すように、従来技術によると、ｉ−２フィールド目及びｉ−１フィールド目において本来動画として検出すべき領域を静止画として誤検出してしまう。一方、本発明によれば、ｉ−２フィールド目及びｉ−１フィールド目についても動画と正しく検出される。なお、ｉ−５フィールド目及びｉ＋２フィールド目については静止画処理が望ましいが、注目画素位置において縦縞パターンが現れるフィールドであるため、動画処理を行っても目障りな画質劣化とならない。
【００３９】
従来技術と本発明の実施形態のフィールド補間後の画像を図１４に示す。この図に示すように、従来技術によると、ｉ−２フィールド目において画素値０．５とすべきところが画素値０となってしまい、また、ｉ−１フィールド目において画素値０とすべきところが画素値０．５となってしまう。一方、本発明によれば、ｉ−２フィールド目において画素値０．５とすべきところは画素値０．５となり、また、ｉ−１フィールド目において画素値０とすべきところは画素値０となっている。
【００４０】
以上のように、本発明の実施形態における動き適応型フィールド補間回路１０によれば、 フィールド間差分が第１の閾値ＳＡＤ＿ＴＨ以上であるフィールド数を示す動きカウントを算出しては更新するようにしているので、本来動画として検出すべき領域を静止画として誤検出することをメモリ容量や演算量を増加させることなく抑制することができる。すなわち、動きカウントは３ｂｉｔ程度あれば実情問題ないので、動きカウントを記憶するために大容量のメモリ容量を備える必要がない。これにより、安価で且つ高速に動作する回路により良質なプログレッシブ画像を得ることが可能となる。
【００４１】
なお、ここでは、静止画であると判定された場合は、新しい動きカウントＣＯＵＮＴ（ｉ）を１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）にすることとしているが（図３、ステップＳ２５）、本発明はこれに限定されるものではない。すなわち、１フィールド前の動きカウントに限らず、１フィールド以前の動きカウントにすることも可能である。
【００４２】
なお、本発明は、動き適応型フィールド補間回路１０として実現することができるだけでなく、このような動き適応型フィールド補間回路１０が備える特徴的な処理部をステップとする動き適応型フィールド補間方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。このようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【符号の説明】
【００４３】
１０…動き適応型フィールド補間回路
２０１，２０３…フィールドメモリ
２０２…ラインメモリ
２０６，２０７，２１２，２１９，２２１…加算器
２０８，２０９…乗算器
２１０，２１１…係数乗算器
２１３，２１４，２１５…減算器
２１６，２１７，２１８…絶対値回路
２２０…係数算出回路
２２２…選択回路
２２３…メモリ
２２４，２２５…２値化回路
２２６…カウンター回路
ＳＡＤ＿ＴＨ…第１の閾値
ＭＡＸ＿ＴＨ…第２の閾値
【技術分野】
【０００１】
本発明は、インターレース画像をプログレッシブ画像に変換する動き適応型フィールド補間装置及び動き適応型フィールド補間方法に関する。
【背景技術】
【０００２】
インターレース画像の各フィールドにラインを補間することでインターレース画像をプログレッシブ画像に変換するフィールド補間が知られている。フィールド補間には、補間しようとするフィールドに隣接するフィールド内に存在する画素を用いて補間するフィールド間補間と、補間しようとするフィールドと同一フィールド内に存在する画素を用いて補間するフィールド内補間とがある。フィールド内補間は動画に適し、フィールド間補間は静止画に適している。そこで、良質なプログレッシブ画像を得るため、画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間が知られている。例えば、特許文献１には、画像の動き量を表す動き係数ｋ（０≦ｋ≦１）によりフィールド間補間画素とフィールド内補間画素を重み平均して補間することが開示されている。以下、特許文献１に開示されている従来例について、図面を用いて説明する。
【０００３】
図９は、前記特許文献１に開示されている動き適応型フィールド補間回路の構成図である。図９において、２０１，２０３，２０４はフィールドメモリ、２０２，２０５はラインメモリ、２０６，２０７，２１２，２１９は加算回路、２０８，２０９は乗算回路、２１０，２１１は係数乗算回路、２１３，２１４，２１５は減算回路、２１６，２１７，２１８は絶対値回路、２２０は係数算出回路を示す。
【０００４】
図１０は、相続く４フィールドのラインの配置を時間軸ｔとフィールドの垂直軸Ｖとにより表したものである。図１０において、縦軸はラインの垂直位置を、横軸はフィールド単位の時刻を表す。ｉ（ｉ＝１，２，…）はフィールド数を示し、白丸および黒丸はそれぞれ１本のラインを示す。更に黒丸は補間しようとするラインを示す。図９のＡ１，Ａ２，Ｂ１，Ｃ１，Ｃ２，Ｄ１，Ｘは、図１０の同じ符号で示すラインを表している。
【０００５】
図１１は、図９に示す構成図を基にした従来の処理手順を示すフローチャートである。図１１の処理が補間画素１画素毎に繰り返される。一つの補間画素に対する処理が開始されると、まず、フレーム間差分ＳＡＤ１とＳＡＤ２を算出する（図１１、ステップＳ１０）。図１０において補間処理を実施する注目フィールドをi−１とすると、ＳＡＤ１は、注目フィールド（ｉ−１）と注目フィールドの２フィールド前（ｉ−３）との差分絶対値である。ＳＡＤ２は、注目フィールドの直前フィールド（ｉ−２）と、注目フィールドの直後フィールド（ｉ）との差分絶対値である。図１０でいうと、ＳＡＤ１はラインＡ１の画素とラインＣ１の画素との差分絶対値およびラインＡ２の画素とラインＣ２の画素との差分絶対値であり、ＳＡＤ２はラインＢ１の画素とラインＤ１の画素との差分絶対値である。
【０００６】
次いで、フレーム間差分ＳＡＤ１とＳＡＤ２の和ＳＡＤｓｕｍを算出する（図１１、ステップＳ２０）。さらに、０≦ｋ≦１（但し、１以上は１）になるように、動き係数ｋ＝Ｇａｉｎ×ＳＡＤｓｕｍを算出する（図１１、ステップＳ３０）。最後に、Ｐｏｕｔ＝ｋ×Ｐｍｏｖｅ＋(１−ｋ)×Ｐｓｔｉｌｌによりフィールド補間する（図１１、ステップＳ４０）。ＰｍｏｖｅはラインＢ１の画素およびラインＤ１の画素から補間された画素値、ＰｓｔｉｌｌはラインＣ１の画素およびラインＣ２の画素から補間された画素値である。このようにして補間に使われる全てのラインのフレーム間差分に基づき適応的にフィールド補間がなされる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特公平７−１２２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の動き適応型フィールド補間によると、本来動画として検出すべき領域を静止画として誤検出してしまうことがあった。以下、このように静止画として誤検出するに至る経緯を図面に従って説明する。
【０００９】
ここでは、図１２に示す画像パターンにおいて、太枠で示した画素（注目画素）を補間する場合を例示する。図中のｉ（ｉ＝１，２，…）はフィールド数を示す。画素値１．０を背景にして、画素値０と０．５の縦縞パターンが画面左から右の方向に１フィールド当たり２画素移動している。図１２では、ｉ−８フィールドからｉ＋１フィールドまでを示しているが、太枠の注目画素は、ｉ−８フィールド以前も画素値１．０の背景とする。トップフィールド内のラインＴ１，Ｔ２，Ｔ３，…は画像が存在するラインを示し、その間は画像が存在せずに間引かれたラインを示す。同様に、ボトムフィールド内のラインＢ１，Ｂ２，Ｂ３，…は画像が存在するラインを示し、その間は画像が存在せずに間引かれたラインを示す。
【００１０】
図１２の画像パターンについて図１１のフローチャートに従うと図１３のようになる。図１３において、ＳＡＤ１は太枠で示した注目画素の直上に位置する画素同士（ラインＡ１の画素とラインＣ１の画素）の差分絶対値、ＳＡＤ２は太枠で示した注目画素と同じ場所に位置する画素同士（ラインＢ１の画素とラインＤ１の画素）の差分絶対値とする。まず、ｉ−６フィールド目について説明すると、ＳＡＤ１は、ｉ−６フィールドとｉ−８フィールドとの差分絶対値であるため、ＳＡＤ１＝ＡＢＳ｛（ｉ−６）−（ｉ−８）｝＝０となる（図１１、ステップＳ１０）。また、ＳＡＤ２は、ｉ−５フィールドとｉ−７フィールドとの差分絶対値であるため、ＳＡＤ２＝ＡＢＳ｛（ｉ−５）−（ｉ−７）｝＝０となる（図１１、ステップＳ１０）。これにより、フレーム間差分ＳＡＤ１とＳＡＤ２の和ＳＡＤｓｕｍはＳＡＤ１＋ＳＡＤ２＝０となり（図１１、ステップＳ２０）、図９の係数算出回路２２０を乗算器、Ｇａｉｎ＝８と仮定すると、動き係数ｋはＧａｉｎ×ＳＡＤｓｕｍ＝８×０＝０となる（図１１、ステップＳ３０）。その結果、Ｐｏｕｔ＝ｋ×Ｐｍｏｖｅ＋（１−ｋ）×Ｐｓｔｉｌｌ＝０×Ｐｍｏｖｅ＋（１−０）×Ｐｓｔｉｌｌ＝Ｐｓｔｉｌｌであるため静止画処理を行う（図１１、ステップＳ４０）。この場合、注目画素は画素値１．０の背景となるため、静止画処理は望ましい処理と言える。以降のｉ−５フィールド目からｉ−３フィールド目についても同様の手順で望ましい処理を行う。ここで、ｉ−２フィールド目については静止画処理を行うことになるが、この場合は動画処理を行うのが望ましい。静止画処理を行うと注目画素は画素値０となるが、縦縞パターンを表すためには画素値０．５とすべきである。また、ｉ−１フィールド目についても静止画処理を行うことになるが、この場合も動画処理を行うのが望ましい。静止画処理を行うと注目画素は画素値０．５となるが、縦縞パターンを表すためには画素値０とすべきである。最後に、ｉフィールド目については望ましい処理を行う。
【００１１】
以上のように、従来の動き適応型フィールド補間によると、ｉ−２フィールド目及びｉ−１フィールド目において本来動画として検出すべき領域を静止画として誤検出してしまう。その結果、図１４に示すように、ｉ−２フィールド目において画素値０．５とすべきところが画素値０となってしまい、また、ｉ−１フィールド目において画素値０とすべきところが画素値０．５とってしまい、目障りな画質劣化となる問題があった。これを避けるべく、参照するフィールド数や演算量を増やし検出感度を上げる改善がなされるが、このような方法ではメモリ容量や演算量の増加を伴いコストアップになるという問題があった。つまり、図１２のような画像パターンでは、ｉ−１フィールド目の画像を正しく動画と検出するにはｉ−５フィールド目を参照する必要があり、５フィールド分の画像を記憶するためのメモリが必要になる。縦縞の繰り返しの数が多くなれば、より過去のフィールドを参照する必要があり、より多くのフィールド分の画像を記憶するためのメモリが必要になる。
【００１２】
本発明は前記課題を解決するためになされたものであり、その目的は、本来動画として検出すべき領域を静止画として誤検出することをメモリ容量や演算量を増加させることなく抑制することのできる動き適応型フィールド補間装置及び動き適応型フィールド補間方法を提供することである。
【課題を解決するための手段】
【００１３】
前記課題を解決するために、本発明の実施形態に係る動き適応型フィールド補間装置は、画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間装置であって、フィールド間差分を算出するフィールド間差分算出部と、前記フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新する動きカウント更新部と、前記動きカウントに基づいて静止画であるか動画であるかを判定する判定部と、前記判定結果に基づいて画像の動き量を表す係数を算出する係数算出部と、前記係数に基づいてフィールド補間する補間部とを備えることを特徴とする。
【００１４】
前記動き適応型フィールド補間装置において、前記判定部は、前記動きカウントが第２の閾値以上である場合は静止画であると判定し、前記係数算出部は、前記静止画であると判定された場合、前記フィールド間差分を０としてもよい。
【００１５】
前記動き適応型フィールド補間装置において、前記判定部は、前記動きカウントが第２の閾値以上である場合は静止画であると判定し、前記動きカウント更新部は、前記静止画であると判定された場合、新しい動きカウントを１フィールド以前の動きカウントにしてもよい。
【００１６】
前記動き適応型フィールド補間装置において、前記動きカウント更新部は、前記フィールド間差分が第１の閾値より小さい場合、新しい動きカウントを０にリセットしてもよい。
【００１７】
前記課題を解決するために、本発明の実施形態に係る動き適応型フィールド補間方法は、画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間方法であって、フィールド間差分を算出するステップと、前記フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新するステップと、前記動きカウントに基づいて静止画であるか動画であるかを判定するステップと、前記判定結果に基づいて画像の動き量を表す係数を算出するステップと、前記係数に基づいてフィールド補間するステップとを備えることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新するようにしているので、本来動画として検出すべき領域を静止画として誤検出することをメモリ容量や演算量を増加させることなく抑制することのできる動き適応型フィールド補間装置及び動き適応型フィールド補間方法を提供することが可能である。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態における動き適応型フィールド補間回路の構成図である。
【図２】本発明の実施形態におけるフィールド間差分を説明するための図である。
【図３】本発明の実施形態における処理手順を示すフローチャートである。
【図４】本発明の実施形態におけるフィールド補間対象となる画像の一例を示す図である。
【図５】本発明の実施形態における処理結果を示す図である。
【図６】本発明の実施形態における処理結果を示す図である。
【図７】本発明の実施形態における処理結果を示す図である。
【図８】従来技術と本発明の実施形態の検出結果を示す図である。
【図９】特許文献１に開示されている動き適応型フィールド補間回路の構成図である。
【図１０】フレーム間差分ＳＡＤ１とＳＡＤ２を説明するための図である。
【図１１】従来の処理手順を示すフローチャートである。
【図１２】フィールド補間対象となる画像の一例を示す図である。
【図１３】従来の処理結果を示す図である。
【図１４】従来技術と本発明の実施形態のフィールド補間後の画像を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００２１】
図１は、本発明の実施形態における動き適応型フィールド補間回路１０の構成図である。この動き適応型フィールド補間回路１０は、画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間装置の一例である。図１において、２０１，２０３はフィールドメモリ、２０２はラインメモリ、２０６，２０７，２１２，２１９，２２１は加算回路、２０８，２０９は乗算回路、２１０，２１１は係数乗算回路、２１３，２１４，２１５は減算回路、２１６，２１７，２１８は絶対値回路、２２０は係数算出回路、２２２は選択回路、２２３はメモリ、２２４，２２５は２値化回路、２２６はカウンター回路を示す。
【００２２】
図２は、図１０と同様、相続く４フィールドのラインの配置を時間軸ｔとフィールドの垂直軸Ｖとにより表したものである。図１のＢ１，Ｃ１，Ｃ２，Ｄ１，Ｘは、図２の同じ符号で示すラインを表している。図２中の白矢印はフレーム間差分に相当し、斜線を付した矢印はフィールド間差分に相当する。フィールド間差分については後で詳しく説明する。
【００２３】
図３は、本発明の実施形態における動き適応型フィールド補間回路１０の処理手順を示すフローチャートである。従来（図１１）に比べて、図１１ステップＳ１０が図３ステップＳ１１に変更され、図１１ステップＳ２０が削除されている。更に図３の破線枠で示すステップＳ１２〜Ｓ２６が追加されている。ステップＳ３０，Ｓ４０は従来と同じとする。以下、図１２の太枠で示した画素（注目画素）を補間する場合を例示して従来と異なる点を中心に説明する。
【００２４】
まず、フレーム間差分ＳＡＤ２を算出する（図３、ステップＳ１１）。フレーム間差分ＳＡＤ２とは、注目フィールドの１フィールド前の画像と注目フィールドの１フィールド後の画像の差分絶対値である。ここでは、注目画素と同じ場所に位置する画素同士（ラインＢ１の画素とラインＤ１の画素）の差分絶対値（Ｂ１−Ｄ１）とする。
【００２５】
次いで、フィールド間差分ＳＡＤ３を算出する（図３、ステップＳ１２）。フィールド間差分ＳＡＤ３とは、注目フィールドと注目フィールドの１フィールド前または１フィールド後の画像の差分絶対値である。ここでは、注目画素の１ライン上にあるラインＣ１の画素と、注目フィールドの１フィールド前にある注目画素と同じ場所に位置するラインＢ１の画素の差分絶対値（Ｂ１−Ｃ１）と、注目画素の１ライン下にあるラインＣ２の画素と、注目フィールドの１フィールド前にある注目画素と同じ場所に位置するラインＢ１の画素の差分絶対値（Ｂ１−Ｃ２）の和とする。このように和を算出する方法に代えて、差分絶対値（Ｂ１−Ｃ１）と差分絶対値（Ｂ１−Ｃ２）の最大値を算出するようにしてもよい。
【００２６】
次いで、フィールド間差分ＳＡＤ３を２値化し、そのフィールド間差分ＳＡＤ３と第１の閾値ＳＡＤ＿ＴＨとを比較する（図３、ステップＳ１３）。フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨ以上である場合は、その判定結果を示すフラグＭＶＦＬＧを１にする。一方、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨよりも小さい場合は、ＭＶＦＬＧを０にする。ここでは、第１の閾値ＳＡＤ＿ＴＨは仮に０．１とする。
【００２７】
次いで、１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）をメモリ２２３から読み出し（図３、ステップＳ２１）、その動きカウントＣＯＵＮＴ（ｉ−１）に基づいて静止画であるか動画であるかを仮判定する（図３、ステップＳ２２）。すなわち、動きカウントＣＯＵＮＴ（ｉ−１）は、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨ以上であると判定したフィールド数を示している。動きカウントＣＯＵＮＴ（ｉ−１）が第２の閾値ＭＡＸ＿ＴＨ以上である場合は静止画であると仮判定し、その判定結果を示すフラグＭＡＸＦＬＧを１にする。一方、動きカウントＣＯＵＮＴ（ｉ−１）が第２の閾値ＭＡＸ＿ＴＨより小さい場合は動画であると仮判定し、ＭＡＸＦＬＧを０にする。ここでは、第２の閾値ＭＡＸ＿ＴＨは仮に４とする。
【００２８】
次いで、フィールド間差分ＳＡＤ３’を算出する（図３、ステップＳ２３）。ＭＡＸＦＬＧが１である場合は静止画であると仮判定するので、フィールド間差分ＳＡＤ３’を０にする。一方、ＭＡＸＦＬＧが０である場合は動画であると仮判定するので、フィールド間差分ＳＡＤ３’の値をフィールド間差分ＳＡＤ３の値にする。これにより、図４に示すように、グレーの横線と黒の横線とからなる横縞の静止物体が現れた場合でも不都合が生じない。すなわち、このような横縞の静止物体について単にフィールド間差分をとるだけでは、横線の明るさの違いからフィールド間差分が０とならないため、動画処理され続け、フリッカー現象を伴う目障りな画質になる。そこで、ＭＡＸＦＬＧが１である場合は、フィールド間差分ＳＡＤ３’を０にして、目障りな画質になることを回避するようにしている（ステップＳ２３）。
【００２９】
次いで、フレーム間差分ＳＡＤ２とフィールド間差分ＳＡＤ３’の和を算出する（図３、ステップＳ２４）。このように和を算出する方法に代えて、フレーム間差分ＳＡＤ２とフィールド間差分ＳＡＤ３’の最大値を算出するようにしてもよい。
【００３０】
次いで、動き係数ｋ＝Ｇａｉｎ×ΣＳＡＤを求め（図３、ステップＳ３０）、Ｐｏｕｔ＝ｋ×Ｐｍｏｖｅ＋（１−ｋ）×Ｐｓｔｉｌｌによりフィールド補間する（図３、ステップＳ４０）。ここでは、係数算出回路２２０を乗算器とし、Ｇａｉｎ＝８と仮定する。ただし、０≦ｋ≦１とし、ｋが１以上の場合は１とする。
【００３１】
また、静止画／動画を仮判定した後（図３、ステップＳ２２）、新しい動きカウントＣＯＵＮＴ（ｉ）を算出する（図３、ステップＳ２５）。すなわち、ＭＶＦＬＧが１であり且つＭＡＸＦＬＧが１である場合、ＭＡＸＦＬＧが１になれば静止画であると仮判定するので、これ以上カウンターをインクリメントしなくても静止画／動画の仮判定結果は変わらない。よって、カウンターをオーバーフローさせないために、カウンター値を現在の値で保持する。すなわち、新しい動きカウントＣＯＵＮＴ（ｉ）を１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）にする。また、ＭＶＦＬＧが１であり且つＭＡＸＦＬＧが０である場合、ＭＡＸＦＬＧが０なら動画であると仮判定するので、カウンター値を１インクリメントとする。すなわち、新しい動きカウントＣＯＵＮＴ（ｉ）を“１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）＋１”にする。更に、ＭＶＦＬＧが０である場合、カウンター値に関係なく静止画であると仮判定し、カウンター値すなわち新しい動きカウントＣＯＵＮＴ（ｉ）を０にリセットする。その後、メモリ２２３上の動きカウントＣＯＵＮＴ（ｉ−１）を動きカウントＣＯＵＮＴ（ｉ）で更新する（図３、ステップＳ２６）。
【００３２】
図１２の画像パターンについて図３のフローチャートに従うと図５〜図７のようになる。
【００３３】
まず、ｉ−６フィールド目について説明すると、フレーム間差分ＳＡＤ２はＡＢＳ｛（ｉ−５）−（ｉ−７）｝＝０となる（ステップＳ１１）。また、フィールド間差分ＳＡＤ３はＡＢＳ｛（ｉ−６）−（ｉ−７）｝＝０となる（ステップＳ１２）。ここでは、第１の閾値ＳＡＤ＿ＴＨは０．１であり、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨよりも小さいため、ＭＶＦＬＧを０にする（ステップＳ１３）。この時点でメモリ２２３に記憶されている１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）は０である（ステップＳ２１）。ここでは、第２の閾値ＭＡＸ＿ＴＨは４であり、動きカウントＣＯＵＮＴ（ｉ−１）が第２の閾値ＭＡＸ＿ＴＨより小さいため、ＭＡＸＦＬＧを０にする（ステップＳ２２）。ＭＡＸＦＬＧが０である場合は動画であると仮判定するので、フィールド間差分ＳＡＤ３’＝フィールド間差分ＳＡＤ３＝０となる（ステップＳ２３）。これにより、フレーム間差分ＳＡＤ２とフィールド間差分ＳＡＤ３’の和は０＋０＝０となり（ステップＳ２４）、動き係数ｋ＝Ｇａｉｎ×ΣＳＡＤ＝８×０＝０となるため（ステップＳ３０）、静止画処理を行う（ステップＳ４０）。一方、ＭＶＦＬＧが０であるため、新しい動きカウントＣＯＵＮＴ（ｉ）は０となる（ステップＳ２５）。
【００３４】
以降のｉ−５フィールド目からｉ−３フィールド目についても同様の手順で望ましい処理を行う。ここで、従来の動き適応型フィールド補間によると、ｉ−２フィールド目及びｉ−１フィールド目において本来動画として検出すべき領域を静止画として誤検出してしまう問題があった。以下、本発明によれば動画と正しく検出されることを説明する。
【００３５】
まず、ｉ−２フィールド目について説明すると、フレーム間差分ＳＡＤ２はＡＢＳ｛（ｉ−１）−（ｉ−３）｝＝０となる（ステップＳ１１）。また、フィールド間差分ＳＡＤ３はＡＢＳ｛（ｉ−２）−（ｉ−３）｝＝０．５となる（ステップＳ１２）。ここでは、第１の閾値ＳＡＤ＿ＴＨは０．１であり、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨ以上であるため、ＭＶＦＬＧを１にする（ステップＳ１３）。この時点でメモリ２２３に記憶されている１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）は２である（ステップＳ２１）。ここでは、第２の閾値ＭＡＸ＿ＴＨは４であり、動きカウントＣＯＵＮＴ（ｉ−１）が第２の閾値ＭＡＸ＿ＴＨより小さいため、ＭＡＸＦＬＧを０にする（ステップＳ２２）。ＭＡＸＦＬＧが０である場合は動画であると仮判定するので、フィールド間差分ＳＡＤ３’＝フィールド間差分ＳＡＤ３＝０．５となる（ステップＳ２３）。これにより、フレーム間差分ＳＡＤ２とフィールド間差分ＳＡＤ３’の和は０＋０．５＝０．５となり（ステップＳ２４）、動き係数ｋ＝Ｇａｉｎ×ΣＳＡＤ＝８×０．５＝１となるため（ステップＳ３０）、動画処理を行う（ステップＳ４０）。一方、ＭＶＦＬＧが１であり且つＭＡＸＦＬＧが０であるため、新しい動きカウントＣＯＵＮＴ（ｉ）＝ＣＯＵＮＴ（ｉ−１）＋１＝２＋１＝３となる（ステップＳ２５）。
【００３６】
次いで、ｉ−１フィールド目について説明すると、フレーム間差分ＳＡＤ２はＡＢＳ｛（ｉ−０）−（ｉ−２）｝＝０となる（ステップＳ１１）。また、フィールド間差分ＳＡＤ３はＡＢＳ｛（ｉ−１）−（ｉ−２）｝＝０．５となる（ステップＳ１２）。ここでは、第１の閾値ＳＡＤ＿ＴＨは０．１であり、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨ以上であるため、ＭＶＦＬＧを１にする（ステップＳ１３）。この時点でメモリ２２３に記憶されている１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）は３である（ステップＳ２１）。ここでは、第２の閾値ＭＡＸ＿ＴＨは４であり、動きカウントＣＯＵＮＴ（ｉ−１）が第２の閾値ＭＡＸ＿ＴＨより小さいため、ＭＡＸＦＬＧを０にする（ステップＳ２２）。ＭＡＸＦＬＧが０である場合は動画であると仮判定するので、フィールド間差分ＳＡＤ３’＝フィールド間差分ＳＡＤ３＝０．５となる（ステップＳ２３）。これにより、フレーム間差分ＳＡＤ２とフィールド間差分ＳＡＤ３’の和は０＋０．５＝０．５となり（ステップＳ２４）、動き係数ｋ＝Ｇａｉｎ×ΣＳＡＤ＝８×０．５＝１となるため（ステップＳ３０）、動画処理を行う（ステップＳ４０）。一方、ＭＶＦＬＧが１であり且つＭＡＸＦＬＧが０であるため、新しい動きカウントＣＯＵＮＴ（ｉ）＝ＣＯＵＮＴ（ｉ−１）＋１＝３＋１＝４となる（ステップＳ２５）。
【００３７】
以降のｉフィールド目〜ｉ＋２フィールド目についても同様の手順で望ましい処理を行う。ここで、ｉフィールド目では、フィールド間差分ＳＡＤ３が第１の閾値ＳＡＤ＿ＴＨを超えたフィールド数が第２の閾値ＭＡＸ＿ＴＨ以上連続した（ＭＡＸＦＬＧ＝１）ので、静止画であると仮判定し、フィールド間差分ＳＡＤ３’を０にする（ステップＳ２３）。そして、ＣＯＵＮＴ（ｉ）がオーバーフローしないようにＣＯＵＮＴ（ｉ−１）で保持するようになっている（ステップＳ２５）。また、ｉ＋２フィールド目では、フィールド間差分ＳＡＤ３が前フィールドとは異なり第１の閾値ＳＡＤ＿ＴＨを下回った（ＭＶＦＬＧ＝０）ので、ＣＯＵＮＴ（ｉ）を０にリセットするようになっている（ステップＳ２５）。
【００３８】
従来技術と本発明の実施形態の検出結果をまとめたものを図８に示す。この図に示すように、従来技術によると、ｉ−２フィールド目及びｉ−１フィールド目において本来動画として検出すべき領域を静止画として誤検出してしまう。一方、本発明によれば、ｉ−２フィールド目及びｉ−１フィールド目についても動画と正しく検出される。なお、ｉ−５フィールド目及びｉ＋２フィールド目については静止画処理が望ましいが、注目画素位置において縦縞パターンが現れるフィールドであるため、動画処理を行っても目障りな画質劣化とならない。
【００３９】
従来技術と本発明の実施形態のフィールド補間後の画像を図１４に示す。この図に示すように、従来技術によると、ｉ−２フィールド目において画素値０．５とすべきところが画素値０となってしまい、また、ｉ−１フィールド目において画素値０とすべきところが画素値０．５となってしまう。一方、本発明によれば、ｉ−２フィールド目において画素値０．５とすべきところは画素値０．５となり、また、ｉ−１フィールド目において画素値０とすべきところは画素値０となっている。
【００４０】
以上のように、本発明の実施形態における動き適応型フィールド補間回路１０によれば、 フィールド間差分が第１の閾値ＳＡＤ＿ＴＨ以上であるフィールド数を示す動きカウントを算出しては更新するようにしているので、本来動画として検出すべき領域を静止画として誤検出することをメモリ容量や演算量を増加させることなく抑制することができる。すなわち、動きカウントは３ｂｉｔ程度あれば実情問題ないので、動きカウントを記憶するために大容量のメモリ容量を備える必要がない。これにより、安価で且つ高速に動作する回路により良質なプログレッシブ画像を得ることが可能となる。
【００４１】
なお、ここでは、静止画であると判定された場合は、新しい動きカウントＣＯＵＮＴ（ｉ）を１フィールド前の動きカウントＣＯＵＮＴ（ｉ−１）にすることとしているが（図３、ステップＳ２５）、本発明はこれに限定されるものではない。すなわち、１フィールド前の動きカウントに限らず、１フィールド以前の動きカウントにすることも可能である。
【００４２】
なお、本発明は、動き適応型フィールド補間回路１０として実現することができるだけでなく、このような動き適応型フィールド補間回路１０が備える特徴的な処理部をステップとする動き適応型フィールド補間方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。このようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【符号の説明】
【００４３】
１０…動き適応型フィールド補間回路
２０１，２０３…フィールドメモリ
２０２…ラインメモリ
２０６，２０７，２１２，２１９，２２１…加算器
２０８，２０９…乗算器
２１０，２１１…係数乗算器
２１３，２１４，２１５…減算器
２１６，２１７，２１８…絶対値回路
２２０…係数算出回路
２２２…選択回路
２２３…メモリ
２２４，２２５…２値化回路
２２６…カウンター回路
ＳＡＤ＿ＴＨ…第１の閾値
ＭＡＸ＿ＴＨ…第２の閾値
【特許請求の範囲】
【請求項１】
画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間装置であって、
フィールド間差分を算出するフィールド間差分算出部と、
前記フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新する動きカウント更新部と、
前記動きカウントに基づいて静止画であるか動画であるかを判定する判定部と、
前記判定結果に基づいて画像の動き量を表す係数を算出する係数算出部と、
前記係数に基づいてフィールド補間する補間部と、
を備えることを特徴とする動き適応型フィールド補間装置。
【請求項２】
前記判定部は、前記動きカウントが第２の閾値以上である場合は静止画であると判定し、
前記係数算出部は、前記静止画であると判定された場合、前記フィールド間差分を０とすることを特徴とする請求項１記載の動き適応型フィールド補間装置。
【請求項３】
前記判定部は、前記動きカウントが第２の閾値以上である場合は静止画であると判定し、
前記動きカウント更新部は、前記静止画であると判定された場合、新しい動きカウントを１フィールド以前の動きカウントにすることを特徴とする請求項１記載の動き適応型フィールド補間装置。
【請求項４】
前記動きカウント更新部は、前記フィールド間差分が第１の閾値より小さい場合、新しい動きカウントを０にリセットすることを特徴とする請求項１記載の動き適応型フィールド補間装置。
【請求項５】
画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間方法であって、
フィールド間差分を算出するステップと、
前記フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新するステップと、
前記動きカウントに基づいて静止画であるか動画であるかを判定するステップと、
前記判定結果に基づいて画像の動き量を表す係数を算出するステップと、
前記係数に基づいてフィールド補間するステップと、
を備えることを特徴とする動き適応型フィールド補間方法。
【請求項１】
画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間装置であって、
フィールド間差分を算出するフィールド間差分算出部と、
前記フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新する動きカウント更新部と、
前記動きカウントに基づいて静止画であるか動画であるかを判定する判定部と、
前記判定結果に基づいて画像の動き量を表す係数を算出する係数算出部と、
前記係数に基づいてフィールド補間する補間部と、
を備えることを特徴とする動き適応型フィールド補間装置。
【請求項２】
前記判定部は、前記動きカウントが第２の閾値以上である場合は静止画であると判定し、
前記係数算出部は、前記静止画であると判定された場合、前記フィールド間差分を０とすることを特徴とする請求項１記載の動き適応型フィールド補間装置。
【請求項３】
前記判定部は、前記動きカウントが第２の閾値以上である場合は静止画であると判定し、
前記動きカウント更新部は、前記静止画であると判定された場合、新しい動きカウントを１フィールド以前の動きカウントにすることを特徴とする請求項１記載の動き適応型フィールド補間装置。
【請求項４】
前記動きカウント更新部は、前記フィールド間差分が第１の閾値より小さい場合、新しい動きカウントを０にリセットすることを特徴とする請求項１記載の動き適応型フィールド補間装置。
【請求項５】
画像の動き量を表す係数によりフィールド内補間画素とフィールド間補間画素を適応的に重み平均して補間する動き適応型フィールド補間方法であって、
フィールド間差分を算出するステップと、
前記フィールド間差分が第１の閾値以上であるフィールド数を示す動きカウントを算出しては更新するステップと、
前記動きカウントに基づいて静止画であるか動画であるかを判定するステップと、
前記判定結果に基づいて画像の動き量を表す係数を算出するステップと、
前記係数に基づいてフィールド補間するステップと、
を備えることを特徴とする動き適応型フィールド補間方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２０５１７４（Ｐ２０１２−２０５１７４Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６９３４１（Ｐ２０１１−６９３４１）
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]