フェード種別判定装置
【課題】符号化前の動画像に含まれるフェードの種別を高速に判定することができるフェード種別判定装置を得る。
【解決手段】フェード状態判定部５は、特徴量Ａが閾値ＴＨ＿Ａ以上の場合に対象ピクチャがフェード状態であると判定する。対象ピクチャがフェード状態と判定された場合において、フェードイン判定部６は、特徴量Ｂが閾値ＴＨ＿Ｂ１以上であり、かつ特徴量Ｃが閾値ＴＨ＿Ｃ未満の場合に対象ピクチャがフェードインであると判定する。対象ピクチャがフェード状態と判定された場合において、フェードアウト判定部７は、特徴量Ｂが閾値ＴＨ＿Ｂ１より小さい閾値ＴＨ＿Ｂ２未満の場合には、対象ピクチャがフェードアウトであると判定する。対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合に、クロスフェード判定部８は、対象ピクチャがクロスフェードであると判定する。
【解決手段】フェード状態判定部５は、特徴量Ａが閾値ＴＨ＿Ａ以上の場合に対象ピクチャがフェード状態であると判定する。対象ピクチャがフェード状態と判定された場合において、フェードイン判定部６は、特徴量Ｂが閾値ＴＨ＿Ｂ１以上であり、かつ特徴量Ｃが閾値ＴＨ＿Ｃ未満の場合に対象ピクチャがフェードインであると判定する。対象ピクチャがフェード状態と判定された場合において、フェードアウト判定部７は、特徴量Ｂが閾値ＴＨ＿Ｂ１より小さい閾値ＴＨ＿Ｂ２未満の場合には、対象ピクチャがフェードアウトであると判定する。対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合に、クロスフェード判定部８は、対象ピクチャがクロスフェードであると判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化前の動画像のフェードの種別を判定するフェード種別判定装置に関する。
【背景技術】
【０００２】
動画像におけるフェードとは、ある画像から異なる画像に、重なり合いながら徐々に変化する現象をいう。フェードには、単色の静止画から動画への変化であるフェードイン、動画から単色の静止画への変化であるフェードアウト、動画から別の動画への変化であるクロスフェード（ディゾルブ又はオーバーラップとも呼ばれる）がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３７２４９５６号公報
【特許文献２】特許３６５６０３６号公報
【特許文献３】特開２０１０−１８３３８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
フェードを含む動画像をそのまま符号化すると、動き予測の精度が低下するため、符号化後の画質が劣化する。そこで、動画像を符号化する前にフェードの種別を判定して符号化処理部に伝達することが望ましい。これにより、フェードの種別に応じて効果的な符号化方法を選択できるため、符号化後の画質を向上させることができる。この判定は、符号化処理全体のリアルタイム性を確保するため、できる限り高速であることが求められる。
【０００５】
動画像の輝度や色差の一様な変化を予測する手法が提案されている。しかし、この手法はフェードインやフェードアウトを予測できるが、クロスフェードは輝度や色差の変化が一様でないため予測できない。
【０００６】
動画像の輝度又は色差を時系列的に隣接した２つのピクチャ間で比較してフェードを判定する手法が提案されている（例えば、特許文献１参照）。しかし、この手法はフェードの種別を区別することはできない。
【０００７】
予め動画像の符号化してフェードの種別を判定する手法が提案されている（例えば、特許文献２参照）。しかし、この手法は符号化した後にフェードを判定するものである。
【０００８】
コンテンツのダイジェストを生成する際にクロスフェード区間を判定する手法が提案されている（例えば、特許文献３参照）。しかし、この手法は蓄積データを対象とするものであり、リアルタイム性は期待できない。
【０００９】
本発明は、上述のような課題を解決するためになされたもので、その目的は符号化前の動画像に含まれるフェードの種別を高速に判定することができるフェード種別判定装置を得るものである。
【課題を解決するための手段】
【００１０】
本発明に係るフェード種別判定装置は、動画像を符号化する符号化処理部の前段に設けられ、符号化前の前記動画像に含まれる対象ピクチャのフェード種別を判定して前記符号化処理部に通知するフェード種別判定装置であって、前記対象ピクチャとそれ以前のピクチャとの間におけるピクチャ全体の輝度又は色差の時間変化を示す第１の特徴量が所定の第１の閾値以上の場合に前記対象ピクチャがフェード状態であると判定し、前記第１の特徴量が前記第１の閾値未満の場合に前記対象ピクチャがフェード状態でないと判定するフェード状態判定部と、前記対象ピクチャがフェード状態と判定された場合において、前記対象ピクチャとそれ以前のピクチャとの間における複雑度の時間変化を示す第２の特徴量が所定の第２の閾値以上であり、かつ前記対象ピクチャの１つ前のピクチャとそれ以前のピクチャとの非類似度を表す第３の特徴量が所定の第３の閾値未満の場合に前記対象ピクチャがフェードインであると判定し、前記第２の特徴量が前記第２の閾値未満又は前記第３の特徴量が前記第３の閾値以上の場合に前記対象ピクチャがフェードインでないと判定するフェードイン判定部と、前記対象ピクチャがフェード状態と判定された場合において、前記第２の特徴量が前記第２の閾値より小さい所定の第４の閾値未満の場合に前記対象ピクチャがフェードアウトであると判定し、前記第２の特徴量が前記第４の閾値以上の場合に前記対象ピクチャがフェードアウトでないと判定するフェードアウト判定部と、前記対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合に、前記対象ピクチャがクロスフェードであると判定するクロスフェード判定部とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明により、符号化前の動画像に含まれるフェードの種別を高速に判定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る符号化装置を示す図である。
【図２】本発明の実施の形態に係るフェード種別判定装置を示す図である。
【図３】本発明の実施の形態に係るフェード種別判定方法を示すフローチャートである。
【図４】本発明の実施の形態に係る判定方法による判定結果を示す図である。
【図５】本発明の実施の形態に係る判定方法による判定結果を示す図である。
【図６】本発明の実施の形態に係る判定方法による判定結果を示す図である。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施の形態に係る符号化装置を示す図である。フェード種別判定装置１が符号化処理部２の前段に設けられている。フェード種別判定装置１は、符号化前の動画像に含まれる対象ピクチャのフェードの種別を判定して符号化処理部２に通知する。符号化処理部２は、フェードの種別に応じて効果的な符号化方法を選択して動画像を符号化する。
【００１４】
図２は、本発明の実施の形態に係るフェード種別判定装置１を示す図である。図３は、本発明の実施の形態に係るフェード種別判定方法を示すフローチャートである。図２及び図３を参照して、フェード種別判定装置１によるフェード種別判定方法を説明する。
【００１５】
まず、前ピクチャフェード状態確認部３は、記憶部４にアクセスして、対象ピクチャの１つ前のピクチャである前ピクチャがフェード状態かどうかを確認する（ステップＳ１）。記憶部４は、前ピクチャがフェード状態かどうか及び前ピクチャのフェード種別を記憶している。前ピクチャがフェード状態でない場合には、対象ピクチャのフェード開始判定を行うステップＳ２〜Ｓ５に移行する。一方、前ピクチャがフェード状態である場合には、対象ピクチャのフェード終了判定を行うステップＳ６〜Ｓ９に移行する。
【００１６】
前ピクチャがフェード状態でない場合には、フェード状態判定部５がフェード状態判定を行う（ステップＳ２）。具体的には、フェード状態判定部５は、対象ピクチャの特徴量Ａが所定の閾値ＴＨ＿Ａ以上の場合には、対象ピクチャがフェード状態であると判定して、フェードイン判定に移行する。一方、特徴量Ａが閾値ＴＨ＿Ａ未満の場合には、対象ピクチャがフェード状態でないと判定して、対象ピクチャに対する判定を終了する。
【００１７】
ここで、特徴量Ａは、対象ピクチャとそれ以前のピクチャ（時系列的に近い過去のピクチャ）との間におけるピクチャ全体の輝度又は色差の時間変化を示す。具体的には、特徴量Ａは、対象ピクチャとそれ以前のピクチャとの間における画素累算値の差分絶対値である。画素累算値は、１画素（ピクセル）の輝度又は色差値を１ピクチャ分加算した値である。なお、特徴量Ａとして、輝度又は色差分散値の時間変化を使用することもできる。
【００１８】
次に、対象ピクチャがフェード状態と判定された場合には、フェードイン判定部６がフェードイン判定を行う（ステップＳ３）。具体的には、フェードイン判定部６は、対象ピクチャの特徴量Ｂが所定の閾値ＴＨ＿Ｂ１以上であり、かつ対象ピクチャの１つ前のピクチャの特徴量Ｃが所定の閾値ＴＨ＿Ｃ未満の場合には、対象ピクチャがフェードインであると判定して、対象ピクチャに対する判定を終了する。一方、特徴量Ｂが閾値ＴＨ＿Ｂ１未満又は特徴量Ｃが閾値ＴＨ＿Ｃ以上の場合には、対象ピクチャがフェードインでないと判定して、フェードアウト判定に移行する。
【００１９】
ここで、特徴量Ｂは、対象ピクチャとそれ以前のピクチャとの間における複雑度の時間変化を示す。具体的には、特徴量Ｂは、対象ピクチャとそれ以前のピクチャとの間における隣接画素間差分絶対値和の差分値である。隣接画素間差分絶対値和は、ピクチャ内で空間的に隣接する画素間の輝度又は色差値の差分絶対値を１ピクチャ分加算した値である。
【００２０】
また、特徴量Ｃは、対象ピクチャの１つ前のピクチャとそれ以前のピクチャとの非類似度を表す。具体的には、特徴量Ｃは、対象ピクチャの１つ前のピクチャとそれ以前のピクチャを任意のサイズのブロックで分割し、対象ピクチャの１つ前のピクチャのブロックごとに輝度又は色差値の差分絶対値和が最も小さいブロックをそれ以前のピクチャのブロックの中から探索して対応付け、対応付けしたブロック間の輝度又は色差値の差分絶対値和を１ピクチャ分加算した値である。
【００２１】
なお、一般的に、特徴量Ｃは、予測誤差差分絶対値和または動き補償差分絶対値和（ＭＣＳＡＤ）と呼ばれ、あるピクチャとそれに時系列的に隣接（過去・未来）したピクチャとの間で動き補償を行い、対応付けしたブロック間の輝度又は色差値の差分絶対値和を１ピクチャ分加算した値である。動き補償は、あるピクチャとそれに時系列的に隣接したピクチャで最も似ている箇所を探す処理である。具体的には、あるピクチャを任意のサイズのブロックで分割し、ブロックごとに輝度又は色差値の差分絶対値和が最も小さい（最も似ている）ブロックを、時系列的に隣接したピクチャの中から探索し、対応付ける処理である。
【００２２】
次に、対象ピクチャがフェード状態であり、かつフェードインでないと判定された場合には、フェードアウト判定部７がフェードアウト判定を行う（ステップＳ４）。具体的には、フェードアウト判定部７は、特徴量Ｂが閾値ＴＨ＿Ｂ１より小さい所定の閾値ＴＨ＿Ｂ２未満の場合には、対象ピクチャがフェードアウトであると判定して、対象ピクチャに対する判定を終了する。一方、特徴量Ｂが閾値ＴＨ＿Ｂ２以上の場合には、対象ピクチャがフェードアウトでないと判定して、クロスフェード判定に移行する。
【００２３】
次に、対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合には、クロスフェード判定部８は、対象ピクチャがクロスフェードであると判定して、対象ピクチャに対する判定を終了する（ステップＳ５）。なお、厳密には上述のクロスフェードの定義にそぐわない場合もあるが、ここでは全てクロスフェードであると判定する。
【００２４】
前ピクチャがフェード状態の場合には、前ピクチャフェード種別確認部９が、記憶部４にアクセスして、前ピクチャのフェード種別を確認する（ステップＳ６）。前ピクチャがフェードインである場合にはフェードイン終了判定に移行し、フェードアウトである場合にはフェードアウト終了判定に移行し、クロスフェードである場合にはクロスフェード終了判定に移行する。
【００２５】
前ピクチャがフェードインの場合には、フェードイン終了判定部１０がフェードイン終了判定を行う（ステップＳ７）。具体的には、フェードイン終了判定部１０は、特徴量Ａが閾値ＴＨ＿Ａ未満又は特徴量Ｂが閾値ＴＨ＿Ｂ１未満の場合には、フェード状態及びフェードインが終了したと判定する。一方、特徴量Ａが閾値ＴＨ＿Ａ以上かつ特徴量Ｂが閾値ＴＨ＿Ｂ１以上の場合には、フェード状態及びフェードインが継続していると判定する。
【００２６】
前ピクチャがフェードアウトの場合には、フェードアウト終了判定部１１がフェードアウト終了判定を行う（ステップＳ８）。具体的には、フェードアウト終了判定部１１は、特徴量Ａが閾値ＴＨ＿Ａ未満又は特徴量Ｂが閾値ＴＨ＿Ｂ２以上の場合には、フェード状態及びフェードアウトが終了したと判定する。一方、特徴量Ａが閾値ＴＨ＿Ａ以上かつ特徴量Ｂが閾値ＴＨ＿Ｂ２未満の場合には、フェード状態及びフェードアウトが継続していると判定する。
【００２７】
前ピクチャがクロスフェードの場合には、クロスフェード終了判定部１２がクロスフェード終了判定を行う（ステップＳ９）。具体的には、クロスフェード終了判定部１２は、特徴量Ａが閾値ＴＨ＿Ａ未満の場合には、フェード状態及びクロスフェードが終了したと判定する。一方、特徴量Ａが閾値ＴＨ＿Ａ以上の場合には、フェード状態及びクロスフェードが継続していると判定する。
【００２８】
これらのフェード状態判定部５、フェードイン判定部６、フェードアウト判定部７、クロスフェード判定部８、フェードイン終了判定部１０、フェードアウト終了判定部１１、又はクロスフェード終了判定部１２による判定結果は、符号化処理部２に通知されると同時に、記憶部４に記憶される。
【００２９】
図４〜図６は、本発明の実施の形態に係る判定方法による判定結果を示す図である。横軸は時間軸であり、縦軸は特徴量Ａ，Ｂ，Ｃである。閾値ＴＨ＿Ａは対象ピクチャの輝度値総和の０．５％、閾値ＴＨ＿Ｂ１は４０、閾値ＴＨ＿Ｂ２は−６０、閾値ＴＨ＿Ｃは２００と定義している。それぞれの図において、特徴量Ａ，Ｂ，Ｃの変化に応じて、フェードイン、フェードアウト、クロスフェードが問題なく判定できていることが分かる。
【００３０】
以上説明したように、本実施の形態に係るフェード種別判定装置１は、符号化前の動画像に含まれる対象ピクチャのフェードの種別を判定して符号化処理部２に通知する。これにより、符号化処理部２は、フェードの種別に応じて効果的な符号化方法を選択できるため、符号化後の画質を向上させることができる。
【００３１】
また、本実施の形態では、特徴量Ａを用いて、対象ピクチャがフェード状態かどうかを判定する。ここで、フェード中はピクチャ全体の輝度や色差が大きく時間変化するため、フェード状態かどうかの判定に特徴量Ａを用いている。そして、特徴量Ｂと特徴量Ｃを用いて、対象ピクチャのフェードの種別（フェードイン、フェードアウト、クロスフェード）を判定する。
【００３２】
ここで、フェードインは単色の静止画から動画への変化であるため、フェードインでは複雑度が相対的に低から高へと変化する。一方、フェードアウトではこの逆の変化が起きる。クロスフェードは動画から別の動画への移り変わりであるため、複雑度の時間変化がフェードインやフェードアウトより小さい。このフェードごとの複雑度の時間変化の差異を捉えるため、特徴量Ｂを用いている。
【００３３】
また、特徴量Ｂによるフェードイン判定を補助するために、特徴量Ｃを用いている。フェードイン発生直前はピクチャ間の類似度が高いため、対象ピクチャとそれ以前のピクチャとの非類似度を表す特徴量Ｃを補助的に用いることで、フェードインの判定精度が向上する。なお、フェードアウト判定の場合には、対象ピクチャとフェードアウト終了直後の（未来の）ピクチャとの非類似度を表す特徴量Ｃを用いる必要があり、処理が遅延する。従って、特徴量Ｃをフェードアウト判定に用いるのは有効ではないため、特徴量Ｃをフェードイン判定のみに用いる。
【００３４】
また、対象ピクチャとそれ以前のピクチャとの間における変化である特徴量Ａ，Ｂ，Ｃを用いるため、高速性が期待できる。よって、本実施の形態により、符号化前の動画像に含まれるフェードの種別を高速に判定することができる。
【００３５】
また、フェードイン判定部６は特徴量Ｂだけでなく特徴量Ｃも用いる。一方、フェードアウト判定部７は特徴量Ｂだけを用いる。このため、フェードイン判定部６の方がフェードアウト判定部７よりも判定精度が高い。そこで、本実施の形態では、フェードイン判定部６により対象ピクチャがフェードインでないと判定された場合に、フェードアウト判定部７が判定を行う。これにより、判定制度が向上する。
【００３６】
また、前ピクチャのフェード状態とフェード種別を確認し、それに応じた判定を行うことにより、動画像に含まれる一連のピクチャからフェード状態にあるピクチャを判定し、その開始ピクチャと終了ピクチャを判定すると共に、フェードの種別も判定することができる。
【００３７】
なお、特徴量Ａ，Ｂ，Ｃにおいて、対象ピクチャと比較するピクチャを時系列的にどこから取るかは任意である。本実施の形態では、フェード判定の高速処理性能を重視する観点から、特徴量Ａ，Ｂでは対象ピクチャから時系列的に２つ前のピクチャを用い、特徴量Ｃでは対象ピクチャから時系列的に１つ前のピクチャを用いる。
【符号の説明】
【００３８】
１ フェード種別判定装置、２ 符号化処理部、３ 前ピクチャフェード状態確認部
４ 記憶部、５ フェード状態判定部、６ フェードイン判定部
７ フェードアウト判定部、８ クロスフェード判定部
９ 前ピクチャフェード種別確認部、１０ フェードイン終了判定部
１１ フェードアウト終了判定部、１２ クロスフェード終了判定部
【技術分野】
【０００１】
本発明は、符号化前の動画像のフェードの種別を判定するフェード種別判定装置に関する。
【背景技術】
【０００２】
動画像におけるフェードとは、ある画像から異なる画像に、重なり合いながら徐々に変化する現象をいう。フェードには、単色の静止画から動画への変化であるフェードイン、動画から単色の静止画への変化であるフェードアウト、動画から別の動画への変化であるクロスフェード（ディゾルブ又はオーバーラップとも呼ばれる）がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３７２４９５６号公報
【特許文献２】特許３６５６０３６号公報
【特許文献３】特開２０１０−１８３３８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
フェードを含む動画像をそのまま符号化すると、動き予測の精度が低下するため、符号化後の画質が劣化する。そこで、動画像を符号化する前にフェードの種別を判定して符号化処理部に伝達することが望ましい。これにより、フェードの種別に応じて効果的な符号化方法を選択できるため、符号化後の画質を向上させることができる。この判定は、符号化処理全体のリアルタイム性を確保するため、できる限り高速であることが求められる。
【０００５】
動画像の輝度や色差の一様な変化を予測する手法が提案されている。しかし、この手法はフェードインやフェードアウトを予測できるが、クロスフェードは輝度や色差の変化が一様でないため予測できない。
【０００６】
動画像の輝度又は色差を時系列的に隣接した２つのピクチャ間で比較してフェードを判定する手法が提案されている（例えば、特許文献１参照）。しかし、この手法はフェードの種別を区別することはできない。
【０００７】
予め動画像の符号化してフェードの種別を判定する手法が提案されている（例えば、特許文献２参照）。しかし、この手法は符号化した後にフェードを判定するものである。
【０００８】
コンテンツのダイジェストを生成する際にクロスフェード区間を判定する手法が提案されている（例えば、特許文献３参照）。しかし、この手法は蓄積データを対象とするものであり、リアルタイム性は期待できない。
【０００９】
本発明は、上述のような課題を解決するためになされたもので、その目的は符号化前の動画像に含まれるフェードの種別を高速に判定することができるフェード種別判定装置を得るものである。
【課題を解決するための手段】
【００１０】
本発明に係るフェード種別判定装置は、動画像を符号化する符号化処理部の前段に設けられ、符号化前の前記動画像に含まれる対象ピクチャのフェード種別を判定して前記符号化処理部に通知するフェード種別判定装置であって、前記対象ピクチャとそれ以前のピクチャとの間におけるピクチャ全体の輝度又は色差の時間変化を示す第１の特徴量が所定の第１の閾値以上の場合に前記対象ピクチャがフェード状態であると判定し、前記第１の特徴量が前記第１の閾値未満の場合に前記対象ピクチャがフェード状態でないと判定するフェード状態判定部と、前記対象ピクチャがフェード状態と判定された場合において、前記対象ピクチャとそれ以前のピクチャとの間における複雑度の時間変化を示す第２の特徴量が所定の第２の閾値以上であり、かつ前記対象ピクチャの１つ前のピクチャとそれ以前のピクチャとの非類似度を表す第３の特徴量が所定の第３の閾値未満の場合に前記対象ピクチャがフェードインであると判定し、前記第２の特徴量が前記第２の閾値未満又は前記第３の特徴量が前記第３の閾値以上の場合に前記対象ピクチャがフェードインでないと判定するフェードイン判定部と、前記対象ピクチャがフェード状態と判定された場合において、前記第２の特徴量が前記第２の閾値より小さい所定の第４の閾値未満の場合に前記対象ピクチャがフェードアウトであると判定し、前記第２の特徴量が前記第４の閾値以上の場合に前記対象ピクチャがフェードアウトでないと判定するフェードアウト判定部と、前記対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合に、前記対象ピクチャがクロスフェードであると判定するクロスフェード判定部とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明により、符号化前の動画像に含まれるフェードの種別を高速に判定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る符号化装置を示す図である。
【図２】本発明の実施の形態に係るフェード種別判定装置を示す図である。
【図３】本発明の実施の形態に係るフェード種別判定方法を示すフローチャートである。
【図４】本発明の実施の形態に係る判定方法による判定結果を示す図である。
【図５】本発明の実施の形態に係る判定方法による判定結果を示す図である。
【図６】本発明の実施の形態に係る判定方法による判定結果を示す図である。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施の形態に係る符号化装置を示す図である。フェード種別判定装置１が符号化処理部２の前段に設けられている。フェード種別判定装置１は、符号化前の動画像に含まれる対象ピクチャのフェードの種別を判定して符号化処理部２に通知する。符号化処理部２は、フェードの種別に応じて効果的な符号化方法を選択して動画像を符号化する。
【００１４】
図２は、本発明の実施の形態に係るフェード種別判定装置１を示す図である。図３は、本発明の実施の形態に係るフェード種別判定方法を示すフローチャートである。図２及び図３を参照して、フェード種別判定装置１によるフェード種別判定方法を説明する。
【００１５】
まず、前ピクチャフェード状態確認部３は、記憶部４にアクセスして、対象ピクチャの１つ前のピクチャである前ピクチャがフェード状態かどうかを確認する（ステップＳ１）。記憶部４は、前ピクチャがフェード状態かどうか及び前ピクチャのフェード種別を記憶している。前ピクチャがフェード状態でない場合には、対象ピクチャのフェード開始判定を行うステップＳ２〜Ｓ５に移行する。一方、前ピクチャがフェード状態である場合には、対象ピクチャのフェード終了判定を行うステップＳ６〜Ｓ９に移行する。
【００１６】
前ピクチャがフェード状態でない場合には、フェード状態判定部５がフェード状態判定を行う（ステップＳ２）。具体的には、フェード状態判定部５は、対象ピクチャの特徴量Ａが所定の閾値ＴＨ＿Ａ以上の場合には、対象ピクチャがフェード状態であると判定して、フェードイン判定に移行する。一方、特徴量Ａが閾値ＴＨ＿Ａ未満の場合には、対象ピクチャがフェード状態でないと判定して、対象ピクチャに対する判定を終了する。
【００１７】
ここで、特徴量Ａは、対象ピクチャとそれ以前のピクチャ（時系列的に近い過去のピクチャ）との間におけるピクチャ全体の輝度又は色差の時間変化を示す。具体的には、特徴量Ａは、対象ピクチャとそれ以前のピクチャとの間における画素累算値の差分絶対値である。画素累算値は、１画素（ピクセル）の輝度又は色差値を１ピクチャ分加算した値である。なお、特徴量Ａとして、輝度又は色差分散値の時間変化を使用することもできる。
【００１８】
次に、対象ピクチャがフェード状態と判定された場合には、フェードイン判定部６がフェードイン判定を行う（ステップＳ３）。具体的には、フェードイン判定部６は、対象ピクチャの特徴量Ｂが所定の閾値ＴＨ＿Ｂ１以上であり、かつ対象ピクチャの１つ前のピクチャの特徴量Ｃが所定の閾値ＴＨ＿Ｃ未満の場合には、対象ピクチャがフェードインであると判定して、対象ピクチャに対する判定を終了する。一方、特徴量Ｂが閾値ＴＨ＿Ｂ１未満又は特徴量Ｃが閾値ＴＨ＿Ｃ以上の場合には、対象ピクチャがフェードインでないと判定して、フェードアウト判定に移行する。
【００１９】
ここで、特徴量Ｂは、対象ピクチャとそれ以前のピクチャとの間における複雑度の時間変化を示す。具体的には、特徴量Ｂは、対象ピクチャとそれ以前のピクチャとの間における隣接画素間差分絶対値和の差分値である。隣接画素間差分絶対値和は、ピクチャ内で空間的に隣接する画素間の輝度又は色差値の差分絶対値を１ピクチャ分加算した値である。
【００２０】
また、特徴量Ｃは、対象ピクチャの１つ前のピクチャとそれ以前のピクチャとの非類似度を表す。具体的には、特徴量Ｃは、対象ピクチャの１つ前のピクチャとそれ以前のピクチャを任意のサイズのブロックで分割し、対象ピクチャの１つ前のピクチャのブロックごとに輝度又は色差値の差分絶対値和が最も小さいブロックをそれ以前のピクチャのブロックの中から探索して対応付け、対応付けしたブロック間の輝度又は色差値の差分絶対値和を１ピクチャ分加算した値である。
【００２１】
なお、一般的に、特徴量Ｃは、予測誤差差分絶対値和または動き補償差分絶対値和（ＭＣＳＡＤ）と呼ばれ、あるピクチャとそれに時系列的に隣接（過去・未来）したピクチャとの間で動き補償を行い、対応付けしたブロック間の輝度又は色差値の差分絶対値和を１ピクチャ分加算した値である。動き補償は、あるピクチャとそれに時系列的に隣接したピクチャで最も似ている箇所を探す処理である。具体的には、あるピクチャを任意のサイズのブロックで分割し、ブロックごとに輝度又は色差値の差分絶対値和が最も小さい（最も似ている）ブロックを、時系列的に隣接したピクチャの中から探索し、対応付ける処理である。
【００２２】
次に、対象ピクチャがフェード状態であり、かつフェードインでないと判定された場合には、フェードアウト判定部７がフェードアウト判定を行う（ステップＳ４）。具体的には、フェードアウト判定部７は、特徴量Ｂが閾値ＴＨ＿Ｂ１より小さい所定の閾値ＴＨ＿Ｂ２未満の場合には、対象ピクチャがフェードアウトであると判定して、対象ピクチャに対する判定を終了する。一方、特徴量Ｂが閾値ＴＨ＿Ｂ２以上の場合には、対象ピクチャがフェードアウトでないと判定して、クロスフェード判定に移行する。
【００２３】
次に、対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合には、クロスフェード判定部８は、対象ピクチャがクロスフェードであると判定して、対象ピクチャに対する判定を終了する（ステップＳ５）。なお、厳密には上述のクロスフェードの定義にそぐわない場合もあるが、ここでは全てクロスフェードであると判定する。
【００２４】
前ピクチャがフェード状態の場合には、前ピクチャフェード種別確認部９が、記憶部４にアクセスして、前ピクチャのフェード種別を確認する（ステップＳ６）。前ピクチャがフェードインである場合にはフェードイン終了判定に移行し、フェードアウトである場合にはフェードアウト終了判定に移行し、クロスフェードである場合にはクロスフェード終了判定に移行する。
【００２５】
前ピクチャがフェードインの場合には、フェードイン終了判定部１０がフェードイン終了判定を行う（ステップＳ７）。具体的には、フェードイン終了判定部１０は、特徴量Ａが閾値ＴＨ＿Ａ未満又は特徴量Ｂが閾値ＴＨ＿Ｂ１未満の場合には、フェード状態及びフェードインが終了したと判定する。一方、特徴量Ａが閾値ＴＨ＿Ａ以上かつ特徴量Ｂが閾値ＴＨ＿Ｂ１以上の場合には、フェード状態及びフェードインが継続していると判定する。
【００２６】
前ピクチャがフェードアウトの場合には、フェードアウト終了判定部１１がフェードアウト終了判定を行う（ステップＳ８）。具体的には、フェードアウト終了判定部１１は、特徴量Ａが閾値ＴＨ＿Ａ未満又は特徴量Ｂが閾値ＴＨ＿Ｂ２以上の場合には、フェード状態及びフェードアウトが終了したと判定する。一方、特徴量Ａが閾値ＴＨ＿Ａ以上かつ特徴量Ｂが閾値ＴＨ＿Ｂ２未満の場合には、フェード状態及びフェードアウトが継続していると判定する。
【００２７】
前ピクチャがクロスフェードの場合には、クロスフェード終了判定部１２がクロスフェード終了判定を行う（ステップＳ９）。具体的には、クロスフェード終了判定部１２は、特徴量Ａが閾値ＴＨ＿Ａ未満の場合には、フェード状態及びクロスフェードが終了したと判定する。一方、特徴量Ａが閾値ＴＨ＿Ａ以上の場合には、フェード状態及びクロスフェードが継続していると判定する。
【００２８】
これらのフェード状態判定部５、フェードイン判定部６、フェードアウト判定部７、クロスフェード判定部８、フェードイン終了判定部１０、フェードアウト終了判定部１１、又はクロスフェード終了判定部１２による判定結果は、符号化処理部２に通知されると同時に、記憶部４に記憶される。
【００２９】
図４〜図６は、本発明の実施の形態に係る判定方法による判定結果を示す図である。横軸は時間軸であり、縦軸は特徴量Ａ，Ｂ，Ｃである。閾値ＴＨ＿Ａは対象ピクチャの輝度値総和の０．５％、閾値ＴＨ＿Ｂ１は４０、閾値ＴＨ＿Ｂ２は−６０、閾値ＴＨ＿Ｃは２００と定義している。それぞれの図において、特徴量Ａ，Ｂ，Ｃの変化に応じて、フェードイン、フェードアウト、クロスフェードが問題なく判定できていることが分かる。
【００３０】
以上説明したように、本実施の形態に係るフェード種別判定装置１は、符号化前の動画像に含まれる対象ピクチャのフェードの種別を判定して符号化処理部２に通知する。これにより、符号化処理部２は、フェードの種別に応じて効果的な符号化方法を選択できるため、符号化後の画質を向上させることができる。
【００３１】
また、本実施の形態では、特徴量Ａを用いて、対象ピクチャがフェード状態かどうかを判定する。ここで、フェード中はピクチャ全体の輝度や色差が大きく時間変化するため、フェード状態かどうかの判定に特徴量Ａを用いている。そして、特徴量Ｂと特徴量Ｃを用いて、対象ピクチャのフェードの種別（フェードイン、フェードアウト、クロスフェード）を判定する。
【００３２】
ここで、フェードインは単色の静止画から動画への変化であるため、フェードインでは複雑度が相対的に低から高へと変化する。一方、フェードアウトではこの逆の変化が起きる。クロスフェードは動画から別の動画への移り変わりであるため、複雑度の時間変化がフェードインやフェードアウトより小さい。このフェードごとの複雑度の時間変化の差異を捉えるため、特徴量Ｂを用いている。
【００３３】
また、特徴量Ｂによるフェードイン判定を補助するために、特徴量Ｃを用いている。フェードイン発生直前はピクチャ間の類似度が高いため、対象ピクチャとそれ以前のピクチャとの非類似度を表す特徴量Ｃを補助的に用いることで、フェードインの判定精度が向上する。なお、フェードアウト判定の場合には、対象ピクチャとフェードアウト終了直後の（未来の）ピクチャとの非類似度を表す特徴量Ｃを用いる必要があり、処理が遅延する。従って、特徴量Ｃをフェードアウト判定に用いるのは有効ではないため、特徴量Ｃをフェードイン判定のみに用いる。
【００３４】
また、対象ピクチャとそれ以前のピクチャとの間における変化である特徴量Ａ，Ｂ，Ｃを用いるため、高速性が期待できる。よって、本実施の形態により、符号化前の動画像に含まれるフェードの種別を高速に判定することができる。
【００３５】
また、フェードイン判定部６は特徴量Ｂだけでなく特徴量Ｃも用いる。一方、フェードアウト判定部７は特徴量Ｂだけを用いる。このため、フェードイン判定部６の方がフェードアウト判定部７よりも判定精度が高い。そこで、本実施の形態では、フェードイン判定部６により対象ピクチャがフェードインでないと判定された場合に、フェードアウト判定部７が判定を行う。これにより、判定制度が向上する。
【００３６】
また、前ピクチャのフェード状態とフェード種別を確認し、それに応じた判定を行うことにより、動画像に含まれる一連のピクチャからフェード状態にあるピクチャを判定し、その開始ピクチャと終了ピクチャを判定すると共に、フェードの種別も判定することができる。
【００３７】
なお、特徴量Ａ，Ｂ，Ｃにおいて、対象ピクチャと比較するピクチャを時系列的にどこから取るかは任意である。本実施の形態では、フェード判定の高速処理性能を重視する観点から、特徴量Ａ，Ｂでは対象ピクチャから時系列的に２つ前のピクチャを用い、特徴量Ｃでは対象ピクチャから時系列的に１つ前のピクチャを用いる。
【符号の説明】
【００３８】
１ フェード種別判定装置、２ 符号化処理部、３ 前ピクチャフェード状態確認部
４ 記憶部、５ フェード状態判定部、６ フェードイン判定部
７ フェードアウト判定部、８ クロスフェード判定部
９ 前ピクチャフェード種別確認部、１０ フェードイン終了判定部
１１ フェードアウト終了判定部、１２ クロスフェード終了判定部
【特許請求の範囲】
【請求項１】
動画像を符号化する符号化処理部の前段に設けられ、符号化前の前記動画像に含まれる対象ピクチャのフェード種別を判定して前記符号化処理部に通知するフェード種別判定装置であって、
前記対象ピクチャとそれ以前のピクチャとの間におけるピクチャ全体の輝度又は色差の時間変化を示す第１の特徴量が所定の第１の閾値以上の場合に前記対象ピクチャがフェード状態であると判定し、前記第１の特徴量が前記第１の閾値未満の場合に前記対象ピクチャがフェード状態でないと判定するフェード状態判定部と、
前記対象ピクチャがフェード状態と判定された場合において、前記対象ピクチャとそれ以前のピクチャとの間における複雑度の時間変化を示す第２の特徴量が所定の第２の閾値以上であり、かつ前記対象ピクチャの１つ前のピクチャとそれ以前のピクチャとの非類似度を表す第３の特徴量が所定の第３の閾値未満の場合に前記対象ピクチャがフェードインであると判定し、前記第２の特徴量が前記第２の閾値未満又は前記第３の特徴量が前記第３の閾値以上の場合に前記対象ピクチャがフェードインでないと判定するフェードイン判定部と、
前記対象ピクチャがフェード状態と判定された場合において、前記第２の特徴量が前記第２の閾値より小さい所定の第４の閾値未満の場合に前記対象ピクチャがフェードアウトであると判定し、前記第２の特徴量が前記第４の閾値以上の場合に前記対象ピクチャがフェードアウトでないと判定するフェードアウト判定部と、
前記対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合に、前記対象ピクチャがクロスフェードであると判定するクロスフェード判定部とを備えることを特徴とするフェード種別判定装置。
【請求項２】
前記第１の特徴量は、前記対象ピクチャとそれ以前のピクチャとの間における画素累算値の差分絶対値であり、
前記画素累算値は、１画素の輝度又は色差値を１ピクチャ分加算した値であり、
前記第２の特徴量は、前記対象ピクチャとそれ以前のピクチャとの間における隣接画素間差分絶対値和の差分値であり、
前記隣接画素間差分絶対値和は、ピクチャ内で空間的に隣接する画素間の輝度又は色差値の差分絶対値を１ピクチャ分加算した値であり、
前記第３の特徴量は、前記対象ピクチャの１つ前のピクチャとそれ以前のピクチャを任意のサイズのブロックで分割し、前記対象ピクチャの１つ前のピクチャのブロックごとに輝度又は色差値の差分絶対値和が最も小さいブロックを前記それ以前のピクチャのブロックの中から探索して対応付け、対応付けしたブロック間の輝度又は色差値の差分絶対値和を１ピクチャ分加算した値であることを特徴とする請求項１に記載のフェード種別判定装置。
【請求項３】
前記フェードイン判定部により前記対象ピクチャがフェードインでないと判定された場合に、前記フェードアウト判定部が判定を行うことを特徴とする請求項１又は２に記載のフェード種別判定装置。
【請求項４】
前記対象ピクチャの１つ前のピクチャである前ピクチャがフェード状態かどうか及び前記前ピクチャのフェード種別を記憶する記憶部と、
前記前ピクチャがフェード状態かどうかを確認する前ピクチャフェード状態確認部と、
前記前ピクチャがフェード状態の場合に、前記前ピクチャのフェード種別を確認する前ピクチャフェード種別確認部と、
前記前ピクチャがフェードインの場合において、前記第１の特徴量が第１の閾値未満又は前記第２の特徴量が第２の閾値未満の場合にフェード状態及びフェードインが終了したと判定し、前記第１の特徴量が第１の閾値以上かつ前記第２の特徴量が第２の閾値以上の場合にフェード状態及びフェードインが継続していると判定するフェードイン終了判定部と、
前記前ピクチャがフェードアウトの場合において、前記第１の特徴量が第１の閾値未満又は前記第２の特徴量が第４の閾値以上の場合にフェード状態及びフェードアウトが終了したと判定し、前記第１の特徴量が第１の閾値以上かつ前記第２の特徴量が第４の閾値未満の場合にフェード状態及びフェードアウトが継続していると判定するフェードアウト終了判定部と、
前記前ピクチャがクロスフェードの場合において、前記第１の特徴量が第１の閾値未満の場合にフェード状態及びクロスフェードが終了したと判定し、前記第１の特徴量が第１の閾値以上の場合にフェード状態及びクロスフェードが継続していると判定するクロスフェード終了判定部とを更に備え、
前記前フェードがフェード状態でない場合に、前記フェード状態判定部が判定を行うことを特徴とする請求項１〜３の何れか１項に記載のフェード種別判定装置。
【請求項１】
動画像を符号化する符号化処理部の前段に設けられ、符号化前の前記動画像に含まれる対象ピクチャのフェード種別を判定して前記符号化処理部に通知するフェード種別判定装置であって、
前記対象ピクチャとそれ以前のピクチャとの間におけるピクチャ全体の輝度又は色差の時間変化を示す第１の特徴量が所定の第１の閾値以上の場合に前記対象ピクチャがフェード状態であると判定し、前記第１の特徴量が前記第１の閾値未満の場合に前記対象ピクチャがフェード状態でないと判定するフェード状態判定部と、
前記対象ピクチャがフェード状態と判定された場合において、前記対象ピクチャとそれ以前のピクチャとの間における複雑度の時間変化を示す第２の特徴量が所定の第２の閾値以上であり、かつ前記対象ピクチャの１つ前のピクチャとそれ以前のピクチャとの非類似度を表す第３の特徴量が所定の第３の閾値未満の場合に前記対象ピクチャがフェードインであると判定し、前記第２の特徴量が前記第２の閾値未満又は前記第３の特徴量が前記第３の閾値以上の場合に前記対象ピクチャがフェードインでないと判定するフェードイン判定部と、
前記対象ピクチャがフェード状態と判定された場合において、前記第２の特徴量が前記第２の閾値より小さい所定の第４の閾値未満の場合に前記対象ピクチャがフェードアウトであると判定し、前記第２の特徴量が前記第４の閾値以上の場合に前記対象ピクチャがフェードアウトでないと判定するフェードアウト判定部と、
前記対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合に、前記対象ピクチャがクロスフェードであると判定するクロスフェード判定部とを備えることを特徴とするフェード種別判定装置。
【請求項２】
前記第１の特徴量は、前記対象ピクチャとそれ以前のピクチャとの間における画素累算値の差分絶対値であり、
前記画素累算値は、１画素の輝度又は色差値を１ピクチャ分加算した値であり、
前記第２の特徴量は、前記対象ピクチャとそれ以前のピクチャとの間における隣接画素間差分絶対値和の差分値であり、
前記隣接画素間差分絶対値和は、ピクチャ内で空間的に隣接する画素間の輝度又は色差値の差分絶対値を１ピクチャ分加算した値であり、
前記第３の特徴量は、前記対象ピクチャの１つ前のピクチャとそれ以前のピクチャを任意のサイズのブロックで分割し、前記対象ピクチャの１つ前のピクチャのブロックごとに輝度又は色差値の差分絶対値和が最も小さいブロックを前記それ以前のピクチャのブロックの中から探索して対応付け、対応付けしたブロック間の輝度又は色差値の差分絶対値和を１ピクチャ分加算した値であることを特徴とする請求項１に記載のフェード種別判定装置。
【請求項３】
前記フェードイン判定部により前記対象ピクチャがフェードインでないと判定された場合に、前記フェードアウト判定部が判定を行うことを特徴とする請求項１又は２に記載のフェード種別判定装置。
【請求項４】
前記対象ピクチャの１つ前のピクチャである前ピクチャがフェード状態かどうか及び前記前ピクチャのフェード種別を記憶する記憶部と、
前記前ピクチャがフェード状態かどうかを確認する前ピクチャフェード状態確認部と、
前記前ピクチャがフェード状態の場合に、前記前ピクチャのフェード種別を確認する前ピクチャフェード種別確認部と、
前記前ピクチャがフェードインの場合において、前記第１の特徴量が第１の閾値未満又は前記第２の特徴量が第２の閾値未満の場合にフェード状態及びフェードインが終了したと判定し、前記第１の特徴量が第１の閾値以上かつ前記第２の特徴量が第２の閾値以上の場合にフェード状態及びフェードインが継続していると判定するフェードイン終了判定部と、
前記前ピクチャがフェードアウトの場合において、前記第１の特徴量が第１の閾値未満又は前記第２の特徴量が第４の閾値以上の場合にフェード状態及びフェードアウトが終了したと判定し、前記第１の特徴量が第１の閾値以上かつ前記第２の特徴量が第４の閾値未満の場合にフェード状態及びフェードアウトが継続していると判定するフェードアウト終了判定部と、
前記前ピクチャがクロスフェードの場合において、前記第１の特徴量が第１の閾値未満の場合にフェード状態及びクロスフェードが終了したと判定し、前記第１の特徴量が第１の閾値以上の場合にフェード状態及びクロスフェードが継続していると判定するクロスフェード終了判定部とを更に備え、
前記前フェードがフェード状態でない場合に、前記フェード状態判定部が判定を行うことを特徴とする請求項１〜３の何れか１項に記載のフェード種別判定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−４８３７７（Ｐ２０１３−４８３７７Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１１−１８６２５８（Ｐ２０１１−１８６２５８）
【出願日】平成２３年８月２９日（２０１１．８．２９）
【出願人】（５９１２３０２９５）ＮＴＴエレクトロニクス株式会社 (565)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２３年８月２９日（２０１１．８．２９）
【出願人】（５９１２３０２９５）ＮＴＴエレクトロニクス株式会社 (565)
【Ｆターム（参考）】
[ Back to top ]