シネマ判定方法、シネマ判定装置、および字幕検出方法
【課題】入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定を行なえるようにする。
【解決手段】フレーム差分算出部１０１で入力映像の現フィールドの入力信号と現フィールドよりも前の入力信号のフレーム差分値を画面上の画素ごとに計算し、全画面フレーム差分累積部１０２によって、そのフレーム差分値を画面全体について累積する。また、文字検出部１０３で文字検出を行なって、文字領域検出部１０４で字幕領域窓を決定する。さらに、文字領域フレーム差分累積部１０５で、入力信号のフレーム差分値を、文字領域検出部１０４によって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積する。そして、フレーム差分減算部１０６によって累積したフレーム差分値を、全画面フレーム差分累積部１０２で累積したフレーム差分値から減算して出力する。
【解決手段】フレーム差分算出部１０１で入力映像の現フィールドの入力信号と現フィールドよりも前の入力信号のフレーム差分値を画面上の画素ごとに計算し、全画面フレーム差分累積部１０２によって、そのフレーム差分値を画面全体について累積する。また、文字検出部１０３で文字検出を行なって、文字領域検出部１０４で字幕領域窓を決定する。さらに、文字領域フレーム差分累積部１０５で、入力信号のフレーム差分値を、文字領域検出部１０４によって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積する。そして、フレーム差分減算部１０６によって累積したフレーム差分値を、全画面フレーム差分累積部１０２で累積したフレーム差分値から減算して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像がシネマソースかどうかを判定するシネマ判定方法、シネマ判定装置、および入力映像の字幕検出方法に関するものである。
【背景技術】
【０００２】
２４フレーム（もしくは２５フレーム）のプログレッシブ信号である映画ソースを、プルダウンの規則性にのって静止はめ込み処理を行うことによって、６０フィールド（もしくは５０フィールド）のインタレース信号に変換し、忠実な映像を再現することをデジタルシネマリアリティという。これを実現するためには、予め入力映像がシネマソースかどうかを判定する必要がある（以下、この判定をシネマ判定と呼ぶ）。
【０００３】
シネマ判定を行なう従来のシネマ判定装置では、入力映像の第１と第２フィールドにおける各画像の相関値を計算して、相関値に基づいて複製フィールドか否かを判定することによって、シネマソースかどうかを判定するものがある（例えば特許文献１を参照）。
【特許文献１】特開平８−２８９１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、シネマソースには文字（字幕）が付加される場合があり、付加された文字は、プルダウンの規則性を含んでいないため、映像と字幕をともに含んだ状態でシネマ検出を行うと、シネマソースかどうかの判定を誤ってしまう可能性がある。
【０００５】
本発明は、上記の問題に着目してなされたものであり、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定を行なえるようにすること目的としている。
【課題を解決するための手段】
【０００６】
前記の課題を解決するため、本発明の第１の態様は、
入力映像がシネマソースかどうかを判定するシネマ判定方法であって、
入力映像の現フィールドの入力信号と現フィールドよりも前の入力信号のフレーム差分値を画面上の画素ごとに計算するフレーム差分算出ステップと、
前記フレーム差分算出ステップで計算したフレーム差分値を、画面全体について累積する全画面フレーム差分累積ステップと、
画面上に予め定められた領域である字幕検出領域の内部を走査して、この領域内に表示されている文字を検出する文字検出ステップと、
前記文字検出ステップでの文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域である字幕領域窓を決定する文字領域検出ステップと、
入力信号のフレーム差分値を、前記文字領域検出ステップによって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積する文字領域フレーム差分累積ステップと、
前記文字領域フレーム差分累積ステップで累積したフレーム差分値を、前記全画面フレーム差分累積ステップで累積したフレーム差分値から減算して出力するフレーム差分減算ステップと、
前記フレーム差分減算ステップの出力を基に、フィールド時間単位で、入力映像のプルダウンの規則性を検出し、検出結果に応じて、入力映像の変換を行なって画面出力を行なうシネマ判定ステップと、
を備えたことを特徴とする。
【０００７】
これにより、字幕が表示されている領域である字幕領域窓が決定され、字幕領域窓を除いた領域を用いてシネマ判定を行なわれる。それゆえ、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定できる。
【０００８】
また、本発明の第２の態様は、
画面上で、文字走査を行なう字幕検出領域を決定するステップと、
前記字幕検出領域を走査して文字を検出し、文字検出地点に基づいて字幕領域窓の開始点を決定するステップと、
前記字幕領域窓の開始点から何れの方向に文字が連続性を持つかを検出するステップと、
文字走査を行なって、字幕領域窓の終点を決定するステップと、
を有することを特徴とする。
【０００９】
これにより、画面上で字幕が表示されている位置が検出される。
【００１０】
また、本発明の第３の態様は、
入力映像がシネマソースかどうかを判定するシネマ判定装置であって、
入力映像の現フィールドの入力信号と現フィールドよりも前の入力信号のフレーム差分値を画面上の画素ごとに計算するフレーム差分算出部と、
前記フレーム差分算出部で計算したフレーム差分値を、画面全体について累積する全画面フレーム差分累積部と、
画面上に予め定められた領域である字幕検出領域の内部を走査して、この領域内に表示されている文字を検出する文字検出部と、
前記文字検出部での文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域である字幕領域窓を決定する文字領域検出部と、
入力信号のフレーム差分値を、前記文字領域検出部によって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積する文字領域フレーム差分累積部と、
前記文字領域フレーム差分累積部で累積したフレーム差分値を、前記全画面フレーム差分累積部で累積したフレーム差分値から減算して出力するフレーム差分減算部と、
前記フレーム差分減算部の出力を基に、フィールド時間単位で、入力映像のプルダウンの規則性を検出し、検出結果に応じて、入力映像の変換を行なって画面出力を行なうシネマ判定部と、
を備えたことを特徴とする。
【００１１】
これにより、字幕が表示されている領域である字幕領域窓が決定され、字幕領域窓を除いた領域を用いてシネマ判定を行なわれる。それゆえ、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定できる。
【発明の効果】
【００１２】
本発明によれば、字幕が表示されている領域である字幕領域窓を決定し、字幕領域窓を除いた領域を用いてシネマ判定を行なうので、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１４】
図１は、本発明の実施形態に係るシネマ判定装置１００の構成を示すブロック図である。同図に示すようにシネマ判定装置１００は、フレーム差分算出部１０１、全画面フレーム差分累積部１０２、文字検出部１０３、文字領域検出部１０４、文字領域フレーム差分累積部１０５、フレーム差分減算部１０６、およびシネマ判定部１０７を備えている。
【００１５】
フレーム差分算出部１０１は、入力映像の現フィールドの入力信号（入力輝度信号）と、２フィールドまたは１フィールド前の入力信号のフレーム差分値を画面上の画素ごとに計算するようになっている。
【００１６】
全画面フレーム差分累積部１０２は、フレーム差分算出部１０１が計算したフレーム差分値を、画面全体について累積するようになっている。
【００１７】
文字検出部１０３は、画面上に予め定められた字幕検出領域（後述）の内部を走査して、この領域内に表示されている文字を検出するようになっている。具体的には、文字検出部１０３は、映像の信号レベルが黒レベルのスレッシュレベルより小さくなり、次に白レベルのスレッシュレベルより大きくなり、そして黒レベルのスレッシュレベルより小さくなるパターンを検出した場合に白文字であると認識するようになっている。図２は、字幕が画面下に表示されている場合の信号レベル変化パターンを示す例である。ここで、白および黒の判定にスレッシュ値を設けているのは、黒レベル・白レベルがある程度の連続した幅を持たせて、文字の誤検出防止するためである。本実施形態では、字幕検出領域としては、字幕が出現すると考えられる画面の上下左右の領域（候補領域）を予め設定している（図３を参照）。このように字幕検出領域を設定することで字幕の誤り検出を防ぐことが可能になる。
【００１８】
文字領域検出部１０４は、文字検出部１０３の文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域（字幕領域窓）を決定するようになっている。詳しくは、文字領域検出部１０４は、以下のように字幕領域窓を決定する。
【００１９】
まず、文字検出部１０３によって、予め字幕検出領域に定められた走査開始点から、順次走査を行なって文字を検出する。走査開始点としては、例えば図４に示した例では、画面上部横方向窓生成用、画面右部縦方向窓生成用、画面左部縦方向窓生成用、および画面下部横方向窓生成用の４点が開始点として定められ、各開始点について、開始点ごとに定められた方向（図４の矢印の方向）に向かって、順次走査が行なわれる。図４に示すように、横方向に走査が行なわれて、文字が横に続く横窓が生成される場合と、あるいは下方向に走査が行なわれて、文字が縦に続く縦窓が生成される場合の２通りがある（図５を参照）。
【００２０】
最初に文字が検出された画素地点（文字検出地点）から左上方部を、字幕領域窓の開始点に決定する。この際、文字検出地点をそのまま字幕領域窓の開始点に決定すると、出現文字の初めが「Ａ」や「Ｃ」のときには、字幕領域窓で字幕全体を囲むことができないので、文字検出地点から左方向と上方向にマージンをとって開始点を定め、広めに字幕領域窓を作成する。
【００２１】
字幕領域窓の開始点が定まると、次に文字がどの方向に連続性を持つかを検出する。これには、字幕領域窓の開始点から縦方向または横方向に向かって、文字検出部１０３に文字の走査を行なわせる。この際、文字の連続性を見るために、一度文字を検出してから次の文字を検出するまでの間隔を決めるスレッシュ値を設ける。このスレッシュ値は、走査の方向が縦横の何れの方向の場合についても設けておく。
【００２２】
文字が連続する方向が定まった後は、字幕の終点を決定するために、引き続き文字の走査を行なう。そして、所定の間隔以上走査しても文字が検出されなかった場合は、その点を字幕検出窓の終点として検出する。字幕検出窓の終点も右方向と下方向の設定値のマージンをとって右下方向に設定する。
【００２３】
一方、文字領域フレーム差分累積部１０５は、入力信号のフレーム差分値を、文字領域検出部１０４によって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積するようになっている。
【００２４】
フレーム差分減算部１０６は、文字領域フレーム差分累積部１０５が累積しているフレーム差分値を、全画面フレーム差分累積部１０２が累積しているフレーム差分値から減算し、減算結果を後段のシネマ判定部１０７に送るようになっている。すなわち、フレーム差分減算部１０６の出力は、字幕を含まない映像部分のみのフレーム差分の累積値である。
【００２５】
シネマ判定部１０７は、以下のようにして画面出力を行うようになっている。すなわち、シネマ判定部107は、フレーム差分減算部１０６の出力をもとにフィールド時間単位で、入力映像のプルダウンの規則性を検出し、入力映像がシネマソースと判定された場合には全画面領域から字幕領域を除く全ての画素に対し、入力ソースの静止はめ込み処理を施して画面出力する。また、入力映像がシネマソースと判定されていない時間と、シネマソースを検出するシーケンスに入っている時間と、シネマソースと完全に判定されている時間の字幕領域窓内の画素に関しては、入力映像の動き検出結果の情報に基づいて動画静止混合を行う通常のＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換を行い、画面出力を行う。
【００２６】
上記のシネマ判定装置１００では、まず、フレーム差分算出部１０１が、入力映像の現フィールドの入力信号（入力輝度信号）と、２フィールド（または１フィールド）前の入力信号のフレーム差分値を画面上の画素ごとに計算し、フレーム差分算出部１０１が計算したフレーム差分値を、全画面フレーム差分累積部１０２が画面全体について累積する。
【００２７】
一方、文字領域検出部１０４は、文字検出部１０３の文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域（字幕領域窓）を決定する。そして、文字領域フレーム差分累積部１０５が、入力信号のフレーム差分値を、文字領域検出部１０４によって決定された字幕領域窓内にある全ての画素に対して計算し、さらに、この窓内にある全ての画素についてのフレーム差分値を累積する。
【００２８】
次に、フレーム差分減算部１０６が、文字領域フレーム差分累積部１０５が累積しているフレーム差分値を、全画面フレーム差分累積部１０２が累積しているフレーム差分値から減算し、減算結果を後段のシネマ判定部１０７に送る。その後、シネマ判定部１０７がフレーム差分減算部１０６の減算結果に基づいて、シネマ判定を行なうとともに、判定結果に応じて、入力映像の変換を行い、画面出力を行う。
【００２９】
以上のように、本実施形態は、入力信号レベルと白色および黒色のスレッシュレベルとを比較して文字を検出することによって字幕領域を検出し、字幕領域を除いた領域を用いてシネマ判定を行なうので、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定できる。
【産業上の利用可能性】
【００３０】
本発明に係るシネマ判定方法、シネマ判定装置、および字幕検出方法は、字幕が表示されている領域である字幕領域窓を決定し、字幕領域窓を除いた領域を用いてシネマ判定を行なうので、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定できるという効果を有し、入力映像がシネマソースかどうかを判定するシネマ判定方法、シネマ判定装置、および入力映像の字幕検出方法等として有用である。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係るシネマ判定装置の構成を示すブロック図である。
【図２】字幕が画面下に表示されている場合の信号レベル変化パターンを示す図である。
【図３】字幕検出領域の設定例を示す図である。
【図４】走査開始点および走査方向の一例を示す図である。
【図５】文字が横に続く横窓が生成された例と、文字が縦に続く縦窓が生成された例を示す図である。
【符号の説明】
【００３２】
１００ シネマ判定装置
１０１ フレーム差分算出部
１０２ 全画面フレーム差分累積部
１０３ 文字検出部
１０４ 文字領域検出部
１０５ 文字領域フレーム差分累積部
１０６ フレーム差分減算部
１０７ シネマ判定部
【技術分野】
【０００１】
本発明は、入力映像がシネマソースかどうかを判定するシネマ判定方法、シネマ判定装置、および入力映像の字幕検出方法に関するものである。
【背景技術】
【０００２】
２４フレーム（もしくは２５フレーム）のプログレッシブ信号である映画ソースを、プルダウンの規則性にのって静止はめ込み処理を行うことによって、６０フィールド（もしくは５０フィールド）のインタレース信号に変換し、忠実な映像を再現することをデジタルシネマリアリティという。これを実現するためには、予め入力映像がシネマソースかどうかを判定する必要がある（以下、この判定をシネマ判定と呼ぶ）。
【０００３】
シネマ判定を行なう従来のシネマ判定装置では、入力映像の第１と第２フィールドにおける各画像の相関値を計算して、相関値に基づいて複製フィールドか否かを判定することによって、シネマソースかどうかを判定するものがある（例えば特許文献１を参照）。
【特許文献１】特開平８−２８９１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、シネマソースには文字（字幕）が付加される場合があり、付加された文字は、プルダウンの規則性を含んでいないため、映像と字幕をともに含んだ状態でシネマ検出を行うと、シネマソースかどうかの判定を誤ってしまう可能性がある。
【０００５】
本発明は、上記の問題に着目してなされたものであり、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定を行なえるようにすること目的としている。
【課題を解決するための手段】
【０００６】
前記の課題を解決するため、本発明の第１の態様は、
入力映像がシネマソースかどうかを判定するシネマ判定方法であって、
入力映像の現フィールドの入力信号と現フィールドよりも前の入力信号のフレーム差分値を画面上の画素ごとに計算するフレーム差分算出ステップと、
前記フレーム差分算出ステップで計算したフレーム差分値を、画面全体について累積する全画面フレーム差分累積ステップと、
画面上に予め定められた領域である字幕検出領域の内部を走査して、この領域内に表示されている文字を検出する文字検出ステップと、
前記文字検出ステップでの文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域である字幕領域窓を決定する文字領域検出ステップと、
入力信号のフレーム差分値を、前記文字領域検出ステップによって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積する文字領域フレーム差分累積ステップと、
前記文字領域フレーム差分累積ステップで累積したフレーム差分値を、前記全画面フレーム差分累積ステップで累積したフレーム差分値から減算して出力するフレーム差分減算ステップと、
前記フレーム差分減算ステップの出力を基に、フィールド時間単位で、入力映像のプルダウンの規則性を検出し、検出結果に応じて、入力映像の変換を行なって画面出力を行なうシネマ判定ステップと、
を備えたことを特徴とする。
【０００７】
これにより、字幕が表示されている領域である字幕領域窓が決定され、字幕領域窓を除いた領域を用いてシネマ判定を行なわれる。それゆえ、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定できる。
【０００８】
また、本発明の第２の態様は、
画面上で、文字走査を行なう字幕検出領域を決定するステップと、
前記字幕検出領域を走査して文字を検出し、文字検出地点に基づいて字幕領域窓の開始点を決定するステップと、
前記字幕領域窓の開始点から何れの方向に文字が連続性を持つかを検出するステップと、
文字走査を行なって、字幕領域窓の終点を決定するステップと、
を有することを特徴とする。
【０００９】
これにより、画面上で字幕が表示されている位置が検出される。
【００１０】
また、本発明の第３の態様は、
入力映像がシネマソースかどうかを判定するシネマ判定装置であって、
入力映像の現フィールドの入力信号と現フィールドよりも前の入力信号のフレーム差分値を画面上の画素ごとに計算するフレーム差分算出部と、
前記フレーム差分算出部で計算したフレーム差分値を、画面全体について累積する全画面フレーム差分累積部と、
画面上に予め定められた領域である字幕検出領域の内部を走査して、この領域内に表示されている文字を検出する文字検出部と、
前記文字検出部での文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域である字幕領域窓を決定する文字領域検出部と、
入力信号のフレーム差分値を、前記文字領域検出部によって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積する文字領域フレーム差分累積部と、
前記文字領域フレーム差分累積部で累積したフレーム差分値を、前記全画面フレーム差分累積部で累積したフレーム差分値から減算して出力するフレーム差分減算部と、
前記フレーム差分減算部の出力を基に、フィールド時間単位で、入力映像のプルダウンの規則性を検出し、検出結果に応じて、入力映像の変換を行なって画面出力を行なうシネマ判定部と、
を備えたことを特徴とする。
【００１１】
これにより、字幕が表示されている領域である字幕領域窓が決定され、字幕領域窓を除いた領域を用いてシネマ判定を行なわれる。それゆえ、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定できる。
【発明の効果】
【００１２】
本発明によれば、字幕が表示されている領域である字幕領域窓を決定し、字幕領域窓を除いた領域を用いてシネマ判定を行なうので、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１４】
図１は、本発明の実施形態に係るシネマ判定装置１００の構成を示すブロック図である。同図に示すようにシネマ判定装置１００は、フレーム差分算出部１０１、全画面フレーム差分累積部１０２、文字検出部１０３、文字領域検出部１０４、文字領域フレーム差分累積部１０５、フレーム差分減算部１０６、およびシネマ判定部１０７を備えている。
【００１５】
フレーム差分算出部１０１は、入力映像の現フィールドの入力信号（入力輝度信号）と、２フィールドまたは１フィールド前の入力信号のフレーム差分値を画面上の画素ごとに計算するようになっている。
【００１６】
全画面フレーム差分累積部１０２は、フレーム差分算出部１０１が計算したフレーム差分値を、画面全体について累積するようになっている。
【００１７】
文字検出部１０３は、画面上に予め定められた字幕検出領域（後述）の内部を走査して、この領域内に表示されている文字を検出するようになっている。具体的には、文字検出部１０３は、映像の信号レベルが黒レベルのスレッシュレベルより小さくなり、次に白レベルのスレッシュレベルより大きくなり、そして黒レベルのスレッシュレベルより小さくなるパターンを検出した場合に白文字であると認識するようになっている。図２は、字幕が画面下に表示されている場合の信号レベル変化パターンを示す例である。ここで、白および黒の判定にスレッシュ値を設けているのは、黒レベル・白レベルがある程度の連続した幅を持たせて、文字の誤検出防止するためである。本実施形態では、字幕検出領域としては、字幕が出現すると考えられる画面の上下左右の領域（候補領域）を予め設定している（図３を参照）。このように字幕検出領域を設定することで字幕の誤り検出を防ぐことが可能になる。
【００１８】
文字領域検出部１０４は、文字検出部１０３の文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域（字幕領域窓）を決定するようになっている。詳しくは、文字領域検出部１０４は、以下のように字幕領域窓を決定する。
【００１９】
まず、文字検出部１０３によって、予め字幕検出領域に定められた走査開始点から、順次走査を行なって文字を検出する。走査開始点としては、例えば図４に示した例では、画面上部横方向窓生成用、画面右部縦方向窓生成用、画面左部縦方向窓生成用、および画面下部横方向窓生成用の４点が開始点として定められ、各開始点について、開始点ごとに定められた方向（図４の矢印の方向）に向かって、順次走査が行なわれる。図４に示すように、横方向に走査が行なわれて、文字が横に続く横窓が生成される場合と、あるいは下方向に走査が行なわれて、文字が縦に続く縦窓が生成される場合の２通りがある（図５を参照）。
【００２０】
最初に文字が検出された画素地点（文字検出地点）から左上方部を、字幕領域窓の開始点に決定する。この際、文字検出地点をそのまま字幕領域窓の開始点に決定すると、出現文字の初めが「Ａ」や「Ｃ」のときには、字幕領域窓で字幕全体を囲むことができないので、文字検出地点から左方向と上方向にマージンをとって開始点を定め、広めに字幕領域窓を作成する。
【００２１】
字幕領域窓の開始点が定まると、次に文字がどの方向に連続性を持つかを検出する。これには、字幕領域窓の開始点から縦方向または横方向に向かって、文字検出部１０３に文字の走査を行なわせる。この際、文字の連続性を見るために、一度文字を検出してから次の文字を検出するまでの間隔を決めるスレッシュ値を設ける。このスレッシュ値は、走査の方向が縦横の何れの方向の場合についても設けておく。
【００２２】
文字が連続する方向が定まった後は、字幕の終点を決定するために、引き続き文字の走査を行なう。そして、所定の間隔以上走査しても文字が検出されなかった場合は、その点を字幕検出窓の終点として検出する。字幕検出窓の終点も右方向と下方向の設定値のマージンをとって右下方向に設定する。
【００２３】
一方、文字領域フレーム差分累積部１０５は、入力信号のフレーム差分値を、文字領域検出部１０４によって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積するようになっている。
【００２４】
フレーム差分減算部１０６は、文字領域フレーム差分累積部１０５が累積しているフレーム差分値を、全画面フレーム差分累積部１０２が累積しているフレーム差分値から減算し、減算結果を後段のシネマ判定部１０７に送るようになっている。すなわち、フレーム差分減算部１０６の出力は、字幕を含まない映像部分のみのフレーム差分の累積値である。
【００２５】
シネマ判定部１０７は、以下のようにして画面出力を行うようになっている。すなわち、シネマ判定部107は、フレーム差分減算部１０６の出力をもとにフィールド時間単位で、入力映像のプルダウンの規則性を検出し、入力映像がシネマソースと判定された場合には全画面領域から字幕領域を除く全ての画素に対し、入力ソースの静止はめ込み処理を施して画面出力する。また、入力映像がシネマソースと判定されていない時間と、シネマソースを検出するシーケンスに入っている時間と、シネマソースと完全に判定されている時間の字幕領域窓内の画素に関しては、入力映像の動き検出結果の情報に基づいて動画静止混合を行う通常のＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換を行い、画面出力を行う。
【００２６】
上記のシネマ判定装置１００では、まず、フレーム差分算出部１０１が、入力映像の現フィールドの入力信号（入力輝度信号）と、２フィールド（または１フィールド）前の入力信号のフレーム差分値を画面上の画素ごとに計算し、フレーム差分算出部１０１が計算したフレーム差分値を、全画面フレーム差分累積部１０２が画面全体について累積する。
【００２７】
一方、文字領域検出部１０４は、文字検出部１０３の文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域（字幕領域窓）を決定する。そして、文字領域フレーム差分累積部１０５が、入力信号のフレーム差分値を、文字領域検出部１０４によって決定された字幕領域窓内にある全ての画素に対して計算し、さらに、この窓内にある全ての画素についてのフレーム差分値を累積する。
【００２８】
次に、フレーム差分減算部１０６が、文字領域フレーム差分累積部１０５が累積しているフレーム差分値を、全画面フレーム差分累積部１０２が累積しているフレーム差分値から減算し、減算結果を後段のシネマ判定部１０７に送る。その後、シネマ判定部１０７がフレーム差分減算部１０６の減算結果に基づいて、シネマ判定を行なうとともに、判定結果に応じて、入力映像の変換を行い、画面出力を行う。
【００２９】
以上のように、本実施形態は、入力信号レベルと白色および黒色のスレッシュレベルとを比較して文字を検出することによって字幕領域を検出し、字幕領域を除いた領域を用いてシネマ判定を行なうので、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定できる。
【産業上の利用可能性】
【００３０】
本発明に係るシネマ判定方法、シネマ判定装置、および字幕検出方法は、字幕が表示されている領域である字幕領域窓を決定し、字幕領域窓を除いた領域を用いてシネマ判定を行なうので、入力映像が映像と字幕をともに含んだ状態であっても高精度にシネマ判定できるという効果を有し、入力映像がシネマソースかどうかを判定するシネマ判定方法、シネマ判定装置、および入力映像の字幕検出方法等として有用である。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係るシネマ判定装置の構成を示すブロック図である。
【図２】字幕が画面下に表示されている場合の信号レベル変化パターンを示す図である。
【図３】字幕検出領域の設定例を示す図である。
【図４】走査開始点および走査方向の一例を示す図である。
【図５】文字が横に続く横窓が生成された例と、文字が縦に続く縦窓が生成された例を示す図である。
【符号の説明】
【００３２】
１００ シネマ判定装置
１０１ フレーム差分算出部
１０２ 全画面フレーム差分累積部
１０３ 文字検出部
１０４ 文字領域検出部
１０５ 文字領域フレーム差分累積部
１０６ フレーム差分減算部
１０７ シネマ判定部
【特許請求の範囲】
【請求項１】
入力映像がシネマソースかどうかを判定するシネマ判定方法であって、
入力映像の現フィールドの入力信号と現フィールドよりも前の入力信号のフレーム差分値を画面上の画素ごとに計算するフレーム差分算出ステップと、
前記フレーム差分算出ステップで計算したフレーム差分値を、画面全体について累積する全画面フレーム差分累積ステップと、
画面上に予め定められた領域である字幕検出領域の内部を走査して、この領域内に表示されている文字を検出する文字検出ステップと、
前記文字検出ステップでの文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域である字幕領域窓を決定する文字領域検出ステップと、
入力信号のフレーム差分値を、前記文字領域検出ステップによって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積する文字領域フレーム差分累積ステップと、
前記文字領域フレーム差分累積ステップで累積したフレーム差分値を、前記全画面フレーム差分累積ステップで累積したフレーム差分値から減算して出力するフレーム差分減算ステップと、
前記フレーム差分減算ステップの出力を基に、フィールド時間単位で、入力映像のプルダウンの規則性を検出し、検出結果に応じて、入力映像の変換を行なって画面出力を行なうシネマ判定ステップと、
を備えたことを特徴とするシネマ判定方法。
【請求項２】
画面上で、文字走査を行なう字幕検出領域を決定するステップと、
前記字幕検出領域を走査して文字を検出し、文字検出地点に基づいて字幕領域窓の開始点を決定するステップと、
前記字幕領域窓の開始点から何れの方向に文字が連続性を持つかを検出するステップと、
文字走査を行なって、字幕領域窓の終点を決定するステップと、
を有することを特徴とするシネマ字幕検出方法。
【請求項３】
入力映像がシネマソースかどうかを判定するシネマ判定装置であって、
入力映像の現フィールドの入力信号と現フィールドよりも前の入力信号のフレーム差分値を画面上の画素ごとに計算するフレーム差分算出部と、
前記フレーム差分算出部で計算したフレーム差分値を、画面全体について累積する全画面フレーム差分累積部と、
画面上に予め定められた領域である字幕検出領域の内部を走査して、この領域内に表示されている文字を検出する文字検出部と、
前記文字検出部での文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域である字幕領域窓を決定する文字領域検出部と、
入力信号のフレーム差分値を、前記文字領域検出部によって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積する文字領域フレーム差分累積部と、
前記文字領域フレーム差分累積部で累積したフレーム差分値を、前記全画面フレーム差分累積部で累積したフレーム差分値から減算して出力するフレーム差分減算部と、
前記フレーム差分減算部の出力を基に、フィールド時間単位で、入力映像のプルダウンの規則性を検出し、検出結果に応じて、入力映像の変換を行なって画面出力を行なうシネマ判定部と、
を備えたことを特徴とするシネマ判定装置。
【請求項１】
入力映像がシネマソースかどうかを判定するシネマ判定方法であって、
入力映像の現フィールドの入力信号と現フィールドよりも前の入力信号のフレーム差分値を画面上の画素ごとに計算するフレーム差分算出ステップと、
前記フレーム差分算出ステップで計算したフレーム差分値を、画面全体について累積する全画面フレーム差分累積ステップと、
画面上に予め定められた領域である字幕検出領域の内部を走査して、この領域内に表示されている文字を検出する文字検出ステップと、
前記文字検出ステップでの文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域である字幕領域窓を決定する文字領域検出ステップと、
入力信号のフレーム差分値を、前記文字領域検出ステップによって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積する文字領域フレーム差分累積ステップと、
前記文字領域フレーム差分累積ステップで累積したフレーム差分値を、前記全画面フレーム差分累積ステップで累積したフレーム差分値から減算して出力するフレーム差分減算ステップと、
前記フレーム差分減算ステップの出力を基に、フィールド時間単位で、入力映像のプルダウンの規則性を検出し、検出結果に応じて、入力映像の変換を行なって画面出力を行なうシネマ判定ステップと、
を備えたことを特徴とするシネマ判定方法。
【請求項２】
画面上で、文字走査を行なう字幕検出領域を決定するステップと、
前記字幕検出領域を走査して文字を検出し、文字検出地点に基づいて字幕領域窓の開始点を決定するステップと、
前記字幕領域窓の開始点から何れの方向に文字が連続性を持つかを検出するステップと、
文字走査を行なって、字幕領域窓の終点を決定するステップと、
を有することを特徴とするシネマ字幕検出方法。
【請求項３】
入力映像がシネマソースかどうかを判定するシネマ判定装置であって、
入力映像の現フィールドの入力信号と現フィールドよりも前の入力信号のフレーム差分値を画面上の画素ごとに計算するフレーム差分算出部と、
前記フレーム差分算出部で計算したフレーム差分値を、画面全体について累積する全画面フレーム差分累積部と、
画面上に予め定められた領域である字幕検出領域の内部を走査して、この領域内に表示されている文字を検出する文字検出部と、
前記文字検出部での文字検出結果に基づいて、字幕の開始点と終了点を決定して、字幕が表示されている領域である字幕領域窓を決定する文字領域検出部と、
入力信号のフレーム差分値を、前記文字領域検出部によって決定された字幕領域窓内にある全ての画素に対して計算するとともに、この窓内にある全ての画素についてのフレーム差分値を累積する文字領域フレーム差分累積部と、
前記文字領域フレーム差分累積部で累積したフレーム差分値を、前記全画面フレーム差分累積部で累積したフレーム差分値から減算して出力するフレーム差分減算部と、
前記フレーム差分減算部の出力を基に、フィールド時間単位で、入力映像のプルダウンの規則性を検出し、検出結果に応じて、入力映像の変換を行なって画面出力を行なうシネマ判定部と、
を備えたことを特徴とするシネマ判定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−３０６４５０（Ｐ２００７−３０６４５０Ａ）
【公開日】平成１９年１１月２２日（２００７．１１．２２）
【国際特許分類】
【出願番号】特願２００６−１３４７４６（Ｐ２００６−１３４７４６）
【出願日】平成１８年５月１５日（２００６．５．１５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年１１月２２日（２００７．１１．２２）
【国際特許分類】
【出願日】平成１８年５月１５日（２００６．５．１５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]