映像処理装置及びその方法
【課題】タイムテロップを使用せず、特定の特定区間を検出する映像処理装置を提供することを目的とする。
【解決手段】映像処理装置１００は、入力された映像に表示されたテロップを検出するテロップ検出部１０２と、前記テロップから任意の条件を満たす特定テロップを選択するテロップ選択部１０３と、前記複数の特定テロップの中で、任意の時間範囲内にある複数の特定テロップを一つのグループとして取得し、前記グループから２個の前記特定テロップを対応付ける対応付け部１０４と、前記２個の前記特定テロップに挟まれた特定区間を抽出する区間抽出部１０５とを有する。
【解決手段】映像処理装置１００は、入力された映像に表示されたテロップを検出するテロップ検出部１０２と、前記テロップから任意の条件を満たす特定テロップを選択するテロップ選択部１０３と、前記複数の特定テロップの中で、任意の時間範囲内にある複数の特定テロップを一つのグループとして取得し、前記グループから２個の前記特定テロップを対応付ける対応付け部１０４と、前記２個の前記特定テロップに挟まれた特定区間を抽出する区間抽出部１０５とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定区間を抽出し、短時間で番組を視聴することができる映像処理装置及びその方法に関する。
【背景技術】
【０００２】
ユーザが映像から見たいシーンだけを検索したり、要約映像を作成したりするには映像の時間区間に属性情報を付与しておく必要がある。そのためには映像から意味的にまとまった特定区間を抽出する技術が必要である。
【０００３】
そのような技術の１つにスポーツ中継映像からスタジオシーンなどを除いて実際に競技が行われている区間だけを抽出する技術がある。例えば、特許文献１ではスポーツ映像から競技区間を抽出する方法であり、試合の経過時間や残り時間を表す競技タイムテロップの表示区間を競技区間（特定区間）と判定している。具体的には周期的に変化する領域を含むテロップを競技タイムテロップとして検出し、検出区間ではカット点で映像を分割しないことで、競技区間をひとまとまりのシーンとする。
【特許文献１】特開２００８−７２２３２公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の従来技術は競技タイムテロップが表示されている区間を競技区間と見なしているため、競技タイムテロップが表示されないスポーツや種目では検出することができない。
【０００５】
例えば、陸上競技の中継番組では１００ｍ走やリレーなどのトラック種目と走り高跳びや砲丸投げなどのフィールド種目が混在していることが多い。しかし、フィールド種目には競技タイムテロップが表示されない（図３参照）。そのため、そのような番組から競技区間を抽出してもフィールド種目が抜け落ちてしまうという問題点がある。
【０００６】
そこで本発明は、上記従来技術の問題点を解決するためになされたものであって、タイムテロップを使用せず、特定区間を検出する映像処理装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、入力された映像に表示されたテロップを検出するテロップ検出部と、前記テロップから任意の条件を満たす特定テロップを選択するテロップ選択部と、前記複数の特定テロップの中で、任意の時間範囲内にある複数の特定テロップを一つのグループとして取得し、前記グループから２個の前記特定テロップを対応付ける対応付け部と、前記２個の前記特定テロップに挟まれた特定区間を抽出する区間抽出部と、前記抽出された特定区間を出力する出力部と、を備えることを特徴とする映像処理装置である。
【発明の効果】
【０００８】
本発明によれば、タイムテロップ検出だけでは検出することができなかった特定区間を検出できる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態の映像処理装置１００について図面に基づいて説明する。
【００１０】
本実施形態の映像処理装置１００は、競技タイムテロップを使用せず、各試技の前後に表示される選手名テロップから競技区間を検出する。図４に示すように、フィールド種目では試技の前に選手名やそれまでの記録を示すテロップが表示され、試技が終わると再び選手名とその試技の結果を表示するというパターンが多用される。そこで、同一人物の選手名テロップのグループを検出し、それらに挟まれる特定区間を試技区間として検出することでフィールド種目の競技区間を抽出する。
【００１１】
また、このようなテロップは陸上競技以外のスポーツや音楽番組、コメディなどスポーツ以外のジャンルの番組にも存在する。本実施形態はこのような特定区間の前後を挟むように表示されるテロップが用いられる番組一般について、特定区間を抽出することができる。
【００１２】
（第１の実施形態）
本発明の第１の実施形態の映像処理装置１００について図１〜図２、図５〜図１７に基づいて説明する。
【００１３】
（１）映像処理装置１００の構成
図１は、本実施形態の映像処理装置１００を示すブロック図である。
【００１４】
映像処理装置１００は、入力部１０１、テロップ検出部１０２、テロップ選択部１０３、対応付け部１０４、区間抽出部１０５、出力部１０６とを備えている。
【００１５】
なお、この映像処理装置１００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、テロップ検出部１０２、テロップ選択部１０３、対応付け部１０４、区間抽出部１０５、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、映像処理装置１００は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【００１６】
テロップ検出部１０２は、入力部１０１より入力された映像内に表示されるテロップを検出する。なお、「テロップ」とは、文字に限らず、画面上に合成された文字又は画像を指す。また、文字を含まない画像だけのロゴマークのようなものもテロップと呼ぶ。
【００１７】
テロップ選択部１０３は、前記検出されたテロップのうち、任意の条件を満たすものを特定テロップとして選択する。なお、「特定テロップ」とは特定区間を決定するために指標となるテロップのことで、特定区間の前後を挟む形で表示される。例えば、スポーツ映像における試技の前後に表示される選手名や記録を示すテロップが特定テロップに該当する。また、スポーツ映像に限ったものではなく、音楽番組における歌の前後や芸人が順番にネタを披露するようなお笑い番組において、各芸人の登場前後に表示されるようなテロップも特定テロップに含む。
【００１８】
対応付け部１０４は、前記選択された特定テロップのうち、任意の時間範囲内にあるものをグループとして取得し、その中から２個の特定グループを対応付ける。
【００１９】
区間抽出部１０５は、前記対応付けられた２個の特定テロップに挟まれた特定区間を抽出して出力部１０６から出力する。
【００２０】
（２）映像処理装置１００の動作
次に、図１及び図２を用いて、映像処理装置１００の動作について説明する。図２は、映像処理装置１００の動作を示すフローチャートである。
【００２１】
（２−１）ステップＳ１０１
まず、ステップＳ１０１において、映像処理装置１００は、入力部１０１より映像の構成要素である画像（フレーム）を順次取得する。取得した画像はテロップ検出部１０２に送られる。なお、本明細書では、「映像」とは時系列の画像列（フレーム列）を意味し、「画像」とは一枚のフレームを意味する。
【００２２】
（２−２）ステップＳ１０２
次に、ステップＳ１０２において、テロップ検出部１０２は、テロップと推定される画像領域が存在するか否かを判定すると共に、テロップと推定される画像領域が存在している場合にはその座標群を計算する。
【００２３】
テロップ検出部１０２は、テロップと推定された画像領域の情報をテロップ選択部１０３に送る。
【００２４】
テロップと推定される画像領域の存在有無や、その画像を特定する方法としては、例えば特許第３６５５１１０号公報や特開２００７−２７４１５４公報などの方法を用いることができる。しかし、本実施形態はテロップ検出方法によりその実現形態が限定されるものではなく、このほかのテロップ検出方法を用いても実現可能である。
なお、テロップと推定する領域は厳密に文字の部分だけであってもよいし、文字と共に表示される周辺の装飾などの領域を含んでもよい。また、ロゴマークやイラスト等、文字以外のものでも構わない。
【００２５】
（２−３）ステップＳ１０３
次に、ステップＳ１０３において、テロップ選択部１０３は、特定テロップの条件を満たすか否かが判定する。
【００２６】
テロップ選択部１０３によって選択された特定テロップは対応付け部１０４に送られる。
【００２７】
（２−４）ステップＳ１０４
次に、ステップＳ１０４において、対応付け部１０４は、時間的に任意の範囲内にある複数の特定テロップを、一つのグループとして取得する。
【００２８】
時間的に任意の範囲内にある条件の第１の例を説明する。映像の先頭から数えてｉ番目に位置する特定テロップをＴｉとすると、パラメータｎを用いて、ＴｉからＴｉ＋ｎの間にある特定テロップを条件を満たすテロップとする。すなわち、ｎ＝１であれば隣接する特定テロップ、ｎ＝２であれば隣接する特定テロップとその１つ先の特定テロップが、一つのグループとして取得される。
【００２９】
第２の例としては、Ｔｉから時間ｔの範囲にある特定テロップを一つのグループとして取得する。
【００３０】
また、第１の例と第２の例で挙げた例を論理和（ＯＲ）や論理積（ＡＮＤ）などの形で組み合わせを用いてもよい。
【００３１】
なお、これらの条件はあくまで例であり、実施形態を限定するものではない。
【００３２】
（２−５）ステップＳ１０５
次に、ステップＳ１０５において、対応付け部１０４は、一つのグループに含まれる各々の特定テロップが同じ対象に対応付いているか否かを、下記で示す条件に基づいて判定する。そして、対応付けられた２個の特定テロップは、区間抽出部１０５に送られる。
【００３３】
（２−６）ステップＳ１０６
ステップＳ１０６において、区間抽出部１０５は、対応付けられた２個の特定テロップに挟まれた特定区間を抽出して、出力部１０６から出力する。
【００３４】
このとき抽出する特定区間には、特定テロップの表示区間やその前後区間も適宜含めてよい。例えば、始端の特定テロップが出現する直前のカット点（シーンの切り替わり）から終端の特定テロップが消失した直後のカット点までを抽出する。
【００３５】
また、複数の特定区間をまとめてもよい。例えば、スポーツの個々の試技区間を検出した後にこれらをまとめて競技区間とする。
【００３６】
（３）テロップ選択部１０３の第１の構成例
図５は、テロップ選択部１０３の第１の構成例である。
【００３７】
テロップ選択部１０３は、図５に示すように領域属性分類部３０１、出現密度選択部３０２、表示位置選択部３０３を備える。
【００３８】
領域属性分類部３０１は、テロップと推定された領域の属性に基づいてテロップを分類する。属性としては例えば、色や位置、大きさ、出現時刻などを用いる。
【００３９】
出現密度選択部３０２は、領域属性分類部３０１において分類されたテロップのグループの出現密度を算出し、任意の閾値より出現密度が高いグループのテロップを選択したり、また、出現密度が高いグループから順次選択する。例えば、出現密度は、時間長ｔｄの間にＮ回出現したとき、Ｎ／ｔｄとして算出できる。
【００４０】
表示位置選択部３０３は、テロップの表示位置に基づいてテロップを選択する。例えば、テロップと推定された領域の座標群が画面内の任意の範囲にあるものを選択する。
【００４１】
出現密度選択部３０２、表示位置選択部３０３による選択結果は論理和、論理積などの形で、組み合わせて利用してもよい。また、一方だけを用いてもよい。一方だけを用いる場合、テロップ選択部１０３を領域属性分類部３０１と出現密度選択部３０２だけの構成、又は、表示位置選択部３０３だけの構成も可能である。
【００４２】
（４）テロップ選択部１０３の第２の構成例
図６は、テロップ選択部１０３の第２の構成例である。
【００４３】
テロップ選択部１０３は、テロップモデル入力部４０１、類似度算出部４０２、類似度判定部４０３を備える。
【００４４】
テロップモデル入力部４０１は、特定テロップの特徴を表したモデルを入力する。例えば、特定テロップが共通した色使いや装飾を持つ場合これらを雛形とした画像データのモデルを用いたり、位置や大きさが分かっている場合はこれらの座標群によるモデルを用いたりする。画像データを用いたモデルの場合、各画素の色などをそのまま用いてもよいし、Ｓｏｂｅｌフィルタなどによって得られるエッジの強度を用いてもよいし、色の分布を示すヒストグラム情報などを用いてもよい。また、これら以外の方法でモデルを表現しても構わない。
【００４５】
類似度算出部４０２は、テロップモデル入力部４０１に入力されたテロップモデルとテロップ検出部１０２で検出されたテロップの類似度である差分を算出する。例えば、テロップモデルが画像データである場合、検出されたテロップとの座標（ｘ，ｙ）における画素値の差分をｄ（ｘ，ｙ）とするとΣｘΣｙｄ（ｘ，ｙ）を類似度とする。但し、ΣｘΣｙはテロップモデルと検出されたテロップの重複領域においてすべてのx，yの組み合わせについて後ろの項、つまり、ｄ（ｘ，ｙ）を繰り返し加算することを示す。ｄ（ｘ，ｙ）は例えば、ｄ（ｘ，ｙ）＝（Ｖ０（ｘ，ｙ）−Ｖｉ（ｘ，ｙ））２とする。但し、Ｖ０（ｘ，ｙ）は座標（ｘ，ｙ）におけるモデルの画像データの輝度、Ｖｉ（ｘ，ｙ）は検出されたテロップの画像データの輝度である。
【００４６】
類似度判定部４０３は、類似度算出部４０２で算出した類似度が任意の閾値を上回っているかを判定し、上回っている場合に検出されたテロップを特定テロップとする。
【００４７】
図７は画像データを用いたテロップモデルについて説明する図である。特定テロップ近傍の装飾などを含むテロップ領域５０２を含むフレーム５０１をテロップモデルとする。これをテロップ５０４を含む映像フレーム５０３と比較するとテロップ領域の類似度が高いため、テロップモデルと合致すると判定され、テロップ５０４が特定テロップとして選択される。一方、テロップ５０６を含む映像フレーム５０５と比較するとテロップ領域の類似度が低いため、テロップモデルに合致しないと判定され、特定テロップとはならない。
【００４８】
なお、テロップモデルは予め作成しておいたものを入力してもよい。また、テロップ選択部１０３の第１の構成を用いて映像の前半の特定区間で選択した特定テロップからテロップモデルを作成し、後半の特定区間を第２の構成を用いて処理してもよい。
【００４９】
また、検出したい特定テロップの色や大きさなどが予め分かっている場合、テロップ検出部１０２とテロップ選択部１０３の処理は同時に行うこともできる。つまり、検出したい特定テロップのモデルと各映像フレームの類似度を計算し、類似度が任意の値を上回る場合、そこにはテロップが存在し、それは特定テロップであると判定できる。
【００５０】
（５）対応付け部１０４の第１の構成例
図８は、対応付け部１０４の第１の構成例である。
【００５１】
対応付け部１０４は、グループ取得部６０１、画像特徴量算出部６０２、類似度判定部６０３を備える。
【００５２】
グループ取得部６０１は、少なくとも２つの特定テロップを選び、それらが時間的に任意の範囲内にある場合に一つのグループとして取得する。
【００５３】
画像特徴量算出部６０２は、このグループの個々の特定テロップの画像特徴量を算出する。
【００５４】
類似度判定部６０３は、この画像特徴量に基づいて各特定テロップがどれだけ相違しているかを示す類似度を算出し、その類似度が任意の閾値より大きいか否かを判定する。任意の閾値よりも大きい場合に特定テロップが同じ対象に対応付いていると判断する。
【００５５】
この対応付け部１０４の構成は、特定テロップの内容自体が同一又はそれに準じるものであるかを判定することを目的としている。そのため、画像特徴量算出部６０２で算出される画像特徴量はその目的を達するものであればなんでもよい。
【００５６】
第１の例としては、特定テロップと推定される領域の各画素値をそのまま特徴量とすることである。このときの類似度は各画素値の差分の領域全体における和となる。
【００５７】
第２の例としては、画素値をそのまま用いるのではなく、エッジ強度を算出して用いたり、領域の色ヒストグラム分布を用いたり、各画素が隣接画素と比較して大きいか、小さいかを示す符号を用いたりしてもよい。
【００５８】
第３の例としては、文字の部分をＯＣＲによって文字認識し、画像データからテキストデータに変換してテキストデータを画像特徴量としてもよい。この場合の類似度の算出はテキストデータのマッチングにより行う。
【００５９】
図９は、対応付け部１０４の第１構成例の処理について説明する図である。
【００６０】
グループ取得部６０１で特定テロップ７０１と７０２が取得されたとする。このとき、画像特徴量算出部６０２で算出される特定テロップ７０１と７０２の画像特徴量の類似している（類似度が大きい）と類似度判定部６０３で判定された場合、区間抽出部１０５において両者に挟まれる特定区間７０３が抽出される。
【００６１】
（６）対応付け部１０４の第２の構成例
図１０は、対応付け部１０４の第２の構成である。
【００６２】
対応付け部１０４は、グループ取得部８０１、顔情報取得部８０２、顔情報選択部８０３、類似度判定部８０４を備える。
【００６３】
グループ取得部８０１は、少なくとも２つの特定テロップを選び、それらが時間的に任意の範囲内にある場合に一つのグループとして取得する。
【００６４】
顔情報取得部８０２は、映像の中に登場する顔情報を取得する。取得する顔情報の例としては顔の位置や特徴点を示す座標群などである。色や顔の向きなどの情報を含めてもよい。取得方法は既存の顔検出方法を用いてもよいし、既に何らかの方法で得られている顔情報を入力してもよい。顔情報を取得する特定区間は映像全体である必要はなく、対応づけを行いたい特定テロップから任意の時間範囲に出現する顔情報だけを取得してもよい。
【００６５】
顔情報選択部８０３は、特定テロップを対応付けるために、前記グループに含まれる各々の特定テロップそれぞれに対し、特定テロップを有する画像に写った顔の特徴量を表す顔情報を選択する。
【００６６】
しかし、特定テロップを有する画像に顔が写っていない場合がある。このときは、この特定テロップを有する画像の時間的に近傍にある画像に写った顔の顔情報を選択する。例えば、選択する顔情報は、対応付けたい特定テロップの出現時刻に最も時間的に近いフレームを用いる。また、特定テロップの出現した時刻の直前の画像に写った顔を用いてもよい。
【００６７】
また、特定テロップが表示されている時間特定区間に含まれるものの中で最も正面を向いているものや最も大きいもの、画面中央に位置するものを用いてもよい。
【００６８】
類似度判定部８０４は、顔情報選択部８０３において選択された顔同士がどれだけ相違しているかを示す顔の特徴量の類似度を算出し、その類似度が任意の閾値より小さいか否かを判定する。任意の閾値よりも小さい場合に特定テロップが同じ対象に対応付いていると判断する。
【００６９】
図１１は対応付け部１０４の第２の構成例の処理について説明する図である。
【００７０】
グループ取得部８０１は、特定テロップ９０１、９０２を取得する。このとき、特定テロップ９０１の表示されている映像フレームには顔が映っているが、特定テロップ９０２が映っている映像フレームには顔が映っていない。
【００７１】
そこで、顔情報選択部８０３は、特定テロップ９０２が出現した時刻の直前の顔を映像フレーム９０３から取得する。
【００７２】
類似度判定部８０４は、２つの顔が同一の人物と判定されるだけ特徴量が類似している場合には、特定テロップ９０１、９０２が対応づけられ、区間抽出部１０５において両者に挟まれる特定区間９０４が抽出される。
【００７３】
（７）対応付け部１０４の第３の構成例
図１２は、対応付け部１０４の第３の構成例である。
【００７４】
対応付け部１０４は、グループ取得部１００１、区間情報取得部１００２、時間間隔判定部１００３を備える。
【００７５】
グループ取得部１００１は、少なくとも２つの特定テロップを選び、それらが時間的に任意の範囲内にある場合に一つのグループとして取得する。
【００７６】
区間情報取得部１００２は、前記グループに含まれる各々の特定テロップの区間情報を取得する。例えば、区間情報とは、テロップが出現した時刻、消失した時刻である。それらの情報から算出できる中間点などの時刻を用いてもよい。
【００７７】
類似度判定部１００３は、区間情報に基づいて一つのグループに含まれる特定テロップがどれだけ離れているかを示す時間間隔を算出し、時間間隔が任意の条件を満たす場合に特定テロップが同じ対象に対応付いていると判断する。任意の条件とは例えば、対応付けるテロップ間の時間間隔が他のテロップとの時間間隔と比較して最も近い場合に条件を満たしていると判定したり、また、テロップ間の時間間隔が任意の閾値よりも小さい場合に条件を満たしていると判定したりする。
【００７８】
図１３は、対応付け部１０４の第３の構成例の処理について説明する図である。
【００７９】
グループ取得部６０１が、特定テロップ１１０１、１１０２のグループと特定テロップ１１０２、１１０３のグループを取得する。このとき、区間情報取得部１００２で得られたそれぞれの区間情報から時間間隔判定部１００３で特定区間１１０４の時間間隔と特定区間１１０５の時間間隔を算出する。
【００８０】
そして、特定区間１００４の方が特定区間１１０５よりも時間間隔が短いので、特定テロップ１１０１、１１０２を対応づけ、区間抽出部１０５において両者に挟まれる特定区間１１０４が抽出される。
【００８１】
（８）対応付け部１０４の第４の構成例
図１４は、対応付け部１０４の第４の構成例である。
【００８２】
対応付け部１０４は、グループ取得部１２０１、音響情報取得部１２０２、音響情報判定部１２０３を備える。
【００８３】
グループ取得部１２０１は、少なくとも２つの特定テロップを選び、それらが時間的に任意の範囲内にある場合に一つのグループとして取得する。
【００８４】
音響情報取得部１２０２は、前記グループに含まれる各特定テロップによって挟まれる特定区間の音響情報を取得する。音響情報とは、音響信号又は音声信号を意味し、映像に付随する音響信号そのものであってもよい。また、音響信号を解析した特徴量情報、例えば、周波数情報や音響パワー（音の大きさ）、ケプストラム、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）などでもよい。また、それらの情報を解析することによって、音響信号がどのような信号であるのか意味づけした情報でもよい。この解析とは、特定の周波数成分が含まれるか否か、特定の音響モデルとのマッチング、音声認識などである。この情報としては、例えば、音響信号が歓声や拍手、話し声、投てき競技の選手の大声、歌声、音楽などであるか否かを示す情報である。なお、これらの解析処理は音響情報取得部１２０２で行ってもよいし、解析処理は行わず外部から情報を入力してもよい。
【００８５】
音響情報判定部１２０３は、音響情報が任意の条件を満たしているか判定を行い、満たしている場合に音響情報を取得した特定区間を挟む特定テロップが同じ対象に対応付いていると判断する。この条件としては、次のようなものがある。
【００８６】
第１の条件は、周波数情報の特定の周波数成分が高いなど、分布が任意のパターンと類似しているか否かである。
【００８７】
第２の条件は、音響パワーが任意の閾値より大きいか否かなど、特徴量を用いる。
【００８８】
第３の条件は、音響信号が歓声や拍手、話し声、投てき競技の選手の大声、歌声、音楽などであるか否かなど、意味付けされた内容を用いてもよい。
【００８９】
図１５は、対応付け部１０４の第４の構成例の処理について説明する図である。
【００９０】
グループ取得部１２０１が、特定テロップ１３０１、１３０２のグループと特定テロップ１３０２、１３０３のグループを取得したとする。このとき、特定テロップ１３０１、１３０２の間の特定区間１３０４には拍手、歓声など、任意の条件を満たす音響信号１３０５が含まれるので、特定テロップ１３０１、１３０２を対応づける。
【００９１】
しかし、特定テロップ１３０２、１３０３の間の区間１３０６には任意の条件を満たす音響信号は含まれないので、特定テロップ１３０２、１３０３は対応づけない。
【００９２】
その結果、区間抽出部１０５において特定区間１３０４が抽出される。
【００９３】
（９）対応付け部１０４の第４の構成例の変更例
対応付け部１０４の第４の構成例の変更例について説明する。
【００９４】
対応付け部１０４の第４の構成例と同様の効果は、音響信号ではなく画像の特徴量を用いて得ることもできる。
【００９５】
試技の場面では同じカメラアングルやカメラワークで撮影された映像が多くなる。選手の動作も大きくは違わない。そのため、試技に関連しての任意の条件を満たす画像特徴量が特定テロップの間の特定区間に含まれるか否かによって、対応づけを行うかどうか判定することができる。
【００９６】
（１０）対応付け部１０４の変更例
対応付け部１０４の第１〜４の構成例の変更例について説明する。
【００９７】
スポーツ競技において、試技の前後だけでなく、休憩している合間などに映ったときにも選手名を示すテロップが表示される場合がある。このような場合に特定テロップを対応づけてしまうと試技ではない特定区間が抽出されてしまう。そこで、選手名のテロップと共に表示される記録を示すテロップを含めて特定テロップとして扱い、記録を示すテロップが変化している特定テロップだけを対応づける。記録を示すテロップが変化していればその間に試技が行われたと推定できるためである。また、選手名のテロップが同一であり、順次記録が変化している特定区間だけを抽出すれば、特定の選手の試技だけを一連のものとして抽出できる。
【００９８】
選手名テロップの対応付けには、対応付け部１０４の第１〜４の構成例を用いる。記録のテロップが変化していることを検出するには対応付け部１０４の第１構成例において、対応づけがなされないことを検出すればよい。
【００９９】
また、記録の変化を伴うテロップであるかどうかに基づいてテロップ選択部１０３は特定テロップを選択することもできる。すなわち、テロップ選択部１０３の第１の構成例や第２の構成例を用いて特定テロップ候補を選択し、それらが記録の変化を伴う場合に特定テロップと決定する。
【０１００】
（１１）特定区間が重複する場合
ここまで説明した処理によって、同じ対象に関連すると推定された前記グループに挟まれた特定区間を抽出することができる。しかし、映像によっては第１のグループと第２のグループが重複する場合がある。
【０１０１】
例えば、１人目の選手の試技が終了し、結果が出る前に、次の選手が試技を行うような場合である。そのような映像では図１６のように第１のグループの終端テロップよりも、第２のグループの始端テロップが先に出現し、重複区間１４０１が生じる。
【０１０２】
このような場合、特定テロップ１４０２より後ろの部分は２人目の選手が映っていると推定されるので、その前までの特定区間１４０３を１人目の選手に対応する特定区間とする。なお、終端テロップとは前記グループのうち、抽出する特定区間の終端を決める特定テロップである。同様に始端テロップとは特定テロップ組のうち、抽出する特定区間の始端を決める特定テロップである。
【０１０３】
図１７はこのように特定区間が重複する場合の処理を行うためのフローチャートである。
【０１０４】
まず、ステップＳ２０１において、対応付け部１０４は、初めに前記グループを２つ取得する。
【０１０５】
次に、ステップＳ２０２において、対応付け部１０４は、第１のグループの終端テロップと第２のグループの始端テロップの表示時刻を比較する。
【０１０６】
次に、ステップＳ２０３において、対応付け部１０４は、第１のグループの終端テロップよりも第２のグループの始端テロップが前に位置する場合、第１のグループに対応する特定区間の終端を第２のグループの始端テロップとする。
【０１０７】
そうでない場合は、ステップＳ２０４において、対応付け部１０４は、第１のグループに対応する特定区間の終端を第１のグループの終端テロップとする。
【０１０８】
最後に、ステップＳ２０５において、対応付け部１０４は、最後に第１のグループの始端テロップとステップＳ２０３、又は、Ｓ２０４で求めた終端との間に含まれる特定区間を第１のグループに対応する特定区間として抽出する。
【０１０９】
なお、特定テロップ自身の特定区間を抽出する特定区間に含めるかについては目的に応じて、含めても含めなくてもよい。一方だけを含めてもよい。例えば、始端だけと含めて、終端は含めなくてもよい。
【０１１０】
（第２の実施形態）
本発明の第２の実施形態の映像処理装置１００について図１８〜図１９に基づいて説明する。
【０１１１】
図３で示したように、スポーツ競技においては、本実施形態による特定区間の抽出は、競技タイムテロップ２０１による区間抽出と補間的な関係にある。一部の種目（例えば、陸上のトラック種目）の競技区間を競技タイムテロップを検出することで抽出し、他の種目（例えば、陸上のフィールド種目）の競技区間を本実施形態による特定区間検出によって抽出できる。
【０１１２】
そこで、本実施形態は、競技タイムテロップの表示されている区間、又は、競技タイムテロップに基づき競技区間と推定された特定区間を除いて処理を行う。
【０１１３】
（１）映像処理装置１００の構成
図１８は、本実施形態の映像処理装置１００を示すブロック図である。
【０１１４】
映像処理装置１００は、第１の実施形態の構成要素である入力部１０１、テロップ検出部１０２、テロップ選択部１０３、対応付け部１０４、区間抽出部１０５、出力部１０６に加えて、タイムテロップ情報入力部１５０１を備えている。
【０１１５】
タイムテロップ情報入力部１５０１は、タイムテロップの情報を入力する。タイムテロップは特許文献１などの方法によって検出することができる。
【０１１６】
その他の構成要素は、第１の実施形態と同じであるため、詳細な説明は省略する。
【０１１７】
（２）映像処理装置１００の動作
次に、図１８及び図１９を用いて、本実施形態の映像処理装置１００の動作について説明する。図１９は、本実施形態の映像処理装置１００の動作を示すフローチャートである。
【０１１８】
第１の実施形態の映像処理装置１００の動作との違いはタイムテロップ情報入力部１５０１からタイムテロップ情報を入力し（Ｓ３０１）、タイムテロップ情報に基づき競技タイムテロップが表示されている区間、又は、競技タイムテロップから競技区間と推定された区間を処理対象から除くことである（Ｓ３０２）。
【０１１９】
以降のステップは、処理対象区間のみに対し、第１の実施形態の映像処理装置１００と同様にステップＳ１０１〜Ｓ１０６までの処理を行う。
【０１２０】
本実施形態の映像処理装置１００を用いることで処理量を低減したり、競技タイムテロップから推定される区間に偶然出現した特定テロップと同類のテロップによる意図しない区間の抽出を抑制できる。
【０１２１】
（第３の実施形態）
本発明の第３の実施形態の映像処理装置１００について図２０〜図２４に基づいて説明する。
【０１２２】
上記各実施形態では、特定テロップの対応付けができなかった区間は抽出することができない。しかし、実際の番組では始端又は終端の一方が出現しない場合がある。図２０はこのような例について説明する図である。
【０１２３】
例えば、陸上競技のトラック種目を中継中に他の映像１６０１が挿入されたとき、次の選手の試技が開始されても始端テロップの表示が間に合わず、記録を表示するための終端テロップ１６０２のみが表示されることがある。他の映像１６０１とは例えば、同時に開催している他の種目、ＣＭ、番組の間に放送されるニュース、リプレイなどのＶＴＲなどである。
【０１２４】
そこで、本実施形態は、このような場合においても対応付けできた区間１６０３をもとに特定区間を推定する。
【０１２５】
（１）映像処理装置１００の構成
図２１は、本実施形態の映像処理装置１００を示すブロック図である。
【０１２６】
映像処理装置１００は、第１の実施形態の構成要素である入力部１０１、テロップ検出部１０２、テロップ選択部１０３、対応付け部１０４、区間抽出部１０５、出力部１０６に加えて、区間推定部１７０１を備えている。
【０１２７】
区間推定部１７０１は、対応付け部１０４において、対応付けできた特定テロップの情報に基づき、対応付けできなかったテロップに対応する特定区間を推定する。
【０１２８】
その他の構成要素は、第１の実施形態と同じであるため、詳細な説明は省略する。
【０１２９】
（２）映像処理装置１００の動作
次に、図２１及び図２２を用いて、映像処理装置１００の動作について説明する。なお、図２１は、映像処理装置１００の動作を示すフローチャートである。
【０１３０】
初めに、第１の実施形態の映像処理装置１００と同様にステップＳ１０１からＳ１０６までの処理を行う。
【０１３１】
次に、ステップＳ４０１において、区間推定部１７０１は、区間抽出部１０５で抽出された区間情報に基づき特定区間モデルを作成する。「特定区間モデル」とは例えば、特定区間の平均時間長や始端テロップから終端テロップまでの特定区間（前後も含んでよい）の画像や音響の特徴量である。
【０１３２】
次に、ステップＳ４０２において、区間推定部１７０１は、対応付け部１０４において対応付けできなかった特定テロップを取得する。例えば、図２０の終端１６０２のようなテロップである。
【０１３３】
最後に、ステップＳ４０３において、区間推定部１７０１は、ステップＳ４０１で作成した特定区間モデルに基づき、ステップＳ４０２で取得した特定テロップに対応する特定区間を推定する。
【０１３４】
（３）区間推定部１７０１の動作
区間推定部１７０１が、ステップＳ４０３において特定区間を推定する方法の具体例について説明する。
【０１３５】
第１の方法は、特定区間モデルとして平均時間長を用い、ステップＳ４０２で取得した特定テロップが始端又は終端のいずれであるかを映像毎に決めておく。そして、平均時間長の長さだけ時間を進めた位置までを特定区間として推定する（終端を探す場合）又は遡った位置までを特定区間として推定する（始端を探す場合）。
【０１３６】
第２の方法は、始端テロップから終端テロップまでの特定区間（前後も含めてもよい）の一部又は全部の範囲から抽出した画像や音響の特徴量を特定区間モデルとして用いる。例えば、選手が試技を始めるときの画像や試技中の画像は毎回、類似した画像となると推定されるので、これらの画面から輝度、色、動きなどの情報を特徴量とする。そして、ステップＳ４０２で取得した特定テロップの近傍で類似する画像特徴量を持つ部分を探して抽出する特定区間を推定する。音声を用いた場合も同様である。拍手や歓声などが起こるタイミングは選手が違っても試技毎に類似すると推定される。そのため、類似する音響の特徴量を持つ部分を探索し、特定区間を推定する。
【０１３７】
第１の方法と第２の方法を組み合わせて用いることもできる。例えば、試技中の画面や拍手、歓声の特徴量を使って特定テロップが始端なのか終端なのかを推定し、その結果に合わせて平均時間長だけ時間を進めるか戻すかを決定する。
【０１３８】
（４）その他の例
図２３は、始端の特定テロップが省略される他の例について説明する図である。
【０１３９】
図２３に示すように、複数回の試技１８０１をダイジェストとして、まとめて放送する場合が当てはまる。試技の映像とその記録を含む特定テロップ（終端）だけが次々と表示されるので、対応づけできない特定テロップが該当特定区間に連続して出現する。
【０１４０】
このような例で試技区間を抽出するには、対応づけできなかった特定テロップのうち、隣接する特定テロップとの間隔が閾値以下のものをグルーピングし、グループの要素が任意の数以上である場合に、最も時刻の離れた特定テロップに囲まれた特定区間をまとめて試技区間として抽出する。間隔の代わりに時間当たりに出現する回数（出現密度）を用いて、任意の回数を上回っているかを判定基準としてもよい。
【０１４１】
また、このような特定テロップを試技毎に比較すると、選手名の部分は同じで、記録の部分だけが更新されていく。このとき、更新は一定のパターンに基づいて行われるので、特定テロップに一定のパターンに基づいて更新される部分領域が存在するか否かを判定する。存在する場合には、最も時刻の離れた特定テロップに囲まれた特定区間をまとめて試技区間として抽出する。部分領域はフレーム間差分を求めたり、新たに出現したテロップ領域を検出したりすることで見つける。
【０１４２】
図２４は、記録が更新されるパターンの例について説明した図である。３通りの例があり、左側が直前の試技後の特定テロップ、右側が今回の試技後の特定テロップで、新たに「記録３」が追加又は上書きされる。
【０１４３】
いずれの特定区間抽出方法でも最初の特定区間の始端の特定テロップ１８０２が省略されていると推定される場合、区間推定部１７０１を用いて推定を行うことができる。始端の特定テロップ１８０２が省略されていると推定する方法は先頭の終端特定テロップ１８０３の直前の特定区間にテロップ１８０３より後ろの特定区間（各終端テロップに挟まれた特定区間）と映像や音響の特徴量が類似する特定区間が存在するかを判定する。存在する場合に始端１８０２が省略されていると推定する。
【０１４４】
（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１４５】
以下、変更例について説明する、
（１）変更例１
変更例１について図２５に基づいて説明する。
【０１４６】
番組や種目によっては試技が終了し、記録が出るまでに時間がかかるものがある。
【０１４７】
例えば、図２５のように試技を行う時間１９０１の後に記録の計測や判定、得点集計などのための時間１９０２が存在するケースである。そのような映像で始端テロップと記録が表示される終端テロップの間の区間１９０３をそのまま抽出すると、試技を行っていない区間も多く含んでしまう。
【０１４８】
そこで、変更例１の映像処理装置１００は、始端テロップと終端テロップの間の区間の長さが任意の時間長を超える場合には一部の区間だけを抽出する。
【０１４９】
例えば、始端より任意の時刻の位置１９０４より前の区間を抽出する。位置１９０４は一定の値に定めてもよいし、他の区間（始端から終端までの特定区間）を統計的に処理して求めた値（例えば、平均値）をもとに定めてもよいし、区間１９０３に対する割合（例えば、中間点）などを用いてもよい。
【０１５０】
（２）変更例２
変更例２について図２６、図２７に基づいて説明する。
【０１５１】
上記各実施形態の映像処理装置１００では、特定テロップを対応づけてその間に含まれる試技区間を抽出したが、個々の試技区間ではなく競技区間全体をまとめて抽出する場合は対応付けを行わずに抽出することもできる。図２６のように特定テロップは競技区間に集中的に現れるため、番組全体で見ると偏在していることになる。
【０１５２】
そこで、テロップ選択部１０３で、特定テロップと推定されたテロップが存在する区間（例えば２００１）をまとめて競技区間として抽出する（個々の試技区間としては抽出されない）。隣り合う特定テロップが任意の間隔以下である場合は一連の競技区間として含め、間隔２００２が広い場合は競技区間に含めない。間隔の代わりに時間あたりの出現回数を閾値としてもよい。この場合、任意の回数を上回る特定区間が競技区間として抽出される。
【０１５３】
また、図２７に示すように、特定テロップを用いずに類似する画面が繰り返し登場する特定区間を競技区間としてもよい。一般的に試技のシーンはカメラのアングルや選手の動きが類似することが多く、類似する画面が繰り返し登場する。
【０１５４】
そこで、まず、映像中のフレーム又はシーンを相互に比較して特徴量が類似度するフレーム又はシーンのクラスタを生成しておき、時間当たりの登場回数が任意の値より大きいクラスタを選択したり、回数が多い順にクラスタを順次選択したりすることで、類似画面を選ぶ。
【０１５５】
次に、隣り合う類似画面との間隔が任意の値以下である場合は一連の競技区間（例えば２１０１）として含め、間隔２１０２が広い場合は競技区間に含めないようにして特定区間を決定する。
【０１５６】
また、類似画面を用いる代わりにカメラの動き（パンやズーム）によって生じた画面全体の動きが類似しているシーンを用いたり、音響、音声が類似するシーンを用いても同様にできる。
【０１５７】
（変更例３）
変更例３について説明する。
【０１５８】
上記各実施形態の映像処理装置１００では、主に陸上競技のフィールド種目を例に説明を行った。しかし、各実施形態の映像処理装置１００は、これらの種目に限定して適用されるものではない。
【０１５９】
例えば、スポーツではスキー（ジャンプ、モーグルなど）やフィギュアスケートなど採点が行われる競技には一般に適用できる。
【０１６０】
また、競技タイムテロップ検出が適用可能な競技を含めて適用することもできる。例えば、スキーのアルペン種目（滑走タイムを競う種目）ではスタート時の画面と共に選手名が表示され、ゴールすると選手名と記録が表示される。このような競技は競技タイムテロップを用いることもできるし、本実施形態を用いることもできる。
【０１６１】
また、スポーツ以外のジャンルで、演技や演奏、講演などにも適用できる。例えば、音楽番組で曲の始まりで歌手や曲名のテロップが表示され、曲の終わりで表示されるものがあるが、このような番組にも適用可能である。
【０１６２】
また、バラエティ番組（お笑い番組）、芸人が次々とネタを披露するような番組で登場時とネタの終了時の両方に名前が表示されるような番組に対しても適用可能である。
【０１６３】
このように、演技や演奏、講演の前後に人物や団体、題目、曲目などのテロップが表示される番組には総じて適用することが可能である。
【図面の簡単な説明】
【０１６４】
【図１】本発明の第１の実施形態の映像処理装置の構成を示すブロック図である。
【図２】第１の実施形態における映像処理装置の動作を示すフローチャートである。
【図３】従来技術の課題について説明する図である。
【図４】本発明に基本的な考え方について説明する概念図である。
【図５】テロップ選択部の第１の構成例を示すブロック図である。
【図６】テロップ選択部の第２の構成例を示すブロック図である。
【図７】テロップ選択部の第２の構成例の処理を説明する図である。
【図８】対応付け部の第１の構成例を示すブロック図である。
【図９】対応付け部の第１の構成例の処理を説明する図である。
【図１０】対応付け部の第２の構成例を示すブロック図である。
【図１１】対応付け部の第２の構成例の処理を説明する図である。
【図１２】対応付け部の第３の構成例を示すブロック図である。
【図１３】対応付け部の第３の構成例の処理を説明する図である。
【図１４】対応付け部の第４の構成例を示すブロック図である。
【図１５】対応付け部の第４の構成例の処理を説明する図である。
【図１６】重複区間の処理を説明する図である。
【図１７】重複区間の処理を示すフローチャートである。
【図１８】第２の実施形態の映像処理装置の構成を示すブロック図である。
【図１９】第２の実施形態の映像処理装置の動作を示すフローチャートである。
【図２０】特定区間推定について説明する図である。
【図２１】第３の実施形態の映像処理装置の構成を示すブロック図である。
【図２２】第３の実施形態の映像処理装置の動作を示すフローチャートである。
【図２３】第３の実施形態の特定区間推定について説明する図である。
【図２４】第３の実施形態の特定区間推定について説明する他の図である。
【図２５】変更例１の特定区間推定について説明する図である。
【図２６】変更例２の特定区間推定について説明する図である。
【図２７】変更例２の特定区間推定について説明する他の図である。
【符号の説明】
【０１６５】
１００ 映像処理装置
１０２ テロップ検出部
１０３ テロップ選択部
１０４ 対応付け部
１０５ 区間抽出部
【技術分野】
【０００１】
本発明は、特定区間を抽出し、短時間で番組を視聴することができる映像処理装置及びその方法に関する。
【背景技術】
【０００２】
ユーザが映像から見たいシーンだけを検索したり、要約映像を作成したりするには映像の時間区間に属性情報を付与しておく必要がある。そのためには映像から意味的にまとまった特定区間を抽出する技術が必要である。
【０００３】
そのような技術の１つにスポーツ中継映像からスタジオシーンなどを除いて実際に競技が行われている区間だけを抽出する技術がある。例えば、特許文献１ではスポーツ映像から競技区間を抽出する方法であり、試合の経過時間や残り時間を表す競技タイムテロップの表示区間を競技区間（特定区間）と判定している。具体的には周期的に変化する領域を含むテロップを競技タイムテロップとして検出し、検出区間ではカット点で映像を分割しないことで、競技区間をひとまとまりのシーンとする。
【特許文献１】特開２００８−７２２３２公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の従来技術は競技タイムテロップが表示されている区間を競技区間と見なしているため、競技タイムテロップが表示されないスポーツや種目では検出することができない。
【０００５】
例えば、陸上競技の中継番組では１００ｍ走やリレーなどのトラック種目と走り高跳びや砲丸投げなどのフィールド種目が混在していることが多い。しかし、フィールド種目には競技タイムテロップが表示されない（図３参照）。そのため、そのような番組から競技区間を抽出してもフィールド種目が抜け落ちてしまうという問題点がある。
【０００６】
そこで本発明は、上記従来技術の問題点を解決するためになされたものであって、タイムテロップを使用せず、特定区間を検出する映像処理装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、入力された映像に表示されたテロップを検出するテロップ検出部と、前記テロップから任意の条件を満たす特定テロップを選択するテロップ選択部と、前記複数の特定テロップの中で、任意の時間範囲内にある複数の特定テロップを一つのグループとして取得し、前記グループから２個の前記特定テロップを対応付ける対応付け部と、前記２個の前記特定テロップに挟まれた特定区間を抽出する区間抽出部と、前記抽出された特定区間を出力する出力部と、を備えることを特徴とする映像処理装置である。
【発明の効果】
【０００８】
本発明によれば、タイムテロップ検出だけでは検出することができなかった特定区間を検出できる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態の映像処理装置１００について図面に基づいて説明する。
【００１０】
本実施形態の映像処理装置１００は、競技タイムテロップを使用せず、各試技の前後に表示される選手名テロップから競技区間を検出する。図４に示すように、フィールド種目では試技の前に選手名やそれまでの記録を示すテロップが表示され、試技が終わると再び選手名とその試技の結果を表示するというパターンが多用される。そこで、同一人物の選手名テロップのグループを検出し、それらに挟まれる特定区間を試技区間として検出することでフィールド種目の競技区間を抽出する。
【００１１】
また、このようなテロップは陸上競技以外のスポーツや音楽番組、コメディなどスポーツ以外のジャンルの番組にも存在する。本実施形態はこのような特定区間の前後を挟むように表示されるテロップが用いられる番組一般について、特定区間を抽出することができる。
【００１２】
（第１の実施形態）
本発明の第１の実施形態の映像処理装置１００について図１〜図２、図５〜図１７に基づいて説明する。
【００１３】
（１）映像処理装置１００の構成
図１は、本実施形態の映像処理装置１００を示すブロック図である。
【００１４】
映像処理装置１００は、入力部１０１、テロップ検出部１０２、テロップ選択部１０３、対応付け部１０４、区間抽出部１０５、出力部１０６とを備えている。
【００１５】
なお、この映像処理装置１００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、テロップ検出部１０２、テロップ選択部１０３、対応付け部１０４、区間抽出部１０５、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、映像処理装置１００は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【００１６】
テロップ検出部１０２は、入力部１０１より入力された映像内に表示されるテロップを検出する。なお、「テロップ」とは、文字に限らず、画面上に合成された文字又は画像を指す。また、文字を含まない画像だけのロゴマークのようなものもテロップと呼ぶ。
【００１７】
テロップ選択部１０３は、前記検出されたテロップのうち、任意の条件を満たすものを特定テロップとして選択する。なお、「特定テロップ」とは特定区間を決定するために指標となるテロップのことで、特定区間の前後を挟む形で表示される。例えば、スポーツ映像における試技の前後に表示される選手名や記録を示すテロップが特定テロップに該当する。また、スポーツ映像に限ったものではなく、音楽番組における歌の前後や芸人が順番にネタを披露するようなお笑い番組において、各芸人の登場前後に表示されるようなテロップも特定テロップに含む。
【００１８】
対応付け部１０４は、前記選択された特定テロップのうち、任意の時間範囲内にあるものをグループとして取得し、その中から２個の特定グループを対応付ける。
【００１９】
区間抽出部１０５は、前記対応付けられた２個の特定テロップに挟まれた特定区間を抽出して出力部１０６から出力する。
【００２０】
（２）映像処理装置１００の動作
次に、図１及び図２を用いて、映像処理装置１００の動作について説明する。図２は、映像処理装置１００の動作を示すフローチャートである。
【００２１】
（２−１）ステップＳ１０１
まず、ステップＳ１０１において、映像処理装置１００は、入力部１０１より映像の構成要素である画像（フレーム）を順次取得する。取得した画像はテロップ検出部１０２に送られる。なお、本明細書では、「映像」とは時系列の画像列（フレーム列）を意味し、「画像」とは一枚のフレームを意味する。
【００２２】
（２−２）ステップＳ１０２
次に、ステップＳ１０２において、テロップ検出部１０２は、テロップと推定される画像領域が存在するか否かを判定すると共に、テロップと推定される画像領域が存在している場合にはその座標群を計算する。
【００２３】
テロップ検出部１０２は、テロップと推定された画像領域の情報をテロップ選択部１０３に送る。
【００２４】
テロップと推定される画像領域の存在有無や、その画像を特定する方法としては、例えば特許第３６５５１１０号公報や特開２００７−２７４１５４公報などの方法を用いることができる。しかし、本実施形態はテロップ検出方法によりその実現形態が限定されるものではなく、このほかのテロップ検出方法を用いても実現可能である。
なお、テロップと推定する領域は厳密に文字の部分だけであってもよいし、文字と共に表示される周辺の装飾などの領域を含んでもよい。また、ロゴマークやイラスト等、文字以外のものでも構わない。
【００２５】
（２−３）ステップＳ１０３
次に、ステップＳ１０３において、テロップ選択部１０３は、特定テロップの条件を満たすか否かが判定する。
【００２６】
テロップ選択部１０３によって選択された特定テロップは対応付け部１０４に送られる。
【００２７】
（２−４）ステップＳ１０４
次に、ステップＳ１０４において、対応付け部１０４は、時間的に任意の範囲内にある複数の特定テロップを、一つのグループとして取得する。
【００２８】
時間的に任意の範囲内にある条件の第１の例を説明する。映像の先頭から数えてｉ番目に位置する特定テロップをＴｉとすると、パラメータｎを用いて、ＴｉからＴｉ＋ｎの間にある特定テロップを条件を満たすテロップとする。すなわち、ｎ＝１であれば隣接する特定テロップ、ｎ＝２であれば隣接する特定テロップとその１つ先の特定テロップが、一つのグループとして取得される。
【００２９】
第２の例としては、Ｔｉから時間ｔの範囲にある特定テロップを一つのグループとして取得する。
【００３０】
また、第１の例と第２の例で挙げた例を論理和（ＯＲ）や論理積（ＡＮＤ）などの形で組み合わせを用いてもよい。
【００３１】
なお、これらの条件はあくまで例であり、実施形態を限定するものではない。
【００３２】
（２−５）ステップＳ１０５
次に、ステップＳ１０５において、対応付け部１０４は、一つのグループに含まれる各々の特定テロップが同じ対象に対応付いているか否かを、下記で示す条件に基づいて判定する。そして、対応付けられた２個の特定テロップは、区間抽出部１０５に送られる。
【００３３】
（２−６）ステップＳ１０６
ステップＳ１０６において、区間抽出部１０５は、対応付けられた２個の特定テロップに挟まれた特定区間を抽出して、出力部１０６から出力する。
【００３４】
このとき抽出する特定区間には、特定テロップの表示区間やその前後区間も適宜含めてよい。例えば、始端の特定テロップが出現する直前のカット点（シーンの切り替わり）から終端の特定テロップが消失した直後のカット点までを抽出する。
【００３５】
また、複数の特定区間をまとめてもよい。例えば、スポーツの個々の試技区間を検出した後にこれらをまとめて競技区間とする。
【００３６】
（３）テロップ選択部１０３の第１の構成例
図５は、テロップ選択部１０３の第１の構成例である。
【００３７】
テロップ選択部１０３は、図５に示すように領域属性分類部３０１、出現密度選択部３０２、表示位置選択部３０３を備える。
【００３８】
領域属性分類部３０１は、テロップと推定された領域の属性に基づいてテロップを分類する。属性としては例えば、色や位置、大きさ、出現時刻などを用いる。
【００３９】
出現密度選択部３０２は、領域属性分類部３０１において分類されたテロップのグループの出現密度を算出し、任意の閾値より出現密度が高いグループのテロップを選択したり、また、出現密度が高いグループから順次選択する。例えば、出現密度は、時間長ｔｄの間にＮ回出現したとき、Ｎ／ｔｄとして算出できる。
【００４０】
表示位置選択部３０３は、テロップの表示位置に基づいてテロップを選択する。例えば、テロップと推定された領域の座標群が画面内の任意の範囲にあるものを選択する。
【００４１】
出現密度選択部３０２、表示位置選択部３０３による選択結果は論理和、論理積などの形で、組み合わせて利用してもよい。また、一方だけを用いてもよい。一方だけを用いる場合、テロップ選択部１０３を領域属性分類部３０１と出現密度選択部３０２だけの構成、又は、表示位置選択部３０３だけの構成も可能である。
【００４２】
（４）テロップ選択部１０３の第２の構成例
図６は、テロップ選択部１０３の第２の構成例である。
【００４３】
テロップ選択部１０３は、テロップモデル入力部４０１、類似度算出部４０２、類似度判定部４０３を備える。
【００４４】
テロップモデル入力部４０１は、特定テロップの特徴を表したモデルを入力する。例えば、特定テロップが共通した色使いや装飾を持つ場合これらを雛形とした画像データのモデルを用いたり、位置や大きさが分かっている場合はこれらの座標群によるモデルを用いたりする。画像データを用いたモデルの場合、各画素の色などをそのまま用いてもよいし、Ｓｏｂｅｌフィルタなどによって得られるエッジの強度を用いてもよいし、色の分布を示すヒストグラム情報などを用いてもよい。また、これら以外の方法でモデルを表現しても構わない。
【００４５】
類似度算出部４０２は、テロップモデル入力部４０１に入力されたテロップモデルとテロップ検出部１０２で検出されたテロップの類似度である差分を算出する。例えば、テロップモデルが画像データである場合、検出されたテロップとの座標（ｘ，ｙ）における画素値の差分をｄ（ｘ，ｙ）とするとΣｘΣｙｄ（ｘ，ｙ）を類似度とする。但し、ΣｘΣｙはテロップモデルと検出されたテロップの重複領域においてすべてのx，yの組み合わせについて後ろの項、つまり、ｄ（ｘ，ｙ）を繰り返し加算することを示す。ｄ（ｘ，ｙ）は例えば、ｄ（ｘ，ｙ）＝（Ｖ０（ｘ，ｙ）−Ｖｉ（ｘ，ｙ））２とする。但し、Ｖ０（ｘ，ｙ）は座標（ｘ，ｙ）におけるモデルの画像データの輝度、Ｖｉ（ｘ，ｙ）は検出されたテロップの画像データの輝度である。
【００４６】
類似度判定部４０３は、類似度算出部４０２で算出した類似度が任意の閾値を上回っているかを判定し、上回っている場合に検出されたテロップを特定テロップとする。
【００４７】
図７は画像データを用いたテロップモデルについて説明する図である。特定テロップ近傍の装飾などを含むテロップ領域５０２を含むフレーム５０１をテロップモデルとする。これをテロップ５０４を含む映像フレーム５０３と比較するとテロップ領域の類似度が高いため、テロップモデルと合致すると判定され、テロップ５０４が特定テロップとして選択される。一方、テロップ５０６を含む映像フレーム５０５と比較するとテロップ領域の類似度が低いため、テロップモデルに合致しないと判定され、特定テロップとはならない。
【００４８】
なお、テロップモデルは予め作成しておいたものを入力してもよい。また、テロップ選択部１０３の第１の構成を用いて映像の前半の特定区間で選択した特定テロップからテロップモデルを作成し、後半の特定区間を第２の構成を用いて処理してもよい。
【００４９】
また、検出したい特定テロップの色や大きさなどが予め分かっている場合、テロップ検出部１０２とテロップ選択部１０３の処理は同時に行うこともできる。つまり、検出したい特定テロップのモデルと各映像フレームの類似度を計算し、類似度が任意の値を上回る場合、そこにはテロップが存在し、それは特定テロップであると判定できる。
【００５０】
（５）対応付け部１０４の第１の構成例
図８は、対応付け部１０４の第１の構成例である。
【００５１】
対応付け部１０４は、グループ取得部６０１、画像特徴量算出部６０２、類似度判定部６０３を備える。
【００５２】
グループ取得部６０１は、少なくとも２つの特定テロップを選び、それらが時間的に任意の範囲内にある場合に一つのグループとして取得する。
【００５３】
画像特徴量算出部６０２は、このグループの個々の特定テロップの画像特徴量を算出する。
【００５４】
類似度判定部６０３は、この画像特徴量に基づいて各特定テロップがどれだけ相違しているかを示す類似度を算出し、その類似度が任意の閾値より大きいか否かを判定する。任意の閾値よりも大きい場合に特定テロップが同じ対象に対応付いていると判断する。
【００５５】
この対応付け部１０４の構成は、特定テロップの内容自体が同一又はそれに準じるものであるかを判定することを目的としている。そのため、画像特徴量算出部６０２で算出される画像特徴量はその目的を達するものであればなんでもよい。
【００５６】
第１の例としては、特定テロップと推定される領域の各画素値をそのまま特徴量とすることである。このときの類似度は各画素値の差分の領域全体における和となる。
【００５７】
第２の例としては、画素値をそのまま用いるのではなく、エッジ強度を算出して用いたり、領域の色ヒストグラム分布を用いたり、各画素が隣接画素と比較して大きいか、小さいかを示す符号を用いたりしてもよい。
【００５８】
第３の例としては、文字の部分をＯＣＲによって文字認識し、画像データからテキストデータに変換してテキストデータを画像特徴量としてもよい。この場合の類似度の算出はテキストデータのマッチングにより行う。
【００５９】
図９は、対応付け部１０４の第１構成例の処理について説明する図である。
【００６０】
グループ取得部６０１で特定テロップ７０１と７０２が取得されたとする。このとき、画像特徴量算出部６０２で算出される特定テロップ７０１と７０２の画像特徴量の類似している（類似度が大きい）と類似度判定部６０３で判定された場合、区間抽出部１０５において両者に挟まれる特定区間７０３が抽出される。
【００６１】
（６）対応付け部１０４の第２の構成例
図１０は、対応付け部１０４の第２の構成である。
【００６２】
対応付け部１０４は、グループ取得部８０１、顔情報取得部８０２、顔情報選択部８０３、類似度判定部８０４を備える。
【００６３】
グループ取得部８０１は、少なくとも２つの特定テロップを選び、それらが時間的に任意の範囲内にある場合に一つのグループとして取得する。
【００６４】
顔情報取得部８０２は、映像の中に登場する顔情報を取得する。取得する顔情報の例としては顔の位置や特徴点を示す座標群などである。色や顔の向きなどの情報を含めてもよい。取得方法は既存の顔検出方法を用いてもよいし、既に何らかの方法で得られている顔情報を入力してもよい。顔情報を取得する特定区間は映像全体である必要はなく、対応づけを行いたい特定テロップから任意の時間範囲に出現する顔情報だけを取得してもよい。
【００６５】
顔情報選択部８０３は、特定テロップを対応付けるために、前記グループに含まれる各々の特定テロップそれぞれに対し、特定テロップを有する画像に写った顔の特徴量を表す顔情報を選択する。
【００６６】
しかし、特定テロップを有する画像に顔が写っていない場合がある。このときは、この特定テロップを有する画像の時間的に近傍にある画像に写った顔の顔情報を選択する。例えば、選択する顔情報は、対応付けたい特定テロップの出現時刻に最も時間的に近いフレームを用いる。また、特定テロップの出現した時刻の直前の画像に写った顔を用いてもよい。
【００６７】
また、特定テロップが表示されている時間特定区間に含まれるものの中で最も正面を向いているものや最も大きいもの、画面中央に位置するものを用いてもよい。
【００６８】
類似度判定部８０４は、顔情報選択部８０３において選択された顔同士がどれだけ相違しているかを示す顔の特徴量の類似度を算出し、その類似度が任意の閾値より小さいか否かを判定する。任意の閾値よりも小さい場合に特定テロップが同じ対象に対応付いていると判断する。
【００６９】
図１１は対応付け部１０４の第２の構成例の処理について説明する図である。
【００７０】
グループ取得部８０１は、特定テロップ９０１、９０２を取得する。このとき、特定テロップ９０１の表示されている映像フレームには顔が映っているが、特定テロップ９０２が映っている映像フレームには顔が映っていない。
【００７１】
そこで、顔情報選択部８０３は、特定テロップ９０２が出現した時刻の直前の顔を映像フレーム９０３から取得する。
【００７２】
類似度判定部８０４は、２つの顔が同一の人物と判定されるだけ特徴量が類似している場合には、特定テロップ９０１、９０２が対応づけられ、区間抽出部１０５において両者に挟まれる特定区間９０４が抽出される。
【００７３】
（７）対応付け部１０４の第３の構成例
図１２は、対応付け部１０４の第３の構成例である。
【００７４】
対応付け部１０４は、グループ取得部１００１、区間情報取得部１００２、時間間隔判定部１００３を備える。
【００７５】
グループ取得部１００１は、少なくとも２つの特定テロップを選び、それらが時間的に任意の範囲内にある場合に一つのグループとして取得する。
【００７６】
区間情報取得部１００２は、前記グループに含まれる各々の特定テロップの区間情報を取得する。例えば、区間情報とは、テロップが出現した時刻、消失した時刻である。それらの情報から算出できる中間点などの時刻を用いてもよい。
【００７７】
類似度判定部１００３は、区間情報に基づいて一つのグループに含まれる特定テロップがどれだけ離れているかを示す時間間隔を算出し、時間間隔が任意の条件を満たす場合に特定テロップが同じ対象に対応付いていると判断する。任意の条件とは例えば、対応付けるテロップ間の時間間隔が他のテロップとの時間間隔と比較して最も近い場合に条件を満たしていると判定したり、また、テロップ間の時間間隔が任意の閾値よりも小さい場合に条件を満たしていると判定したりする。
【００７８】
図１３は、対応付け部１０４の第３の構成例の処理について説明する図である。
【００７９】
グループ取得部６０１が、特定テロップ１１０１、１１０２のグループと特定テロップ１１０２、１１０３のグループを取得する。このとき、区間情報取得部１００２で得られたそれぞれの区間情報から時間間隔判定部１００３で特定区間１１０４の時間間隔と特定区間１１０５の時間間隔を算出する。
【００８０】
そして、特定区間１００４の方が特定区間１１０５よりも時間間隔が短いので、特定テロップ１１０１、１１０２を対応づけ、区間抽出部１０５において両者に挟まれる特定区間１１０４が抽出される。
【００８１】
（８）対応付け部１０４の第４の構成例
図１４は、対応付け部１０４の第４の構成例である。
【００８２】
対応付け部１０４は、グループ取得部１２０１、音響情報取得部１２０２、音響情報判定部１２０３を備える。
【００８３】
グループ取得部１２０１は、少なくとも２つの特定テロップを選び、それらが時間的に任意の範囲内にある場合に一つのグループとして取得する。
【００８４】
音響情報取得部１２０２は、前記グループに含まれる各特定テロップによって挟まれる特定区間の音響情報を取得する。音響情報とは、音響信号又は音声信号を意味し、映像に付随する音響信号そのものであってもよい。また、音響信号を解析した特徴量情報、例えば、周波数情報や音響パワー（音の大きさ）、ケプストラム、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）などでもよい。また、それらの情報を解析することによって、音響信号がどのような信号であるのか意味づけした情報でもよい。この解析とは、特定の周波数成分が含まれるか否か、特定の音響モデルとのマッチング、音声認識などである。この情報としては、例えば、音響信号が歓声や拍手、話し声、投てき競技の選手の大声、歌声、音楽などであるか否かを示す情報である。なお、これらの解析処理は音響情報取得部１２０２で行ってもよいし、解析処理は行わず外部から情報を入力してもよい。
【００８５】
音響情報判定部１２０３は、音響情報が任意の条件を満たしているか判定を行い、満たしている場合に音響情報を取得した特定区間を挟む特定テロップが同じ対象に対応付いていると判断する。この条件としては、次のようなものがある。
【００８６】
第１の条件は、周波数情報の特定の周波数成分が高いなど、分布が任意のパターンと類似しているか否かである。
【００８７】
第２の条件は、音響パワーが任意の閾値より大きいか否かなど、特徴量を用いる。
【００８８】
第３の条件は、音響信号が歓声や拍手、話し声、投てき競技の選手の大声、歌声、音楽などであるか否かなど、意味付けされた内容を用いてもよい。
【００８９】
図１５は、対応付け部１０４の第４の構成例の処理について説明する図である。
【００９０】
グループ取得部１２０１が、特定テロップ１３０１、１３０２のグループと特定テロップ１３０２、１３０３のグループを取得したとする。このとき、特定テロップ１３０１、１３０２の間の特定区間１３０４には拍手、歓声など、任意の条件を満たす音響信号１３０５が含まれるので、特定テロップ１３０１、１３０２を対応づける。
【００９１】
しかし、特定テロップ１３０２、１３０３の間の区間１３０６には任意の条件を満たす音響信号は含まれないので、特定テロップ１３０２、１３０３は対応づけない。
【００９２】
その結果、区間抽出部１０５において特定区間１３０４が抽出される。
【００９３】
（９）対応付け部１０４の第４の構成例の変更例
対応付け部１０４の第４の構成例の変更例について説明する。
【００９４】
対応付け部１０４の第４の構成例と同様の効果は、音響信号ではなく画像の特徴量を用いて得ることもできる。
【００９５】
試技の場面では同じカメラアングルやカメラワークで撮影された映像が多くなる。選手の動作も大きくは違わない。そのため、試技に関連しての任意の条件を満たす画像特徴量が特定テロップの間の特定区間に含まれるか否かによって、対応づけを行うかどうか判定することができる。
【００９６】
（１０）対応付け部１０４の変更例
対応付け部１０４の第１〜４の構成例の変更例について説明する。
【００９７】
スポーツ競技において、試技の前後だけでなく、休憩している合間などに映ったときにも選手名を示すテロップが表示される場合がある。このような場合に特定テロップを対応づけてしまうと試技ではない特定区間が抽出されてしまう。そこで、選手名のテロップと共に表示される記録を示すテロップを含めて特定テロップとして扱い、記録を示すテロップが変化している特定テロップだけを対応づける。記録を示すテロップが変化していればその間に試技が行われたと推定できるためである。また、選手名のテロップが同一であり、順次記録が変化している特定区間だけを抽出すれば、特定の選手の試技だけを一連のものとして抽出できる。
【００９８】
選手名テロップの対応付けには、対応付け部１０４の第１〜４の構成例を用いる。記録のテロップが変化していることを検出するには対応付け部１０４の第１構成例において、対応づけがなされないことを検出すればよい。
【００９９】
また、記録の変化を伴うテロップであるかどうかに基づいてテロップ選択部１０３は特定テロップを選択することもできる。すなわち、テロップ選択部１０３の第１の構成例や第２の構成例を用いて特定テロップ候補を選択し、それらが記録の変化を伴う場合に特定テロップと決定する。
【０１００】
（１１）特定区間が重複する場合
ここまで説明した処理によって、同じ対象に関連すると推定された前記グループに挟まれた特定区間を抽出することができる。しかし、映像によっては第１のグループと第２のグループが重複する場合がある。
【０１０１】
例えば、１人目の選手の試技が終了し、結果が出る前に、次の選手が試技を行うような場合である。そのような映像では図１６のように第１のグループの終端テロップよりも、第２のグループの始端テロップが先に出現し、重複区間１４０１が生じる。
【０１０２】
このような場合、特定テロップ１４０２より後ろの部分は２人目の選手が映っていると推定されるので、その前までの特定区間１４０３を１人目の選手に対応する特定区間とする。なお、終端テロップとは前記グループのうち、抽出する特定区間の終端を決める特定テロップである。同様に始端テロップとは特定テロップ組のうち、抽出する特定区間の始端を決める特定テロップである。
【０１０３】
図１７はこのように特定区間が重複する場合の処理を行うためのフローチャートである。
【０１０４】
まず、ステップＳ２０１において、対応付け部１０４は、初めに前記グループを２つ取得する。
【０１０５】
次に、ステップＳ２０２において、対応付け部１０４は、第１のグループの終端テロップと第２のグループの始端テロップの表示時刻を比較する。
【０１０６】
次に、ステップＳ２０３において、対応付け部１０４は、第１のグループの終端テロップよりも第２のグループの始端テロップが前に位置する場合、第１のグループに対応する特定区間の終端を第２のグループの始端テロップとする。
【０１０７】
そうでない場合は、ステップＳ２０４において、対応付け部１０４は、第１のグループに対応する特定区間の終端を第１のグループの終端テロップとする。
【０１０８】
最後に、ステップＳ２０５において、対応付け部１０４は、最後に第１のグループの始端テロップとステップＳ２０３、又は、Ｓ２０４で求めた終端との間に含まれる特定区間を第１のグループに対応する特定区間として抽出する。
【０１０９】
なお、特定テロップ自身の特定区間を抽出する特定区間に含めるかについては目的に応じて、含めても含めなくてもよい。一方だけを含めてもよい。例えば、始端だけと含めて、終端は含めなくてもよい。
【０１１０】
（第２の実施形態）
本発明の第２の実施形態の映像処理装置１００について図１８〜図１９に基づいて説明する。
【０１１１】
図３で示したように、スポーツ競技においては、本実施形態による特定区間の抽出は、競技タイムテロップ２０１による区間抽出と補間的な関係にある。一部の種目（例えば、陸上のトラック種目）の競技区間を競技タイムテロップを検出することで抽出し、他の種目（例えば、陸上のフィールド種目）の競技区間を本実施形態による特定区間検出によって抽出できる。
【０１１２】
そこで、本実施形態は、競技タイムテロップの表示されている区間、又は、競技タイムテロップに基づき競技区間と推定された特定区間を除いて処理を行う。
【０１１３】
（１）映像処理装置１００の構成
図１８は、本実施形態の映像処理装置１００を示すブロック図である。
【０１１４】
映像処理装置１００は、第１の実施形態の構成要素である入力部１０１、テロップ検出部１０２、テロップ選択部１０３、対応付け部１０４、区間抽出部１０５、出力部１０６に加えて、タイムテロップ情報入力部１５０１を備えている。
【０１１５】
タイムテロップ情報入力部１５０１は、タイムテロップの情報を入力する。タイムテロップは特許文献１などの方法によって検出することができる。
【０１１６】
その他の構成要素は、第１の実施形態と同じであるため、詳細な説明は省略する。
【０１１７】
（２）映像処理装置１００の動作
次に、図１８及び図１９を用いて、本実施形態の映像処理装置１００の動作について説明する。図１９は、本実施形態の映像処理装置１００の動作を示すフローチャートである。
【０１１８】
第１の実施形態の映像処理装置１００の動作との違いはタイムテロップ情報入力部１５０１からタイムテロップ情報を入力し（Ｓ３０１）、タイムテロップ情報に基づき競技タイムテロップが表示されている区間、又は、競技タイムテロップから競技区間と推定された区間を処理対象から除くことである（Ｓ３０２）。
【０１１９】
以降のステップは、処理対象区間のみに対し、第１の実施形態の映像処理装置１００と同様にステップＳ１０１〜Ｓ１０６までの処理を行う。
【０１２０】
本実施形態の映像処理装置１００を用いることで処理量を低減したり、競技タイムテロップから推定される区間に偶然出現した特定テロップと同類のテロップによる意図しない区間の抽出を抑制できる。
【０１２１】
（第３の実施形態）
本発明の第３の実施形態の映像処理装置１００について図２０〜図２４に基づいて説明する。
【０１２２】
上記各実施形態では、特定テロップの対応付けができなかった区間は抽出することができない。しかし、実際の番組では始端又は終端の一方が出現しない場合がある。図２０はこのような例について説明する図である。
【０１２３】
例えば、陸上競技のトラック種目を中継中に他の映像１６０１が挿入されたとき、次の選手の試技が開始されても始端テロップの表示が間に合わず、記録を表示するための終端テロップ１６０２のみが表示されることがある。他の映像１６０１とは例えば、同時に開催している他の種目、ＣＭ、番組の間に放送されるニュース、リプレイなどのＶＴＲなどである。
【０１２４】
そこで、本実施形態は、このような場合においても対応付けできた区間１６０３をもとに特定区間を推定する。
【０１２５】
（１）映像処理装置１００の構成
図２１は、本実施形態の映像処理装置１００を示すブロック図である。
【０１２６】
映像処理装置１００は、第１の実施形態の構成要素である入力部１０１、テロップ検出部１０２、テロップ選択部１０３、対応付け部１０４、区間抽出部１０５、出力部１０６に加えて、区間推定部１７０１を備えている。
【０１２７】
区間推定部１７０１は、対応付け部１０４において、対応付けできた特定テロップの情報に基づき、対応付けできなかったテロップに対応する特定区間を推定する。
【０１２８】
その他の構成要素は、第１の実施形態と同じであるため、詳細な説明は省略する。
【０１２９】
（２）映像処理装置１００の動作
次に、図２１及び図２２を用いて、映像処理装置１００の動作について説明する。なお、図２１は、映像処理装置１００の動作を示すフローチャートである。
【０１３０】
初めに、第１の実施形態の映像処理装置１００と同様にステップＳ１０１からＳ１０６までの処理を行う。
【０１３１】
次に、ステップＳ４０１において、区間推定部１７０１は、区間抽出部１０５で抽出された区間情報に基づき特定区間モデルを作成する。「特定区間モデル」とは例えば、特定区間の平均時間長や始端テロップから終端テロップまでの特定区間（前後も含んでよい）の画像や音響の特徴量である。
【０１３２】
次に、ステップＳ４０２において、区間推定部１７０１は、対応付け部１０４において対応付けできなかった特定テロップを取得する。例えば、図２０の終端１６０２のようなテロップである。
【０１３３】
最後に、ステップＳ４０３において、区間推定部１７０１は、ステップＳ４０１で作成した特定区間モデルに基づき、ステップＳ４０２で取得した特定テロップに対応する特定区間を推定する。
【０１３４】
（３）区間推定部１７０１の動作
区間推定部１７０１が、ステップＳ４０３において特定区間を推定する方法の具体例について説明する。
【０１３５】
第１の方法は、特定区間モデルとして平均時間長を用い、ステップＳ４０２で取得した特定テロップが始端又は終端のいずれであるかを映像毎に決めておく。そして、平均時間長の長さだけ時間を進めた位置までを特定区間として推定する（終端を探す場合）又は遡った位置までを特定区間として推定する（始端を探す場合）。
【０１３６】
第２の方法は、始端テロップから終端テロップまでの特定区間（前後も含めてもよい）の一部又は全部の範囲から抽出した画像や音響の特徴量を特定区間モデルとして用いる。例えば、選手が試技を始めるときの画像や試技中の画像は毎回、類似した画像となると推定されるので、これらの画面から輝度、色、動きなどの情報を特徴量とする。そして、ステップＳ４０２で取得した特定テロップの近傍で類似する画像特徴量を持つ部分を探して抽出する特定区間を推定する。音声を用いた場合も同様である。拍手や歓声などが起こるタイミングは選手が違っても試技毎に類似すると推定される。そのため、類似する音響の特徴量を持つ部分を探索し、特定区間を推定する。
【０１３７】
第１の方法と第２の方法を組み合わせて用いることもできる。例えば、試技中の画面や拍手、歓声の特徴量を使って特定テロップが始端なのか終端なのかを推定し、その結果に合わせて平均時間長だけ時間を進めるか戻すかを決定する。
【０１３８】
（４）その他の例
図２３は、始端の特定テロップが省略される他の例について説明する図である。
【０１３９】
図２３に示すように、複数回の試技１８０１をダイジェストとして、まとめて放送する場合が当てはまる。試技の映像とその記録を含む特定テロップ（終端）だけが次々と表示されるので、対応づけできない特定テロップが該当特定区間に連続して出現する。
【０１４０】
このような例で試技区間を抽出するには、対応づけできなかった特定テロップのうち、隣接する特定テロップとの間隔が閾値以下のものをグルーピングし、グループの要素が任意の数以上である場合に、最も時刻の離れた特定テロップに囲まれた特定区間をまとめて試技区間として抽出する。間隔の代わりに時間当たりに出現する回数（出現密度）を用いて、任意の回数を上回っているかを判定基準としてもよい。
【０１４１】
また、このような特定テロップを試技毎に比較すると、選手名の部分は同じで、記録の部分だけが更新されていく。このとき、更新は一定のパターンに基づいて行われるので、特定テロップに一定のパターンに基づいて更新される部分領域が存在するか否かを判定する。存在する場合には、最も時刻の離れた特定テロップに囲まれた特定区間をまとめて試技区間として抽出する。部分領域はフレーム間差分を求めたり、新たに出現したテロップ領域を検出したりすることで見つける。
【０１４２】
図２４は、記録が更新されるパターンの例について説明した図である。３通りの例があり、左側が直前の試技後の特定テロップ、右側が今回の試技後の特定テロップで、新たに「記録３」が追加又は上書きされる。
【０１４３】
いずれの特定区間抽出方法でも最初の特定区間の始端の特定テロップ１８０２が省略されていると推定される場合、区間推定部１７０１を用いて推定を行うことができる。始端の特定テロップ１８０２が省略されていると推定する方法は先頭の終端特定テロップ１８０３の直前の特定区間にテロップ１８０３より後ろの特定区間（各終端テロップに挟まれた特定区間）と映像や音響の特徴量が類似する特定区間が存在するかを判定する。存在する場合に始端１８０２が省略されていると推定する。
【０１４４】
（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１４５】
以下、変更例について説明する、
（１）変更例１
変更例１について図２５に基づいて説明する。
【０１４６】
番組や種目によっては試技が終了し、記録が出るまでに時間がかかるものがある。
【０１４７】
例えば、図２５のように試技を行う時間１９０１の後に記録の計測や判定、得点集計などのための時間１９０２が存在するケースである。そのような映像で始端テロップと記録が表示される終端テロップの間の区間１９０３をそのまま抽出すると、試技を行っていない区間も多く含んでしまう。
【０１４８】
そこで、変更例１の映像処理装置１００は、始端テロップと終端テロップの間の区間の長さが任意の時間長を超える場合には一部の区間だけを抽出する。
【０１４９】
例えば、始端より任意の時刻の位置１９０４より前の区間を抽出する。位置１９０４は一定の値に定めてもよいし、他の区間（始端から終端までの特定区間）を統計的に処理して求めた値（例えば、平均値）をもとに定めてもよいし、区間１９０３に対する割合（例えば、中間点）などを用いてもよい。
【０１５０】
（２）変更例２
変更例２について図２６、図２７に基づいて説明する。
【０１５１】
上記各実施形態の映像処理装置１００では、特定テロップを対応づけてその間に含まれる試技区間を抽出したが、個々の試技区間ではなく競技区間全体をまとめて抽出する場合は対応付けを行わずに抽出することもできる。図２６のように特定テロップは競技区間に集中的に現れるため、番組全体で見ると偏在していることになる。
【０１５２】
そこで、テロップ選択部１０３で、特定テロップと推定されたテロップが存在する区間（例えば２００１）をまとめて競技区間として抽出する（個々の試技区間としては抽出されない）。隣り合う特定テロップが任意の間隔以下である場合は一連の競技区間として含め、間隔２００２が広い場合は競技区間に含めない。間隔の代わりに時間あたりの出現回数を閾値としてもよい。この場合、任意の回数を上回る特定区間が競技区間として抽出される。
【０１５３】
また、図２７に示すように、特定テロップを用いずに類似する画面が繰り返し登場する特定区間を競技区間としてもよい。一般的に試技のシーンはカメラのアングルや選手の動きが類似することが多く、類似する画面が繰り返し登場する。
【０１５４】
そこで、まず、映像中のフレーム又はシーンを相互に比較して特徴量が類似度するフレーム又はシーンのクラスタを生成しておき、時間当たりの登場回数が任意の値より大きいクラスタを選択したり、回数が多い順にクラスタを順次選択したりすることで、類似画面を選ぶ。
【０１５５】
次に、隣り合う類似画面との間隔が任意の値以下である場合は一連の競技区間（例えば２１０１）として含め、間隔２１０２が広い場合は競技区間に含めないようにして特定区間を決定する。
【０１５６】
また、類似画面を用いる代わりにカメラの動き（パンやズーム）によって生じた画面全体の動きが類似しているシーンを用いたり、音響、音声が類似するシーンを用いても同様にできる。
【０１５７】
（変更例３）
変更例３について説明する。
【０１５８】
上記各実施形態の映像処理装置１００では、主に陸上競技のフィールド種目を例に説明を行った。しかし、各実施形態の映像処理装置１００は、これらの種目に限定して適用されるものではない。
【０１５９】
例えば、スポーツではスキー（ジャンプ、モーグルなど）やフィギュアスケートなど採点が行われる競技には一般に適用できる。
【０１６０】
また、競技タイムテロップ検出が適用可能な競技を含めて適用することもできる。例えば、スキーのアルペン種目（滑走タイムを競う種目）ではスタート時の画面と共に選手名が表示され、ゴールすると選手名と記録が表示される。このような競技は競技タイムテロップを用いることもできるし、本実施形態を用いることもできる。
【０１６１】
また、スポーツ以外のジャンルで、演技や演奏、講演などにも適用できる。例えば、音楽番組で曲の始まりで歌手や曲名のテロップが表示され、曲の終わりで表示されるものがあるが、このような番組にも適用可能である。
【０１６２】
また、バラエティ番組（お笑い番組）、芸人が次々とネタを披露するような番組で登場時とネタの終了時の両方に名前が表示されるような番組に対しても適用可能である。
【０１６３】
このように、演技や演奏、講演の前後に人物や団体、題目、曲目などのテロップが表示される番組には総じて適用することが可能である。
【図面の簡単な説明】
【０１６４】
【図１】本発明の第１の実施形態の映像処理装置の構成を示すブロック図である。
【図２】第１の実施形態における映像処理装置の動作を示すフローチャートである。
【図３】従来技術の課題について説明する図である。
【図４】本発明に基本的な考え方について説明する概念図である。
【図５】テロップ選択部の第１の構成例を示すブロック図である。
【図６】テロップ選択部の第２の構成例を示すブロック図である。
【図７】テロップ選択部の第２の構成例の処理を説明する図である。
【図８】対応付け部の第１の構成例を示すブロック図である。
【図９】対応付け部の第１の構成例の処理を説明する図である。
【図１０】対応付け部の第２の構成例を示すブロック図である。
【図１１】対応付け部の第２の構成例の処理を説明する図である。
【図１２】対応付け部の第３の構成例を示すブロック図である。
【図１３】対応付け部の第３の構成例の処理を説明する図である。
【図１４】対応付け部の第４の構成例を示すブロック図である。
【図１５】対応付け部の第４の構成例の処理を説明する図である。
【図１６】重複区間の処理を説明する図である。
【図１７】重複区間の処理を示すフローチャートである。
【図１８】第２の実施形態の映像処理装置の構成を示すブロック図である。
【図１９】第２の実施形態の映像処理装置の動作を示すフローチャートである。
【図２０】特定区間推定について説明する図である。
【図２１】第３の実施形態の映像処理装置の構成を示すブロック図である。
【図２２】第３の実施形態の映像処理装置の動作を示すフローチャートである。
【図２３】第３の実施形態の特定区間推定について説明する図である。
【図２４】第３の実施形態の特定区間推定について説明する他の図である。
【図２５】変更例１の特定区間推定について説明する図である。
【図２６】変更例２の特定区間推定について説明する図である。
【図２７】変更例２の特定区間推定について説明する他の図である。
【符号の説明】
【０１６５】
１００ 映像処理装置
１０２ テロップ検出部
１０３ テロップ選択部
１０４ 対応付け部
１０５ 区間抽出部
【特許請求の範囲】
【請求項１】
入力された映像に表示されたテロップを検出するテロップ検出部と、
前記テロップから任意の条件を満たす特定テロップを選択するテロップ選択部と、
前記複数の特定テロップの中で、任意の時間範囲内にある複数の特定テロップを一つのグループとして取得し、前記グループから２個の前記特定テロップを対応付ける対応付け部と、
前記２個の前記特定テロップに挟まれた特定区間を抽出する区間抽出部と、
前記抽出された特定区間を出力する出力部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記テロップ選択部は、前記複数のテロップの中で、前記映像の画面上の表示位置に基づいて前記特定テロップを選択する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項３】
前記テロップ選択部は、前記複数のテロップの中で、前記テロップの出現密度に基づいて前記特定テロップを選択する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項４】
前記テロップの出現密度は、一定時間当たりに出現する回数を用いる、
ことを特徴とする請求項３の映像処理装置
【請求項５】
前記テロップ選択部は、
前記テロップと予め記憶したテロップモデルとの差分からなる類似度を求め、
前記類似度が第１の閾値以上のときに前記テロップを前記特定テロップとして選択する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項６】
前記対応付け部は、前記グループ中の複数の前記特定テロップの中で、時間的に隣接する２個の前記特定テロップを対応付ける、
ことを特徴とする請求項１記載の映像処理装置。
【請求項７】
前記対応付け部は、前記グループ中の前記各特定テロップの画像特徴量の類似度を求め、前記類似度が第２の閾値より高い２個の前記特定テロップを対応付ける、
ことを特徴とする請求項１記載の映像処理装置。
【請求項８】
前記対応付け部は、前記グループ中の前記特定テロップを有する画像中に登場する顔の特徴量を取得し、前記顔の特徴量の類似度を求め、前記類似度が第３の閾値より高い２個の前記特定テロップを対応付ける、
ことを特徴とする請求項１記載の映像処理装置。
【請求項９】
前記対応付け部は、前記グループ中の２組の前記特定テロップの時間間隔を求め、前記時間間隔が短い組の前記２個の特定テロップを対応付ける、
ことを特徴とする請求項１記載の映像処理装置。
【請求項１０】
前記対応付け部は、前記グループの間にある任意の音声信号又は音響信号を挟む２個の前記特定テロップを対応付ける、
ことを特徴とする請求項１記載の映像処理装置。
【請求項１１】
前記区間抽出部は、一の前記グループの中の２個の前記特定テロップによって挟まれる特定区間が、他の前記グループの中の２個の前記特定テロップによって挟まれる特定区間が、重複する場合に、時間的に後に位置する前記特定区間を、時間的に前に位置する前記特定区間から除外して前記特定区間を抽出する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項１２】
タイムテロップが表示されていない区間を検出するタイムテロップ情報入力部をさらに有し、
前記テロップ検出部は、前記タイムテロップが表示されていない区間から前記テロップを検出する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項１３】
前記対応付けできた前記特定テロップの情報に基づき、前記対応付けできなかった前記テロップに関する前記特定区間を推定する区間推定部をさらに有する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項１４】
入力された映像に表示されたテロップを検出するテロップ検出ステップと、
前記テロップから任意の条件を満たす特定テロップを選択するテロップ選択ステップと、
前記複数の特定テロップの中で、任意の時間範囲内にある複数の特定テロップを一つのグループとして取得し、前記グループから２個の前記特定テロップを対応付ける対応付けステップと、
前記２個の前記特定テロップに挟まれた特定区間を抽出する区間抽出ステップと、
前記抽出された特定区間を出力する出力ステップと、
を備えることを特徴とする映像処理方法。
【請求項１５】
入力された映像に表示されたテロップを検出するテロップ検出機能と、
前記テロップから任意の条件を満たす特定テロップを選択するテロップ選択機能と、
前記複数の特定テロップの中で、任意の時間範囲内にある複数の特定テロップを一つのグループとして取得し、前記グループから２個の前記特定テロップを対応付ける対応付け機能と、
前記２個の前記特定テロップに挟まれた特定区間を抽出する区間抽出機能と、
前記抽出された区間を出力する出力機能と、
をコンピュータに実現させるための映像処理プログラム。
【請求項１】
入力された映像に表示されたテロップを検出するテロップ検出部と、
前記テロップから任意の条件を満たす特定テロップを選択するテロップ選択部と、
前記複数の特定テロップの中で、任意の時間範囲内にある複数の特定テロップを一つのグループとして取得し、前記グループから２個の前記特定テロップを対応付ける対応付け部と、
前記２個の前記特定テロップに挟まれた特定区間を抽出する区間抽出部と、
前記抽出された特定区間を出力する出力部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記テロップ選択部は、前記複数のテロップの中で、前記映像の画面上の表示位置に基づいて前記特定テロップを選択する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項３】
前記テロップ選択部は、前記複数のテロップの中で、前記テロップの出現密度に基づいて前記特定テロップを選択する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項４】
前記テロップの出現密度は、一定時間当たりに出現する回数を用いる、
ことを特徴とする請求項３の映像処理装置
【請求項５】
前記テロップ選択部は、
前記テロップと予め記憶したテロップモデルとの差分からなる類似度を求め、
前記類似度が第１の閾値以上のときに前記テロップを前記特定テロップとして選択する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項６】
前記対応付け部は、前記グループ中の複数の前記特定テロップの中で、時間的に隣接する２個の前記特定テロップを対応付ける、
ことを特徴とする請求項１記載の映像処理装置。
【請求項７】
前記対応付け部は、前記グループ中の前記各特定テロップの画像特徴量の類似度を求め、前記類似度が第２の閾値より高い２個の前記特定テロップを対応付ける、
ことを特徴とする請求項１記載の映像処理装置。
【請求項８】
前記対応付け部は、前記グループ中の前記特定テロップを有する画像中に登場する顔の特徴量を取得し、前記顔の特徴量の類似度を求め、前記類似度が第３の閾値より高い２個の前記特定テロップを対応付ける、
ことを特徴とする請求項１記載の映像処理装置。
【請求項９】
前記対応付け部は、前記グループ中の２組の前記特定テロップの時間間隔を求め、前記時間間隔が短い組の前記２個の特定テロップを対応付ける、
ことを特徴とする請求項１記載の映像処理装置。
【請求項１０】
前記対応付け部は、前記グループの間にある任意の音声信号又は音響信号を挟む２個の前記特定テロップを対応付ける、
ことを特徴とする請求項１記載の映像処理装置。
【請求項１１】
前記区間抽出部は、一の前記グループの中の２個の前記特定テロップによって挟まれる特定区間が、他の前記グループの中の２個の前記特定テロップによって挟まれる特定区間が、重複する場合に、時間的に後に位置する前記特定区間を、時間的に前に位置する前記特定区間から除外して前記特定区間を抽出する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項１２】
タイムテロップが表示されていない区間を検出するタイムテロップ情報入力部をさらに有し、
前記テロップ検出部は、前記タイムテロップが表示されていない区間から前記テロップを検出する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項１３】
前記対応付けできた前記特定テロップの情報に基づき、前記対応付けできなかった前記テロップに関する前記特定区間を推定する区間推定部をさらに有する、
ことを特徴とする請求項１記載の映像処理装置。
【請求項１４】
入力された映像に表示されたテロップを検出するテロップ検出ステップと、
前記テロップから任意の条件を満たす特定テロップを選択するテロップ選択ステップと、
前記複数の特定テロップの中で、任意の時間範囲内にある複数の特定テロップを一つのグループとして取得し、前記グループから２個の前記特定テロップを対応付ける対応付けステップと、
前記２個の前記特定テロップに挟まれた特定区間を抽出する区間抽出ステップと、
前記抽出された特定区間を出力する出力ステップと、
を備えることを特徴とする映像処理方法。
【請求項１５】
入力された映像に表示されたテロップを検出するテロップ検出機能と、
前記テロップから任意の条件を満たす特定テロップを選択するテロップ選択機能と、
前記複数の特定テロップの中で、任意の時間範囲内にある複数の特定テロップを一つのグループとして取得し、前記グループから２個の前記特定テロップを対応付ける対応付け機能と、
前記２個の前記特定テロップに挟まれた特定区間を抽出する区間抽出機能と、
前記抽出された区間を出力する出力機能と、
をコンピュータに実現させるための映像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１０−８１５３１（Ｐ２０１０−８１５３１Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００８−２５０４５７（Ｐ２００８−２５０４５７）
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]