情報処理装置および方法、並びにプログラム
【課題】より好適にゴルフのプレーシーンをダイジェスト再生する。
【解決手段】注目区間抽出部５１は、画像の動きに基づいて、ゴルフ中継番組において注目する時間区間である注目区間を抽出し、プレーシーン度計算部５４は、注目区間抽出部５１により抽出された注目区間における動き、色、およびショット音に基づいて、注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算し、プレーシーン判定部５５は、プレーシーン度計算部５４により計算されたプレーシーン度に基づいて、注目区間がゴルフのプレーシーンであるか否かを判定する。本発明は、テレビジョン番組を編集する情報処理装置に適用することができる。
【解決手段】注目区間抽出部５１は、画像の動きに基づいて、ゴルフ中継番組において注目する時間区間である注目区間を抽出し、プレーシーン度計算部５４は、注目区間抽出部５１により抽出された注目区間における動き、色、およびショット音に基づいて、注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算し、プレーシーン判定部５５は、プレーシーン度計算部５４により計算されたプレーシーン度に基づいて、注目区間がゴルフのプレーシーンであるか否かを判定する。本発明は、テレビジョン番組を編集する情報処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、より好適にゴルフのプレーシーンをダイジェスト再生することができるようにする情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、野球やサッカー等のスポーツ番組をダイジェスト再生するための様々な技術が提案されている。
【０００３】
例えば、映像のカメラワークのパターンに基づいて、所望の映像区間を特定するようにしたものがある（例えば、特許文献１参照）。
【０００４】
また、音声から観客の歓声を解析し、盛り上がっている場面を抽出することで、ハイライトシーンを生成するものがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−５２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、スポーツ番組がゴルフ中継番組である場合、基本的にゴルフのプレー中は静かであるので、盛り上がっている場面を抽出する構成では、ゴルフのプレーシーンをハイライトシーンとして確実に抽出することができなかった。
【０００７】
また、特許文献１の手法では、音声情報は用いず映像情報のみを用いているため、映像によっては、所望の映像区間を精度良く特定できない可能性があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、より好適にゴルフのプレーシーンをダイジェスト再生することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の情報処理装置は、番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する情報処理装置であって、前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出手段と、前記抽出手段により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算手段と、前記計算手段により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定手段とを備える。
【００１０】
前記抽出手段には、前記番組において、前記画像の動きの量が所定量より少ない静止区間を、前記注目区間の開始点および終了点として、前記注目区間を抽出させることができる。
【００１１】
前記計算手段には、前記注目区間の開始点におけるショット音に基づいて、前記注目区間の前記プレーシーン度を計算させることができる。
【００１２】
前記計算手段には、前記注目区間における動きの最大値に基づいて、前記注目区間の前記プレーシーン度を計算させることができる。
【００１３】
前記計算手段には、前記注目区間において検出される色の青色度および白色度に基づいて、前記注目区間の前記プレーシーン度を計算させることができる。
【００１４】
前記計算手段には、前記注目区間における動きの縦方向の変化に基づいて、前記注目区間の前記プレーシーン度を計算させることができる。
【００１５】
前記計算手段には、前記注目区間の開始点および終了点における動きの少なさに基づいて、前記注目区間の前記プレーシーン度を計算させることができる。
【００１６】
前記判定手段には、前記計算手段により計算された前記注目区間の前記プレーシーン度に対して、前記注目区間において検出される歓声に応じた重み付けをして、前記注目区間がゴルフのプレーシーンであるか否かを判定させることができる。
【００１７】
前記情報処理装置には、前記判定手段による判定の結果、プレーシーンであるとされた前記注目区間を表すシーン情報に基づいて、前記番組におけるプレーシーンのみの再生を制御する再生制御手段をさらに設けることができる。
【００１８】
本発明の一側面の情報処理方法は、番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する情報処理装置であって、前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出手段と、前記抽出手段により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算手段と、前記計算手段により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定手段とを備える情報処理装置の情報処理方法であって、前記抽出手段が、前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出ステップと、前記計算手段が、前記抽出ステップの処理により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンであることの度合を表すプレーシーン度を計算する計算ステップと、前記判定手段が、前記計算ステップの処理により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定ステップとを含む。
【００１９】
本発明の一側面のプログラムは、番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する処理をコンピュータに実行させるプログラムであって、前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出ステップと、前記抽出ステップの処理により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算ステップと、前記計算ステップの処理により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定ステップとを含む処理をコンピュータに実行させる。
【００２０】
本発明の一側面においては、画像の動きに基づいて、番組において注目する時間区間である注目区間が抽出され、抽出された注目区間における動き、色、およびショット音に基づいて、注目区間がゴルフのプレーシーンである度合を表すプレーシーン度が計算され、計算されたプレーシーン度に基づいて、注目区間がゴルフのプレーシーンであるか否かが判定される。
【発明の効果】
【００２１】
本発明の一側面によれば、より好適にゴルフのプレーシーンをダイジェスト再生することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明を適用した情報処理装置の機能構成例を示すブロック図である。
【図２】ショット音の検出について説明する図である。
【図３】ショット音の検出について説明する図である。
【図４】プレーシーン抽出部の機能構成例を示すブロック図である。
【図５】プレーシーン抽出処理について説明するフローチャートである。
【図６】静止区間について説明する図である。
【図７】プレーシーン度の計算の例について説明する図である。
【図８】再生装置の機能構成例を示すブロック図である。
【図９】プレーシーン再生処理について説明するフローチャートである。
【図１０】本発明を適用した記録再生装置の機能構成例を示すブロック図である。
【図１１】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ゴルフ中継番組のプレーシーンを抽出する構成）
２．第２の実施の形態（ゴルフ中継番組のプレーシーンを抽出し、再生する構成）
【００２４】
＜１．第１の実施の形態＞
［プレーシーン検出装置の機能構成例］
図１は、本発明を適用した情報処理装置としてのプレーシーン検出装置の機能構成例を示している。
【００２５】
図１のプレーシーン検出装置１１は、入力されたテレビジョン番組としてのゴルフ中継番組の番組データを、画像データと音声データとに分離し、それぞれから複数の特徴量を解析または検出する。そして、プレーシーン検出装置１１は、解析または検出した特徴量に基づいて、入力されたゴルフ中継番組の番組データからプレーシーンを検出する。
【００２６】
図１のプレーシーン検出装置１１は、分離部３１、カット検出部３２、動き解析部３３、色解析部３４、ショット音検出部３５、歓声検出部３６、およびプレーシーン抽出部３７から構成される。
【００２７】
分離部３１は、入力されたゴルフ中継番組の番組データ（以下、単に、ゴルフ番組ともいう）を、画像データと音声データとに分離する。分離された画像データ（以下、単に、画像ともいう）は、カット検出部３２、動き解析部３３、および色解析部３４に供給され、音声データ（以下、単に、音声ともいう）は、ショット音検出部３５および歓声検出部３６に供給される。
【００２８】
カット検出部３２は、分離部３１からの画像において、画像が切り替わる点（カットチェンジ）を検出し、そのカットチェンジの時刻を、カット情報としてプレーシーン抽出部３７に供給する。例えば、カット検出部３２は、特開２００８−８５５４０号公報に開示されている手法により、カットチェンジを検出する。
【００２９】
すなわち、まず、カット検出部３２は、分離部３１からの画像において、時間的に連続するフレーム１乃至３のうちの２フレームについての類似度をそれぞれ算出する。次に、カット検出部３２は、フレーム１およびフレーム３それぞれの縮小画像を合成した合成画像を生成し、フレーム２の縮小画像との類似度を算出する。そして、カット検出部３２は、フレーム１乃至３のうちの２フレームについての類似度、および、合成画像とフレーム２の縮小画像との類似度に基づいて、フレーム１とフレーム３との間にカットチェンジがあるか否かを判定する。
【００３０】
動き解析部３３は、分離部３１からの画像における動きを解析し、フレーム毎の動き量およびそのフレームの時刻を、動き情報としてプレーシーン抽出部３７に供給する。例えば、動き解析部３３は、テンプレートマッチング処理を行うことで、画像における動きを解析する。
【００３１】
すなわち、動き解析部３３は、分離部３１からの所定のフレームの画像から縮小画像を生成し、その中心領域をテンプレートに設定する。動き解析部３３は、設定したテンプレートを用いて、数フレーム前の画像内を探索範囲としてテンプレートマッチング処理を行い、以下の式（１）で表わされる評価関数が最小となる位置（画素位置）を移動位置として、動き量を算出する。
【００３２】
【数１】
【００３３】
なお、式（１）において、HtおよびWtは、それぞれテンプレートの高さおよび幅、すなわち、テンプレートにおける高さ方向および幅方向の画素数を表しており、ｉおよびｊは、テンプレートにおける画素位置を表している。また、式（１）において、Ycは現フレームの画像における画素の輝度値、Ypは数フレーム前の画像における画素の輝度値を、それぞれ表している。
【００３４】
色解析部３４は、分離部３１からの画像内の各画素の色をフレーム毎に解析し、分離部３１からの画像に空が含まれる度合を表す空度を求め、求めた空度およびフレームの時刻を、色情報としてプレーシーン抽出部３７に供給する。空度は、画像の青さ度合を表す青色度Pbと、画像の白さ度合を表す白色度Pwとの和で表わされるものとする。青色度Pbおよび白色度Pwは、以下の式（２）および式（３）によって表される。
【００３５】
【数２】
【００３６】
【数３】
【００３７】
なお、式（２），（３）において、min()およびmax()は、それぞれ括弧内の最小値および最大値を出力する関数を表しており、Rij，Gij，Bij、およびYijは、各画素のＲ，Ｇ，Ｂそれぞれの色成分の値、および輝度値を表している。また、drgbは、色空間における、各画素と直線r=g=bとの距離を表している。なお、Ｈ，Ｗは、それぞれ画像の高さおよび幅、すなわち、高さ方向および幅方向の画素数を表しており、ｉおよびｊは、画像における画素位置を表している。
【００３８】
ショット音検出部３５は、分離部３１からの音声において、ゴルフの競技者がクラブでボールを打つ瞬間の音（以下、ショット音という）を検出し、そのときの時刻およびショット音らしさを表すショット音度を、ショット音情報としてプレーシーン抽出部３７に供給する。
【００３９】
一般的に、ゴルフにおいて、競技者がクラブでボールを打つ瞬間の前後は比較的静かであり音はほとんど検出されず、ショット音だけが非常に大きい音として検出される。
【００４０】
そこで、ショット音検出部３５は、例えば、図２に示されるような、音声（音声データ）の振幅のRMS（Root Mean Square）値を計算する。図２において、横軸は時刻（単位は秒）、縦軸はRMS値を表している。ショット音検出部３５は、RMS値のピーク値Peakが所定の閾値Trmsより大きく、且つ、ピーク値Peak前後の値と比較してピーク値Peakが非常に大きい値となる場合、そのピーク値Peakをショット音として検出する。そして、ショット音検出部３５は、検出したショット音が他の閾値Tshより大きい場合には１、小さい場合には０をショット音度とする。なお、ピーク値Peakと閾値Tshとの差Peak-Tshを、ショット音度とするようにしてもよい。
【００４１】
また、ショット音の検出の精度をより高めるために、音声（音声データ）に対して、さらに、周波数分析を行うことで、図３に示されるようなスペクトログラムを求めるようにしてもよい。図３は、典型的なショット音のスペクトログラムを示しており、横軸は時刻、縦軸は周波数、座標上の各点の色の濃さは音声データの振幅の大きさを表している。図３のスペクトログラムにおいては、時間ａにインパクト直前のスイングによる風切り音、時間ｂにインパクトの瞬間の音（ショット音）、時間ｃにインパクト後のクラブの共振音が示されている。
【００４２】
すなわち、この場合、ショット音検出部３５は、図３のスペクトログラムを、参照スペクトログラムとして予め記憶し、音声データに対して周波数分析を行うことで、スペクトログラムを求める。そして、ショット音検出部３５は、求めたスペクトログラムと参照スペクトログラムとを比較することで、図３の時間ａ乃至ｃに示される特徴を有する区間をショット音が含まれる区間として、その区間について、図２で示された音声データの振幅のRMS値を計算する。
【００４３】
なお、上述した説明においては、スペクトログラムによりショット音が含まれる区間をある程度特定して、音声データの振幅のRMS値を計算するようにしたが、例えば、GMM（Gaussian Mixture Model）やSVM（Support Vector Machine）等の統計モデル化手法と、音声データの振幅のRMS値を計算する手法とを組み合わせるようにしてもよい。
【００４４】
図１に戻り、歓声検出部３６は、分離部３１からの音声において、観客が上げる歓声を検出し、そのときの時刻および歓声らしさを表す歓声度を、歓声情報としてプレーシーン抽出部３７に供給する。例えば、歓声検出部３６は、特許第３８９１１１１号公報に開示されている手法により、歓声を検出する。
【００４５】
すなわち、歓声検出部３６は、分離部３１からの音声（音声データ）から音質に関する音質特徴量を抽出し、観客が歓声を上げる時、つまり、盛り上がり時に特有の音質を定量化することで、歓声を検出する。
【００４６】
プレーシーン抽出部３７は、カット検出部３２からのカット情報、動き解析部３３からの動き情報、色解析部３４からの色情報、ショット音検出部３５からのショット音情報、および歓声検索部３６からの歓声情報に基づいて、プレーシーン抽出処理を実行し、ゴルフ中継番組からプレーシーンを抽出する。
【００４７】
［プレーシーン抽出部の機能構成例］
ここで、図４を参照して、プレーシーン抽出部３７の機能構成例について説明する。
【００４８】
プレーシーン抽出部３７は、注目区間抽出部５１、区間長判定部５２、カット数判定部５３、プレーシーン度計算部５４、プレーシーン判定部５５、およびシーン情報出力部５６から構成される。
【００４９】
注目区間抽出部５１は、動き解析部３３からの動き情報に基づいて、ゴルフ番組において注目する時間区間である注目区間を抽出し、注目区間を表す注目区間情報を、区間長判定部５２に供給する。
【００５０】
区間長判定部５２は、注目区間抽出部５１からの注目区間情報に基づいて、注目区間の時間的な長さ（以下、区間長という）が、所定の閾値より短いか否かを判定し、判定の結果に応じた情報を、注目区間抽出部５１またはカット数判定部５３に供給する。
【００５１】
カット数判定部５３は、区間長判定部５２から判定の結果に応じた情報が供給されると、カット検出部３２からのカット情報に基づいて、注目区間におけるカット数が、所定の閾値より少ないか否かを判定する。カット数判定部５３は、判定の結果に応じた情報を、注目区間抽出部５１またはプレーシーン度計算部５４に供給する。
【００５２】
プレーシーン度計算部５４は、カット数判定部５３から判定の結果に応じた情報が供給されると、動き解析部３３からの動き情報、色解析部３４からの色情報、およびショット音検出部３５からのショット音情報に基づいて、注目区間（注目区間のシーン）が、ゴルフのプレーシーンである度合を表すプレーシーン度を計算する。プレーシーン度計算部５４は、計算したプレーシーン度をプレーシーン判定部５５に供給する。
【００５３】
プレーシーン判定部５５は、プレーシーン度計算部５４からのプレーシーン度に基づいて、注目区間がプレーシーンであるか否かを判定する。なお、プレーシーン判定部５５は、判定の際、プレーシーン度計算部５４からのプレーシーン度に対して、歓声検出部３６からの歓声情報に応じた重み付けをする。プレーシーン判定部５５は、判定の結果に応じた情報を、注目区間抽出部５１またはシーン情報出力部５６に供給する。
【００５４】
シーン情報出力部５６は、プレーシーン判定部５５からの判定の結果に応じた情報に基づいて、プレーシーンであるとされた注目区間を表すシーン情報を、図示せぬ記録媒体や再生装置等に出力する。
【００５５】
［プレーシーン抽出処理］
次に、図５のフローチャートを参照して、プレーシーン抽出部３７のプレーシーン抽出処理について説明する。
【００５６】
プレーシーン抽出処理は、プレーシーン検出装置１１にゴルフ番組が入力され、分離部３１によりゴルフ番組が画像と音声とに分離され、カット検出部３２乃至歓声検出部３６からの各情報がプレーシーン抽出部３７に供給されることで開始される。
【００５７】
なお、以下においては、カット検出部３２乃至歓声検出部３６からの各情報を、適宜、特徴情報という。
【００５８】
ステップＳ１１において、注目区間抽出部５１は、動き解析部３３からの動き情報に基づいて、ゴルフ番組における注目区間の開始点および終了点の候補となる候補区間を設定する。
【００５９】
具体的には、まず、注目区間抽出部５１は、動き解析部３３からの動き情報に基づいて、ゴルフ番組において、画像の動き量が所定量より少ない静止区間を検出する。
【００６０】
ここで、図６を参照して、注目区間抽出部５１により検出される静止区間について説明する。
【００６１】
図６は、ゴルフ番組の所定の時間区間における動き量の変化を示している。図６において、横軸は時刻、縦軸は動き（動き量）を表している。
【００６２】
図６に示されるような動き量を表す動き情報が、動き解析部３３から供給された場合、
注目区間抽出部５１は、動き量が所定の閾値Tmより少ない区間を静止区間とする。
【００６３】
ここで、一般的に、ゴルフのプレーシーンは、以下に示す３つのシーンから構成されていることが多い。
シーン１：競技者がボールを打つシーン
シーン２：打たれたボールが飛んでいくシーン
シーン３：ボールが落下して止まるシーン
【００６４】
シーン１においては、テレビジョンカメラにより、定位置で、競技者がボールを打つ瞬間が撮影される。また、競技者がボールを打つ瞬間には、ショット音が発生する。
【００６５】
シーン２においては、テレビジョンカメラにより、飛んでいくボールが追いかけられて撮影される。このとき撮影されるボールの背景は空であることが多い。
【００６６】
シーン３においては、テレビジョンカメラにより、フェアウェイに落下したボールが、転がって、最終的に止まるまで撮影される。
【００６７】
このようなシーン１乃至３から構成されるゴルフのプレーシーンで、その開始（シーン１）と終了（シーン３）においては、画像の動き量はほとんどないと考えられる。
【００６８】
そこで、注目区間抽出部５１は、動き量が所定の閾値Tmより少ない静止区間を、注目区間の開始点および終了点の候補である候補区間に設定する。図６においては、５つの静止区間が候補区間１乃至５として設定されている。このとき、注目区間抽出部５１は、候補区間１乃至５のそれぞれに対応するインデックス０乃至４を生成する。
【００６９】
ステップＳ１２において、注目区間抽出部５１は、注目区間の開始点となる候補区間のインデックス（以下、開始インデックスという）Index_startを、Index_start=0とする。すなわち、図６の例では、候補区間１が注目区間の開始点に設定される。
【００７０】
ステップＳ１３において、注目区間抽出部５１は、開始インデックスIndex_startが、候補区間の総数Ns（図６の例では、Ns=5）から１を減じた値Ns-1より小さいか否かを判定する。
【００７１】
ステップＳ１３において、開始インデックスIndex_startがNs-1より小さいと判定された場合、処理はステップＳ１４に進み、注目区間抽出部５１は、注目区間の終了点となる候補区間のインデックス（以下、終了インデックスという）Index_endをIndex_start+1とする。Index_start=0である場合、Index_end=1となるので、図６の例では、候補区間２が注目区間の終了点に設定される。
【００７２】
すなわち、注目区間抽出部５１は、開始点が候補区間１で、終了点が候補区間２である注目区間を設定する。より具体的には、候補区間１の開始時刻を開始点とし、候補区間２の終了時刻を終了点とする注目区間が設定される。なお、以下では、開始点が候補区間１で、終了点が候補区間２である注目区間を、注目区間１乃至２などということとする。
【００７３】
すなわち、図６の例では、注目区間として、注目区間１乃至２の他に、注目区間１乃至３、注目区間１乃至４、注目区間１乃至５、注目区間２乃至３、注目区間２乃至４、注目区間２乃至５、注目区間３乃至４、注目区間３乃至５、および注目区間４乃至５が、後述する処理により順次設定されるようになる。
【００７４】
ステップＳ１５において、注目区間抽出部５１は、終了インデックスIndex_endが、候補区間の総数Nsより小さいか否かを判定する。
【００７５】
ステップＳ１５において、終了インデックスIndex_endが候補区間の総数Nsより小さいと判定された場合、注目区間抽出部５１は、注目区間の開始点および終了点を表す情報（具体的には、開始点となる候補区間の開始時刻および終了点となる候補区間の終了時刻）を、注目区間情報として区間長判定部５２に供給し、処理はステップＳ１６に進む。
【００７６】
ステップＳ１６において、区間長判定部５２は、注目区間抽出部５１からの注目区間情報に基づいて、注目区間の区間長Ｔが、閾値Thより短いか否かを判定する。閾値Thは、競技者がボールを打ってから、打たれたボールが飛んでいき、落下して止まるまでの平均的な時間に基づいて設定され、例えば、30秒などとされる。
【００７７】
ステップＳ１６において、注目区間の区間長Ｔが閾値Thより短いと判定された場合、区間長判定部５２は、注目区間情報をカット数判定部５３に供給し、処理はステップＳ１７に進む。
【００７８】
ステップＳ１７において、カット数判定部５３は、区間長判定部５２から注目区間情報が供給されると、カット検出部３２からのカット情報としてのカットチェンジの時刻に基づいて、注目区間情報で表わされる注目区間に含まれるカット数を求める。そして、カット数判定部５３は、注目区間のカット数が、閾値Tcより少ないか否かを判定する。閾値Tcは、競技者がボールを打ってから、打たれたボールが飛んでいき、落下して止まるまでの平均的なカット数に基づいて設定され、例えば、４などとされる。
【００７９】
ステップＳ１７において、注目区間のカット数が閾値Tcより少ないと判定された場合、カット数判定部５３は、注目区間情報をプレーシーン度計算部５４に供給し、処理はステップＳ１８に進む。
【００８０】
ステップＳ１８において、プレーシーン度計算部５４は、カット数判定部５３から注目区間情報が供給されると、動き解析部３３、色解析部３４、およびショット音検出部３５からの特徴情報に基づいて、注目区間情報で表わされる注目区間についてのプレーシーン度を計算する。
【００８１】
ここで、図７を参照して、プレーシーン度計算部５４によるプレーシーン度の計算の例について説明する。
【００８２】
図７は、注目区間として、図６に示される候補区間１乃至３が抽出された場合の、注目区間１乃至３に対応する特徴情報を示している。
【００８３】
図７の上から１番目には、動き解析部３３からの動き情報に基づいた、注目区間１乃至３における動き量の変化を示しており、図６で示されたものと同一である。なお、図７においては、候補区間１の開始時刻から候補区間３の終了時刻までの時間が、区間長Ｔで示されている。
【００８４】
図７の上から２番目には、ショット音検出部３５からのショット音情報に基づいた、注目区間におけるショット音度の変化を示しており、横軸が時刻、縦軸がショット音度を示している。
【００８５】
図７の上から３番目には、色解析部３４からの色情報に基づいた、注目区間における空度の変化を示しており、横軸が時刻、縦軸が空度を示している。
【００８６】
図７の上から４番目には、動き解析部３３からの動き情報に基づいた、注目区間における縦方向の動き（動き量）を示しており、横軸が時刻、縦軸が縦方向の動きを示している。縦方向の動きは、テレビジョンカメラが上方向にパンされたとき、すなわち、相対的に、画像内の動きの方向が下方向であるときに正の値をとり、テレビジョンカメラが下方向にパンされたとき、すなわち、相対的に、画像内の動きの方向が上方向であるときに負の値をとる。
【００８７】
このような特徴情報から、プレーシーン度計算部５４は、注目区間において、各特徴情報に対応するプレーシーン度の要素となるプレーシーン要素を決定する。以下に、注目区間におけるプレーシーン要素の例を挙げる。
プレーシーン要素ｘ１：動き量の最大値
プレーシーン要素ｘ２：開始点（静止区間）におけるショット音度の最大値
プレーシーン要素ｘ３：空度の最大値
プレーシーン要素ｘ４：縦方向の動きのゼロ交差数
プレーシーン要素ｘ５：各静止区間における静止の度合
プレーシーン要素ｘ６：注目区間の時間
【００８８】
図７の例では、プレーシーン要素ｘ１は、候補区間２乃至３における動き量Maxmとして、プレーシーン要素ｘ２は、候補区間１におけるショット音度Maxaとして、プレーシーン要素ｘ３は、候補区間１乃至２における空度Maxsとして、プレーシーン要素ｘ４は、候補区間２におけるゼロ交差数ZCyとして決定される。また、プレーシーン要素ｘ５は、例えば、開始点および終了点（候補区間１および３）における動きの少なさが、動き量の平均値として決定され、プレーシーン要素ｘ６は、注目区間の区間長Ｔとして決定される。
【００８９】
そして、プレーシーン度計算部５４は、決定したプレーシーン要素に基づいて、例えば、以下の式（４）で示されるプレーシーン度ｙを計算する。
【００９０】
【数４】
【００９１】
ここで、プレーシーン要素の総数をＭとすると、式（４）において、ｉは、０≦ｉ≦M-1の範囲の値をとる。また、ｗｉは加重係数を示し、ｂは所定のバイアス値を示す。加重係数ｗｉおよびバイアス値ｂの決定には、種々の統計的判別法を利用することができる。例えば、予め多数のシーンのプレーシーン度を主観的に評価し、特徴ベクトルと、望ましいプレーシーン度（例えば、プレーシーンであれば１、プレーシーンでなければ−１等）とを組にした学習データを重回帰分析により直線近似される加重を求め、加重係数ｗｉおよびバイアス値ｂを決定することができる。また、パーセプトロン等のニューラルネットワークやSVM等の統計的判別手法を用いるようにしてもよい。
【００９２】
このようにして、プレーシーン度計算部５４は、プレーシーン度ｙを計算し、注目区間情報とともにプレーシーン判定部５５に供給する。
【００９３】
ステップＳ１９において、プレーシーン判定部５５は、プレーシーン度計算部５４からのプレーシーン度ｙが、所定の閾値Tyより大きいか否かを判定することで、注目区間情報で表わされる注目区間がプレーシーンであるか否かを判定する。
【００９４】
なお、プレーシーン判定部５５は、判定の際、歓声検出部３６からの歓声情報としての歓声度の、注目区間における最大値に応じて、プレーシーン度ｙに対して重み付けをして判定を行う。すなわち、注目区間における歓声度の最大値が大きいほど、プレーシーン度ｙに対する重み付けが大きくなる。
【００９５】
ステップＳ１９において、注目区間がプレーシーンであると判定された場合、プレーシーン判定部５５は、プレーシーン度ｙおよび注目区間情報を、シーン情報出力部５６に供給する。また、プレーシーン判定部５５は、注目区間がプレーシーンであると判定された旨の情報を注目区間抽出部５１に供給する。
【００９６】
ステップＳ２０において、シーン情報出力部５６は、プレーシーン判定部５５からの注目区間情報に基づいて、プレーシーンの開始時刻および時間長を求める。また、シーン情報出力部５６は、プレーシーン判定部５５からのプレーシーン度ｙを、プレーシーンの重要度として、プレーシーンの開始時刻および時間長に対応付ける。そして、シーン情報出力部５６は、プレーシーンの開始時刻、時間長、および重要度を、そのプレーシーンを表すシーン情報として保持（記憶）する。
【００９７】
一方、ステップＳ１９において、注目区間がプレーシーンでないと判定された場合、プレーシーン判定部５５は、注目区間がプレーシーンでないと判定された旨の情報を注目区間抽出部５１に供給する。その後、ステップＳ２０の処理はスキップされ、ステップＳ２１に進むる。
【００９８】
ステップＳ２１において、注目区間抽出部５１は、プレーシーン判定部５５からの情報に応じて、終了インデックスIndex_endを１インクリメントし、処理はステップＳ１５に戻る。これにより、例えば、Index_start=0の場合、注目区間１乃至２、注目区間１乃至３、注目区間１乃至４、注目区間１乃至５と、注目区間の終了点が１ずつシフトする。
【００９９】
そして、ステップＳ１５において、終了インデックスIndex_endが、候補区間の総数Nsより小さくないと判定された場合、処理はステップＳ２２に進む。
【０１００】
また、ステップＳ１６において、注目区間の区間長Ｔが閾値Thより短くないと判定されたか、または、ステップＳ１７において、注目区間のカット数が閾値Tcより少なくないと判定された場合、区間長判定部５２またはカット数判定部５３は、それぞれの判定内容を表す情報を、注目区間抽出部５１に供給し、処理はステップＳ２２に進む。
【０１０１】
ステップＳ２２において、注目区間抽出部５１は、開始インデックスIndex_startを１インクリメントする。これにより、注目区間の開始点が１シフトする。ステップＳ２２の後、処理はステップＳ１３に戻り、ステップＳ１３乃至Ｓ２２の処理が繰り返される。
【０１０２】
このようにして、図６の例では、注目区間が、注目区間１乃至２、注目区間１乃至３、注目区間１乃至４、注目区間１乃至５、注目区間２乃至３、注目区間２乃至４、注目区間２乃至５、注目区間３乃至４、注目区間３乃至５、注目区間４乃至５の順に遷移していく。
【０１０３】
そして、ステップＳ１３において、開始インデックスIndex_startがNs-1より小さくないと判定された場合、例えば、図６の例において、注目区間の開始点が候補区間５になった場合、注目区間抽出部５１は、全ての注目区間についての処理を終えた旨の情報をシーン情報出力部５６に供給し、処理はステップＳ２３に進む。
【０１０４】
ステップＳ２３において、シーン情報出力部５６は、保持しているシーン情報を、図示せぬ記録媒体や再生装置等に出力する。
【０１０５】
このとき、シーン情報で表わされるプレーシーン（注目区間）が、他のシーン情報で表わされるプレーシーンに完全に含まれる場合には、そのシーン情報は出力されず、他のシーン情報のみが出力される。すなわち、図６の例で、注目区間１乃至２、注目区間１乃至３、および注目区間１乃至４がプレーシーンとして判定された場合、注目区間１乃至４に含まれる、注目区間１乃至２および注目区間１乃至３についてのシーン情報は出力されない。
【０１０６】
また、シーン情報で表わされるプレーシーンの一部が、他のシーン情報で表わされるプレーシーンに含まれる場合には、シーン情報の重要度（プレーシーン度）の大きい方が出力される。すなわち、図６の例で、注目区間１乃至３および注目区間２乃至４がプレーシーンとして判定された場合、候補区間２乃至３がいずれのプレーシーンにも含まれる。このとき、それぞれのプレーシーンについてのシーン情報の重要度が比較され、例えば、注目区間１乃至３についての重要度の方が大きいとされた場合、注目区間２乃至４についてのシーン情報は出力されない。
【０１０７】
以上の処理によれば、静止区間を開始点および終了点とした注目区間が抽出され、抽出された注目区間に対して、その区間における特徴情報に応じたプレーシーン度が計算され、計算されたプレーシーン度が高い注目区間がゴルフのプレーシーンであると判定される。そして、プレーシーンであると判定された注目区間を表すシーン情報が、記録媒体や再生装置等に出力される。したがって、ユーザは、録画したゴルフ番組を視聴する際、シーン情報の開始時刻に基づいて、プレーシーンから次のプレーシーンに簡単にスキップすることができるようになり、より好適にゴルフのプレーシーンをダイジェスト再生することが可能となる。
【０１０８】
なお、以上においては、ユーザは、シーン情報の開始時刻に基づいてプレーシーンをスキップ再生することができるものとしたが、シーン情報が出力（供給）された再生装置において、シーン情報の開始時刻に基づいて、プレーシーンを自動的に頭出しさせるようにしてもよい。
【０１０９】
［再生装置の機能構成例］
そこで、図８を参照して、シーン情報に基づいて、ゴルフ番組のプレーシーンを自動的に頭出しして再生する再生装置の機能構成例について説明する。
【０１１０】
図８の再生装置１１１は、シーン情報保持部１３１、再生制御部１３２、表示部１３３、および音声出力部１３４から構成される。
【０１１１】
シーン情報保持部１３１は、図示せぬ記録媒体を介して供給されたか、または、図１のプレーシーン検出装置１１から直接供給されたシーン情報を記憶（保持）する。シーン情報保持部１３１に保持されているシーン情報は、必要に応じて、再生制御部１３２に読み出される。
【０１１２】
再生制御部１３２は、入力されたゴルフ番組に基づいて、ゴルフ番組のうちの、シーン情報保持部１３１に保持されているシーン情報で表わされるプレーシーンのみの再生を制御する。
【０１１３】
再生制御部１３２は、頭出し部１５１、重要度判定部１５２、および時間判定部１５３を備えている。頭出し部１５１は、シーン情報保持部１３１に保持されているシーン情報の開始時刻に基づいて、ゴルフ番組のプレーシーンを頭出しする。重要度判定部１５２は、シーン情報保持部１３１に保持されているシーン情報の重要度（プレーシーン度）に基づいて、プレーシーンを再生するか否かを判定する。時間判定部１５３は、シーン情報保持部１３１に保持されているシーン情報の時間長で示される間、プレーシーンを再生させる。
【０１１４】
表示部１３３は、再生制御部１３２において再生が制御されているゴルフ番組（番組データ）のうちの画像データに基づいて、ゴルフ番組を表示する。
【０１１５】
音声出力部１３４は、再生制御部１３２において再生が制御されているゴルフ番組（番組データ）のうちの音声データに基づいて、ゴルフ番組に含まれる音声を出力する。
【０１１６】
［プレーシーン再生処理］
次に、図９のフローチャートを参照して、図８の再生装置１１１のプレーシーン再生処理について説明する。なお、シーン情報保持部１３１に保持されているシーン情報は、再生装置１１１に入力されるゴルフ番組についてのシーン情報であるものとする。
【０１１７】
ステップＳ６１において、頭出し部１５１は、シーン情報保持部１３１に保持されているシーン情報の開始時刻に基づいて、入力されたゴルフ番組に対して、プレーシーンを頭出しする。
【０１１８】
ステップＳ６２において、重要度判定部１５２は、シーン情報保持部１３１に保持されているシーン情報の重要度に基づいて、頭出しされたプレーシーンの重要度が、予め設定された閾値Tiより大きいか否かを判定する。
【０１１９】
ステップＳ６２において、頭出しされたプレーシーンの重要度が閾値Tiより大きくないと判定された場合、処理はステップＳ６１に戻り、次のプレーシーンが頭出しされる。
【０１２０】
これにより、重要度が低い、すなわち、プレーシーンである可能性が低いシーンを再生しないようにすることができる。
【０１２１】
一方、ステップＳ６２において、頭出しされたプレーシーンの重要度が閾値Tiより大きいと判定された場合、処理はステップＳ６３に進み、時間判定部１５３は、プレーシーンの再生を制御する。これにより、表示部１３３にはプレーシーンが表示され、音声出力部１３４にはプレーシーンに含まれる音声が出力される。
【０１２２】
ステップＳ６４において、時間判定部１５３は、シーン情報保持部１３１に保持されているシーン情報の時間長に基づいて、そのプレーシーンの再生時間が、シーン情報の時間長を超えるか否かを判定する。
【０１２３】
ステップＳ６４において、プレーシーンの再生時間がシーン情報の時間長を超えないと判定された場合、処理はステップＳ６３に戻り、プレーシーンの再生時間がシーン情報の時間長を超えるまで、ステップＳ６２，Ｓ６３の処理が繰り返される。
【０１２４】
そして、ステップＳ６４において、プレーシーンの再生時間がシーン情報の時間長を超えると判定された場合、処理はステップＳ６５に進む。
【０１２５】
ステップＳ６５において、頭出し部１５１は、シーン情報保持部１３１に保持されているシーン情報の開始時刻に基づいて、次のプレーシーンがあるか否かを判定する。具体的には、頭出し部１５１は、シーン情報保持部１３１において、現在再生されているプレーシーンの開始時刻の次に時間的に後の開始時刻を有するシーン情報が存在するか否かを判定する。
【０１２６】
ステップＳ６５において、次のプレーシーンがあると判定された場合、処理はステップＳ６１に戻り、ステップＳ６１乃至Ｓ６５の処理が繰り返される。
【０１２７】
一方、ステップＳ６５において、次のプレーシーンがないと判定された場合、入力されたゴルフ番組において、これ以降プレーシーンは存在しないので、処理は終了する。
【０１２８】
以上の処理によれば、ゴルフ番組において、プレーシーンを表すシーン情報に基づいて、プレーシーンが頭出しされ、頭出しされたプレーシーンの重要度に応じて、そのプレーシーンが再生される。結果として、ゴルフ番組におけるプレーシーンのみが、ハイライトシーンとして再生されるようになる。また、重要度の高いプレーシーンのみが再生されるので、プレーシーンでない可能性があるシーンの再生を避けることができ、より好適にゴルフのプレーシーンをダイジェスト再生することが可能となる。
【０１２９】
以上においては、プレーシーンを抽出するプレーシーン検出装置１１と、プレーシーンを再生する再生装置１１１とは、別個に構成されるものとして説明したが、プレーシーン検出装置１１と再生装置１１１とが一体に構成されるようにしてもよい。以下においては、プレーシーン検出装置１１と再生装置１１１とが一体に構成される例について説明する。
【０１３０】
＜２．第２の実施の形態＞
［記録再生装置の機能構成例］
図１０は、図１のプレーシーン検出装置１１と、図８の再生装置１１１とが一体にされた記録再生装置の機能構成例を示している。
【０１３１】
なお、図１０の記録再生装置２１１において、図１のプレーシーン検出装置１１および図８の再生装置１１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１３２】
すなわち、図１のプレーシーン検出装置１１と図８の再生装置１１１とを一体として見た場合、図１０の記録再生装置２１１において、図１のプレーシーン検出装置１１および図８の再生装置１１１と異なるのは、記録制御部２３１および記録部２３２を新たに設けた点である。
【０１３３】
なお、図１０において、プレーシーン抽出部３７は、プレーシーン抽出処理を実行することで得られるシーン情報を、シーン情報保持部１３１に供給する。
【０１３４】
記録制御部２３１は、記録再生装置２１１に入力されるゴルフ番組（番組データ）の、記録部２３２への記録を制御する。
【０１３５】
記録部２３２は、記録制御部２３１の制御に基づいて、ゴルフ番組を記録する。記録されたゴルフ番組は、図示せぬ操作部からの、ユーザの操作内容に応じた情報に基づいて、分離部３１に読み出されたり、再生制御部１３２に読み出されたりする。
【０１３６】
なお、図１０の記録再生装置２１１においても、図１のプレーシーン検出装置１１および図８の再生装置１１１と同様の作用効果を奏することができる。
【０１３７】
すなわち、図１０の記録再生装置２１１によるプレーシーン抽出処理については、図５のフローチャートを参照して説明した、図１のプレーシーン検出装置１１のプレーシーン抽出部３７（図４）の処理と基本的に同様であるので、その説明は省略する。
【０１３８】
また、図１０の記録再生装置２１１によるプレーシーン再生処理については、図９のフローチャートを参照して説明した、図８の再生装置１１１の処理と基本的に同様であるので、その説明は省略する。
【０１３９】
なお、ゴルフ番組で放送されるシーンには、ティーインググラウンドやフェアウェイからのショットのシーンの他に、グリーン上でのパッティングのシーンも含まれる。
【０１４０】
上述したプレーシーン抽出処理によれば、ティーインググラウンドやフェアウェイからのショットのシーンをプレーシーンとして抽出することが可能である。しかしながら、パッティングのシーンには、ショット音がほぼ無いに等しく、また、画像内の動きも小さいため、上述したプレーシーン抽出処理によって、パッティングのシーンをプレーシーンとして正確に抽出することはできない。
【０１４１】
一般的に、パッティングのシーンには、以下に示す特徴が含まれていることが多い。
・画像の動き量がほとんどない
・画像の色の大部分が緑色である
・ボールがカップインしたときに拍手とともに歓声が上がる
【０１４２】
そこで、色解析部３４に色情報として緑色度を求めさせ、プレーシーン度計算部５４に、特徴情報として、動き情報、色情報、および歓声情報を用いてプレーシーン度を計算させることで、パッティングのシーンをプレーシーンとして抽出することも可能となる。
【０１４３】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１４４】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４５】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１４６】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１４７】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４８】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４９】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１５０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５１】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１５２】
１１ プレーシーン検出装置， ３２ カット検出部， ３３ 動き解析部， ３４ 色解析部， ３５ ショット音検出部， ３６ 歓声検出部， ３７ プレーシーン抽出部， ５１ 注目区間抽出部， ５２ 区間長判定部， ５３ カット数判定部， ５４ プレーシーン度計算部， ５５ プレーシーン判定部， ５６ シーン情報出力部， １１１ 再生装置， １３１ シーン情報保持部， １３２ 再生制御部， １５１ 頭出し部， １５２ 重要度判定部， １５３ 時間判定部， ２１１ 記録再生装置
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、より好適にゴルフのプレーシーンをダイジェスト再生することができるようにする情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、野球やサッカー等のスポーツ番組をダイジェスト再生するための様々な技術が提案されている。
【０００３】
例えば、映像のカメラワークのパターンに基づいて、所望の映像区間を特定するようにしたものがある（例えば、特許文献１参照）。
【０００４】
また、音声から観客の歓声を解析し、盛り上がっている場面を抽出することで、ハイライトシーンを生成するものがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−５２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、スポーツ番組がゴルフ中継番組である場合、基本的にゴルフのプレー中は静かであるので、盛り上がっている場面を抽出する構成では、ゴルフのプレーシーンをハイライトシーンとして確実に抽出することができなかった。
【０００７】
また、特許文献１の手法では、音声情報は用いず映像情報のみを用いているため、映像によっては、所望の映像区間を精度良く特定できない可能性があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、より好適にゴルフのプレーシーンをダイジェスト再生することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の情報処理装置は、番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する情報処理装置であって、前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出手段と、前記抽出手段により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算手段と、前記計算手段により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定手段とを備える。
【００１０】
前記抽出手段には、前記番組において、前記画像の動きの量が所定量より少ない静止区間を、前記注目区間の開始点および終了点として、前記注目区間を抽出させることができる。
【００１１】
前記計算手段には、前記注目区間の開始点におけるショット音に基づいて、前記注目区間の前記プレーシーン度を計算させることができる。
【００１２】
前記計算手段には、前記注目区間における動きの最大値に基づいて、前記注目区間の前記プレーシーン度を計算させることができる。
【００１３】
前記計算手段には、前記注目区間において検出される色の青色度および白色度に基づいて、前記注目区間の前記プレーシーン度を計算させることができる。
【００１４】
前記計算手段には、前記注目区間における動きの縦方向の変化に基づいて、前記注目区間の前記プレーシーン度を計算させることができる。
【００１５】
前記計算手段には、前記注目区間の開始点および終了点における動きの少なさに基づいて、前記注目区間の前記プレーシーン度を計算させることができる。
【００１６】
前記判定手段には、前記計算手段により計算された前記注目区間の前記プレーシーン度に対して、前記注目区間において検出される歓声に応じた重み付けをして、前記注目区間がゴルフのプレーシーンであるか否かを判定させることができる。
【００１７】
前記情報処理装置には、前記判定手段による判定の結果、プレーシーンであるとされた前記注目区間を表すシーン情報に基づいて、前記番組におけるプレーシーンのみの再生を制御する再生制御手段をさらに設けることができる。
【００１８】
本発明の一側面の情報処理方法は、番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する情報処理装置であって、前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出手段と、前記抽出手段により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算手段と、前記計算手段により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定手段とを備える情報処理装置の情報処理方法であって、前記抽出手段が、前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出ステップと、前記計算手段が、前記抽出ステップの処理により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンであることの度合を表すプレーシーン度を計算する計算ステップと、前記判定手段が、前記計算ステップの処理により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定ステップとを含む。
【００１９】
本発明の一側面のプログラムは、番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する処理をコンピュータに実行させるプログラムであって、前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出ステップと、前記抽出ステップの処理により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算ステップと、前記計算ステップの処理により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定ステップとを含む処理をコンピュータに実行させる。
【００２０】
本発明の一側面においては、画像の動きに基づいて、番組において注目する時間区間である注目区間が抽出され、抽出された注目区間における動き、色、およびショット音に基づいて、注目区間がゴルフのプレーシーンである度合を表すプレーシーン度が計算され、計算されたプレーシーン度に基づいて、注目区間がゴルフのプレーシーンであるか否かが判定される。
【発明の効果】
【００２１】
本発明の一側面によれば、より好適にゴルフのプレーシーンをダイジェスト再生することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明を適用した情報処理装置の機能構成例を示すブロック図である。
【図２】ショット音の検出について説明する図である。
【図３】ショット音の検出について説明する図である。
【図４】プレーシーン抽出部の機能構成例を示すブロック図である。
【図５】プレーシーン抽出処理について説明するフローチャートである。
【図６】静止区間について説明する図である。
【図７】プレーシーン度の計算の例について説明する図である。
【図８】再生装置の機能構成例を示すブロック図である。
【図９】プレーシーン再生処理について説明するフローチャートである。
【図１０】本発明を適用した記録再生装置の機能構成例を示すブロック図である。
【図１１】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ゴルフ中継番組のプレーシーンを抽出する構成）
２．第２の実施の形態（ゴルフ中継番組のプレーシーンを抽出し、再生する構成）
【００２４】
＜１．第１の実施の形態＞
［プレーシーン検出装置の機能構成例］
図１は、本発明を適用した情報処理装置としてのプレーシーン検出装置の機能構成例を示している。
【００２５】
図１のプレーシーン検出装置１１は、入力されたテレビジョン番組としてのゴルフ中継番組の番組データを、画像データと音声データとに分離し、それぞれから複数の特徴量を解析または検出する。そして、プレーシーン検出装置１１は、解析または検出した特徴量に基づいて、入力されたゴルフ中継番組の番組データからプレーシーンを検出する。
【００２６】
図１のプレーシーン検出装置１１は、分離部３１、カット検出部３２、動き解析部３３、色解析部３４、ショット音検出部３５、歓声検出部３６、およびプレーシーン抽出部３７から構成される。
【００２７】
分離部３１は、入力されたゴルフ中継番組の番組データ（以下、単に、ゴルフ番組ともいう）を、画像データと音声データとに分離する。分離された画像データ（以下、単に、画像ともいう）は、カット検出部３２、動き解析部３３、および色解析部３４に供給され、音声データ（以下、単に、音声ともいう）は、ショット音検出部３５および歓声検出部３６に供給される。
【００２８】
カット検出部３２は、分離部３１からの画像において、画像が切り替わる点（カットチェンジ）を検出し、そのカットチェンジの時刻を、カット情報としてプレーシーン抽出部３７に供給する。例えば、カット検出部３２は、特開２００８−８５５４０号公報に開示されている手法により、カットチェンジを検出する。
【００２９】
すなわち、まず、カット検出部３２は、分離部３１からの画像において、時間的に連続するフレーム１乃至３のうちの２フレームについての類似度をそれぞれ算出する。次に、カット検出部３２は、フレーム１およびフレーム３それぞれの縮小画像を合成した合成画像を生成し、フレーム２の縮小画像との類似度を算出する。そして、カット検出部３２は、フレーム１乃至３のうちの２フレームについての類似度、および、合成画像とフレーム２の縮小画像との類似度に基づいて、フレーム１とフレーム３との間にカットチェンジがあるか否かを判定する。
【００３０】
動き解析部３３は、分離部３１からの画像における動きを解析し、フレーム毎の動き量およびそのフレームの時刻を、動き情報としてプレーシーン抽出部３７に供給する。例えば、動き解析部３３は、テンプレートマッチング処理を行うことで、画像における動きを解析する。
【００３１】
すなわち、動き解析部３３は、分離部３１からの所定のフレームの画像から縮小画像を生成し、その中心領域をテンプレートに設定する。動き解析部３３は、設定したテンプレートを用いて、数フレーム前の画像内を探索範囲としてテンプレートマッチング処理を行い、以下の式（１）で表わされる評価関数が最小となる位置（画素位置）を移動位置として、動き量を算出する。
【００３２】
【数１】
【００３３】
なお、式（１）において、HtおよびWtは、それぞれテンプレートの高さおよび幅、すなわち、テンプレートにおける高さ方向および幅方向の画素数を表しており、ｉおよびｊは、テンプレートにおける画素位置を表している。また、式（１）において、Ycは現フレームの画像における画素の輝度値、Ypは数フレーム前の画像における画素の輝度値を、それぞれ表している。
【００３４】
色解析部３４は、分離部３１からの画像内の各画素の色をフレーム毎に解析し、分離部３１からの画像に空が含まれる度合を表す空度を求め、求めた空度およびフレームの時刻を、色情報としてプレーシーン抽出部３７に供給する。空度は、画像の青さ度合を表す青色度Pbと、画像の白さ度合を表す白色度Pwとの和で表わされるものとする。青色度Pbおよび白色度Pwは、以下の式（２）および式（３）によって表される。
【００３５】
【数２】
【００３６】
【数３】
【００３７】
なお、式（２），（３）において、min()およびmax()は、それぞれ括弧内の最小値および最大値を出力する関数を表しており、Rij，Gij，Bij、およびYijは、各画素のＲ，Ｇ，Ｂそれぞれの色成分の値、および輝度値を表している。また、drgbは、色空間における、各画素と直線r=g=bとの距離を表している。なお、Ｈ，Ｗは、それぞれ画像の高さおよび幅、すなわち、高さ方向および幅方向の画素数を表しており、ｉおよびｊは、画像における画素位置を表している。
【００３８】
ショット音検出部３５は、分離部３１からの音声において、ゴルフの競技者がクラブでボールを打つ瞬間の音（以下、ショット音という）を検出し、そのときの時刻およびショット音らしさを表すショット音度を、ショット音情報としてプレーシーン抽出部３７に供給する。
【００３９】
一般的に、ゴルフにおいて、競技者がクラブでボールを打つ瞬間の前後は比較的静かであり音はほとんど検出されず、ショット音だけが非常に大きい音として検出される。
【００４０】
そこで、ショット音検出部３５は、例えば、図２に示されるような、音声（音声データ）の振幅のRMS（Root Mean Square）値を計算する。図２において、横軸は時刻（単位は秒）、縦軸はRMS値を表している。ショット音検出部３５は、RMS値のピーク値Peakが所定の閾値Trmsより大きく、且つ、ピーク値Peak前後の値と比較してピーク値Peakが非常に大きい値となる場合、そのピーク値Peakをショット音として検出する。そして、ショット音検出部３５は、検出したショット音が他の閾値Tshより大きい場合には１、小さい場合には０をショット音度とする。なお、ピーク値Peakと閾値Tshとの差Peak-Tshを、ショット音度とするようにしてもよい。
【００４１】
また、ショット音の検出の精度をより高めるために、音声（音声データ）に対して、さらに、周波数分析を行うことで、図３に示されるようなスペクトログラムを求めるようにしてもよい。図３は、典型的なショット音のスペクトログラムを示しており、横軸は時刻、縦軸は周波数、座標上の各点の色の濃さは音声データの振幅の大きさを表している。図３のスペクトログラムにおいては、時間ａにインパクト直前のスイングによる風切り音、時間ｂにインパクトの瞬間の音（ショット音）、時間ｃにインパクト後のクラブの共振音が示されている。
【００４２】
すなわち、この場合、ショット音検出部３５は、図３のスペクトログラムを、参照スペクトログラムとして予め記憶し、音声データに対して周波数分析を行うことで、スペクトログラムを求める。そして、ショット音検出部３５は、求めたスペクトログラムと参照スペクトログラムとを比較することで、図３の時間ａ乃至ｃに示される特徴を有する区間をショット音が含まれる区間として、その区間について、図２で示された音声データの振幅のRMS値を計算する。
【００４３】
なお、上述した説明においては、スペクトログラムによりショット音が含まれる区間をある程度特定して、音声データの振幅のRMS値を計算するようにしたが、例えば、GMM（Gaussian Mixture Model）やSVM（Support Vector Machine）等の統計モデル化手法と、音声データの振幅のRMS値を計算する手法とを組み合わせるようにしてもよい。
【００４４】
図１に戻り、歓声検出部３６は、分離部３１からの音声において、観客が上げる歓声を検出し、そのときの時刻および歓声らしさを表す歓声度を、歓声情報としてプレーシーン抽出部３７に供給する。例えば、歓声検出部３６は、特許第３８９１１１１号公報に開示されている手法により、歓声を検出する。
【００４５】
すなわち、歓声検出部３６は、分離部３１からの音声（音声データ）から音質に関する音質特徴量を抽出し、観客が歓声を上げる時、つまり、盛り上がり時に特有の音質を定量化することで、歓声を検出する。
【００４６】
プレーシーン抽出部３７は、カット検出部３２からのカット情報、動き解析部３３からの動き情報、色解析部３４からの色情報、ショット音検出部３５からのショット音情報、および歓声検索部３６からの歓声情報に基づいて、プレーシーン抽出処理を実行し、ゴルフ中継番組からプレーシーンを抽出する。
【００４７】
［プレーシーン抽出部の機能構成例］
ここで、図４を参照して、プレーシーン抽出部３７の機能構成例について説明する。
【００４８】
プレーシーン抽出部３７は、注目区間抽出部５１、区間長判定部５２、カット数判定部５３、プレーシーン度計算部５４、プレーシーン判定部５５、およびシーン情報出力部５６から構成される。
【００４９】
注目区間抽出部５１は、動き解析部３３からの動き情報に基づいて、ゴルフ番組において注目する時間区間である注目区間を抽出し、注目区間を表す注目区間情報を、区間長判定部５２に供給する。
【００５０】
区間長判定部５２は、注目区間抽出部５１からの注目区間情報に基づいて、注目区間の時間的な長さ（以下、区間長という）が、所定の閾値より短いか否かを判定し、判定の結果に応じた情報を、注目区間抽出部５１またはカット数判定部５３に供給する。
【００５１】
カット数判定部５３は、区間長判定部５２から判定の結果に応じた情報が供給されると、カット検出部３２からのカット情報に基づいて、注目区間におけるカット数が、所定の閾値より少ないか否かを判定する。カット数判定部５３は、判定の結果に応じた情報を、注目区間抽出部５１またはプレーシーン度計算部５４に供給する。
【００５２】
プレーシーン度計算部５４は、カット数判定部５３から判定の結果に応じた情報が供給されると、動き解析部３３からの動き情報、色解析部３４からの色情報、およびショット音検出部３５からのショット音情報に基づいて、注目区間（注目区間のシーン）が、ゴルフのプレーシーンである度合を表すプレーシーン度を計算する。プレーシーン度計算部５４は、計算したプレーシーン度をプレーシーン判定部５５に供給する。
【００５３】
プレーシーン判定部５５は、プレーシーン度計算部５４からのプレーシーン度に基づいて、注目区間がプレーシーンであるか否かを判定する。なお、プレーシーン判定部５５は、判定の際、プレーシーン度計算部５４からのプレーシーン度に対して、歓声検出部３６からの歓声情報に応じた重み付けをする。プレーシーン判定部５５は、判定の結果に応じた情報を、注目区間抽出部５１またはシーン情報出力部５６に供給する。
【００５４】
シーン情報出力部５６は、プレーシーン判定部５５からの判定の結果に応じた情報に基づいて、プレーシーンであるとされた注目区間を表すシーン情報を、図示せぬ記録媒体や再生装置等に出力する。
【００５５】
［プレーシーン抽出処理］
次に、図５のフローチャートを参照して、プレーシーン抽出部３７のプレーシーン抽出処理について説明する。
【００５６】
プレーシーン抽出処理は、プレーシーン検出装置１１にゴルフ番組が入力され、分離部３１によりゴルフ番組が画像と音声とに分離され、カット検出部３２乃至歓声検出部３６からの各情報がプレーシーン抽出部３７に供給されることで開始される。
【００５７】
なお、以下においては、カット検出部３２乃至歓声検出部３６からの各情報を、適宜、特徴情報という。
【００５８】
ステップＳ１１において、注目区間抽出部５１は、動き解析部３３からの動き情報に基づいて、ゴルフ番組における注目区間の開始点および終了点の候補となる候補区間を設定する。
【００５９】
具体的には、まず、注目区間抽出部５１は、動き解析部３３からの動き情報に基づいて、ゴルフ番組において、画像の動き量が所定量より少ない静止区間を検出する。
【００６０】
ここで、図６を参照して、注目区間抽出部５１により検出される静止区間について説明する。
【００６１】
図６は、ゴルフ番組の所定の時間区間における動き量の変化を示している。図６において、横軸は時刻、縦軸は動き（動き量）を表している。
【００６２】
図６に示されるような動き量を表す動き情報が、動き解析部３３から供給された場合、
注目区間抽出部５１は、動き量が所定の閾値Tmより少ない区間を静止区間とする。
【００６３】
ここで、一般的に、ゴルフのプレーシーンは、以下に示す３つのシーンから構成されていることが多い。
シーン１：競技者がボールを打つシーン
シーン２：打たれたボールが飛んでいくシーン
シーン３：ボールが落下して止まるシーン
【００６４】
シーン１においては、テレビジョンカメラにより、定位置で、競技者がボールを打つ瞬間が撮影される。また、競技者がボールを打つ瞬間には、ショット音が発生する。
【００６５】
シーン２においては、テレビジョンカメラにより、飛んでいくボールが追いかけられて撮影される。このとき撮影されるボールの背景は空であることが多い。
【００６６】
シーン３においては、テレビジョンカメラにより、フェアウェイに落下したボールが、転がって、最終的に止まるまで撮影される。
【００６７】
このようなシーン１乃至３から構成されるゴルフのプレーシーンで、その開始（シーン１）と終了（シーン３）においては、画像の動き量はほとんどないと考えられる。
【００６８】
そこで、注目区間抽出部５１は、動き量が所定の閾値Tmより少ない静止区間を、注目区間の開始点および終了点の候補である候補区間に設定する。図６においては、５つの静止区間が候補区間１乃至５として設定されている。このとき、注目区間抽出部５１は、候補区間１乃至５のそれぞれに対応するインデックス０乃至４を生成する。
【００６９】
ステップＳ１２において、注目区間抽出部５１は、注目区間の開始点となる候補区間のインデックス（以下、開始インデックスという）Index_startを、Index_start=0とする。すなわち、図６の例では、候補区間１が注目区間の開始点に設定される。
【００７０】
ステップＳ１３において、注目区間抽出部５１は、開始インデックスIndex_startが、候補区間の総数Ns（図６の例では、Ns=5）から１を減じた値Ns-1より小さいか否かを判定する。
【００７１】
ステップＳ１３において、開始インデックスIndex_startがNs-1より小さいと判定された場合、処理はステップＳ１４に進み、注目区間抽出部５１は、注目区間の終了点となる候補区間のインデックス（以下、終了インデックスという）Index_endをIndex_start+1とする。Index_start=0である場合、Index_end=1となるので、図６の例では、候補区間２が注目区間の終了点に設定される。
【００７２】
すなわち、注目区間抽出部５１は、開始点が候補区間１で、終了点が候補区間２である注目区間を設定する。より具体的には、候補区間１の開始時刻を開始点とし、候補区間２の終了時刻を終了点とする注目区間が設定される。なお、以下では、開始点が候補区間１で、終了点が候補区間２である注目区間を、注目区間１乃至２などということとする。
【００７３】
すなわち、図６の例では、注目区間として、注目区間１乃至２の他に、注目区間１乃至３、注目区間１乃至４、注目区間１乃至５、注目区間２乃至３、注目区間２乃至４、注目区間２乃至５、注目区間３乃至４、注目区間３乃至５、および注目区間４乃至５が、後述する処理により順次設定されるようになる。
【００７４】
ステップＳ１５において、注目区間抽出部５１は、終了インデックスIndex_endが、候補区間の総数Nsより小さいか否かを判定する。
【００７５】
ステップＳ１５において、終了インデックスIndex_endが候補区間の総数Nsより小さいと判定された場合、注目区間抽出部５１は、注目区間の開始点および終了点を表す情報（具体的には、開始点となる候補区間の開始時刻および終了点となる候補区間の終了時刻）を、注目区間情報として区間長判定部５２に供給し、処理はステップＳ１６に進む。
【００７６】
ステップＳ１６において、区間長判定部５２は、注目区間抽出部５１からの注目区間情報に基づいて、注目区間の区間長Ｔが、閾値Thより短いか否かを判定する。閾値Thは、競技者がボールを打ってから、打たれたボールが飛んでいき、落下して止まるまでの平均的な時間に基づいて設定され、例えば、30秒などとされる。
【００７７】
ステップＳ１６において、注目区間の区間長Ｔが閾値Thより短いと判定された場合、区間長判定部５２は、注目区間情報をカット数判定部５３に供給し、処理はステップＳ１７に進む。
【００７８】
ステップＳ１７において、カット数判定部５３は、区間長判定部５２から注目区間情報が供給されると、カット検出部３２からのカット情報としてのカットチェンジの時刻に基づいて、注目区間情報で表わされる注目区間に含まれるカット数を求める。そして、カット数判定部５３は、注目区間のカット数が、閾値Tcより少ないか否かを判定する。閾値Tcは、競技者がボールを打ってから、打たれたボールが飛んでいき、落下して止まるまでの平均的なカット数に基づいて設定され、例えば、４などとされる。
【００７９】
ステップＳ１７において、注目区間のカット数が閾値Tcより少ないと判定された場合、カット数判定部５３は、注目区間情報をプレーシーン度計算部５４に供給し、処理はステップＳ１８に進む。
【００８０】
ステップＳ１８において、プレーシーン度計算部５４は、カット数判定部５３から注目区間情報が供給されると、動き解析部３３、色解析部３４、およびショット音検出部３５からの特徴情報に基づいて、注目区間情報で表わされる注目区間についてのプレーシーン度を計算する。
【００８１】
ここで、図７を参照して、プレーシーン度計算部５４によるプレーシーン度の計算の例について説明する。
【００８２】
図７は、注目区間として、図６に示される候補区間１乃至３が抽出された場合の、注目区間１乃至３に対応する特徴情報を示している。
【００８３】
図７の上から１番目には、動き解析部３３からの動き情報に基づいた、注目区間１乃至３における動き量の変化を示しており、図６で示されたものと同一である。なお、図７においては、候補区間１の開始時刻から候補区間３の終了時刻までの時間が、区間長Ｔで示されている。
【００８４】
図７の上から２番目には、ショット音検出部３５からのショット音情報に基づいた、注目区間におけるショット音度の変化を示しており、横軸が時刻、縦軸がショット音度を示している。
【００８５】
図７の上から３番目には、色解析部３４からの色情報に基づいた、注目区間における空度の変化を示しており、横軸が時刻、縦軸が空度を示している。
【００８６】
図７の上から４番目には、動き解析部３３からの動き情報に基づいた、注目区間における縦方向の動き（動き量）を示しており、横軸が時刻、縦軸が縦方向の動きを示している。縦方向の動きは、テレビジョンカメラが上方向にパンされたとき、すなわち、相対的に、画像内の動きの方向が下方向であるときに正の値をとり、テレビジョンカメラが下方向にパンされたとき、すなわち、相対的に、画像内の動きの方向が上方向であるときに負の値をとる。
【００８７】
このような特徴情報から、プレーシーン度計算部５４は、注目区間において、各特徴情報に対応するプレーシーン度の要素となるプレーシーン要素を決定する。以下に、注目区間におけるプレーシーン要素の例を挙げる。
プレーシーン要素ｘ１：動き量の最大値
プレーシーン要素ｘ２：開始点（静止区間）におけるショット音度の最大値
プレーシーン要素ｘ３：空度の最大値
プレーシーン要素ｘ４：縦方向の動きのゼロ交差数
プレーシーン要素ｘ５：各静止区間における静止の度合
プレーシーン要素ｘ６：注目区間の時間
【００８８】
図７の例では、プレーシーン要素ｘ１は、候補区間２乃至３における動き量Maxmとして、プレーシーン要素ｘ２は、候補区間１におけるショット音度Maxaとして、プレーシーン要素ｘ３は、候補区間１乃至２における空度Maxsとして、プレーシーン要素ｘ４は、候補区間２におけるゼロ交差数ZCyとして決定される。また、プレーシーン要素ｘ５は、例えば、開始点および終了点（候補区間１および３）における動きの少なさが、動き量の平均値として決定され、プレーシーン要素ｘ６は、注目区間の区間長Ｔとして決定される。
【００８９】
そして、プレーシーン度計算部５４は、決定したプレーシーン要素に基づいて、例えば、以下の式（４）で示されるプレーシーン度ｙを計算する。
【００９０】
【数４】
【００９１】
ここで、プレーシーン要素の総数をＭとすると、式（４）において、ｉは、０≦ｉ≦M-1の範囲の値をとる。また、ｗｉは加重係数を示し、ｂは所定のバイアス値を示す。加重係数ｗｉおよびバイアス値ｂの決定には、種々の統計的判別法を利用することができる。例えば、予め多数のシーンのプレーシーン度を主観的に評価し、特徴ベクトルと、望ましいプレーシーン度（例えば、プレーシーンであれば１、プレーシーンでなければ−１等）とを組にした学習データを重回帰分析により直線近似される加重を求め、加重係数ｗｉおよびバイアス値ｂを決定することができる。また、パーセプトロン等のニューラルネットワークやSVM等の統計的判別手法を用いるようにしてもよい。
【００９２】
このようにして、プレーシーン度計算部５４は、プレーシーン度ｙを計算し、注目区間情報とともにプレーシーン判定部５５に供給する。
【００９３】
ステップＳ１９において、プレーシーン判定部５５は、プレーシーン度計算部５４からのプレーシーン度ｙが、所定の閾値Tyより大きいか否かを判定することで、注目区間情報で表わされる注目区間がプレーシーンであるか否かを判定する。
【００９４】
なお、プレーシーン判定部５５は、判定の際、歓声検出部３６からの歓声情報としての歓声度の、注目区間における最大値に応じて、プレーシーン度ｙに対して重み付けをして判定を行う。すなわち、注目区間における歓声度の最大値が大きいほど、プレーシーン度ｙに対する重み付けが大きくなる。
【００９５】
ステップＳ１９において、注目区間がプレーシーンであると判定された場合、プレーシーン判定部５５は、プレーシーン度ｙおよび注目区間情報を、シーン情報出力部５６に供給する。また、プレーシーン判定部５５は、注目区間がプレーシーンであると判定された旨の情報を注目区間抽出部５１に供給する。
【００９６】
ステップＳ２０において、シーン情報出力部５６は、プレーシーン判定部５５からの注目区間情報に基づいて、プレーシーンの開始時刻および時間長を求める。また、シーン情報出力部５６は、プレーシーン判定部５５からのプレーシーン度ｙを、プレーシーンの重要度として、プレーシーンの開始時刻および時間長に対応付ける。そして、シーン情報出力部５６は、プレーシーンの開始時刻、時間長、および重要度を、そのプレーシーンを表すシーン情報として保持（記憶）する。
【００９７】
一方、ステップＳ１９において、注目区間がプレーシーンでないと判定された場合、プレーシーン判定部５５は、注目区間がプレーシーンでないと判定された旨の情報を注目区間抽出部５１に供給する。その後、ステップＳ２０の処理はスキップされ、ステップＳ２１に進むる。
【００９８】
ステップＳ２１において、注目区間抽出部５１は、プレーシーン判定部５５からの情報に応じて、終了インデックスIndex_endを１インクリメントし、処理はステップＳ１５に戻る。これにより、例えば、Index_start=0の場合、注目区間１乃至２、注目区間１乃至３、注目区間１乃至４、注目区間１乃至５と、注目区間の終了点が１ずつシフトする。
【００９９】
そして、ステップＳ１５において、終了インデックスIndex_endが、候補区間の総数Nsより小さくないと判定された場合、処理はステップＳ２２に進む。
【０１００】
また、ステップＳ１６において、注目区間の区間長Ｔが閾値Thより短くないと判定されたか、または、ステップＳ１７において、注目区間のカット数が閾値Tcより少なくないと判定された場合、区間長判定部５２またはカット数判定部５３は、それぞれの判定内容を表す情報を、注目区間抽出部５１に供給し、処理はステップＳ２２に進む。
【０１０１】
ステップＳ２２において、注目区間抽出部５１は、開始インデックスIndex_startを１インクリメントする。これにより、注目区間の開始点が１シフトする。ステップＳ２２の後、処理はステップＳ１３に戻り、ステップＳ１３乃至Ｓ２２の処理が繰り返される。
【０１０２】
このようにして、図６の例では、注目区間が、注目区間１乃至２、注目区間１乃至３、注目区間１乃至４、注目区間１乃至５、注目区間２乃至３、注目区間２乃至４、注目区間２乃至５、注目区間３乃至４、注目区間３乃至５、注目区間４乃至５の順に遷移していく。
【０１０３】
そして、ステップＳ１３において、開始インデックスIndex_startがNs-1より小さくないと判定された場合、例えば、図６の例において、注目区間の開始点が候補区間５になった場合、注目区間抽出部５１は、全ての注目区間についての処理を終えた旨の情報をシーン情報出力部５６に供給し、処理はステップＳ２３に進む。
【０１０４】
ステップＳ２３において、シーン情報出力部５６は、保持しているシーン情報を、図示せぬ記録媒体や再生装置等に出力する。
【０１０５】
このとき、シーン情報で表わされるプレーシーン（注目区間）が、他のシーン情報で表わされるプレーシーンに完全に含まれる場合には、そのシーン情報は出力されず、他のシーン情報のみが出力される。すなわち、図６の例で、注目区間１乃至２、注目区間１乃至３、および注目区間１乃至４がプレーシーンとして判定された場合、注目区間１乃至４に含まれる、注目区間１乃至２および注目区間１乃至３についてのシーン情報は出力されない。
【０１０６】
また、シーン情報で表わされるプレーシーンの一部が、他のシーン情報で表わされるプレーシーンに含まれる場合には、シーン情報の重要度（プレーシーン度）の大きい方が出力される。すなわち、図６の例で、注目区間１乃至３および注目区間２乃至４がプレーシーンとして判定された場合、候補区間２乃至３がいずれのプレーシーンにも含まれる。このとき、それぞれのプレーシーンについてのシーン情報の重要度が比較され、例えば、注目区間１乃至３についての重要度の方が大きいとされた場合、注目区間２乃至４についてのシーン情報は出力されない。
【０１０７】
以上の処理によれば、静止区間を開始点および終了点とした注目区間が抽出され、抽出された注目区間に対して、その区間における特徴情報に応じたプレーシーン度が計算され、計算されたプレーシーン度が高い注目区間がゴルフのプレーシーンであると判定される。そして、プレーシーンであると判定された注目区間を表すシーン情報が、記録媒体や再生装置等に出力される。したがって、ユーザは、録画したゴルフ番組を視聴する際、シーン情報の開始時刻に基づいて、プレーシーンから次のプレーシーンに簡単にスキップすることができるようになり、より好適にゴルフのプレーシーンをダイジェスト再生することが可能となる。
【０１０８】
なお、以上においては、ユーザは、シーン情報の開始時刻に基づいてプレーシーンをスキップ再生することができるものとしたが、シーン情報が出力（供給）された再生装置において、シーン情報の開始時刻に基づいて、プレーシーンを自動的に頭出しさせるようにしてもよい。
【０１０９】
［再生装置の機能構成例］
そこで、図８を参照して、シーン情報に基づいて、ゴルフ番組のプレーシーンを自動的に頭出しして再生する再生装置の機能構成例について説明する。
【０１１０】
図８の再生装置１１１は、シーン情報保持部１３１、再生制御部１３２、表示部１３３、および音声出力部１３４から構成される。
【０１１１】
シーン情報保持部１３１は、図示せぬ記録媒体を介して供給されたか、または、図１のプレーシーン検出装置１１から直接供給されたシーン情報を記憶（保持）する。シーン情報保持部１３１に保持されているシーン情報は、必要に応じて、再生制御部１３２に読み出される。
【０１１２】
再生制御部１３２は、入力されたゴルフ番組に基づいて、ゴルフ番組のうちの、シーン情報保持部１３１に保持されているシーン情報で表わされるプレーシーンのみの再生を制御する。
【０１１３】
再生制御部１３２は、頭出し部１５１、重要度判定部１５２、および時間判定部１５３を備えている。頭出し部１５１は、シーン情報保持部１３１に保持されているシーン情報の開始時刻に基づいて、ゴルフ番組のプレーシーンを頭出しする。重要度判定部１５２は、シーン情報保持部１３１に保持されているシーン情報の重要度（プレーシーン度）に基づいて、プレーシーンを再生するか否かを判定する。時間判定部１５３は、シーン情報保持部１３１に保持されているシーン情報の時間長で示される間、プレーシーンを再生させる。
【０１１４】
表示部１３３は、再生制御部１３２において再生が制御されているゴルフ番組（番組データ）のうちの画像データに基づいて、ゴルフ番組を表示する。
【０１１５】
音声出力部１３４は、再生制御部１３２において再生が制御されているゴルフ番組（番組データ）のうちの音声データに基づいて、ゴルフ番組に含まれる音声を出力する。
【０１１６】
［プレーシーン再生処理］
次に、図９のフローチャートを参照して、図８の再生装置１１１のプレーシーン再生処理について説明する。なお、シーン情報保持部１３１に保持されているシーン情報は、再生装置１１１に入力されるゴルフ番組についてのシーン情報であるものとする。
【０１１７】
ステップＳ６１において、頭出し部１５１は、シーン情報保持部１３１に保持されているシーン情報の開始時刻に基づいて、入力されたゴルフ番組に対して、プレーシーンを頭出しする。
【０１１８】
ステップＳ６２において、重要度判定部１５２は、シーン情報保持部１３１に保持されているシーン情報の重要度に基づいて、頭出しされたプレーシーンの重要度が、予め設定された閾値Tiより大きいか否かを判定する。
【０１１９】
ステップＳ６２において、頭出しされたプレーシーンの重要度が閾値Tiより大きくないと判定された場合、処理はステップＳ６１に戻り、次のプレーシーンが頭出しされる。
【０１２０】
これにより、重要度が低い、すなわち、プレーシーンである可能性が低いシーンを再生しないようにすることができる。
【０１２１】
一方、ステップＳ６２において、頭出しされたプレーシーンの重要度が閾値Tiより大きいと判定された場合、処理はステップＳ６３に進み、時間判定部１５３は、プレーシーンの再生を制御する。これにより、表示部１３３にはプレーシーンが表示され、音声出力部１３４にはプレーシーンに含まれる音声が出力される。
【０１２２】
ステップＳ６４において、時間判定部１５３は、シーン情報保持部１３１に保持されているシーン情報の時間長に基づいて、そのプレーシーンの再生時間が、シーン情報の時間長を超えるか否かを判定する。
【０１２３】
ステップＳ６４において、プレーシーンの再生時間がシーン情報の時間長を超えないと判定された場合、処理はステップＳ６３に戻り、プレーシーンの再生時間がシーン情報の時間長を超えるまで、ステップＳ６２，Ｓ６３の処理が繰り返される。
【０１２４】
そして、ステップＳ６４において、プレーシーンの再生時間がシーン情報の時間長を超えると判定された場合、処理はステップＳ６５に進む。
【０１２５】
ステップＳ６５において、頭出し部１５１は、シーン情報保持部１３１に保持されているシーン情報の開始時刻に基づいて、次のプレーシーンがあるか否かを判定する。具体的には、頭出し部１５１は、シーン情報保持部１３１において、現在再生されているプレーシーンの開始時刻の次に時間的に後の開始時刻を有するシーン情報が存在するか否かを判定する。
【０１２６】
ステップＳ６５において、次のプレーシーンがあると判定された場合、処理はステップＳ６１に戻り、ステップＳ６１乃至Ｓ６５の処理が繰り返される。
【０１２７】
一方、ステップＳ６５において、次のプレーシーンがないと判定された場合、入力されたゴルフ番組において、これ以降プレーシーンは存在しないので、処理は終了する。
【０１２８】
以上の処理によれば、ゴルフ番組において、プレーシーンを表すシーン情報に基づいて、プレーシーンが頭出しされ、頭出しされたプレーシーンの重要度に応じて、そのプレーシーンが再生される。結果として、ゴルフ番組におけるプレーシーンのみが、ハイライトシーンとして再生されるようになる。また、重要度の高いプレーシーンのみが再生されるので、プレーシーンでない可能性があるシーンの再生を避けることができ、より好適にゴルフのプレーシーンをダイジェスト再生することが可能となる。
【０１２９】
以上においては、プレーシーンを抽出するプレーシーン検出装置１１と、プレーシーンを再生する再生装置１１１とは、別個に構成されるものとして説明したが、プレーシーン検出装置１１と再生装置１１１とが一体に構成されるようにしてもよい。以下においては、プレーシーン検出装置１１と再生装置１１１とが一体に構成される例について説明する。
【０１３０】
＜２．第２の実施の形態＞
［記録再生装置の機能構成例］
図１０は、図１のプレーシーン検出装置１１と、図８の再生装置１１１とが一体にされた記録再生装置の機能構成例を示している。
【０１３１】
なお、図１０の記録再生装置２１１において、図１のプレーシーン検出装置１１および図８の再生装置１１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１３２】
すなわち、図１のプレーシーン検出装置１１と図８の再生装置１１１とを一体として見た場合、図１０の記録再生装置２１１において、図１のプレーシーン検出装置１１および図８の再生装置１１１と異なるのは、記録制御部２３１および記録部２３２を新たに設けた点である。
【０１３３】
なお、図１０において、プレーシーン抽出部３７は、プレーシーン抽出処理を実行することで得られるシーン情報を、シーン情報保持部１３１に供給する。
【０１３４】
記録制御部２３１は、記録再生装置２１１に入力されるゴルフ番組（番組データ）の、記録部２３２への記録を制御する。
【０１３５】
記録部２３２は、記録制御部２３１の制御に基づいて、ゴルフ番組を記録する。記録されたゴルフ番組は、図示せぬ操作部からの、ユーザの操作内容に応じた情報に基づいて、分離部３１に読み出されたり、再生制御部１３２に読み出されたりする。
【０１３６】
なお、図１０の記録再生装置２１１においても、図１のプレーシーン検出装置１１および図８の再生装置１１１と同様の作用効果を奏することができる。
【０１３７】
すなわち、図１０の記録再生装置２１１によるプレーシーン抽出処理については、図５のフローチャートを参照して説明した、図１のプレーシーン検出装置１１のプレーシーン抽出部３７（図４）の処理と基本的に同様であるので、その説明は省略する。
【０１３８】
また、図１０の記録再生装置２１１によるプレーシーン再生処理については、図９のフローチャートを参照して説明した、図８の再生装置１１１の処理と基本的に同様であるので、その説明は省略する。
【０１３９】
なお、ゴルフ番組で放送されるシーンには、ティーインググラウンドやフェアウェイからのショットのシーンの他に、グリーン上でのパッティングのシーンも含まれる。
【０１４０】
上述したプレーシーン抽出処理によれば、ティーインググラウンドやフェアウェイからのショットのシーンをプレーシーンとして抽出することが可能である。しかしながら、パッティングのシーンには、ショット音がほぼ無いに等しく、また、画像内の動きも小さいため、上述したプレーシーン抽出処理によって、パッティングのシーンをプレーシーンとして正確に抽出することはできない。
【０１４１】
一般的に、パッティングのシーンには、以下に示す特徴が含まれていることが多い。
・画像の動き量がほとんどない
・画像の色の大部分が緑色である
・ボールがカップインしたときに拍手とともに歓声が上がる
【０１４２】
そこで、色解析部３４に色情報として緑色度を求めさせ、プレーシーン度計算部５４に、特徴情報として、動き情報、色情報、および歓声情報を用いてプレーシーン度を計算させることで、パッティングのシーンをプレーシーンとして抽出することも可能となる。
【０１４３】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１４４】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４５】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１４６】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１４７】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４８】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４９】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１５０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５１】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１５２】
１１ プレーシーン検出装置， ３２ カット検出部， ３３ 動き解析部， ３４ 色解析部， ３５ ショット音検出部， ３６ 歓声検出部， ３７ プレーシーン抽出部， ５１ 注目区間抽出部， ５２ 区間長判定部， ５３ カット数判定部， ５４ プレーシーン度計算部， ５５ プレーシーン判定部， ５６ シーン情報出力部， １１１ 再生装置， １３１ シーン情報保持部， １３２ 再生制御部， １５１ 頭出し部， １５２ 重要度判定部， １５３ 時間判定部， ２１１ 記録再生装置
【特許請求の範囲】
【請求項１】
番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する情報処理装置において、
前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出手段と、
前記抽出手段により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算手段と、
前記計算手段により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定手段と
を備える情報処理装置。
【請求項２】
前記抽出手段は、前記番組において、前記画像の動きの量が所定量より少ない静止区間を、前記注目区間の開始点および終了点として、前記注目区間を抽出する
請求項１に記載の情報処理方法。
【請求項３】
前記計算手段は、前記注目区間の開始点におけるショット音に基づいて、前記注目区間の前記プレーシーン度を計算する
請求項２に記載の情報処理装置。
【請求項４】
前記計算手段は、前記注目区間における動きの最大値に基づいて、前記注目区間の前記プレーシーン度を計算する
請求項２に記載の情報処理装置。
【請求項５】
前記計算手段は、前記注目区間において検出される色の青色度および白色度に基づいて、前記注目区間の前記プレーシーン度を計算する
請求項２に記載の情報処理装置。
【請求項６】
前記計算手段は、前記注目区間における動きの縦方向の変化に基づいて、前記注目区間の前記プレーシーン度を計算する
請求項２に記載の情報処理装置。
【請求項７】
前記計算手段は、前記注目区間の開始点および終了点における動きの少なさに基づいて、前記注目区間の前記プレーシーン度を計算する
請求項２に記載の情報処理装置。
【請求項８】
前記判定手段は、前記計算手段により計算された前記注目区間の前記プレーシーン度に対して、前記注目区間において検出される歓声に応じた重み付けをして、前記注目区間がゴルフのプレーシーンであるか否かを判定する
請求項１に記載の情報処理装置。
【請求項９】
前記判定手段による判定の結果、プレーシーンであるとされた前記注目区間を表すシーン情報に基づいて、前記番組におけるプレーシーンのみの再生を制御する再生制御手段をさらに備える
請求項１に記載の情報処理装置。
【請求項１０】
番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する情報処理装置であって、
前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出手段と、
前記抽出手段により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算手段と、
前記計算手段により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定手段とを備える情報処理装置の情報処理方法において、
前記抽出手段が、前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出ステップと、
前記計算手段が、前記抽出ステップの処理により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンであることの度合を表すプレーシーン度を計算する計算ステップと、
前記判定手段が、前記計算ステップの処理により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定ステップと
を含む情報処理方法。
【請求項１１】
番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する処理をコンピュータに実行させるプログラムにおいて、
前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算ステップと、
前記計算ステップの処理により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する情報処理装置において、
前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出手段と、
前記抽出手段により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算手段と、
前記計算手段により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定手段と
を備える情報処理装置。
【請求項２】
前記抽出手段は、前記番組において、前記画像の動きの量が所定量より少ない静止区間を、前記注目区間の開始点および終了点として、前記注目区間を抽出する
請求項１に記載の情報処理方法。
【請求項３】
前記計算手段は、前記注目区間の開始点におけるショット音に基づいて、前記注目区間の前記プレーシーン度を計算する
請求項２に記載の情報処理装置。
【請求項４】
前記計算手段は、前記注目区間における動きの最大値に基づいて、前記注目区間の前記プレーシーン度を計算する
請求項２に記載の情報処理装置。
【請求項５】
前記計算手段は、前記注目区間において検出される色の青色度および白色度に基づいて、前記注目区間の前記プレーシーン度を計算する
請求項２に記載の情報処理装置。
【請求項６】
前記計算手段は、前記注目区間における動きの縦方向の変化に基づいて、前記注目区間の前記プレーシーン度を計算する
請求項２に記載の情報処理装置。
【請求項７】
前記計算手段は、前記注目区間の開始点および終了点における動きの少なさに基づいて、前記注目区間の前記プレーシーン度を計算する
請求項２に記載の情報処理装置。
【請求項８】
前記判定手段は、前記計算手段により計算された前記注目区間の前記プレーシーン度に対して、前記注目区間において検出される歓声に応じた重み付けをして、前記注目区間がゴルフのプレーシーンであるか否かを判定する
請求項１に記載の情報処理装置。
【請求項９】
前記判定手段による判定の結果、プレーシーンであるとされた前記注目区間を表すシーン情報に基づいて、前記番組におけるプレーシーンのみの再生を制御する再生制御手段をさらに備える
請求項１に記載の情報処理装置。
【請求項１０】
番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する情報処理装置であって、
前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出手段と、
前記抽出手段により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算手段と、
前記計算手段により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定手段とを備える情報処理装置の情報処理方法において、
前記抽出手段が、前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出ステップと、
前記計算手段が、前記抽出ステップの処理により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンであることの度合を表すプレーシーン度を計算する計算ステップと、
前記判定手段が、前記計算ステップの処理により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定ステップと
を含む情報処理方法。
【請求項１１】
番組における画像の動きおよび色を解析するとともに、前記番組における音声から、ゴルフのショット音および歓声を検出する処理をコンピュータに実行させるプログラムにおいて、
前記画像の動きに基づいて、前記番組において注目する時間区間である注目区間を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記注目区間における動き、色、およびショット音に基づいて、前記注目区間がゴルフのプレーシーンである度合を表すプレーシーン度を計算する計算ステップと、
前記計算ステップの処理により計算された前記プレーシーン度に基づいて、前記注目区間がゴルフのプレーシーンであるか否かを判定する判定ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２３４０１８（Ｐ２０１１−２３４０１８Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１００９２７（Ｐ２０１０−１００９２７）
【出願日】平成２２年４月２６日（２０１０．４．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２６日（２０１０．４．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]