スポーツ映像送出装置
【課題】本発明は、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出できるスポーツ番組制作装置を提供する。
【解決手段】スポーツ番組制作装置１は、放送用カメラ２と、スポーツ状況映像を撮影するセンサカメラ３と、スポーツ映像が視聴者に与える関心度を演算する関心度演算手段５と、スポーツで予め設定したイベントが発生したことを検出し、イベントに応じたイベント情報を生成するイベント検出手段６と、視聴者が関心を持つスポーツ映像の録画を指示する録画制御信号を生成する録画制御手段７と、視聴者が関心を持つスポーツ映像に切り替えを指示する送出制御手段８と、録画再生手段９と、録画切替手段１０と、送出切替手段１１と、メタデータ記録手段１２と、を備える。
【解決手段】スポーツ番組制作装置１は、放送用カメラ２と、スポーツ状況映像を撮影するセンサカメラ３と、スポーツ映像が視聴者に与える関心度を演算する関心度演算手段５と、スポーツで予め設定したイベントが発生したことを検出し、イベントに応じたイベント情報を生成するイベント検出手段６と、視聴者が関心を持つスポーツ映像の録画を指示する録画制御信号を生成する録画制御手段７と、視聴者が関心を持つスポーツ映像に切り替えを指示する送出制御手段８と、録画再生手段９と、録画切替手段１０と、送出切替手段１１と、メタデータ記録手段１２と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の放送用カメラが撮影するスポーツ映像を送出するスポーツ映像送出装置に関する。
【背景技術】
【０００２】
従来、スポーツ番組の制作は、複数の映像系統、複数の音声系統を、オペレータがスイッチャによって切り替えて、必要に応じて収録機を操作して行われていた。このとき、試合の状況、観客の盛り上がり等のスポーツの状況などに応じて、ふさわしいと思われる映像を選択し、試合が視聴者の興味をひくような状況でない場合、得点シーン等のリプレイや過去の名場面を挿入することが行われていた。
【０００３】
ここで、スイッチングワーク（スイッチャの切り替え）を人手によらず行う発明として、音声情報に基づいて話者の判定と発言内容の同定を行い、スイッチングの切り替えタイミングを考慮するものが知られている（例えば、特許文献１参照）。
【特許文献１】特開平２００５−２９５４３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来のスポーツ番組の制作では、スイッチングワークをオペレータが行っているため、人的コストを要するほか、オペレータがスポーツのルールと放送番組上の演出に精通する必要があった。
また、特許文献１に記載された発明は、音声情報を用いているため、対談番組や情報番組など人物の発言が演出には直結する番組に適しているものの、選手の位置関係が演出を左右するスポーツ番組に不向きであった。
【０００５】
そこで、本発明は、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出できるスポーツ映像送出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記した課題を解決するため、請求項１に記載のスポーツ映像送出装置は、複数のカメラが撮影したスポーツ映像を用いるスポーツ映像送出装置において、状況判定用カメラと、関心度演算手段と、イベント検出手段と、録画制御手段と、録画手段と、送出制御手段と、送出手段と、を備える構成とした。
【０００７】
かかる構成において、スポーツ映像送出装置は、状況判定用カメラによって、被写体として、スポーツの選手、用具若しくは観客又はスポーツが行われる競技場の環境の何れか１以上を含むスポーツ状況映像を、撮影する。つまり、状況判定用カメラは、放送用のカメラが撮影するスポーツ映像とは別に、選手の動きや位置、コートやボールその他のスポーツの用具の位置、観客の身振り手振り、競技場の天候等のスポーツの状況を含むスポーツ状況映像を撮影する。
【０００８】
また、スポーツ映像送出装置は、関心度演算手段によって、スポーツ状況映像の画像特徴量を演算し、この画像特徴量を、スポーツ映像が視聴者に与える関心度として出力する。これによって、スポーツ映像送出装置は、カメラが撮影しているスポーツ映像が、視聴者に関心を与えるか否かを表すことができる。
【０００９】
また、スポーツ映像送出装置は、イベント検出手段によって、スポーツ状況映像に含まれる被写体同士の位置関係を検出し、被写体同士の位置関係が予め設定されたパターンに一致する場合、スポーツで予め設定したイベントが発生したと判定して、このイベントを示すイベント情報を生成する。これによって、スポーツ映像送出装置は、カメラが撮影しているスポーツ映像から、視聴者に関心を与えるイベントを検出できる。
【００１０】
また、スポーツ映像送出装置は、録画制御手段によって、イベント情報と、複数のカメラ毎の撮影アングルを含むカメラパラメータとに基づいて、複数のカメラのうち、イベント毎に応じて予め設定された最適撮影アングルに最も近い撮影アングルのカメラを判定し、関心度が所定の閾値以上の場合、判定したカメラが撮影するスポーツ用映像の録画を指示する録画制御信号を生成する。そして、スポーツ映像送出装置は、録画手段によって、録画制御信号に基づいて、このカメラが撮影するスポーツ映像を録画する。これによって、スポーツ映像送出装置は、複数のカメラが撮影するスポーツ映像のうち、視聴者に関心を与えるイベントのシーンを録画できる。
【００１１】
また、スポーツ映像送出装置は、送出制御手段によって、イベント情報と、カメラパラメータとに基づいて、複数のカメラのうち、最適撮影アングルに最も近い撮影アングルのカメラを判定し、関心度が所定の閾値以上の場合、このカメラが撮影するスポーツ用映像の送出を指示し、関心度が所定の閾値未満の場合、録画手段が録画したスポーツ映像の送出を指示する送出制御信号を生成する。
【００１２】
そして、スポーツ映像送出装置は、送出手段によって、送出制御信号に基づいて、カメラが撮影したスポーツ映像、又は、録画手段が録画したスポーツ映像を送出する。これによって、スポーツ映像送出装置は、カメラが撮影するスポーツ映像又は録画手段が録画したスポーツ映像のうち、視聴者に関心を与えるイベントのシーンを送出する。
【００１３】
請求項２に記載のスポーツ映像送出装置は、請求項１に記載のスポーツ映像送出装置において、被写体が発生させる音であるスポーツ状況音が入力される状況判定用マイクをさらに備え、関心度演算手段は、スポーツ状況音の大きさを関心度として出力し、イベント検出手段は、イベントに応じて予め設定された音パターンがスポーツ状況音に含まれるか検出し、音パターンがスポーツ状況音に含まれる場合、スポーツでイベントが発生したと判定して、このイベントを示すイベント情報を生成することを特徴とする。
【００１４】
かかる構成において、スポーツ映像送出装置は、スポーツ状況映像に加え、選手の掛け声、観客の歓声、ボールの打撃音等のスポーツ状況音を用いて、視聴者に関心を与えるイベントのシーンを判定する。
【００１５】
請求項３に記載のスポーツ映像送出装置は、請求項１又は請求項２に記載のスポーツ映像送出装置において、イベント情報と、カメラパラメータとに基づいて、複数のカメラ毎にスポーツ映像を撮影する設定撮影アングルを演算し、設定撮影アングルを示す撮影指示情報を生成する撮影指示情報生成手段と、撮影指示生成手段が生成した撮影指示情報を表示し、複数のカメラのオペレータに設定撮影アングルを指示する撮影指示表示手段と、をさらに備えることを特徴とする。
【００１６】
かかる構成において、スポーツ映像送出装置は、イベントに応じて最適な設定撮影アングルをカメラのオペレータに指示する。
【００１７】
請求項４に記載のスポーツ映像送出装置は、請求項１又は請求項２に記載のスポーツ映像送出装置において、イベント情報と、カメラパラメータとに基づいて、複数のカメラ毎にスポーツ映像を撮影する設定撮影アングルを演算し、設定撮影アングルを示す撮影制御情報を生成する撮影制御情報生成手段と、撮影制御情報生成手段が生成した撮影制御情報に基づいて、複数のカメラをそれぞれ駆動するカメラ駆動手段と、をさらに備えることを特徴とする。
【００１８】
かかる構成において、スポーツ映像送出装置は、イベントに応じて最適な設定撮影アングルにカメラを駆動する。
【００１９】
請求項５に記載のスポーツ映像送出装置は、請求項１から請求項４のいずれか一項に記載のスポーツ映像送出装置において、送出制御信号と出制御信号を生成した時刻とを含むメタデータ、及び、現在スポーツ映像を送出しているカメラ及び録画手段と次に送出可能なカメラ及び録画手段との対応関係を予め設定した次送出候補情報、を記録するメタデータ記録手段をさらに備え、送出制御手段は、メタデータに含まれる最新時刻の送出制御信号から現在スポーツ映像を送出しているカメラ又は録画手段を判定し、次送出候補情報に基づいて、判定したカメラ又は録画手段の次に送出可能なカメラ又は録画手段のスポーツ映像の送出を指示する送出制御信号を生成することを特徴とする。
【００２０】
かかる構成において、スポーツ映像送出装置は、メタデータから取得できるカメラの切替履歴と、最適なスイッチングワークを設定した次送出候補情報とに基づいて、送出制御信号を生成する。
【００２１】
請求項６に記載のスポーツ映像送出装置は、請求項１から請求項５のいずれか一項に記載のスポーツ映像送出装置において、イベント検出手段は、スポーツ状況映像の平均輝度を演算し、平均輝度が所定の閾値以上の場合、スポーツでイベントが発生したと判定することを特徴とする。
【００２２】
かかる構成において、スポーツ映像送出装置は、スポーツ映像の平均輝度から、スポーツにおける天候をイベントとして判定できる。
【発明の効果】
【００２３】
本発明に係るスポーツ映像送出装置によれば、以下のような優れた効果を奏する。
請求項１に記載の発明によれば、スポーツ映像送出装置は、カメラが撮影するスポーツ映像又は録画手段が録画したスポーツ映像のうち、視聴者に関心を与えるイベントのシーンを送出するため、退屈なシーンを送出することが少なく、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出でき、人的コストを低減できる。
【００２４】
請求項２に記載の発明によれば、スポーツ状況映像に加え、スポーツ状況音を用いて、視聴者に関心を与えるイベントのシーンを判定するため、スポーツ映像に含まれるイベントのシーンの割合が向上し、視聴者の関心をより高くできる。
【００２５】
請求項３に記載の発明によれば、イベントに応じて最適な設定撮影アングルをカメラのオペレータに指示するため、オペレータが、演出が効果的なスポーツ映像を撮影し易くなり、視聴者の関心をより高くできる。
【００２６】
請求項４に記載の発明によれば、イベントに応じて最適な設定撮影アングルにカメラを駆動するため、演出が効果的なスポーツ映像を人手によらずに送出でき人的コストをより低減すると共に、視聴者の関心をより高くできる。
【００２７】
請求項５に記載の発明によれば、メタデータから取得できるカメラの切替履歴と、最適なスイッチングワークを設定した次送出候補情報とに基づいて、送出制御信号を生成する。
ため、演出が効果的なスポーツ映像を人手によらずに送出できる。
【００２８】
請求項６に記載の発明によれば、スポーツにおける天候をイベントとして判定できるため、スポーツ映像に含まれるイベントのシーンの割合が向上し、視聴者の関心をより高くできる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。
【００３０】
（第１実施形態）
［スポーツ番組制作装置の構成］
図１を参照して、本発明の第１実施形態に係るスポーツ番組制作装置の構成について説明する。図１は、本発明の第１実施形態に係るスポーツ番組制作装置のブロック図である。図１に示すように、スポーツ番組制作装置（スポーツ映像送出装置）１は、３台の放送用カメラ（カメラ）２と、センサカメラ（状況判定用カメラ）３と、センサマイク４（状況判定用マイク）と、関心度演算手段５と、イベント検出手段６と、録画制御手段７と、送出制御手段８と、録画再生手段（録画手段）９と、録画切替手段１０と、送出切替手段１１（送出手段）と、メタデータ記録手段１２と、を備える。なお、スポーツ番組制作装置１が、請求項に記載のスポーツ映像送出装置に相当する。
【００３１】
放送用カメラ（カメラ）２は、サッカー、野球、バレーボール、ラグビー、ゴルフ等のスポーツ映像を撮影するものである。また、放送用カメラ２は、撮影アングルを測定して出力する角度センサを有し、この撮影アングルを含むカメラパラメータを出力する。なお、放送用カメラ２が、請求項に記載のカメラに相当する。
【００３２】
図１では、３台の放送用カメラ２が隣接するように図示されているが、様々な方向からスポーツ映像を撮影するため、放送用カメラ２は、異なる場所に配置されることが一般的である。また、図１では、放送用カメラ２は、３台としたが、２台以上であれば制限されない（不図示）。
【００３３】
ここで、放送用カメラ２としては、例えば、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ）用のカメラ、又は、ＳＤＴＶ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ）用のカメラがある。
【００３４】
センサカメラ（状況判定用カメラ）３は、被写体として、スポーツの選手、用具若しくは観客又はスポーツが行われる競技場の環境の何れか１以上を含むスポーツ状況映像を撮影するものである。ここで、センサカメラ３は、後記する関心度演算手段５が関心度を演算し及びイベント検出手段６がイベントを検出するために設置された、例えば、光学カメラである。なお、センサカメラ３が、請求項に記載の状況判定用カメラに相当する。
【００３５】
また、センサカメラ３は、固定され又は可動し、センサカメラ３によって捉えられた映像の画面内の各位置が、実世界における位置に対応するように、センサカメラ３の位置、姿勢及びレンズ等のセンサカメラ３のパラメータが較正されている。また、このセンサカメラ３のパラメータは、焦点距離又は画角を含んでも良い。また、センサカメラ３は、カラー映像など多波長の動画像を撮影しても、モノクロ映像を撮影しても良い。さらに、センサカメラ３は、赤外線や紫外線等の不可視光領域の波長帯を撮影しても良い。
【００３６】
図１では、センサカメラ３は、１台としたが、２台以上としても良い（不図示）。ここで、センサカメラ３として２台以上のカメラを用いる場合、同種のカメラのみによって構成しても良く、異種のカメラを混在させても良い。さらに、センサカメラ３として２台以上のカメラを用いる場合、各カメラの撮影する実空間を互いにずらすことで実空間の広い範囲を撮影（モザイキング）しても良く、各カメラを空間的に離して配置することで実空間の判定の場所を撮影（ステレオ）しても良い。
【００３７】
センサマイク（状況判定用マイク）４は、後記する関心度演算手段５が関心度を演算し及びイベント検出手段６がイベントを検出するために設置された、被写体が発生させる音であるスポーツ状況音が入力されるマイクである。また、センサマイク４は、１台以上であればその台数は制限されず、センサカメラ３の近傍に配置しても良い。ここで、センサマイク４としては、例えば、ワイヤレスマイク、コンデンサマイク、センサカメラ３が内蔵する内蔵マイク等のマイクがある。なお、センサマイク４が、請求項に記載の状況判定用マイクに相当する。
【００３８】
関心度演算手段５は、センサカメラ３が撮影したスポーツ状況映像の画像特徴量を演算し、この画像特徴量を、スポーツ映像が視聴者に与える関心度として出力するものである。この関心度は、例えば、スポーツ映像の内容が、視聴者にとって面白いか否かを示す指標である。
【００３９】
ここで、競技場にいる観客は、得点シーン、反則シーン、選手が素晴らしいプレイをしたシーン、選手が面白いプレイをしたシーン等では興奮して、応援歌を歌ったり、声援をあげたり、踊ったりと動きが活発になる傾向がある。そこで、関心度演算手段５は、例えば、スポーツ状況映像の選手がいる領域（例えば、コート）をマスクして、観客がいる領域のみを抽出し、この観客がいる領域の画像特徴量を関心度とする。
【００４０】
具体的には、関心度演算手段５は、観客がいる領域について、輝度値、色度値等の画素値の時間変化（例えば、フレーム間差分等）の大きさ（例えば、絶対値）の平均を算出する（以下、フレーム間差分の絶対値平均）。観客の動きが激しい場合、前記したフレーム間差分の絶対値平均の値が大きくなる傾向にあることから、関心度演算手段５は、このフレーム間差分の絶対値平均を関心度とすることができる。なお、関心度演算手段５は、前後するフレーム間での動きベクトルや前後するフレーム間の差分から画像特徴量を演算し、これを関心度として出力しても良い。
【００４１】
また、関心度演算手段５は、センサマイク４に入力されるスポーツ状況音の大きさを関心度として出力しても良い。前記したように、観客は、得点シーン、反則シーン、選手が素晴らしいプレイをしたシーン、選手が面白いプレイをしたシーン等では、応援歌を歌ったり、声援をあげたりして、騒がしくなる。従って、関心度演算手段５は、センサマイク４に入力されるスポーツ状況音の大きさ（音圧）に比例した値を、関心度として出力しても良い。
【００４２】
イベント検出手段６は、センサカメラ３が撮影したスポーツ状況映像に含まれる被写体同士の位置関係を検出し、被写体同士の位置関係が予め設定されたパターンに一致する場合、スポーツで予め設定したイベントが発生したと判定して、イベントを示すイベント情報を生成するものである。具体的には、イベント検出手段６は、各選手（被写体）の領域を切り出し、各選手の配置が予め設定されたパターン（フォーメーション）と一致する場に、そのパターンに応じたイベント情報を出力する。
【００４３】
例えば、イベント検出手段６は、サッカーにおいて、スポーツ状況映像から、２チームのユニフォームの色領域とセンターラインとを検出して各チームの選手とする。そして、イベント検出手段６は、センターラインを境に、一方のチームのユニフォームを着た選手がコートの一方の半面に集中的に存在し、他方のチームのユニフォームを着た選手がコートの他方の半面に集中した場合に、「キックオフ」をイベント情報として出力する。また、同様に、イベント検出手段６は、サッカーにおいて、コーナーアークやタッチライン付近における選手の有無を判定することで、「コーナーキック」や「スローイン」をイベント情報として出力する。さらに、イベント検出手段６として、特開２００６−２８５８７８号公報に記載された発明を用いても良い。
【００４４】
また、イベント検出手段６は、イベントに応じて予め設定された音パターンが、センサマイク４に入力されるスポーツ状況音に含まれるか検出し、音パターンがスポーツ状況音に含まれる場合、イベントがスポーツで発生したと判定して、イベントに応じたイベント情報を生成する。例えば、ゴルフ番組の場合、いくつかのショット音を予め音パターンとして登録しておき、イベント検出手段６は、センサマイク４に入力されるスポーツ状況音が、ショット音に該当するか否かを判断する。そして、スポーツ状況音が、ショット音に該当する場合、イベント検出手段６は、「ショット」をイベント情報として出力する。このように、ゴルフ等の観客が静かにスポーツを観賞する場合でも、イベント検出手段６は、イベント情報を出力できる。
【００４５】
また、イベント検出手段６は、センサカメラ３が撮影したスポーツ状況映像の平均輝度を演算し、この平均輝度が所定の閾値以上の場合、スポーツでイベントが発生したと判定する。例えば、イベント検出手段６は、この平均輝度が閾値以上の場合「晴れ」をイベント情報として出力し、閾値未満の場合「晴れ以外」をイベント情報として出力する。
【００４６】
また、イベント検出手段６は、「晴れ以外」を出力する代わりに、「雨」及び「雨以外」をイベント情報として出力しても良い。例えば、イベント「晴れ」を示す閾値（第１閾値）未満で「雨」を示す第２閾値をさらに設定する。そして、イベント検出手段６は、この平均輝度が、第１閾値未満で第２閾値以上の場合、「雨以外」をイベント情報として出力し、第２閾値未満の場合「雨」をイベント情報として出力する。なお、第１閾値及び第２閾値は、任意に設定できる。
【００４７】
録画制御手段７は、イベント検出手段６が生成したイベント情報と、複数の放送用カメラ２毎の撮影アングルを含むカメラパラメータとに基づいて、複数の放送用カメラ２のうち、イベント毎に応じて予め設定された最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、関心度演算手段５が演算した関心度が所定の閾値以上の場合、この放送用カメラ２が撮影するスポーツ用映像の録画を指示する録画制御信号を生成するものである。なお、録画制御手段７の詳細は、後記する。
【００４８】
ここで、録画制御信号は、例えば、録画再生手段９に、再生、録画、停止、早送り、巻き戻し及び頭出しの指令を含む。さらに、録画制御信号は、録画切替手段１０に、複数の放送用カメラ２が撮影するスポーツ映像の何れを録画させるかの指令を含む。
【００４９】
送出制御手段８は、イベント検出手段６が生成したイベント情報と、カメラパラメータとに基づいて、複数の放送用カメラ２のうち、最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、関心度演算手段５が演算した関心度が所定の閾値以上の場合、この放送用カメラ２が撮影するスポーツ用映像の送出を指示し、関心度が所定の閾値未満の場合、録画再生手段９が録画したスポーツ映像の送出を指示する送出制御信号を生成するものである。なお、送出制御手段８の詳細は、後記する。
【００５０】
録画再生手段９は、録画制御手段７が生成した録画制御信号に基づいて、録画切替手段１０からのスポーツ映像を録画するものである。また、録画再生手段９は、録画したスポーツ映像を再生しても良い。録画再生手段９としては、例えば、ビデオテープレコーダ、ビデオディスクレコーダがある。また、録画再生手段９は、個体メモリに映像信号を記録し、これを再生しても良い。
【００５１】
録画切替手段１０は、複数の放送用カメラ２を切り替えて、複数の放送用カメラ２から入力されるスポーツ映像のうち、録画制御手段７が生成した録画制御信号が示すスポーツ映像を録画再生手段９に出力するものである。なお、録画切替手段１０は、後記する送出切替手段１１と一体化したマトリクススイッチャとしても良い（不図示）。
【００５２】
送出切替手段（送出手段）１１は、送出制御手段８が生成した送出制御信号に基づいて、放送用カメラ２が撮影するスポーツ映像、又は、録画再生手段９が録画したスポーツ映像を送出するものである。なお、送出切替手段１１が請求項に記載の送出手段に相当する。
【００５３】
メタデータ記録手段１２は、関心度演算手段５が演算した関心度、イベント検出手段６が生成したイベント情報、録画制御手段７が生成した録画制御信号、送出制御手段８が生成する送出制御信号、及び、放送用カメラ２の撮影アングルのうちの何れか１以上を含むメタデータを記録する。
【００５４】
また、メタデータ記録手段１２は、スポーツ映像の撮影時刻を含むメタデータを記録しても良い。このとき、メタデータ記録手段１２は、送出制御手段８が要求する時刻のメタデータを読み出し、送出制御手段８に出力する。また、メタデータ記録手段１２は、そのイベントにおける最適撮影アングルが予め設定されたテーブル、後記する時刻と太陽の方向との関係を示すテーブル、後記する次切替候補情報、及び、被写体同士の位置関係を示すパターンを予め記録しても良い。
【００５５】
以下、図２を参照し、メタデータ記録手段が記録するメタデータについて説明する（適宜図１参照）。図２は、図１のメタデータ記録手段が記録するメタデータのデータ構造を示す図である。
【００５６】
図２に示すように、メタデータは、「時刻」、「種別」、及び、「値」の３項目を有するレコードを１行以上有する。ここで、「時刻」は、そのレコードに格納された録画制御信号、関心度、イベント情報又は送出制御信号を生成した時刻を示す。また、「種別」は、そのレコードが格納する情報又は信号の種別を示す。例えば、「種別」が制御であれば録画制御信号を示し、「種別」が関心度であれば関心度を示し、「種別」がイベントであればイベント情報を示し、「種別」が切替であれば送出制御信号を示す。つまり、メタデータは、送出制御信号等の履歴を示す履歴情報である。
【００５７】
また、「値」は、そのレコードが格納する情報又は信号の種別に応じた値又は内容を示す。例えば、「種別」が制御であれば、「値」は、録画制御信号の内容、例えば、再生、録画、停止、早送り又は巻き戻しを示す。また、例えば、「種別」が関心度であれば、「値」は、関心度の値（例えば、７５．２）を示し、「種別」がイベントであれば、「値」は、イベント情報の内容（たとえば、キックオフ）を示し、「種別」が切替であれば、「値」は、送出制御信号の内容、例えば、送出するスポーツ映像を撮影しているカメラの識別子（例えば、カメラ３）を示す。なお、メタデータは図３に示すものに制限されず、例えば、メタデータをＸＭＬ形式とし、「時刻」、「種別」、及び「値」の３項目をそれぞれ固有のタグで囲んで表記しても良い。
【００５８】
＜録画制御手段の詳細：録画に用いる放送用カメラの判定例＞
以下、図１に戻り、録画制御手段の詳細について説明を続ける。
録画制御手段７は、録画に用いる放送用カメラ２の判定と、録画再生手段９の制御とを行う。まず、録画に用いる放送用カメラ２の判定について、説明する。
【００５９】
まず、録画制御手段７は、イベント検出手段６からイベント情報が入力された場合、放送用カメラ２の角度センサにより測定された撮影アングルを含むカメラパラメータを取得する。そして、録画制御手段７は、イベント情報が示すイベントに応じて、そのイベントにおける最適撮影アングルを取得する。続いて、録画制御手段７は、この最適撮影アングルと、各放送用カメラ２の撮影アングルとを比較し、両撮影アングルが最も近くなる放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
【００６０】
例えば、サッカーにおいて、「左奥コーナーでのコーナーキック」というイベント情報が入力された場合、録画制御手段７は、左奥コーナーから左ゴールエリア付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
【００６１】
一方、「キックオフ」というイベント情報が入力された場合、録画制御手段７は、センターサークル付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
【００６２】
また、例えば、「晴れ」というイベント情報が入力された場合、録画制御手段７は、太陽の方向以外を最適撮影アングルとし、この最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。この場合、時刻と太陽の方向との関係を示すテーブル（例えば、午前６時〜午前１０時までは東向き、午前１０時〜午後３時までは南向き、午後３時〜午後６時までは西向き）から、録画制御手段７は、録画時刻における太陽の方向を判定できる。これによって、録画制御手段７は、録画したスポーツ映像で逆光を防止できる。なお、「晴れ以外」というイベント情報が入力された場合、録画制御手段７は、太陽に向いている放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成しても良い。
【００６３】
また、例えば、イベント情報が「雨以外」から「雨」に変化した場合、録画制御手段７は、空を含む（上方向を向いた）最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。これによって、録画制御手段７は、雨の降り出しを演出したスポーツ映像を録画できる。
【００６４】
また、録画制御手段７は、イベント検出手段６から入力されたイベント情報と、放送用カメラ２の撮影アングルと、送出制御手段８から入力された送出制御信号に基づいて、録画制御信号を生成しても良い。この場合、録画制御手段７は、イベント情報から、そのイベントにおける最適撮影アングルを取得する。続いて、録画制御手段７は、送出制御手段８から入力された送出制御信号から、送出に用いられていない放送用カメラ２をすべて判定する。最後に、録画制御手段７は、最適撮影アングルと、送出に用いられていない放送用カメラ２の撮影アングルとを比較し、両撮影アングルが最も近くなる放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
【００６５】
＜録画制御手段の詳細：録画再生手段の制御の第１例＞
次に、録画再生手段の制御の第１例について、説明する。具体的には、録画制御手段７は、関心度に応じて録画制御信号を生成し、後記する録画再生手段９に録画、再生、早送り、巻き戻し又は停止を指示する。
【００６６】
例えば、録画制御手段７は、関心度が閾値ＴＡ（例えば、スポーツ状況音の音圧が１２０ｄＢ）以上の場合、録画再生手段９に録画を指示する録画制御信号を生成する。
また、例えば、録画制御手段７は、関心度が、閾値ＴＡ以上となった後に閾値ＴＢ（例えば、スポーツ状況音の音圧が１１０ｄＢ）以下となるか又は閾値ＴＡ以上のまま一定時間を経過した場合、録画再生手段９に巻き戻しを指示する録画制御信号、又は、先の録画時の映像の先頭の頭出しを指示する録画制御信号を生成する。
また、例えば、録画制御手段７は、巻き戻しが終了し、かつ、関心度が所定の閾値ＴＣ（例えば、スポーツ状況音の音圧が１００ｄＢ）以下の場合、録画再生手段９に再生を指示する録画制御信号を生成する。なお、閾値ＴＡ，ＴＢ，ＴＣは、式（１）を満たす。
【００６７】
式（１）ＴＡ≧ＴＢ≧ＴＣ
【００６８】
このとき、録画制御手段７は、録画再生手段９を録画状態にする録画制御信号を生成してからの一定時間、録画制御信号を生成せずに、録画再生手段９が録画状態と停止状態とを短時間で繰り返すことを防ぐことが好ましい。この一定時間は、５秒という固定値であっても、ジョグダイヤル等の入力手段からの操作によって、１秒以上６０秒以下の範囲で可変としても良い。
【００６９】
＜録画制御手段の詳細：録画再生手段の制御の第２例＞
次に、録画再生手段の制御の第２例について、説明する。この第２例では、録画制御手段７は、送出制御手段８に連携して録画制御信号を生成する。
【００７０】
例えば、録画制御手段７は、関心度が閾値ＴＡ以上、かつ、送出制御手段８から入力された送出制御信号が、録画再生手段９に録画されたスポーツ映像を選択していない場合、録画再生手段９に録画を指示する録画制御信号を生成する。
また、例えば、録画制御手段７は、関心度が、閾値ＴＡ以上となった後に閾値ＴＢ以下となるか又は閾値ＴＡ以上のまま一定時間を経過した場合、録画再生手段９に巻き戻しを指示する録画制御信号、又は、先の録画時の映像の先頭の頭出しを指示する録画制御信号を生成する。
また、例えば、画制御手段７は、巻き戻しが終了し、送出制御手段８から入力された送出制御信号が、録画再生手段９に録画されたスポーツ映像を選択し、かつ、関心度が閾値Ｔｃ以下の場合、録画再生手段９に再生を指示する録画制御信号を生成する。
【００７１】
ここで、録画制御手段７は、所定の待ち時間後に録画再生手段９に録画されたスポーツ映像を選択することを指示する送出制御信号を送出制御手段８に出力しても良い。例えば、録画制御手段７は、録画再生手段９としてビデオテープレコーダを使用する場合、プリロール時間を待ち時間とすることができる。さらに、録画制御手段７は、録画再生手段９が、磁気ディスクや光ディスクに記録された映像を再生する場合、ディスクのシークタイムと復号化に要する時間との和を待ち時間としても良い。このような送出制御信号を用いれば、録画再生手段９への指令後に生じ得る遅延の影響を避け、再生開始直後の不安定な映像信号が送出されることを防ぐことができる。
【００７２】
また、録画制御手段７は、送出制御手段８から入力された送出制御信号に基づいて、動作を変化させても良い。例えば、送出制御信号がある放送用カメラ２を示す場合、録画制御手段７は、送出制御信号が示す放送用カメラ２以外の放送用カメラ２を示す録画制御信号を生成する。これによって、スポーツ番組制作装置１は、まだ放送されていない放送用カメラ２のスポーツ映像をリプレイ映像として送出できる。さらに、録画制御手段７は、送出制御信号が示す放送用カメラ２と同じ放送用カメラ２を示す録画制御信号を生成しても良い。この場合、スポーツ番組制作装置１は、既に放送されたスポーツ映像を繰り返す形式でのリプレイ映像を送出できる。
【００７３】
＜送出制御手段の詳細＞
送出制御手段８の詳細について、説明する。
具体的には、送出制御手段８は、イベント検出手段６からイベント情報が入力された場合、放送用カメラ２の角度センサにより測定された撮影アングルを含むカメラパラメータを取得する。そして、送出制御手段８は、イベント情報が示すイベントに応じて、そのイベントにおける最適撮影アングルを取得する。続いて、送出制御手段８は、この最適撮影アングルと、各放送用カメラ２の撮影アングルとを比較し、両撮影アングルが最も近くなる放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。
【００７４】
例えば、サッカーにおいて、「左奥コーナーでのコーナーキック」というイベント情報が入力された場合、送出制御手段８は、左奥コーナーから左ゴールエリア付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。
【００７５】
一方、「キックオフ」というイベント情報が入力された場合、送出制御手段８は、センターサークル付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。
【００７６】
また、例えば、「晴れ」というイベント情報が入力された場合、送出制御手段８は、太陽の方向以外を最適撮影アングルとして、この最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。この場合、時刻と太陽の方向との関係を示すテーブルから、送出制御手段８は、送出時刻における太陽の方向を判定できる。これによって、送出制御手段８は、送出するスポーツ映像で逆光を防止できる。なお、「晴れ以外」というイベント情報が入力された場合、送出制御手段８は、太陽に向いている放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成しても良い。
【００７７】
また、例えば、イベント情報が「雨以外」から「雨」に変化した場合、送出制御手段８は、空（上方向を向いた）を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。これによって、送出制御手段８は、雨の降り出しを演出したスポーツ映像を送出できる。
【００７８】
このとき、送出制御手段８は、関心度が閥値より低く、かつ、録画制御信号が録画状態にない場合、放送用カメラ２ではなく、録画再生手段９のスポーツ映像を送出すると判定しても良い。これによって、スポーツ番組制作装置１は、現在の試合展開がつまらなく、かつ、録画再生手段９が録画中でない場合、過去の収録映像のリプレイを送出して、スポーツ映像の間延びを防ぐことができ、視聴者の関心が高くなる。
【００７９】
また、送出制御手段８は、メタデータ記録手段１２に対して、読み出すメタデータの時刻と種別との一方、又は、時刻と種別との両方を出力しても良い。このとき、指定された種別で、かつ、指定された時刻に近接するメタデータがあれば、メタデータ記録手段１２は、これを読み出して送出制御手段８に出力する。例えば、送出制御手段８は、現在時刻から一定時間（例えば、５分）の送出制御信号のメタデータを、メタデータ記録手段１２に対して要求して、このメタデータを取得する。そして、送出制御手段８は、取得したメタデータに含まれる最新時刻の送出制御信号から現在スポーツ映像を送出している放送用カメラ２又は録画再生手段９を判定する。さらに、送出制御手段８は、次切替候補情報に基づいて、判定した放送用カメラ２又は録画再生手段９の次に送出可能な放送用カメラ２又は録画再生手段９のスポーツ映像の送出を指示する送出制御信号を生成する。
【００８０】
以下、図３を参照し、本発明における次切替候補情報について説明する（適宜図１参照）。図３は、本発明における次切替候補情報のデータ構造を示す図である。なお、次切替候補情報が、請求項に記載の次送出候補情報に相当する。
【００８１】
図３に示すように、次切替候補情報は、現在スポーツ映像を送出している放送用カメラ２及び録画再生手段９と次に送出可能な放送用カメラ２及び録画再生手段９との対応関係を予め設定したものである。ここで、次切替候補情報は、「現在の切替状態」と「次の切替状態」との２項目を有する。なお、図３では、１台目の放送用カメラ２をカメラ１、２台目の放送用カメラ２をカメラ２、３台目の放送用カメラ２をカメラ３、及び、録画再生手段９を録画再生手段とする。
【００８２】
「現在の切替状態」は、送出切替手段１１が現在送出している放送用カメラ２又は録画再生手段９を示す。例えば、次切替候補情報の上から１行目レコードは、送出切替手段１１が１台目の放送用カメラ２（カメラ１）のスポーツ映像を送出していることを示す。また、「次の切替状態」は、次に送出可能な他の放送用カメラ２及び録画再生手段９を示す。例えば、次切替候補情報の上から１行目レコードは、１台目の放送用カメラ２のスポーツ映像を現在送出している場合、１〜３台目の放送用カメラ２（カメラ１〜カメラ３）及び録画再生手段９（録画再生手段）の何れかが次に送出可能なことを示す。
【００８３】
図２のメタデータを例にすると、送出制御手段８は、このメタデータから最新時刻の送出制御情報、つまり、「種別」が切替のレコードを取得する。ここでは、送出制御手段８は、「種別」が切替で、かつ、「時刻」が１９：０２：０９：１５のレコードを参照し、３台目の放送用カメラ２（カメラ３）のスポーツ映像を現在送出している判定する。そして、送出制御手段８は、図３の次切替候補情報で、「現在の切替状態」が３台目の放送用カメラ２（カメラ３）となっているレコードを参照し、次にイベント情報が入力された場合、「次の切替状態」に定義された、１台目の放送用カメラ２（カメラ１）、２台目の放送用カメラ２（カメラ２）又は録画再生手段９（録画再生手段）のスポーツ映像の送出を指示する送出制御信号を生成する。
【００８４】
［スポーツ番組制作装置の動作］
以下、図４を参照して、本発明の第１実施形態に係るスポーツ番組制作装置の動作について説明する（適宜図１参照）。図４は、図１のスポーツ番組制作装置の動作を示すフローチャートである。なお、図４では、放送用カメラ２及びセンサカメラがスポーツ撮影を行っていることとする。
【００８５】
まず、スポーツ番組制作装置１は、関心度演算手段５によって、センサカメラ３が撮影したスポーツ状況映像の画像特徴量を演算し、この画像特徴量を、スポーツ映像が視聴者に与える関心度として出力する（ステップＳ１）。また、スポーツ番組制作装置１は、イベント検出手段６によって、スポーツ状況映像に含まれる被写体同士の位置関係を検出し、被写体同士の位置関係が予め設定されたパターンに一致する場合、スポーツで予め設定したイベントが発生したと判定して、このイベントを示すイベント情報を生成する（ステップＳ２）。
【００８６】
ステップＳ２に続いて、スポーツ番組制作装置１は、録画制御手段７によって、イベント検出手段６が生成したイベント情報と、複数の放送用カメラ２毎の撮影アングルを含むカメラパラメータとに基づいて、複数の放送用カメラ２のうち、イベント毎に応じて予め設定された最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、関心度演算手段５が演算した関心度が所定の閾値以上の場合、この放送用カメラ２が撮影するスポーツ用映像の録画を指示する録画制御信号を生成する（ステップＳ３）。
【００８７】
ステップＳ３に続いて、スポーツ番組制作装置１は、録画切替手段１０によって、録画制御手段７が生成した録画制御信号に基づいて、放送用カメラ２から入力される複数のスポーツ映像の何れを録画再生手段９に出力するか切り替える（ステップＳ４）。また、スポーツ番組制作装置１は、録画再生手段９によって、録画制御手段７が生成した録画制御信号に基づいて、録画切替手段１０から出力されるスポーツ映像を録画する（ステップＳ５）。
【００８８】
ステップＳ５に続いて、スポーツ番組制作装置１は、送出制御手段８によって、イベント検出手段６が生成したイベント情報と、カメラパラメータとに基づいて、複数の放送用カメラ２のうち、最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、関心度演算手段５が演算した関心度が所定の閾値以上の場合、この放送用カメラ２が撮影するスポーツ用映像の送出を指示し、関心度が所定の閾値未満の場合、録画再生手段９が録画したスポーツ映像の送出を指示する送出制御信号を生成する（ステップＳ６）。
【００８９】
ステップＳ６に続いて、スポーツ番組制作装置１は、送出切替手段１１によって、送出制御手段８が生成した送出制御信号に基づいて、放送用カメラ２が撮影するスポーツ映像、又は、録画再生手段９が録画したスポーツ映像を送出する（ステップＳ７）。これによって、スポーツ番組制作装置１は、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出できる。
【００９０】
（第２実施形態）
［スポーツ番組制作装置の構成］
図５を参照して、本発明の第２実施形態に係るスポーツ番組制作装置の構成について説明する。図５は、本発明の第２実施形態に係るスポーツ番組制作装置のブロック図である。図５に示すように、スポーツ番組制作装置１Ｂは、３台の放送用カメラ（カメラ）２と、センサカメラ（状況判定用カメラ）３と、関心度演算手段５と、イベント検出手段６と、録画制御手段７と、送出制御手段８と、録画再生手段（録画手段）９と、録画切替手段１０と、送出切替手段（送出手段）１１と、メタデータ記録手段１２と、撮影指示情報生成手段１３と、撮影指示表示手段１４と、を備える。
【００９１】
撮影指示情報生成手段１３は、イベント検出手段６が生成したイベント情報と、カメラパラメータとに基づいて、複数の放送用カメラ２毎に設定撮影アングルを演算し、設定撮影アングルを示す撮影指示情報を生成するものである。この場合、放送用カメラ２は、オペレータ（カメラマン）が撮影する有人のカメラである。
【００９２】
例えば、撮影指示情報生成手段１３は、前記した最適撮影アングルを取得する。続いて、撮影指示情報生成手段１３は、各放送用カメラ２のカメラパラメータの値と、最適撮影アングルとを比較し、その差分が最も小さい放送用カメラ２を判定する。例えば、撮影指示情報生成手段１３は、パン角の差分と、チルト角の差分から、各放送用カメラ２の光軸方向と、最適撮影アングルの光軸方向とのなす角を求め、そのなす角が最も小さい放送用カメラ２がいずれであるかを判定する。
【００９３】
次に、撮影指示情報生成手段１３は、最適撮影アングルと、放送用カメラ２の角度センサが測定する影アングルとのパン角、チルト角、及び焦点距離の差を符号付きで演算し、撮影指示情報を生成する。ここで、パン角の差をΔθ、チルト角の差をΔφ、焦点距離の差をΔｆとおく。ここで、最適撮影アングルやカメラワークを予め設定（ルールベース）しておくことで、撮影指示情報生成手段１３は、各放送用カメラ２のパン角、チルト角及び焦点距離の最適な値、並びに、必要に応じてパン、チルト及びズーム操作の最適な速度を求めることができる。
【００９４】
なお、撮影指示情報生成手段１３は、イベント検出手段６からのイベント情報のほか、関心度演算手段５からの関心度を考慮しても良い。この場合、撮影指示情報生成手段１３は、例えば、関心度が既定の閾値以下の場合、撮影指示情報の表示を指示しなくとも良い。
【００９５】
撮影指示表示手段１４は、撮影指示生成手段１３が生成した撮影指示情報を表示し、複数の放送用カメラ２のオペレータに設定撮影アングルを指示するものである。撮影指示表示手段１４は、例えば、ＬＣＤ（液晶ディスプレイ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＰＤＰ（プラズマディスプレイパネル）、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）ディスプレイ、ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を用いることができる。さらに、撮影指示表示手段１４は、視覚的な表示による指示ではなく、音声や振動で指示を行え、これらを組み合わせた指示を行っても良い。
【００９６】
例えば、撮影指示表示手段１４は、複数の放送用カメラ２で一つの表示デバイスである場合（不図示）、いずれの放送用カメラ２に対しての指示であるかを明示したかたちで、設定撮影アングルを表示する。この場合、撮影指示表示手段１４は、例えば、「カメラ３、左パン１０度、チルトアップ５度、ズームイン」のような表示を行う。一方、撮影指示表示手段１４は、放送用カメラ２毎の表示デバイスである場合、放送用カメラ２毎に設定撮影アングルを表示する。この場合、撮影指示表示手段１４は、例えば、「右パン２０度、チルトダウン１０度、ズームアウト」といった表示を行う。
【００９７】
これによって、スポーツ番組制作装置１Ｂは、イベントに応じて最適な設定撮影アングルをカメラのオペレータに指示するため、オペレータが、演出が効果的なスポーツ映像を撮影し易くなり、視聴者の関心をより高くできる。
【００９８】
（第３実施形態）
［スポーツ番組制作装置の構成］
図６を参照して、本発明の第３実施形態に係るスポーツ番組制作装置の構成について説明する。図６は、本発明の第３実施形態に係るスポーツ番組制作装置のブロック図である。
【００９９】
図６に示すように、スポーツ番組制作装置１Ｃは、３台の放送用カメラ（カメラ）２と、センサカメラ（状況判定用カメラ）３と、関心度演算手段５と、イベント検出手段６と、録画制御手段７と、送出制御手段８と、録画再生手段（録画手段）９と、録画切替手段１０と、送出切替手段（送出手段）１１と、メタデータ記録手段１２と、撮影制御情報生成手段１５と、を備える。
【０１００】
放送用カメラ２は、雲台に搭載され、撮影アングルを自在に変更できると共に、カメラ駆動手段２ａを内蔵する。また、カメラ駆動手段２ａは、後記する撮影制御情報生成手段１５が生成した撮影制御情報に基づいて、複数の放送用カメラ２をそれぞれ駆動するものである。例えば、カメラ駆動手段２ａは、各放送用カメラ２に対し、パン角、チルト角、焦点距離（ズーム）、焦点位置（フォーカス）の何れか１以上を駆動するためのアクチュエータである。
【０１０１】
この場合、カメラ駆動手段２ａは、例えば、任意の回転型アクチュエータやリニアアクチュエータによることができる。また、カメラ駆動手段２ａとして、例えば、誘導モータ、直流モータ、同期モータ、ステッピングモータ、超音波モータ、ソレノイド等の電気的に可動な任意のアクチュエータを使用可能である。さらに、カメラ駆動手段２ａは、アクチュエータに付随して、その回転角や変位量を測定するためのセンサを設け、位置や速度情報をフィードバックすることで、正確な回転角や変位量の位置決めが可能なように構成しても良い。なお、カメラ駆動手段２ａの制御の方法は任意であるが、例えば、ＰＩＤ（比例，積分，微分）制御を用いることができる。
【０１０２】
撮影制御情報生成手段１５は、イベント検出手段６が生成したイベント情報と、複数の放送用カメラ２毎に設定撮影アングルを演算し、設定撮影アングルを示す撮影制御情報を生成するものである。
【０１０３】
例えば、撮影制御情報生成手段１５は、前記した最適撮影アングルを取得する。続いて、撮影制御情報生成手段１５は、各放送用カメラ２からのカメラパラメータの値と、最適撮影アングルとを比較し、その差分が最も小さい放送用カメラ２を判定する。例えば、撮影制御情報生成手段１５は、パン角の差分と、チルト角の差分から、各放送用カメラ２の光軸方向と、最適撮影アングルの光軸方向とのなす角を求め、そのなす角が最も小さい放送用カメラ２がいずれであるかを判定する。
【０１０４】
次に、撮影制御情報生成手段１５は、最適な設定撮影アングルと、放送用カメラ２の角度センサが測定した撮影アングルとのパン角、チルト角、及び焦点距離の差を符号付きで演算し、撮影制御情報を生成する。ここで、パン角の差をΔθ、チルト角の差をΔφ、焦点距離の差をΔｆとおく。そして、撮影制御情報生成手段１５は、カメラ駆動手段２ａに対し、これらの差分がすべて０となる撮影制御情報を生成する。ここで、各イベントに対し、最適撮影アングルやカメラワークを予め設定（ルールベース）しておくことで、各放送用カメラ２のパン角、チルト角及び焦点距離の最適な値、並びに、必要に応じてパン、チルト及びズーム操作の最適な速度を求めることができる。
【０１０５】
なお、撮影制御情報生成手段１５は、イベント検出手段６からのイベント情報のほか、関心度演算手段５からの関心度を考慮しても良い。この場合、撮影制御情報生成手段１５は、関心度が閥値以下の場合、カメラ駆動手段２ａに静止を指示する撮影制御情報を生成しても良い。
【０１０６】
これによって、スポーツ番組制作装置１Ｃは、イベントに応じて最適な設定撮影アングルにカメラを駆動するため、演出が効果的なスポーツ映像を人手によらずに送出でき人的コストをより低減すると共に、視聴者の関心をより高くできる。
【図面の簡単な説明】
【０１０７】
【図１】本発明の第１実施形態に係るスポーツ番組制作装置のブロック図である。
【図２】図１のメタデータ記録手段が記録するメタデータのデータ構造を示す図である。
【図３】本発明における次切替候補情報のデータ構造を示す図である。
【図４】図１のスポーツ番組制作装置の動作を示すフローチャートである。
【図５】本発明の第２実施形態に係るスポーツ番組制作装置のブロック図である。
【図６】本発明の第３実施形態に係るスポーツ番組制作装置のブロック図である。
【符号の説明】
【０１０８】
１ スポーツ番組制作装置（スポーツ映像送出装置）
１Ｂ スポーツ番組制作装置（スポーツ映像送出装置）
１Ｃ スポーツ番組制作装置（スポーツ映像送出装置）
２ 放送用カメラ（カメラ）
２ａ カメラ駆動手段
３ センサカメラ（状況判定用カメラ）
４ センサマイク（状況判定用マイク）
５ 関心度演算手段
６ イベント検出手段
７ 録画制御手段
８ 送出制御手段
９ 録画再生手段（録画手段）
１０ 録画切替手段
１１ 送出切替手段（送出手段）
１２ メタデータ記録手段
１３ 撮影指示情報生成手段
１４ 撮影指示表示手段
１５ 撮影制御情報生成手段
【技術分野】
【０００１】
本発明は、複数の放送用カメラが撮影するスポーツ映像を送出するスポーツ映像送出装置に関する。
【背景技術】
【０００２】
従来、スポーツ番組の制作は、複数の映像系統、複数の音声系統を、オペレータがスイッチャによって切り替えて、必要に応じて収録機を操作して行われていた。このとき、試合の状況、観客の盛り上がり等のスポーツの状況などに応じて、ふさわしいと思われる映像を選択し、試合が視聴者の興味をひくような状況でない場合、得点シーン等のリプレイや過去の名場面を挿入することが行われていた。
【０００３】
ここで、スイッチングワーク（スイッチャの切り替え）を人手によらず行う発明として、音声情報に基づいて話者の判定と発言内容の同定を行い、スイッチングの切り替えタイミングを考慮するものが知られている（例えば、特許文献１参照）。
【特許文献１】特開平２００５−２９５４３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来のスポーツ番組の制作では、スイッチングワークをオペレータが行っているため、人的コストを要するほか、オペレータがスポーツのルールと放送番組上の演出に精通する必要があった。
また、特許文献１に記載された発明は、音声情報を用いているため、対談番組や情報番組など人物の発言が演出には直結する番組に適しているものの、選手の位置関係が演出を左右するスポーツ番組に不向きであった。
【０００５】
そこで、本発明は、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出できるスポーツ映像送出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記した課題を解決するため、請求項１に記載のスポーツ映像送出装置は、複数のカメラが撮影したスポーツ映像を用いるスポーツ映像送出装置において、状況判定用カメラと、関心度演算手段と、イベント検出手段と、録画制御手段と、録画手段と、送出制御手段と、送出手段と、を備える構成とした。
【０００７】
かかる構成において、スポーツ映像送出装置は、状況判定用カメラによって、被写体として、スポーツの選手、用具若しくは観客又はスポーツが行われる競技場の環境の何れか１以上を含むスポーツ状況映像を、撮影する。つまり、状況判定用カメラは、放送用のカメラが撮影するスポーツ映像とは別に、選手の動きや位置、コートやボールその他のスポーツの用具の位置、観客の身振り手振り、競技場の天候等のスポーツの状況を含むスポーツ状況映像を撮影する。
【０００８】
また、スポーツ映像送出装置は、関心度演算手段によって、スポーツ状況映像の画像特徴量を演算し、この画像特徴量を、スポーツ映像が視聴者に与える関心度として出力する。これによって、スポーツ映像送出装置は、カメラが撮影しているスポーツ映像が、視聴者に関心を与えるか否かを表すことができる。
【０００９】
また、スポーツ映像送出装置は、イベント検出手段によって、スポーツ状況映像に含まれる被写体同士の位置関係を検出し、被写体同士の位置関係が予め設定されたパターンに一致する場合、スポーツで予め設定したイベントが発生したと判定して、このイベントを示すイベント情報を生成する。これによって、スポーツ映像送出装置は、カメラが撮影しているスポーツ映像から、視聴者に関心を与えるイベントを検出できる。
【００１０】
また、スポーツ映像送出装置は、録画制御手段によって、イベント情報と、複数のカメラ毎の撮影アングルを含むカメラパラメータとに基づいて、複数のカメラのうち、イベント毎に応じて予め設定された最適撮影アングルに最も近い撮影アングルのカメラを判定し、関心度が所定の閾値以上の場合、判定したカメラが撮影するスポーツ用映像の録画を指示する録画制御信号を生成する。そして、スポーツ映像送出装置は、録画手段によって、録画制御信号に基づいて、このカメラが撮影するスポーツ映像を録画する。これによって、スポーツ映像送出装置は、複数のカメラが撮影するスポーツ映像のうち、視聴者に関心を与えるイベントのシーンを録画できる。
【００１１】
また、スポーツ映像送出装置は、送出制御手段によって、イベント情報と、カメラパラメータとに基づいて、複数のカメラのうち、最適撮影アングルに最も近い撮影アングルのカメラを判定し、関心度が所定の閾値以上の場合、このカメラが撮影するスポーツ用映像の送出を指示し、関心度が所定の閾値未満の場合、録画手段が録画したスポーツ映像の送出を指示する送出制御信号を生成する。
【００１２】
そして、スポーツ映像送出装置は、送出手段によって、送出制御信号に基づいて、カメラが撮影したスポーツ映像、又は、録画手段が録画したスポーツ映像を送出する。これによって、スポーツ映像送出装置は、カメラが撮影するスポーツ映像又は録画手段が録画したスポーツ映像のうち、視聴者に関心を与えるイベントのシーンを送出する。
【００１３】
請求項２に記載のスポーツ映像送出装置は、請求項１に記載のスポーツ映像送出装置において、被写体が発生させる音であるスポーツ状況音が入力される状況判定用マイクをさらに備え、関心度演算手段は、スポーツ状況音の大きさを関心度として出力し、イベント検出手段は、イベントに応じて予め設定された音パターンがスポーツ状況音に含まれるか検出し、音パターンがスポーツ状況音に含まれる場合、スポーツでイベントが発生したと判定して、このイベントを示すイベント情報を生成することを特徴とする。
【００１４】
かかる構成において、スポーツ映像送出装置は、スポーツ状況映像に加え、選手の掛け声、観客の歓声、ボールの打撃音等のスポーツ状況音を用いて、視聴者に関心を与えるイベントのシーンを判定する。
【００１５】
請求項３に記載のスポーツ映像送出装置は、請求項１又は請求項２に記載のスポーツ映像送出装置において、イベント情報と、カメラパラメータとに基づいて、複数のカメラ毎にスポーツ映像を撮影する設定撮影アングルを演算し、設定撮影アングルを示す撮影指示情報を生成する撮影指示情報生成手段と、撮影指示生成手段が生成した撮影指示情報を表示し、複数のカメラのオペレータに設定撮影アングルを指示する撮影指示表示手段と、をさらに備えることを特徴とする。
【００１６】
かかる構成において、スポーツ映像送出装置は、イベントに応じて最適な設定撮影アングルをカメラのオペレータに指示する。
【００１７】
請求項４に記載のスポーツ映像送出装置は、請求項１又は請求項２に記載のスポーツ映像送出装置において、イベント情報と、カメラパラメータとに基づいて、複数のカメラ毎にスポーツ映像を撮影する設定撮影アングルを演算し、設定撮影アングルを示す撮影制御情報を生成する撮影制御情報生成手段と、撮影制御情報生成手段が生成した撮影制御情報に基づいて、複数のカメラをそれぞれ駆動するカメラ駆動手段と、をさらに備えることを特徴とする。
【００１８】
かかる構成において、スポーツ映像送出装置は、イベントに応じて最適な設定撮影アングルにカメラを駆動する。
【００１９】
請求項５に記載のスポーツ映像送出装置は、請求項１から請求項４のいずれか一項に記載のスポーツ映像送出装置において、送出制御信号と出制御信号を生成した時刻とを含むメタデータ、及び、現在スポーツ映像を送出しているカメラ及び録画手段と次に送出可能なカメラ及び録画手段との対応関係を予め設定した次送出候補情報、を記録するメタデータ記録手段をさらに備え、送出制御手段は、メタデータに含まれる最新時刻の送出制御信号から現在スポーツ映像を送出しているカメラ又は録画手段を判定し、次送出候補情報に基づいて、判定したカメラ又は録画手段の次に送出可能なカメラ又は録画手段のスポーツ映像の送出を指示する送出制御信号を生成することを特徴とする。
【００２０】
かかる構成において、スポーツ映像送出装置は、メタデータから取得できるカメラの切替履歴と、最適なスイッチングワークを設定した次送出候補情報とに基づいて、送出制御信号を生成する。
【００２１】
請求項６に記載のスポーツ映像送出装置は、請求項１から請求項５のいずれか一項に記載のスポーツ映像送出装置において、イベント検出手段は、スポーツ状況映像の平均輝度を演算し、平均輝度が所定の閾値以上の場合、スポーツでイベントが発生したと判定することを特徴とする。
【００２２】
かかる構成において、スポーツ映像送出装置は、スポーツ映像の平均輝度から、スポーツにおける天候をイベントとして判定できる。
【発明の効果】
【００２３】
本発明に係るスポーツ映像送出装置によれば、以下のような優れた効果を奏する。
請求項１に記載の発明によれば、スポーツ映像送出装置は、カメラが撮影するスポーツ映像又は録画手段が録画したスポーツ映像のうち、視聴者に関心を与えるイベントのシーンを送出するため、退屈なシーンを送出することが少なく、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出でき、人的コストを低減できる。
【００２４】
請求項２に記載の発明によれば、スポーツ状況映像に加え、スポーツ状況音を用いて、視聴者に関心を与えるイベントのシーンを判定するため、スポーツ映像に含まれるイベントのシーンの割合が向上し、視聴者の関心をより高くできる。
【００２５】
請求項３に記載の発明によれば、イベントに応じて最適な設定撮影アングルをカメラのオペレータに指示するため、オペレータが、演出が効果的なスポーツ映像を撮影し易くなり、視聴者の関心をより高くできる。
【００２６】
請求項４に記載の発明によれば、イベントに応じて最適な設定撮影アングルにカメラを駆動するため、演出が効果的なスポーツ映像を人手によらずに送出でき人的コストをより低減すると共に、視聴者の関心をより高くできる。
【００２７】
請求項５に記載の発明によれば、メタデータから取得できるカメラの切替履歴と、最適なスイッチングワークを設定した次送出候補情報とに基づいて、送出制御信号を生成する。
ため、演出が効果的なスポーツ映像を人手によらずに送出できる。
【００２８】
請求項６に記載の発明によれば、スポーツにおける天候をイベントとして判定できるため、スポーツ映像に含まれるイベントのシーンの割合が向上し、視聴者の関心をより高くできる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。
【００３０】
（第１実施形態）
［スポーツ番組制作装置の構成］
図１を参照して、本発明の第１実施形態に係るスポーツ番組制作装置の構成について説明する。図１は、本発明の第１実施形態に係るスポーツ番組制作装置のブロック図である。図１に示すように、スポーツ番組制作装置（スポーツ映像送出装置）１は、３台の放送用カメラ（カメラ）２と、センサカメラ（状況判定用カメラ）３と、センサマイク４（状況判定用マイク）と、関心度演算手段５と、イベント検出手段６と、録画制御手段７と、送出制御手段８と、録画再生手段（録画手段）９と、録画切替手段１０と、送出切替手段１１（送出手段）と、メタデータ記録手段１２と、を備える。なお、スポーツ番組制作装置１が、請求項に記載のスポーツ映像送出装置に相当する。
【００３１】
放送用カメラ（カメラ）２は、サッカー、野球、バレーボール、ラグビー、ゴルフ等のスポーツ映像を撮影するものである。また、放送用カメラ２は、撮影アングルを測定して出力する角度センサを有し、この撮影アングルを含むカメラパラメータを出力する。なお、放送用カメラ２が、請求項に記載のカメラに相当する。
【００３２】
図１では、３台の放送用カメラ２が隣接するように図示されているが、様々な方向からスポーツ映像を撮影するため、放送用カメラ２は、異なる場所に配置されることが一般的である。また、図１では、放送用カメラ２は、３台としたが、２台以上であれば制限されない（不図示）。
【００３３】
ここで、放送用カメラ２としては、例えば、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ）用のカメラ、又は、ＳＤＴＶ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ）用のカメラがある。
【００３４】
センサカメラ（状況判定用カメラ）３は、被写体として、スポーツの選手、用具若しくは観客又はスポーツが行われる競技場の環境の何れか１以上を含むスポーツ状況映像を撮影するものである。ここで、センサカメラ３は、後記する関心度演算手段５が関心度を演算し及びイベント検出手段６がイベントを検出するために設置された、例えば、光学カメラである。なお、センサカメラ３が、請求項に記載の状況判定用カメラに相当する。
【００３５】
また、センサカメラ３は、固定され又は可動し、センサカメラ３によって捉えられた映像の画面内の各位置が、実世界における位置に対応するように、センサカメラ３の位置、姿勢及びレンズ等のセンサカメラ３のパラメータが較正されている。また、このセンサカメラ３のパラメータは、焦点距離又は画角を含んでも良い。また、センサカメラ３は、カラー映像など多波長の動画像を撮影しても、モノクロ映像を撮影しても良い。さらに、センサカメラ３は、赤外線や紫外線等の不可視光領域の波長帯を撮影しても良い。
【００３６】
図１では、センサカメラ３は、１台としたが、２台以上としても良い（不図示）。ここで、センサカメラ３として２台以上のカメラを用いる場合、同種のカメラのみによって構成しても良く、異種のカメラを混在させても良い。さらに、センサカメラ３として２台以上のカメラを用いる場合、各カメラの撮影する実空間を互いにずらすことで実空間の広い範囲を撮影（モザイキング）しても良く、各カメラを空間的に離して配置することで実空間の判定の場所を撮影（ステレオ）しても良い。
【００３７】
センサマイク（状況判定用マイク）４は、後記する関心度演算手段５が関心度を演算し及びイベント検出手段６がイベントを検出するために設置された、被写体が発生させる音であるスポーツ状況音が入力されるマイクである。また、センサマイク４は、１台以上であればその台数は制限されず、センサカメラ３の近傍に配置しても良い。ここで、センサマイク４としては、例えば、ワイヤレスマイク、コンデンサマイク、センサカメラ３が内蔵する内蔵マイク等のマイクがある。なお、センサマイク４が、請求項に記載の状況判定用マイクに相当する。
【００３８】
関心度演算手段５は、センサカメラ３が撮影したスポーツ状況映像の画像特徴量を演算し、この画像特徴量を、スポーツ映像が視聴者に与える関心度として出力するものである。この関心度は、例えば、スポーツ映像の内容が、視聴者にとって面白いか否かを示す指標である。
【００３９】
ここで、競技場にいる観客は、得点シーン、反則シーン、選手が素晴らしいプレイをしたシーン、選手が面白いプレイをしたシーン等では興奮して、応援歌を歌ったり、声援をあげたり、踊ったりと動きが活発になる傾向がある。そこで、関心度演算手段５は、例えば、スポーツ状況映像の選手がいる領域（例えば、コート）をマスクして、観客がいる領域のみを抽出し、この観客がいる領域の画像特徴量を関心度とする。
【００４０】
具体的には、関心度演算手段５は、観客がいる領域について、輝度値、色度値等の画素値の時間変化（例えば、フレーム間差分等）の大きさ（例えば、絶対値）の平均を算出する（以下、フレーム間差分の絶対値平均）。観客の動きが激しい場合、前記したフレーム間差分の絶対値平均の値が大きくなる傾向にあることから、関心度演算手段５は、このフレーム間差分の絶対値平均を関心度とすることができる。なお、関心度演算手段５は、前後するフレーム間での動きベクトルや前後するフレーム間の差分から画像特徴量を演算し、これを関心度として出力しても良い。
【００４１】
また、関心度演算手段５は、センサマイク４に入力されるスポーツ状況音の大きさを関心度として出力しても良い。前記したように、観客は、得点シーン、反則シーン、選手が素晴らしいプレイをしたシーン、選手が面白いプレイをしたシーン等では、応援歌を歌ったり、声援をあげたりして、騒がしくなる。従って、関心度演算手段５は、センサマイク４に入力されるスポーツ状況音の大きさ（音圧）に比例した値を、関心度として出力しても良い。
【００４２】
イベント検出手段６は、センサカメラ３が撮影したスポーツ状況映像に含まれる被写体同士の位置関係を検出し、被写体同士の位置関係が予め設定されたパターンに一致する場合、スポーツで予め設定したイベントが発生したと判定して、イベントを示すイベント情報を生成するものである。具体的には、イベント検出手段６は、各選手（被写体）の領域を切り出し、各選手の配置が予め設定されたパターン（フォーメーション）と一致する場に、そのパターンに応じたイベント情報を出力する。
【００４３】
例えば、イベント検出手段６は、サッカーにおいて、スポーツ状況映像から、２チームのユニフォームの色領域とセンターラインとを検出して各チームの選手とする。そして、イベント検出手段６は、センターラインを境に、一方のチームのユニフォームを着た選手がコートの一方の半面に集中的に存在し、他方のチームのユニフォームを着た選手がコートの他方の半面に集中した場合に、「キックオフ」をイベント情報として出力する。また、同様に、イベント検出手段６は、サッカーにおいて、コーナーアークやタッチライン付近における選手の有無を判定することで、「コーナーキック」や「スローイン」をイベント情報として出力する。さらに、イベント検出手段６として、特開２００６−２８５８７８号公報に記載された発明を用いても良い。
【００４４】
また、イベント検出手段６は、イベントに応じて予め設定された音パターンが、センサマイク４に入力されるスポーツ状況音に含まれるか検出し、音パターンがスポーツ状況音に含まれる場合、イベントがスポーツで発生したと判定して、イベントに応じたイベント情報を生成する。例えば、ゴルフ番組の場合、いくつかのショット音を予め音パターンとして登録しておき、イベント検出手段６は、センサマイク４に入力されるスポーツ状況音が、ショット音に該当するか否かを判断する。そして、スポーツ状況音が、ショット音に該当する場合、イベント検出手段６は、「ショット」をイベント情報として出力する。このように、ゴルフ等の観客が静かにスポーツを観賞する場合でも、イベント検出手段６は、イベント情報を出力できる。
【００４５】
また、イベント検出手段６は、センサカメラ３が撮影したスポーツ状況映像の平均輝度を演算し、この平均輝度が所定の閾値以上の場合、スポーツでイベントが発生したと判定する。例えば、イベント検出手段６は、この平均輝度が閾値以上の場合「晴れ」をイベント情報として出力し、閾値未満の場合「晴れ以外」をイベント情報として出力する。
【００４６】
また、イベント検出手段６は、「晴れ以外」を出力する代わりに、「雨」及び「雨以外」をイベント情報として出力しても良い。例えば、イベント「晴れ」を示す閾値（第１閾値）未満で「雨」を示す第２閾値をさらに設定する。そして、イベント検出手段６は、この平均輝度が、第１閾値未満で第２閾値以上の場合、「雨以外」をイベント情報として出力し、第２閾値未満の場合「雨」をイベント情報として出力する。なお、第１閾値及び第２閾値は、任意に設定できる。
【００４７】
録画制御手段７は、イベント検出手段６が生成したイベント情報と、複数の放送用カメラ２毎の撮影アングルを含むカメラパラメータとに基づいて、複数の放送用カメラ２のうち、イベント毎に応じて予め設定された最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、関心度演算手段５が演算した関心度が所定の閾値以上の場合、この放送用カメラ２が撮影するスポーツ用映像の録画を指示する録画制御信号を生成するものである。なお、録画制御手段７の詳細は、後記する。
【００４８】
ここで、録画制御信号は、例えば、録画再生手段９に、再生、録画、停止、早送り、巻き戻し及び頭出しの指令を含む。さらに、録画制御信号は、録画切替手段１０に、複数の放送用カメラ２が撮影するスポーツ映像の何れを録画させるかの指令を含む。
【００４９】
送出制御手段８は、イベント検出手段６が生成したイベント情報と、カメラパラメータとに基づいて、複数の放送用カメラ２のうち、最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、関心度演算手段５が演算した関心度が所定の閾値以上の場合、この放送用カメラ２が撮影するスポーツ用映像の送出を指示し、関心度が所定の閾値未満の場合、録画再生手段９が録画したスポーツ映像の送出を指示する送出制御信号を生成するものである。なお、送出制御手段８の詳細は、後記する。
【００５０】
録画再生手段９は、録画制御手段７が生成した録画制御信号に基づいて、録画切替手段１０からのスポーツ映像を録画するものである。また、録画再生手段９は、録画したスポーツ映像を再生しても良い。録画再生手段９としては、例えば、ビデオテープレコーダ、ビデオディスクレコーダがある。また、録画再生手段９は、個体メモリに映像信号を記録し、これを再生しても良い。
【００５１】
録画切替手段１０は、複数の放送用カメラ２を切り替えて、複数の放送用カメラ２から入力されるスポーツ映像のうち、録画制御手段７が生成した録画制御信号が示すスポーツ映像を録画再生手段９に出力するものである。なお、録画切替手段１０は、後記する送出切替手段１１と一体化したマトリクススイッチャとしても良い（不図示）。
【００５２】
送出切替手段（送出手段）１１は、送出制御手段８が生成した送出制御信号に基づいて、放送用カメラ２が撮影するスポーツ映像、又は、録画再生手段９が録画したスポーツ映像を送出するものである。なお、送出切替手段１１が請求項に記載の送出手段に相当する。
【００５３】
メタデータ記録手段１２は、関心度演算手段５が演算した関心度、イベント検出手段６が生成したイベント情報、録画制御手段７が生成した録画制御信号、送出制御手段８が生成する送出制御信号、及び、放送用カメラ２の撮影アングルのうちの何れか１以上を含むメタデータを記録する。
【００５４】
また、メタデータ記録手段１２は、スポーツ映像の撮影時刻を含むメタデータを記録しても良い。このとき、メタデータ記録手段１２は、送出制御手段８が要求する時刻のメタデータを読み出し、送出制御手段８に出力する。また、メタデータ記録手段１２は、そのイベントにおける最適撮影アングルが予め設定されたテーブル、後記する時刻と太陽の方向との関係を示すテーブル、後記する次切替候補情報、及び、被写体同士の位置関係を示すパターンを予め記録しても良い。
【００５５】
以下、図２を参照し、メタデータ記録手段が記録するメタデータについて説明する（適宜図１参照）。図２は、図１のメタデータ記録手段が記録するメタデータのデータ構造を示す図である。
【００５６】
図２に示すように、メタデータは、「時刻」、「種別」、及び、「値」の３項目を有するレコードを１行以上有する。ここで、「時刻」は、そのレコードに格納された録画制御信号、関心度、イベント情報又は送出制御信号を生成した時刻を示す。また、「種別」は、そのレコードが格納する情報又は信号の種別を示す。例えば、「種別」が制御であれば録画制御信号を示し、「種別」が関心度であれば関心度を示し、「種別」がイベントであればイベント情報を示し、「種別」が切替であれば送出制御信号を示す。つまり、メタデータは、送出制御信号等の履歴を示す履歴情報である。
【００５７】
また、「値」は、そのレコードが格納する情報又は信号の種別に応じた値又は内容を示す。例えば、「種別」が制御であれば、「値」は、録画制御信号の内容、例えば、再生、録画、停止、早送り又は巻き戻しを示す。また、例えば、「種別」が関心度であれば、「値」は、関心度の値（例えば、７５．２）を示し、「種別」がイベントであれば、「値」は、イベント情報の内容（たとえば、キックオフ）を示し、「種別」が切替であれば、「値」は、送出制御信号の内容、例えば、送出するスポーツ映像を撮影しているカメラの識別子（例えば、カメラ３）を示す。なお、メタデータは図３に示すものに制限されず、例えば、メタデータをＸＭＬ形式とし、「時刻」、「種別」、及び「値」の３項目をそれぞれ固有のタグで囲んで表記しても良い。
【００５８】
＜録画制御手段の詳細：録画に用いる放送用カメラの判定例＞
以下、図１に戻り、録画制御手段の詳細について説明を続ける。
録画制御手段７は、録画に用いる放送用カメラ２の判定と、録画再生手段９の制御とを行う。まず、録画に用いる放送用カメラ２の判定について、説明する。
【００５９】
まず、録画制御手段７は、イベント検出手段６からイベント情報が入力された場合、放送用カメラ２の角度センサにより測定された撮影アングルを含むカメラパラメータを取得する。そして、録画制御手段７は、イベント情報が示すイベントに応じて、そのイベントにおける最適撮影アングルを取得する。続いて、録画制御手段７は、この最適撮影アングルと、各放送用カメラ２の撮影アングルとを比較し、両撮影アングルが最も近くなる放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
【００６０】
例えば、サッカーにおいて、「左奥コーナーでのコーナーキック」というイベント情報が入力された場合、録画制御手段７は、左奥コーナーから左ゴールエリア付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
【００６１】
一方、「キックオフ」というイベント情報が入力された場合、録画制御手段７は、センターサークル付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
【００６２】
また、例えば、「晴れ」というイベント情報が入力された場合、録画制御手段７は、太陽の方向以外を最適撮影アングルとし、この最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。この場合、時刻と太陽の方向との関係を示すテーブル（例えば、午前６時〜午前１０時までは東向き、午前１０時〜午後３時までは南向き、午後３時〜午後６時までは西向き）から、録画制御手段７は、録画時刻における太陽の方向を判定できる。これによって、録画制御手段７は、録画したスポーツ映像で逆光を防止できる。なお、「晴れ以外」というイベント情報が入力された場合、録画制御手段７は、太陽に向いている放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成しても良い。
【００６３】
また、例えば、イベント情報が「雨以外」から「雨」に変化した場合、録画制御手段７は、空を含む（上方向を向いた）最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。これによって、録画制御手段７は、雨の降り出しを演出したスポーツ映像を録画できる。
【００６４】
また、録画制御手段７は、イベント検出手段６から入力されたイベント情報と、放送用カメラ２の撮影アングルと、送出制御手段８から入力された送出制御信号に基づいて、録画制御信号を生成しても良い。この場合、録画制御手段７は、イベント情報から、そのイベントにおける最適撮影アングルを取得する。続いて、録画制御手段７は、送出制御手段８から入力された送出制御信号から、送出に用いられていない放送用カメラ２をすべて判定する。最後に、録画制御手段７は、最適撮影アングルと、送出に用いられていない放送用カメラ２の撮影アングルとを比較し、両撮影アングルが最も近くなる放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の録画を指示する録画制御信号を生成する。
【００６５】
＜録画制御手段の詳細：録画再生手段の制御の第１例＞
次に、録画再生手段の制御の第１例について、説明する。具体的には、録画制御手段７は、関心度に応じて録画制御信号を生成し、後記する録画再生手段９に録画、再生、早送り、巻き戻し又は停止を指示する。
【００６６】
例えば、録画制御手段７は、関心度が閾値ＴＡ（例えば、スポーツ状況音の音圧が１２０ｄＢ）以上の場合、録画再生手段９に録画を指示する録画制御信号を生成する。
また、例えば、録画制御手段７は、関心度が、閾値ＴＡ以上となった後に閾値ＴＢ（例えば、スポーツ状況音の音圧が１１０ｄＢ）以下となるか又は閾値ＴＡ以上のまま一定時間を経過した場合、録画再生手段９に巻き戻しを指示する録画制御信号、又は、先の録画時の映像の先頭の頭出しを指示する録画制御信号を生成する。
また、例えば、録画制御手段７は、巻き戻しが終了し、かつ、関心度が所定の閾値ＴＣ（例えば、スポーツ状況音の音圧が１００ｄＢ）以下の場合、録画再生手段９に再生を指示する録画制御信号を生成する。なお、閾値ＴＡ，ＴＢ，ＴＣは、式（１）を満たす。
【００６７】
式（１）ＴＡ≧ＴＢ≧ＴＣ
【００６８】
このとき、録画制御手段７は、録画再生手段９を録画状態にする録画制御信号を生成してからの一定時間、録画制御信号を生成せずに、録画再生手段９が録画状態と停止状態とを短時間で繰り返すことを防ぐことが好ましい。この一定時間は、５秒という固定値であっても、ジョグダイヤル等の入力手段からの操作によって、１秒以上６０秒以下の範囲で可変としても良い。
【００６９】
＜録画制御手段の詳細：録画再生手段の制御の第２例＞
次に、録画再生手段の制御の第２例について、説明する。この第２例では、録画制御手段７は、送出制御手段８に連携して録画制御信号を生成する。
【００７０】
例えば、録画制御手段７は、関心度が閾値ＴＡ以上、かつ、送出制御手段８から入力された送出制御信号が、録画再生手段９に録画されたスポーツ映像を選択していない場合、録画再生手段９に録画を指示する録画制御信号を生成する。
また、例えば、録画制御手段７は、関心度が、閾値ＴＡ以上となった後に閾値ＴＢ以下となるか又は閾値ＴＡ以上のまま一定時間を経過した場合、録画再生手段９に巻き戻しを指示する録画制御信号、又は、先の録画時の映像の先頭の頭出しを指示する録画制御信号を生成する。
また、例えば、画制御手段７は、巻き戻しが終了し、送出制御手段８から入力された送出制御信号が、録画再生手段９に録画されたスポーツ映像を選択し、かつ、関心度が閾値Ｔｃ以下の場合、録画再生手段９に再生を指示する録画制御信号を生成する。
【００７１】
ここで、録画制御手段７は、所定の待ち時間後に録画再生手段９に録画されたスポーツ映像を選択することを指示する送出制御信号を送出制御手段８に出力しても良い。例えば、録画制御手段７は、録画再生手段９としてビデオテープレコーダを使用する場合、プリロール時間を待ち時間とすることができる。さらに、録画制御手段７は、録画再生手段９が、磁気ディスクや光ディスクに記録された映像を再生する場合、ディスクのシークタイムと復号化に要する時間との和を待ち時間としても良い。このような送出制御信号を用いれば、録画再生手段９への指令後に生じ得る遅延の影響を避け、再生開始直後の不安定な映像信号が送出されることを防ぐことができる。
【００７２】
また、録画制御手段７は、送出制御手段８から入力された送出制御信号に基づいて、動作を変化させても良い。例えば、送出制御信号がある放送用カメラ２を示す場合、録画制御手段７は、送出制御信号が示す放送用カメラ２以外の放送用カメラ２を示す録画制御信号を生成する。これによって、スポーツ番組制作装置１は、まだ放送されていない放送用カメラ２のスポーツ映像をリプレイ映像として送出できる。さらに、録画制御手段７は、送出制御信号が示す放送用カメラ２と同じ放送用カメラ２を示す録画制御信号を生成しても良い。この場合、スポーツ番組制作装置１は、既に放送されたスポーツ映像を繰り返す形式でのリプレイ映像を送出できる。
【００７３】
＜送出制御手段の詳細＞
送出制御手段８の詳細について、説明する。
具体的には、送出制御手段８は、イベント検出手段６からイベント情報が入力された場合、放送用カメラ２の角度センサにより測定された撮影アングルを含むカメラパラメータを取得する。そして、送出制御手段８は、イベント情報が示すイベントに応じて、そのイベントにおける最適撮影アングルを取得する。続いて、送出制御手段８は、この最適撮影アングルと、各放送用カメラ２の撮影アングルとを比較し、両撮影アングルが最も近くなる放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。
【００７４】
例えば、サッカーにおいて、「左奥コーナーでのコーナーキック」というイベント情報が入力された場合、送出制御手段８は、左奥コーナーから左ゴールエリア付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。
【００７５】
一方、「キックオフ」というイベント情報が入力された場合、送出制御手段８は、センターサークル付近を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。
【００７６】
また、例えば、「晴れ」というイベント情報が入力された場合、送出制御手段８は、太陽の方向以外を最適撮影アングルとして、この最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。この場合、時刻と太陽の方向との関係を示すテーブルから、送出制御手段８は、送出時刻における太陽の方向を判定できる。これによって、送出制御手段８は、送出するスポーツ映像で逆光を防止できる。なお、「晴れ以外」というイベント情報が入力された場合、送出制御手段８は、太陽に向いている放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成しても良い。
【００７７】
また、例えば、イベント情報が「雨以外」から「雨」に変化した場合、送出制御手段８は、空（上方向を向いた）を含む最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、この放送用カメラ２が撮影するスポーツ映像の送出を指示する送出制御信号を生成する。これによって、送出制御手段８は、雨の降り出しを演出したスポーツ映像を送出できる。
【００７８】
このとき、送出制御手段８は、関心度が閥値より低く、かつ、録画制御信号が録画状態にない場合、放送用カメラ２ではなく、録画再生手段９のスポーツ映像を送出すると判定しても良い。これによって、スポーツ番組制作装置１は、現在の試合展開がつまらなく、かつ、録画再生手段９が録画中でない場合、過去の収録映像のリプレイを送出して、スポーツ映像の間延びを防ぐことができ、視聴者の関心が高くなる。
【００７９】
また、送出制御手段８は、メタデータ記録手段１２に対して、読み出すメタデータの時刻と種別との一方、又は、時刻と種別との両方を出力しても良い。このとき、指定された種別で、かつ、指定された時刻に近接するメタデータがあれば、メタデータ記録手段１２は、これを読み出して送出制御手段８に出力する。例えば、送出制御手段８は、現在時刻から一定時間（例えば、５分）の送出制御信号のメタデータを、メタデータ記録手段１２に対して要求して、このメタデータを取得する。そして、送出制御手段８は、取得したメタデータに含まれる最新時刻の送出制御信号から現在スポーツ映像を送出している放送用カメラ２又は録画再生手段９を判定する。さらに、送出制御手段８は、次切替候補情報に基づいて、判定した放送用カメラ２又は録画再生手段９の次に送出可能な放送用カメラ２又は録画再生手段９のスポーツ映像の送出を指示する送出制御信号を生成する。
【００８０】
以下、図３を参照し、本発明における次切替候補情報について説明する（適宜図１参照）。図３は、本発明における次切替候補情報のデータ構造を示す図である。なお、次切替候補情報が、請求項に記載の次送出候補情報に相当する。
【００８１】
図３に示すように、次切替候補情報は、現在スポーツ映像を送出している放送用カメラ２及び録画再生手段９と次に送出可能な放送用カメラ２及び録画再生手段９との対応関係を予め設定したものである。ここで、次切替候補情報は、「現在の切替状態」と「次の切替状態」との２項目を有する。なお、図３では、１台目の放送用カメラ２をカメラ１、２台目の放送用カメラ２をカメラ２、３台目の放送用カメラ２をカメラ３、及び、録画再生手段９を録画再生手段とする。
【００８２】
「現在の切替状態」は、送出切替手段１１が現在送出している放送用カメラ２又は録画再生手段９を示す。例えば、次切替候補情報の上から１行目レコードは、送出切替手段１１が１台目の放送用カメラ２（カメラ１）のスポーツ映像を送出していることを示す。また、「次の切替状態」は、次に送出可能な他の放送用カメラ２及び録画再生手段９を示す。例えば、次切替候補情報の上から１行目レコードは、１台目の放送用カメラ２のスポーツ映像を現在送出している場合、１〜３台目の放送用カメラ２（カメラ１〜カメラ３）及び録画再生手段９（録画再生手段）の何れかが次に送出可能なことを示す。
【００８３】
図２のメタデータを例にすると、送出制御手段８は、このメタデータから最新時刻の送出制御情報、つまり、「種別」が切替のレコードを取得する。ここでは、送出制御手段８は、「種別」が切替で、かつ、「時刻」が１９：０２：０９：１５のレコードを参照し、３台目の放送用カメラ２（カメラ３）のスポーツ映像を現在送出している判定する。そして、送出制御手段８は、図３の次切替候補情報で、「現在の切替状態」が３台目の放送用カメラ２（カメラ３）となっているレコードを参照し、次にイベント情報が入力された場合、「次の切替状態」に定義された、１台目の放送用カメラ２（カメラ１）、２台目の放送用カメラ２（カメラ２）又は録画再生手段９（録画再生手段）のスポーツ映像の送出を指示する送出制御信号を生成する。
【００８４】
［スポーツ番組制作装置の動作］
以下、図４を参照して、本発明の第１実施形態に係るスポーツ番組制作装置の動作について説明する（適宜図１参照）。図４は、図１のスポーツ番組制作装置の動作を示すフローチャートである。なお、図４では、放送用カメラ２及びセンサカメラがスポーツ撮影を行っていることとする。
【００８５】
まず、スポーツ番組制作装置１は、関心度演算手段５によって、センサカメラ３が撮影したスポーツ状況映像の画像特徴量を演算し、この画像特徴量を、スポーツ映像が視聴者に与える関心度として出力する（ステップＳ１）。また、スポーツ番組制作装置１は、イベント検出手段６によって、スポーツ状況映像に含まれる被写体同士の位置関係を検出し、被写体同士の位置関係が予め設定されたパターンに一致する場合、スポーツで予め設定したイベントが発生したと判定して、このイベントを示すイベント情報を生成する（ステップＳ２）。
【００８６】
ステップＳ２に続いて、スポーツ番組制作装置１は、録画制御手段７によって、イベント検出手段６が生成したイベント情報と、複数の放送用カメラ２毎の撮影アングルを含むカメラパラメータとに基づいて、複数の放送用カメラ２のうち、イベント毎に応じて予め設定された最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、関心度演算手段５が演算した関心度が所定の閾値以上の場合、この放送用カメラ２が撮影するスポーツ用映像の録画を指示する録画制御信号を生成する（ステップＳ３）。
【００８７】
ステップＳ３に続いて、スポーツ番組制作装置１は、録画切替手段１０によって、録画制御手段７が生成した録画制御信号に基づいて、放送用カメラ２から入力される複数のスポーツ映像の何れを録画再生手段９に出力するか切り替える（ステップＳ４）。また、スポーツ番組制作装置１は、録画再生手段９によって、録画制御手段７が生成した録画制御信号に基づいて、録画切替手段１０から出力されるスポーツ映像を録画する（ステップＳ５）。
【００８８】
ステップＳ５に続いて、スポーツ番組制作装置１は、送出制御手段８によって、イベント検出手段６が生成したイベント情報と、カメラパラメータとに基づいて、複数の放送用カメラ２のうち、最適撮影アングルに最も近い撮影アングルの放送用カメラ２を判定し、関心度演算手段５が演算した関心度が所定の閾値以上の場合、この放送用カメラ２が撮影するスポーツ用映像の送出を指示し、関心度が所定の閾値未満の場合、録画再生手段９が録画したスポーツ映像の送出を指示する送出制御信号を生成する（ステップＳ６）。
【００８９】
ステップＳ６に続いて、スポーツ番組制作装置１は、送出切替手段１１によって、送出制御手段８が生成した送出制御信号に基づいて、放送用カメラ２が撮影するスポーツ映像、又は、録画再生手段９が録画したスポーツ映像を送出する（ステップＳ７）。これによって、スポーツ番組制作装置１は、人手によらずにスイッチングワークを可能とし、視聴者の関心が高いスポーツ映像を送出できる。
【００９０】
（第２実施形態）
［スポーツ番組制作装置の構成］
図５を参照して、本発明の第２実施形態に係るスポーツ番組制作装置の構成について説明する。図５は、本発明の第２実施形態に係るスポーツ番組制作装置のブロック図である。図５に示すように、スポーツ番組制作装置１Ｂは、３台の放送用カメラ（カメラ）２と、センサカメラ（状況判定用カメラ）３と、関心度演算手段５と、イベント検出手段６と、録画制御手段７と、送出制御手段８と、録画再生手段（録画手段）９と、録画切替手段１０と、送出切替手段（送出手段）１１と、メタデータ記録手段１２と、撮影指示情報生成手段１３と、撮影指示表示手段１４と、を備える。
【００９１】
撮影指示情報生成手段１３は、イベント検出手段６が生成したイベント情報と、カメラパラメータとに基づいて、複数の放送用カメラ２毎に設定撮影アングルを演算し、設定撮影アングルを示す撮影指示情報を生成するものである。この場合、放送用カメラ２は、オペレータ（カメラマン）が撮影する有人のカメラである。
【００９２】
例えば、撮影指示情報生成手段１３は、前記した最適撮影アングルを取得する。続いて、撮影指示情報生成手段１３は、各放送用カメラ２のカメラパラメータの値と、最適撮影アングルとを比較し、その差分が最も小さい放送用カメラ２を判定する。例えば、撮影指示情報生成手段１３は、パン角の差分と、チルト角の差分から、各放送用カメラ２の光軸方向と、最適撮影アングルの光軸方向とのなす角を求め、そのなす角が最も小さい放送用カメラ２がいずれであるかを判定する。
【００９３】
次に、撮影指示情報生成手段１３は、最適撮影アングルと、放送用カメラ２の角度センサが測定する影アングルとのパン角、チルト角、及び焦点距離の差を符号付きで演算し、撮影指示情報を生成する。ここで、パン角の差をΔθ、チルト角の差をΔφ、焦点距離の差をΔｆとおく。ここで、最適撮影アングルやカメラワークを予め設定（ルールベース）しておくことで、撮影指示情報生成手段１３は、各放送用カメラ２のパン角、チルト角及び焦点距離の最適な値、並びに、必要に応じてパン、チルト及びズーム操作の最適な速度を求めることができる。
【００９４】
なお、撮影指示情報生成手段１３は、イベント検出手段６からのイベント情報のほか、関心度演算手段５からの関心度を考慮しても良い。この場合、撮影指示情報生成手段１３は、例えば、関心度が既定の閾値以下の場合、撮影指示情報の表示を指示しなくとも良い。
【００９５】
撮影指示表示手段１４は、撮影指示生成手段１３が生成した撮影指示情報を表示し、複数の放送用カメラ２のオペレータに設定撮影アングルを指示するものである。撮影指示表示手段１４は、例えば、ＬＣＤ（液晶ディスプレイ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＰＤＰ（プラズマディスプレイパネル）、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）ディスプレイ、ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を用いることができる。さらに、撮影指示表示手段１４は、視覚的な表示による指示ではなく、音声や振動で指示を行え、これらを組み合わせた指示を行っても良い。
【００９６】
例えば、撮影指示表示手段１４は、複数の放送用カメラ２で一つの表示デバイスである場合（不図示）、いずれの放送用カメラ２に対しての指示であるかを明示したかたちで、設定撮影アングルを表示する。この場合、撮影指示表示手段１４は、例えば、「カメラ３、左パン１０度、チルトアップ５度、ズームイン」のような表示を行う。一方、撮影指示表示手段１４は、放送用カメラ２毎の表示デバイスである場合、放送用カメラ２毎に設定撮影アングルを表示する。この場合、撮影指示表示手段１４は、例えば、「右パン２０度、チルトダウン１０度、ズームアウト」といった表示を行う。
【００９７】
これによって、スポーツ番組制作装置１Ｂは、イベントに応じて最適な設定撮影アングルをカメラのオペレータに指示するため、オペレータが、演出が効果的なスポーツ映像を撮影し易くなり、視聴者の関心をより高くできる。
【００９８】
（第３実施形態）
［スポーツ番組制作装置の構成］
図６を参照して、本発明の第３実施形態に係るスポーツ番組制作装置の構成について説明する。図６は、本発明の第３実施形態に係るスポーツ番組制作装置のブロック図である。
【００９９】
図６に示すように、スポーツ番組制作装置１Ｃは、３台の放送用カメラ（カメラ）２と、センサカメラ（状況判定用カメラ）３と、関心度演算手段５と、イベント検出手段６と、録画制御手段７と、送出制御手段８と、録画再生手段（録画手段）９と、録画切替手段１０と、送出切替手段（送出手段）１１と、メタデータ記録手段１２と、撮影制御情報生成手段１５と、を備える。
【０１００】
放送用カメラ２は、雲台に搭載され、撮影アングルを自在に変更できると共に、カメラ駆動手段２ａを内蔵する。また、カメラ駆動手段２ａは、後記する撮影制御情報生成手段１５が生成した撮影制御情報に基づいて、複数の放送用カメラ２をそれぞれ駆動するものである。例えば、カメラ駆動手段２ａは、各放送用カメラ２に対し、パン角、チルト角、焦点距離（ズーム）、焦点位置（フォーカス）の何れか１以上を駆動するためのアクチュエータである。
【０１０１】
この場合、カメラ駆動手段２ａは、例えば、任意の回転型アクチュエータやリニアアクチュエータによることができる。また、カメラ駆動手段２ａとして、例えば、誘導モータ、直流モータ、同期モータ、ステッピングモータ、超音波モータ、ソレノイド等の電気的に可動な任意のアクチュエータを使用可能である。さらに、カメラ駆動手段２ａは、アクチュエータに付随して、その回転角や変位量を測定するためのセンサを設け、位置や速度情報をフィードバックすることで、正確な回転角や変位量の位置決めが可能なように構成しても良い。なお、カメラ駆動手段２ａの制御の方法は任意であるが、例えば、ＰＩＤ（比例，積分，微分）制御を用いることができる。
【０１０２】
撮影制御情報生成手段１５は、イベント検出手段６が生成したイベント情報と、複数の放送用カメラ２毎に設定撮影アングルを演算し、設定撮影アングルを示す撮影制御情報を生成するものである。
【０１０３】
例えば、撮影制御情報生成手段１５は、前記した最適撮影アングルを取得する。続いて、撮影制御情報生成手段１５は、各放送用カメラ２からのカメラパラメータの値と、最適撮影アングルとを比較し、その差分が最も小さい放送用カメラ２を判定する。例えば、撮影制御情報生成手段１５は、パン角の差分と、チルト角の差分から、各放送用カメラ２の光軸方向と、最適撮影アングルの光軸方向とのなす角を求め、そのなす角が最も小さい放送用カメラ２がいずれであるかを判定する。
【０１０４】
次に、撮影制御情報生成手段１５は、最適な設定撮影アングルと、放送用カメラ２の角度センサが測定した撮影アングルとのパン角、チルト角、及び焦点距離の差を符号付きで演算し、撮影制御情報を生成する。ここで、パン角の差をΔθ、チルト角の差をΔφ、焦点距離の差をΔｆとおく。そして、撮影制御情報生成手段１５は、カメラ駆動手段２ａに対し、これらの差分がすべて０となる撮影制御情報を生成する。ここで、各イベントに対し、最適撮影アングルやカメラワークを予め設定（ルールベース）しておくことで、各放送用カメラ２のパン角、チルト角及び焦点距離の最適な値、並びに、必要に応じてパン、チルト及びズーム操作の最適な速度を求めることができる。
【０１０５】
なお、撮影制御情報生成手段１５は、イベント検出手段６からのイベント情報のほか、関心度演算手段５からの関心度を考慮しても良い。この場合、撮影制御情報生成手段１５は、関心度が閥値以下の場合、カメラ駆動手段２ａに静止を指示する撮影制御情報を生成しても良い。
【０１０６】
これによって、スポーツ番組制作装置１Ｃは、イベントに応じて最適な設定撮影アングルにカメラを駆動するため、演出が効果的なスポーツ映像を人手によらずに送出でき人的コストをより低減すると共に、視聴者の関心をより高くできる。
【図面の簡単な説明】
【０１０７】
【図１】本発明の第１実施形態に係るスポーツ番組制作装置のブロック図である。
【図２】図１のメタデータ記録手段が記録するメタデータのデータ構造を示す図である。
【図３】本発明における次切替候補情報のデータ構造を示す図である。
【図４】図１のスポーツ番組制作装置の動作を示すフローチャートである。
【図５】本発明の第２実施形態に係るスポーツ番組制作装置のブロック図である。
【図６】本発明の第３実施形態に係るスポーツ番組制作装置のブロック図である。
【符号の説明】
【０１０８】
１ スポーツ番組制作装置（スポーツ映像送出装置）
１Ｂ スポーツ番組制作装置（スポーツ映像送出装置）
１Ｃ スポーツ番組制作装置（スポーツ映像送出装置）
２ 放送用カメラ（カメラ）
２ａ カメラ駆動手段
３ センサカメラ（状況判定用カメラ）
４ センサマイク（状況判定用マイク）
５ 関心度演算手段
６ イベント検出手段
７ 録画制御手段
８ 送出制御手段
９ 録画再生手段（録画手段）
１０ 録画切替手段
１１ 送出切替手段（送出手段）
１２ メタデータ記録手段
１３ 撮影指示情報生成手段
１４ 撮影指示表示手段
１５ 撮影制御情報生成手段
【特許請求の範囲】
【請求項１】
複数のカメラが撮影したスポーツ映像を用いるスポーツ映像送出装置において、
被写体として、スポーツの選手、用具若しくは観客又は前記スポーツが行われる競技場の環境の何れか１以上を含むスポーツ状況映像を、撮影する状況判定用カメラと、
前記スポーツ状況映像の画像特徴量を演算し、当該画像特徴量を前記スポーツ映像が視聴者に与える関心度として出力する関心度演算手段と、
前記スポーツ状況映像に含まれる前記被写体同士の位置関係を検出し、前記被写体同士の位置関係が予め設定されたパターンに一致する場合、前記スポーツで予め設定したイベントが発生したと判定して、当該イベントを示すイベント情報を生成するイベント検出手段と、
前記イベント情報と、複数の前記カメラ毎の撮影アングルを含むカメラパラメータとに基づいて、複数の前記カメラのうち、前記イベント毎に応じて予め設定された最適撮影アングルに最も近い前記撮影アングルの前記カメラを判定し、前記関心度が所定の閾値以上の場合、当該カメラが撮影するスポーツ用映像の録画を指示する録画制御信号を生成する録画制御手段と、
前記録画制御信号に基づいて、前記スポーツ映像を録画する録画手段と、
前記イベント情報と、前記カメラパラメータとに基づいて、複数の前記カメラのうち、前記最適撮影アングルに最も近い前記撮影アングルの前記カメラを判定し、前記関心度が所定の閾値以上の場合、当該カメラが撮影するスポーツ用映像の送出を指示し、前記関心度が所定の閾値未満の場合、前記録画手段が録画したスポーツ映像の送出を指示する送出制御信号を生成する送出制御手段と、
前記送出制御信号に基づいて、前記カメラが撮影したスポーツ映像、又は、前記録画手段が録画したスポーツ映像を送出する送出手段と、
を備えることを特徴とするスポーツ映像送出装置。
【請求項２】
前記被写体が発生させる音であるスポーツ状況音が入力される状況判定用マイクをさらに備え、
前記関心度演算手段は、前記スポーツ状況音の大きさを前記関心度として出力し、
前記イベント検出手段は、前記イベントに応じて予め設定された音パターンが前記スポーツ状況音に含まれるか検出し、前記音パターンが前記スポーツ状況音に含まれる場合、前記スポーツで前記イベントが発生したと判定して、当該イベントを示す前記イベント情報を生成することを特徴とする請求項１に記載のスポーツ映像送出装置。
【請求項３】
前記イベント情報と、前記カメラパラメータとに基づいて、複数の前記カメラ毎に前記スポーツ映像を撮影する設定撮影アングルを演算し、当該設定撮影アングルを示す撮影指示情報を生成する撮影指示情報生成手段と、
前記撮影指示生成手段が生成した撮影指示情報を表示し、複数の前記カメラのオペレータに前記設定撮影アングルを指示する撮影指示表示手段と、
をさらに備えることを特徴とする請求項１又は請求項２に記載のスポーツ映像送出装置。
【請求項４】
前記イベント情報と、前記カメラパラメータとに基づいて、複数の前記カメラ毎に前記スポーツ映像を撮影する設定撮影アングルを演算し、当該設定撮影アングルを示す撮影制御情報を生成する撮影制御情報生成手段と、
前記撮影制御情報生成手段が生成した撮影制御情報に基づいて、複数の前記カメラをそれぞれ駆動するカメラ駆動手段と、
をさらに備えることを特徴とする請求項１又は請求項２に記載のスポーツ映像送出装置。
【請求項５】
前記送出制御信号と当該送出制御信号を生成した時刻とを含むメタデータ、及び、現在前記スポーツ映像を送出している前記カメラ及び前記録画手段と次に送出可能な前記カメラ及び前記録画手段との対応関係を予め設定した次送出候補情報、を記録するメタデータ記録手段をさらに備え、
前記送出制御手段は、前記メタデータに含まれる最新時刻の前記送出制御信号から現在前記スポーツ映像を送出している前記カメラ又は前記録画手段を判定し、前記次送出候補情報に基づいて、判定した当該カメラ又は当該録画手段の次に送出可能な前記カメラ又は前記録画手段のスポーツ映像の送出を指示する前記送出制御信号を生成することを特徴とする請求項１から請求項４のいずれか一項に記載のスポーツ映像送出装置。
【請求項６】
前記イベント検出手段は、前記スポーツ状況映像の平均輝度を演算し、前記平均輝度が所定の閾値以上の場合、前記スポーツで前記イベントが発生したと判定することを特徴とする請求項１から請求項５のいずれか一項に記載のスポーツ映像送出装置。
【請求項１】
複数のカメラが撮影したスポーツ映像を用いるスポーツ映像送出装置において、
被写体として、スポーツの選手、用具若しくは観客又は前記スポーツが行われる競技場の環境の何れか１以上を含むスポーツ状況映像を、撮影する状況判定用カメラと、
前記スポーツ状況映像の画像特徴量を演算し、当該画像特徴量を前記スポーツ映像が視聴者に与える関心度として出力する関心度演算手段と、
前記スポーツ状況映像に含まれる前記被写体同士の位置関係を検出し、前記被写体同士の位置関係が予め設定されたパターンに一致する場合、前記スポーツで予め設定したイベントが発生したと判定して、当該イベントを示すイベント情報を生成するイベント検出手段と、
前記イベント情報と、複数の前記カメラ毎の撮影アングルを含むカメラパラメータとに基づいて、複数の前記カメラのうち、前記イベント毎に応じて予め設定された最適撮影アングルに最も近い前記撮影アングルの前記カメラを判定し、前記関心度が所定の閾値以上の場合、当該カメラが撮影するスポーツ用映像の録画を指示する録画制御信号を生成する録画制御手段と、
前記録画制御信号に基づいて、前記スポーツ映像を録画する録画手段と、
前記イベント情報と、前記カメラパラメータとに基づいて、複数の前記カメラのうち、前記最適撮影アングルに最も近い前記撮影アングルの前記カメラを判定し、前記関心度が所定の閾値以上の場合、当該カメラが撮影するスポーツ用映像の送出を指示し、前記関心度が所定の閾値未満の場合、前記録画手段が録画したスポーツ映像の送出を指示する送出制御信号を生成する送出制御手段と、
前記送出制御信号に基づいて、前記カメラが撮影したスポーツ映像、又は、前記録画手段が録画したスポーツ映像を送出する送出手段と、
を備えることを特徴とするスポーツ映像送出装置。
【請求項２】
前記被写体が発生させる音であるスポーツ状況音が入力される状況判定用マイクをさらに備え、
前記関心度演算手段は、前記スポーツ状況音の大きさを前記関心度として出力し、
前記イベント検出手段は、前記イベントに応じて予め設定された音パターンが前記スポーツ状況音に含まれるか検出し、前記音パターンが前記スポーツ状況音に含まれる場合、前記スポーツで前記イベントが発生したと判定して、当該イベントを示す前記イベント情報を生成することを特徴とする請求項１に記載のスポーツ映像送出装置。
【請求項３】
前記イベント情報と、前記カメラパラメータとに基づいて、複数の前記カメラ毎に前記スポーツ映像を撮影する設定撮影アングルを演算し、当該設定撮影アングルを示す撮影指示情報を生成する撮影指示情報生成手段と、
前記撮影指示生成手段が生成した撮影指示情報を表示し、複数の前記カメラのオペレータに前記設定撮影アングルを指示する撮影指示表示手段と、
をさらに備えることを特徴とする請求項１又は請求項２に記載のスポーツ映像送出装置。
【請求項４】
前記イベント情報と、前記カメラパラメータとに基づいて、複数の前記カメラ毎に前記スポーツ映像を撮影する設定撮影アングルを演算し、当該設定撮影アングルを示す撮影制御情報を生成する撮影制御情報生成手段と、
前記撮影制御情報生成手段が生成した撮影制御情報に基づいて、複数の前記カメラをそれぞれ駆動するカメラ駆動手段と、
をさらに備えることを特徴とする請求項１又は請求項２に記載のスポーツ映像送出装置。
【請求項５】
前記送出制御信号と当該送出制御信号を生成した時刻とを含むメタデータ、及び、現在前記スポーツ映像を送出している前記カメラ及び前記録画手段と次に送出可能な前記カメラ及び前記録画手段との対応関係を予め設定した次送出候補情報、を記録するメタデータ記録手段をさらに備え、
前記送出制御手段は、前記メタデータに含まれる最新時刻の前記送出制御信号から現在前記スポーツ映像を送出している前記カメラ又は前記録画手段を判定し、前記次送出候補情報に基づいて、判定した当該カメラ又は当該録画手段の次に送出可能な前記カメラ又は前記録画手段のスポーツ映像の送出を指示する前記送出制御信号を生成することを特徴とする請求項１から請求項４のいずれか一項に記載のスポーツ映像送出装置。
【請求項６】
前記イベント検出手段は、前記スポーツ状況映像の平均輝度を演算し、前記平均輝度が所定の閾値以上の場合、前記スポーツで前記イベントが発生したと判定することを特徴とする請求項１から請求項５のいずれか一項に記載のスポーツ映像送出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２７２９７０（Ｐ２００９−２７２９７０Ａ）
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願番号】特願２００８−１２２９１７（Ｐ２００８−１２２９１７）
【出願日】平成２０年５月９日（２００８．５．９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願日】平成２０年５月９日（２００８．５．９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]