撮影ショット制御装置、協調撮影システム及びそのプログラム
【課題】本発明は、ロボットカメラとマンカメラとが協調してテレビ番組の撮影を行うことを可能とする撮影ショット制御装置を提供する。
【解決手段】ロボットカメラ・スイッチャ制御装置１は、マンカメラＭＣの撮影ショットタイプとロボットカメラＣ１〜Ｃ３の撮影ショットタイプとを予め設定する撮影ショットタイプ設定手段１１と、撮影規則を生成するための撮影規則生成情報を記憶する撮影規則生成情報記憶手段１２と、イベントとマンカメラＭＣの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成する撮影規則生成手段１３と、撮影規則を修正する撮影規則設定手段１４と、ロボットカメラが撮影する撮影ショットＣ１〜Ｃ３を決定する撮影ショット制御手段１５と、スイッチャの切替を制御するスイッチャ制御手段１６とを備える。
【解決手段】ロボットカメラ・スイッチャ制御装置１は、マンカメラＭＣの撮影ショットタイプとロボットカメラＣ１〜Ｃ３の撮影ショットタイプとを予め設定する撮影ショットタイプ設定手段１１と、撮影規則を生成するための撮影規則生成情報を記憶する撮影規則生成情報記憶手段１２と、イベントとマンカメラＭＣの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成する撮影規則生成手段１３と、撮影規則を修正する撮影規則設定手段１４と、ロボットカメラが撮影する撮影ショットＣ１〜Ｃ３を決定する撮影ショット制御手段１５と、スイッチャの切替を制御するスイッチャ制御手段１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ局のテレビ番組、遠隔テレビ会議、講義等の映像を自動撮影するロボットカメラの撮影ショットを、マンカメラに協調させて制御する撮影ショット制御装置、協調撮影システム及びそのプログラムに関する。
【背景技術】
【０００２】
従来から、テレビ番組等をロボットカメラで自動撮影する技術が知られている（例えば、特許文献１参照）。特許文献１に記載の発明では、ロボットカメラの撮影ショットタイプと、被写体の変化を示すイベントと、切替後の撮影ショットとを対応させる撮影規則を生成しておく。そして、特許文献１に記載の発明では、被写体の変化を示すイベントが入力された際、このイベントに応じてロボットカメラの撮影ショットを制御する。
【特許文献１】特開２００８−７２７０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、被写体の自動検出が困難である、又は、自動撮影によるロボットカメラの映像では視聴者にテレビ番組の臨場感等が伝わらない等の理由で、ロボットカメラだけでテレビ番組を自動撮影できない問題がある。そこで、ロボットカメラが撮影できない撮影ショットをカメラマンが操作するマンカメラで撮影する技術、つまり、ロボットカメラとマンカメラとが協調してテレビ番組の撮影を可能にしたいとの強い要望がある。
【０００４】
そこで、本発明は、前記した課題を解決し、ロボットカメラとマンカメラとが協調してテレビ番組の撮影を行うことを可能とする撮影ショット制御装置、協調撮影システム及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記した課題を解決するため、請求項１に係る撮影ショット制御装置は、マンカメラの撮影ショットの種類を判定するマンカメラ撮影ショット判定装置に接続され、１以上のロボットカメラが番組を撮影する映像とマンカメラが番組を撮影する映像とを切り替えるスイッチャを制御すると共に、ロボットカメラの撮影ショットを制御する撮影ショット制御装置であって、撮影ショットタイプ設定手段と、記憶手段と、撮影規則生成手段と、スイッチャ制御手段と、撮影ショット決定手段と、を備える構成とした。
【０００６】
かかる構成によれば、撮影ショット制御装置は、撮影ショットタイプ設定手段によって、外部から入力されるマンカメラの撮影ショットの種類とロボットカメラの撮影ショットの種類とを設定する指令に基づいて、マンカメラが番組で撮影する撮影ショットの種類であるマンカメラの撮影ショットタイプと、ロボットカメラが番組で撮影する撮影ショットの種類であるロボットカメラの撮影ショットタイプとを予め設定する。また、撮影ショット制御装置は、記憶手段に、番組の状況変化を示すイベントと、マンカメラの撮影ショットタイプと、ロボットカメラの撮影ショットタイプと、イベント後のロボットカメラの撮影ショットである切替ショットとを対応させる撮影規則生成情報を予め記憶する。
【０００７】
また、撮影ショット制御装置は、撮影規則生成手段によって、記憶手段が記憶する撮影規則生成情報を参照し、撮影ショットタイプ設定手段が設定したマンカメラの撮影ショットタイプとロボットカメラの撮影ショットタイプとに基づいて、イベントとマンカメラの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成する。このとき、撮影規則生成手段は、各々の撮影規則生成情報によって示される撮影ショットタイプが、撮影ショットタイプ設定手段で設定された撮影ショットタイプに含まれる場合に、このロボットカメラに対して、当該撮影規則生成情報によって示されるイベントとマンカメラの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成することができる。
【０００８】
また、撮影ショット制御装置は、スイッチャ制御手段によって、外部から入力されるロボットカメラ又はマンカメラの何れかの映像に出力を切り替える指令に基づいて、スイッチャの出力をロボットカメラが撮影する映像又はマンカメラが撮影する映像の何れかに切り替える。さらに、撮影ショット制御装置は、撮影ショット決定手段によって、撮影規則生成手段が生成した撮影規則を参照し、外部から入力されるイベントの情報と、マンカメラ撮影ショット判定装置から入力されるマンカメラの撮影ショットタイプとに基づいて、ロボットカメラが撮影する撮影ショットを決定する。
【０００９】
また、請求項２に係る撮影ショット制御装置は、記憶手段が、カメラマンを含めたマンカメラの形状と大きさと、ロボットカメラの形状と大きさとを含むカメラ形状・大きさ情報を予め記憶し、撮影ショット決定手段が、マンカメラからマンカメラの現在位置が入力され、外部から入力されるロボットカメラの撮影ショットとロボットカメラの位置とを対応させる指令に基づいて、決定したロボットカメラの撮影ショットに応じたロボットカメラの移動後位置を設定するロボットカメラ位置設定部と、カメラ形状・大きさ情報を参照し、マンカメラの現在位置でのマンカメラが占有する領域を示す占有領域と、ロボットカメラの移動後位置でのロボットカメラが占有する領域を示す占有領域とを算出するカメラ占有領域算出部と、カメラ占有範囲算出部が算出したロボットカメラの占有領域とマンカメラの占有領域とを比較して、ロボットカメラと当該マンカメラとが衝突するか否かと、ロボットカメラが撮影する映像にマンカメラが映り込むか否かと、マンカメラが撮影する映像にロボットカメラが映り込むか否かとを判定するカメラ衝突判定部と、ロボットカメラとマンカメラとが衝突すると判定された場合、ロボットカメラが撮影する映像にマンカメラが含まれると判定された場合、又は、マンカメラが撮影する映像にロボットカメラが映り込むと判定された場合、マンカメラへ移動指示を通知する移動指示通知部と、を備えることを特徴とする。
【００１０】
かかる構成によれば、撮影ショット制御装置は、カメラ占有領域算出部によって、マンカメラの現在位置での占有領域と、ロボットカメラの移動後位置での占有領域とを算出する。また、撮影ショット制御装置は、カメラ衝突判定部によって、ロボットカメラとマンカメラとが衝突するか否かと、ロボットカメラが撮影する映像にマンカメラが映り込むか否かと、マンカメラが撮影する映像にロボットカメラが映り込むか否かとを判定する。さらに、撮影ショット制御装置は、移動指示通知部によって、ロボットカメラとマンカメラとが衝突すると判定された場合、ロボットカメラが撮影する映像にマンカメラが含まれると判定された場合、又は、マンカメラが撮影する映像にロボットカメラが映り込むと判定された場合、マンカメラへ移動指示を通知する。この移動指示を通知されたマンカメラを操作するカメラマンは、事前にマンカメラを移動させて、ロボットカメラとマンカメラとが衝突する事態やロボットカメラが撮影する映像にマンカメラが映り込んでしまう事態を防止できる。
【００１１】
また、請求項３に係る撮影ショット制御装置は、ロボットカメラが複数の場合、カメラ占有領域算出部は、ロボットカメラ毎に占有領域を算出し、カメラ衝突判定部は、ロボットカメラ同士の占有領域を比較してロボットカメラ同士が衝突するか否かを判定すると共に、ロボットカメラが撮影する映像に他のロボットカメラが映り込むか否かを判定し、撮影ショット決定手段は、ロボットカメラ同士が衝突すると判定された場合、又は、ロボットカメラが撮影する映像に他のロボットカメラが含まれると判定された場合、スイッチャが映像を出力していないロボットカメラの撮影ショットを再決定することを特徴とする。
【００１２】
かかる構成によれば、撮影ショット制御装置は、カメラ衝突判定部によって、ロボットカメラ同士が衝突するか否かを判定すると共に、ロボットカメラが撮影する映像に他のロボットカメラが映り込むか否かを判定する。さらに、撮影ショット制御装置は、撮影ショット決定手段によって、ロボットカメラ同士が衝突すると判定された場合、又は、ロボットカメラが撮影する映像に他のロボットカメラが含まれると判定された場合、スイッチャが切り替えていないロボットカメラの撮影ショットを再決定する。これによって、撮影ショット制御装置は、スイッチャが出力している映像、つまり、放送中の映像を撮影しているロボットカメラの撮影ショットを再決定してしまう事態を防止できる。
【００１３】
また、前記した課題を解決するため、請求項４に係る協調撮影システムは、請求項１から請求項３の何れか一項に記載の撮影ショット制御装置と、マンカメラの撮影ショットの種類を判定するマンカメラ撮影ショット判定装置と、を含む協調撮影システムであって、マンカメラ撮影ショット判定装置が、マンカメラ撮影情報入力手段と、撮影情報−撮影ショット対応情報記憶手段と、マンカメラ撮影ショットタイプ判定手段と、を備える構成とした。
【００１４】
かかる構成によれば、協調撮影システムは、マンカメラ撮影ショット判定装置のマンカメラ撮影情報入力手段によって、マンカメラから、当該マンカメラの撮影アングルと当該マンカメラの現在位置とを含むマンカメラ撮影情報が入力される。また、協調撮影システムは、マンカメラ撮影ショット判定装置の撮影情報−撮影ショット対応情報記憶手段によって、マンカメラ撮影情報とマンカメラの撮影ショットの種類とを対応させた撮影情報−撮影ショット対応情報を予め記憶する。また、協調撮影システムは、マンカメラ撮影ショット判定装置のマンカメラ撮影ショットタイプ判定手段によって、撮影情報−撮影ショット対応情報を参照し、マンカメラ撮影情報入力手段に入力されるマンカメラ撮影情報に応じて、マンカメラの撮影ショットの種類であるマンカメラの撮影ショットタイプを判定する。さらに、協調撮影システムは、マンカメラ撮影ショット判定装置が、マンカメラの撮影ショットタイプを撮影ショット制御装置に出力する。これによって、協調撮影システムは、撮影ショット制御装置が、外部から入力されるイベントの情報と、マンカメラ撮影ショット判定装置から入力されるマンカメラの撮影ショットタイプとに基づいて、ロボットカメラが撮影する撮影ショットを決定する。
【００１５】
また、前記した課題を解決するため、請求項５に係る協調撮影プログラムは、マンカメラが撮影の撮影ショットの種類を判定するマンカメラ撮影ショット判定装置に接続され、番組の状況変化を示すイベントと、マンカメラの撮影ショットタイプと、ロボットカメラの撮影ショットタイプと、イベント後のロボットカメラの撮影ショットである切替ショットとを対応させる撮影規則生成情報を予め記憶する記憶手段を備え、１以上のロボットカメラが番組を撮影する映像とマンカメラが番組を撮影する映像とを切り替えるスイッチャを制御すると共に、ロボットカメラの撮影ショットを制御するために、コンピュータを、撮影ショットタイプ設定手段、撮影規則生成手段、スイッチャ制御手段、撮影ショット決定手段、として機能させる構成とした。
【００１６】
かかる構成によれば、撮影ショット制御プログラムは、撮影ショットタイプ設定手段によって、外部から入力されるマンカメラの撮影ショットの種類とロボットカメラの撮影ショットの種類とを設定する指令に基づいて、マンカメラが番組で撮影する撮影ショットの種類であるマンカメラの撮影ショットタイプと、ロボットカメラが番組で撮影する撮影ショットの種類であるロボットカメラの撮影ショットタイプとを予め設定する。
【００１７】
また、撮影ショット制御プログラムは、撮影規則生成手段によって、記憶手段が記憶する撮影規則生成情報を参照し、撮影ショットタイプ設定手段が設定したマンカメラの撮影ショットタイプとロボットカメラの撮影ショットタイプとに基づいて、イベントとマンカメラの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成する。このとき、撮影規則生成手段は、各々の撮影規則生成情報によって示される撮影ショットタイプが、撮影ショットタイプ設定手段で設定された撮影ショットタイプに含まれる場合に、このロボットカメラに対して、当該撮影規則生成情報によって示されるイベントとマンカメラの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成することができる。
【００１８】
また、撮影ショット制御プログラムは、スイッチャ制御手段によって、外部から入力されるロボットカメラ又はマンカメラの何れかの映像に出力を切り替える指令に基づいて、スイッチャの出力をロボットカメラが撮影する映像又はマンカメラが撮影する映像の何れかに切り替える。さらに、撮影ショット制御プログラムは、撮影ショット決定手段によって、撮影規則生成手段が生成した撮影規則を参照し、外部から入力されるイベントの情報と、マンカメラ撮影ショット判定装置から入力されるマンカメラの撮影ショットタイプとに基づいて、ロボットカメラが撮影する撮影ショットを決定する。
【発明の効果】
【００１９】
本発明によれば、以下のような優れた効果を奏する。
請求項１，４，５に係る発明によれば、イベントとマンカメラの撮影ショットタイプと切替ショットとを対応させる撮影規則を参照してロボットカメラが撮影する撮影ショットを決定するため、ロボットカメラとマンカメラとが協調してテレビ番組の撮影を行うことができる。
【００２０】
請求項２に係る発明によれば、ロボットカメラとマンカメラとが衝突する事態やロボットカメラが撮影する映像にマンカメラが映り込む事態を防止するため、様々なテレビ番組の自動撮影に適用することができる。
請求項３に係る発明によれば、放送中の映像を撮影しているロボットカメラの撮影ショットを再決定してしまう事態を防止するため、番組制作者が意図しない撮影ショットでロボットカメラが映像を撮影することを防止し、様々なテレビ番組の自動撮影に適用することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。
【００２２】
まず、図１を参照して、本発明におけるロボットカメラ・スイッチャ制御装置１を備える自動撮影システムＳの構成について説明する。図１は、本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムの構成を模式的に示した模式図である。
【００２３】
自動撮影システム（協調撮影システム）Ｓは、被写体［テーブルＴ、話者（出演者）Ｐ１、Ｐ２、フリップＦ、小物Ｏ、情報画スクリーンＳＣ］を撮影し、番組映像を生成するものである。図１に示すように、自動撮影システムＳは、ロボットカメラ・スイッチャ制御装置１と、マンカメラＭＣと、ロボットカメラＣ１〜Ｃ３と、センサカメラＣ０と、画像処理装置５と、マンカメラ撮影ショット認識装置６と、スイッチングハブＳＨと、スイッチャＳＷとを備える。
【００２４】
ロボットカメラ・スイッチャ制御装置（撮影ショット制御装置）１は、ロボットカメラＣ１〜Ｃ３が被写体を撮影する映像とマンカメラＭＣが被写体を撮影する映像とを切り替えるスイッチャＳＷを制御するものである。また、ロボットカメラ・スイッチャ制御装置１は、ロボットカメラＣ１〜Ｃ３の撮影ショットを制御するものである。
【００２５】
ここで、ロボットカメラ・スイッチャ制御装置１によって生成されたロボットカメラＣ１〜Ｃ３の撮影ショットを制御する指令となる撮影ショット制御信号は、スイッチングハブＳＨを介してロボットカメラＣ１〜Ｃ３に出力される。また、ロボットカメラ・スイッチャ制御装置１によって生成されたスイッチャＳＷの切替を制御する指令となる切替制御信号は、スイッチングハブＳＨを介してスイッチャＳＷに出力される。
【００２６】
なお、ここでは、被写体の変化を示すイベントとして、フリップＦと小物Ｏとの提示及び除去と、情報画スクリーンＳＣへの情報画の提示及び除去と、話者Ｐ１、Ｐ２の喋りの開始及び終了を想定し、イベント情報として、後記する画像処理装置５からのフリップＦと小物Ｏとの提示と除去との情報、及び、情報画スクリーンＳＣへの情報画の提示と除去との情報と、図示しないマイクによって取得された話者Ｐ１、Ｐ２の音声信号の音声レベルに基づいて、図示しない音声処理装置によって解析した各々の話者Ｐ１、Ｐ２の喋りの開始と終了との情報とが、ロボットカメラ・スイッチャ制御装置１に入力されることとした。
【００２７】
ロボットカメラＣ１〜Ｃ３は、ロボットカメラ・スイッチャ制御装置１から入力された撮影ショット制御信号と、後記する画像処理装置５から入力されるスタジオ内における被写体の位置の情報とに基づいて、当該撮影ショット制御信号によって指示される撮影ショットの映像を撮影し、番組映像の素材となる映像信号を生成するものである。ここで、生成された映像信号は、スイッチャＳＷに出力される。ここで、このフレーミングを自動で行えるロボットカメラＣ１〜Ｃ３としては、例えば、T.Tsuda,et al,"Intelligent Mobile Robot Camera",SMPTE Australia 2005-Conference and Exhibition,Session 4.4,July 2005に記載されたものを用いることができる。なお、図１では、ロボットカメラＣ１〜Ｃ３及びマンカメラＭＣからの映像信号の流れを破線で示した。
【００２８】
マンカメラＭＣは、図示しないカメラマンによって被写体を撮影し、備え付けられた移動機構で撮影フロア内を自在に移動し、番組映像の素材となる映像信号を生成するものである。ここで、マンカメラＭＣは、マンカメラＭＣの各軸を測定するエンコーダを備えており、撮影アングルを後記するマンカメラ撮影ショット認識装置６に出力する。また、マンカメラＭＣは、移動機構が測定する移動量及び移動方向から、撮影フロア内でのマンカメラＭＣの現在位置を算出してロボットカメラ・スイッチャ制御装置１に出力する。また、マンカメラＭＣは、図示しない屋内ＧＰＳ（Galileo positioning system）測位手段を備え、測位したＧＰＳ座標をマンカメラＭＣの現在位置としても良い。つまり、マンカメラＭＣは、スイッチングハブＳＨを介して、撮影アングルと現在位置とを含むマンカメラ撮影情報をマンカメラ撮影ショット認識装置６に出力すると共に、現在位置をロボットカメラ・スイッチャ制御装置１に出力する。
【００２９】
また、マンカメラＭＣは、後記する移動指示が通知されたときに、カメラマンに移動指示の通知を伝える移動指示出力手段を備える。この移動指示出力手段としては、例えば、移動指示が通知されたときに点灯するＬＥＤ(Light Emitting Diode)がある。
【００３０】
ここでは、被写体として、テーブルＴと、このテーブルＴを挟んで向かい合う２人の話者Ｐ１、Ｐ２と、この話者Ｐ１、Ｐ２の間のフリップＦと、話者Ｐ２の手元の小物Ｏと、話者Ｐ１、Ｐ２の背後の情報画スクリーンＳＣとが設置されることとした。そして、話者Ｐ１、Ｐ２が、フリップＦと、小物Ｏと、情報画スクリーンＳＣとを用いて対談する番組をマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３によって撮影して番組制作する場合について説明する。しかしながら、フリップＦと小物Ｏと情報画スクリーンＳＣの個数及び有無や、これらの被写体の配置、話者Ｐ１、Ｐ２の人数はこれに限定されることなく、任意の被写体を設定することができる。また、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の個数もこれに限定されることなく、任意の個数とすることができる。さらに、本発明は番組制作に限定されず、テレビ会議や、大学の講義の撮影や、ＴＶＭＬ（TV program Making Language；"http://www.nhk.or.jp/strl/tvml/"参照）等のＣＧを使ったテレビ番組の制作にも応用が可能である。
【００３１】
センサカメラＣ０は、被写体を撮影し、後記する画像処理装置５によって被写体の位置を算出するのに必要となる映像信号を生成するものである。ここで生成された映像信号は、画像処理装置５に出力される。なお、センサカメラＣ０は、被写体が撮影できる位置に設置されていればよく、例えば、被写体の上方や背後に設置されることとしてもよい。また、センサカメラＣ０の個数はこれに限定されることなく、任意の個数とすることができる。さらに、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３によって撮影した映像から画像処理装置５によって被写体の位置を算出する場合には、自動撮影システムＳがセンサカメラＣ０を備えないこととしてもよい。
【００３２】
画像処理装置５は、センサカメラＣ０によって撮影された映像を構成するフレーム画像ごとに被写体を検出し、スタジオ内における被写体の位置を算出するものである。また、画像処理装置５は、フリップＦと小物Ｏを検出することで、スタジオ内においてフリップＦや小物Ｏが提示もしくは除去されたかを解析するものでもある。ここで算出された被写体の位置の情報は、スイッチングハブＳＨを介してロボットカメラＣ１〜Ｃ３に出力される。また、ここで解析されたフリップＦと小物Ｏとの提示及び除去の情報が、イベント情報として、スイッチングハブＳＨを介してロボットカメラ・スイッチャ制御装置１に出力される。なお、画像処理装置５は、例えば、被写体の形状や色や、予め被写体に取り付けたセンサからの不可視光等に基づいて、フレーム画像から検出することとしてもよい。
【００３３】
マンカメラ撮影ショット認識装置（マンカメラ撮影ショット判定装置）６は、マンカメラＭＣから入力されたマンカメラ撮影情報に基づいて、マンカメラＭＣが撮影する被写体の撮影ショットの種類を判定するものである。そして、マンカメラ撮影ショット認識装置６は、判定したマンカメラＭＣの撮影ショットの種類を、マンカメラＭＣの撮影ショットタイプとして、ロボットカメラ・スイッチャ制御装置１に出力する。なお、マンカメラ撮影ショット認識装置６の詳細については、後記する。
【００３４】
スイッチングハブＳＨは、ロボットカメラ・スイッチャ制御装置１から入力された撮影ショット制御信号及び切替制御信号をそれぞれマンカメラＭＣ、ロボットカメラＣ１〜Ｃ３及びスイッチャＳＷに出力するとともに、画像処理装置５、音声処理装置（図示せず）及び情報画スクリーンＳＣへの情報画の出力装置（図示せず）から入力されたイベント情報をロボットカメラ・スイッチャ制御装置１に出力する中継器である。また、スイッチングハブＳＨは、マンカメラ撮影ショット認識装置６が出力するマンカメラＭＣの撮影ショットタイプを、ロボットカメラ・スイッチャ制御装置１に中継する。また、スイッチングハブＳＨは、マンカメラＭＣから入力されたマンカメラ撮影情報をマンカメラ撮影ショット認識装置６に出力する。
【００３５】
スイッチャＳＷは、ロボットカメラ・スイッチャ制御装置１から入力された切替制御信号に基づいて、スイッチャＳＷの出力をロボットカメラＣ１〜Ｃ３が撮影する映像又はマンカメラＭＣが撮影する映像の何れかに切り替えて、番組映像（出力映像）として出力するものである。
【００３６】
［マンカメラ撮影ショット認識装置の構成］
以下、図２を参照して、本発明におけるマンカメラ撮影ショット認識装置６の構成について詳細に説明する（適宜図１参照）。図２は、図１のマンカメラ撮影ショット認識装置６の構成を示すブロック図である。図２に示すように、マンカメラ撮影ショット認識装置６は、マンカメラ撮影情報入力手段２１と、撮影情報−撮影ショット対応情報記憶手段２２と、マンカメラ撮影ショットタイプ判定手段２３とを備える。
【００３７】
マンカメラ撮影情報入力手段２１は、マンカメラＭＣから、マンカメラＭＣの撮影アングルとマンカメラＭＣの現在位置とを含むマンカメラ撮影情報が入力されるものである。ここで、マンカメラＭＣの撮影アングルは、例えば、パン角、チルト角、フォーカス位置及びズーム位置を含む。また、マンカメラＭＣの現在位置は、例えば、撮影フロアの任意位置を基準としたマンカメラＭＣの横方向の位置、縦方向の位置及び高さ方向の位置を示す３次元位置である。また、マンカメラＭＣの現在位置は、ＧＰＳ座標（経度、緯度、高度を示す３次元位置）としても良い。
【００３８】
撮影情報−撮影ショット対応情報記憶手段２２は、マンカメラ撮影情報入力手段２１に入力されたマンカメラ撮影情報とマンカメラＭＣの撮影ショットの種類とを予め対応させた撮影情報−撮影ショット対応情報を予め記憶するものである。なお、撮影情報−撮影ショット対応情報の詳細は、後記する。
【００３９】
マンカメラ撮影ショットタイプ判定手段２３は、撮影情報−撮影ショット対応情報記憶手段２２が記憶する撮影情報−撮影ショット対応情報を参照し、マンカメラ撮影情報入力手段２１に入力されたマンカメラ撮影情報に応じたマンカメラＭＣの撮影ショットの種類であるマンカメラＭＣの撮影ショットタイプを判定するものである。
【００４０】
＜撮影情報−撮影ショット対応情報の詳細及び撮影ショットタイプの判定＞
ここで、図３を参照して、撮影情報−撮影ショット対応情報の詳細及び撮影ショットタイプの判定について、具体例を用いて説明する（適宜図１及び図２参照）。図３は、撮影情報−撮影ショット対応情報の詳細及び撮影ショットタイプの判定において、番組制作者に提示される表示画面の例を示す図である。
【００４１】
ここでは、番組制作者は、図示しない表示装置に表示された図３に示すようなＧＵＩ（Graphical User Interface）によって、マンカメラ撮影情報とマンカメラＭＣの撮影ショットの種類とを予め対応付けることとした。図３では、マンカメラの現在位置表示領域Ａ１に、マンカメラ撮影情報入力手段２１に入力されたマンカメラＭＣの撮影アングル（パン、チルト、フォーカス、ズーム）と、マンカメラＭＣの現在位置（横方向の位置：ｘ、縦方向の位置：ｙ、高さ方向の位置：ｚ）とがそれぞれ表示されている。
【００４２】
図３の撮影情報−撮影ショット対応情報表示領域Ａ２には、撮影情報−撮影ショット対応情報記憶手段２２が記憶する撮影情報−撮影ショット対応情報が表示されている。具体的には、撮影情報−撮影ショット対応情報表示領域Ａ２には、パン、チルト、フォーカス、ズーム、横方向の位置、縦方向の位置、高さ方向の位置等のマンカメラ撮影情報の各要素の範囲が表示される撮影情報表示領域Ｂ２が含まれる。また、撮影情報−撮影ショット対応情報表示領域Ａ２には、マンカメラ撮影情報入力手段２１に入力されたマンカメラ撮影情報が、前記した各要素の範囲内であるときのマンカメラＭＣの撮影ショットの種類（例えば、「フリップ」）が表示される撮影ショット表示領域Ｂ１が含まれる。ここで、番組制作者は、マウス、キーボード等の入力手段によって、撮影情報表示領域Ｂ２におけるマンカメラ撮影情報の各要素の範囲と、撮影ショット表示領域Ｂ１におけるマンカメラの撮影ショットの種類とを入力できる。また、番組制作者は、範囲設定ボタンＢ３を押下すると、マンカメラの現在位置表示領域Ａ１に表示されたマンカメラＭＣの撮影アングル又はマンカメラＭＣの現在位置の値に対する、撮影情報−撮影ショット対応情報表示領域Ａ２に表示されたマンカメラ撮影情報の各要素の値の差が計算され、この差が各要素の値に反映される。つまり、図３の表示画面によって、番組制作者は、マンカメラＭＣの撮影ショットの種類毎に、マンカメラ撮影情報の各要素の範囲を設定し、マンカメラ撮影情報とマンカメラＭＣの撮影ショットの種類とを対応させることができる。
【００４３】
マンカメラ撮影ショットタイプ判定手段２３は、撮影情報−撮影ショット対応情報表示領域Ａ２に表示されたマンカメラ撮影情報の各要素の範囲内に、マンカメラの現在位置表示領域Ａ１に表示されたマンカメラＭＣの撮影アングルとカメラＭＣの現在位置とが収まる場合、撮影情報−撮影ショット対応情報表示領域Ａ２に表示されたマンカメラの撮影ショットの種類であると判定する。ここで、撮影情報−撮影ショット対応情報表示領域Ａ２において、番組制作者は、チェックボックスｃｂを外すことで、そのチェックボックスｃｂに対応するマンカメラ撮影情報の要素が、マンカメラＭＣの撮影ショットの種類の判定基準から除外させることができる。なお、マンカメラ撮影ショット認識装置６は、前記した方法とは別に、マンカメラＭＣが撮影している映像を画像処理して、マンカメラＭＣの撮影ショットタイプを判定しても良い。
【００４４】
［ロボットカメラ・スイッチャ制御装置の構成］
以下、図４を参照して、図１のロボットカメラ・スイッチャ制御装置１の構成について詳細に説明する（適宜図１参照）。図４は、図１のロボットカメラ・スイッチャ制御装置の構成を示すブロック図である。図４に示すように、ロボットカメラ・スイッチャ制御装置１は、撮影ショットタイプ設定手段１１と、撮影規則生成情報記憶手段１２と、撮影規則生成手段１３と、撮影規則設定手段１４と、撮影ショット制御手段１５と、スイッチャ制御手段１６とを備える。
【００４５】
撮影ショットタイプ設定手段１１は、番組制作者によって、外部から入力されるマンカメラＭＣの撮影ショットの種類とロボットカメラの撮影ショットＣ１〜Ｃ３の種類とを設定する指令（設定指令）に基づいて、マンカメラＭＣが番組で撮影する撮影ショットの種類であるマンカメラＭＣの撮影ショットタイプと、ロボットカメラＣ１〜Ｃ３が番組で撮影する撮影ショットの種類であるロボットカメラＣ１〜Ｃ３の撮影ショットタイプとを予め設定するものである。また、撮影ショットタイプ設定手段１１は、設定した撮影ショットタイプの情報を、撮影規則生成手段１３及び撮影ショット制御手段１５に出力する。
【００４６】
ここで、図５を参照（適宜図４参照）して、撮影ショットタイプ設定手段１１による撮影ショットタイプの設定について、具体例を用いて説明する。図５は、撮影ショットタイプの設定時において、番組制作者に提示される表示画面の例を模式的に示す模式図である。
【００４７】
ここでは、番組制作者は、図示しない表示装置に表示された図５に示すようなＧＵＩによって、撮影ショットタイプを設定する指令を入力することとした。なお、図５において、「１カメ」、「２カメ」、「３カメ」及び「４カメ」は、それぞれマンカメラＭＣ、ロボットカメラＣ１、Ｃ２、Ｃ３を示す。これらのロボットカメラＣ１〜Ｃ３には予め設定可能な複数の種類の撮影ショットが割り当てられ、さらに、優先順位が設定されている。図５では、撮影ショットタイプ表示領域Ｒ１〜Ｒ４に、各々のマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３において設定可能な撮影ショットが表示されている。例えば、ロボットカメラＣ１（１カメ）には、「フリップ込２」（フリップＦと話者Ｐ２の映像）、「スクリーン込２」（情報画スクリーンＳＣと話者Ｐ２の映像）、「バストショット２」（話者Ｐ２の胸から上の映像）及び「越し２」（話者Ｐ１の背後から撮影した話者Ｐ２の映像）の４種類の撮影ショットが割り当てられ、これらの撮影ショットが撮影ショットタイプ表示領域Ｒ１に優先順位の高い順に表示されている。
【００４８】
そして、番組制作者は、スタジオ内の配置に合う撮影ショットタイプを選択する。このとき、番組制作者は、図５に示す撮影ショットタイプ表示領域Ｒ１〜Ｒ４に表示された撮影ショットのチェックボックスｃｂを図示しないマウス等によってクリックしてチェックを付加することで、選択した撮影ショットタイプを設定する指令を入力することができる。図５は、例えば、マンカメラＭＣに、「フリップ込２」及び「バストショット２」の２種類の撮影ショットを設定した場合を示している。このようにして、番組制作者は、すべてのマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３について、番組で撮影する撮影ショットタイプを設定する。そして、番組制作者によって入力された指令に基づいて、撮影ショットタイプ設定手段１１は、選択された撮影ショットタイプをマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３毎に設定する。
【００４９】
図４に戻って説明を続ける。撮影規則生成情報記憶手段（記憶装置）１２は、後記する撮影規則生成手段１３において撮影規則を生成するための撮影規則生成情報を記憶するもので、ハードディスク等の一般的な記憶手段によって構成される。ここで、撮影規則生成情報記憶手段１２は、撮影規則生成情報としてイベント撮影規則生成情報、スイッチング撮影規則生成情報及び協調撮影規則生成情報を記憶することとした。
【００５０】
ここで、図６を参照して、撮影規則生成情報について具体例を用いて説明する（適宜図４参照）。図６は、撮影規則生成情報を説明するための説明図である。ここでは、撮影規則生成情報記憶手段１２には、図６に示す情報が記憶されていることとする。図６に示す表の各行には、行の番号とイベントと、イベント後の撮影ショット（切替ショット）とを対応させた情報が示されている。
【００５１】
イベント撮影規則生成情報は、イベントと、ロボットカメラＣ１〜Ｃ３の撮影ショットタイプと、切替ショットとを対応させる情報である。ここで、図６の表の番号［１］〜［４］の行に示す情報は、イベント撮影規則生成情報の一部であり、イベントと、切替ショットとを対応させる情報である。例えば、図６の番号［１］の行では、フリップＦが提示されたことを示すイベントに、切替ショットとして「フリップ」（フリップＦのみを撮影した映像）の撮影ショットが対応付けられている。図６の表の番号［１］〜［４］の行に示す情報以外にも、例えば、情報画スクリーンＳＣの提示及び除去や、小物Ｏの提示及び除去、話者Ｐ１、Ｐ２の喋りの開始及び終了等のイベントにそれぞれ切替ショットを対応させる情報を撮影規則生成情報記憶手段１２に記憶することとしてもよい。
【００５２】
なお、図６に示す表の番号［４］の行における切替ショットの「最適ショット」は、撮影ショットタイプ設定手段１１において設定された撮影ショットタイプのうち、選択可能なもので最も優先順位の高い撮影ショットを示す。このとき、例えば、他のマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３が撮影している撮影ショットと同じ撮影ショットや、フリップＦが提示されていないときのフリップショットは選択不可能である。
【００５３】
さらに、撮影規則生成情報記憶手段１２には、以下の［ａ］〜［ｄ］の情報が記憶されていることとする。この情報は、図６の表の番号［１］〜［４］の行に示す情報のそれぞれと撮影ショットタイプとを対応させるものであり、この情報と図６の表の番号［１］〜［４］の行に示す情報とを、イベント撮影規則生成情報とした。
【００５４】
［ａ］：撮影ショットタイプに「フリップ」が設定されているロボットカメラＣ１〜Ｃ３には、図６の表の番号［１］及び［４］の行を撮影規則として生成する。
［ｂ］：［ａ］に該当しないロボットカメラＣ１〜Ｃ３で、撮影ショットタイプに「フリップ込２」が設定されているロボットカメラＣ１〜Ｃ３には、図６の表の番号［２］及び［４］の行を撮影規則として生成する。
［ｃ］：［ａ］及び［ｂ］に該当しないロボットカメラＣ１〜Ｃ３で、撮影ショットタイプに「フリップ込１」が設定されているロボットカメラＣ１〜Ｃ３には、図６の表の番号［３］及び［４］の行を撮影規則として生成する。
［ｄ］：情報画スクリーンＳＣ、小物Ｏについても［ａ］〜［ｃ］と同様の処理を行う。ただし、複数のロボットカメラＣ１〜Ｃ３に同じ撮影規則を生成せず、ロボットカメラＣ２、ロボットカメラＣ３、ロボットカメラＣ１の順に優先的に生成する。
【００５５】
スイッチング撮影規則生成情報は、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットと、この撮影ショットの切替の条件となるイベントと、切替ショット（他の撮影ショット）と、ロボットカメラＣ１〜Ｃ３の撮影ショットタイプとを対応させる情報である。ここで、図６の表の番号［５］の行に示す情報は、スイッチング撮影規則生成情報の一部であり、ある撮影ショットのオンエアが解除されるイベントの情報と、オンエア解除後の切替ショットとを対応させる情報である。図６の番号［５］の行では、あるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の「越し」（「越し１」及び「越し２」）、「ドリー」、「ズームイン」および「クレーン」の何れかの撮影ショットの映像がオンエアされている状態からオンエアが解除されるイベントに、切替ショットとして「最適ショット」の撮影ショットが対応付けられている。ここで、オンエアは、スイッチャＳＷから映像が出力されることを示す。
【００５６】
さらに、撮影規則生成情報記憶手段１２には、以下の［ｅ］の情報が記憶されていることとする。この情報は、図６の表の番号［５］の行に示す情報と撮影ショットタイプとを対応させるものであり、この情報と図６の表の番号［５］の行に示す情報とを、スイッチング撮影規則生成情報とした。
【００５７】
［ｅ］：撮影ショットタイプに「越し」、「ドリー」、「ズームイン」および「クレーン」の何れかが設定されているロボットカメラＣ１〜Ｃ３には、図６の表の番号［５］の行を撮影規則として生成する。
【００５８】
協調撮影規則生成情報は、あるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットと、撮影ショットタイプと、他のロボットカメラＣ１〜Ｃ３と、撮影ショットタイプとを対応させる情報である。ここで、図６の表の番号［６］及び［７］の行に示す情報は、協調撮影規則生成情報の一部であり、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の種類、切り替わり前後の撮影ショットもしくはオンエアされた撮影ショット、及び、撮影ショットの切替もしくはオンエアのイベントの情報と、このイベント後に撮影ショットが切り替えられる他のロボットカメラＣ１〜Ｃ３の種類、及び、切り替わり前後の撮影ショットの情報とを対応させる情報である。例えば、図６の番号［６］の行では、あるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の「ツーショット」の撮影ショットがオンエアされるイベントに、他のロボットカメラＣ１〜Ｃ３の撮影ショットを「越し」（「越し１」及び「越し２」）から「最適ショット」に切り替わることが対応付けられている。ここで、「カメラＸ」は任意のマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３、「カメラＹ」は「カメラＸ」以外のロボットカメラＣ１〜Ｃ３を示す。
【００５９】
さらに、撮影規則生成情報記憶手段１２には、以下の［ｆ］、［ｇ］の情報が記憶されていることとする。この情報は、図６の表の番号［６］及び［７］の行に示す情報のそれぞれと撮影ショットタイプとを対応させるものであり、この情報と図６の表の番号［６］及び［７］の行に示す情報とを、協調撮影規則生成情報とした。
【００６０】
［ｆ］：あるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットタイプに「ツーショット」が、他のロボットカメラＣ１〜Ｃ３の撮影ショットタイプに「越し」が設定されている場合には、図６の表の番号［６］の行を撮影規則として生成する。
［ｇ］：異なるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３に同じ撮影ショットタイプが設定されている場合には、図６の表の番号［７］の行を撮影規則として生成する。
【００６１】
撮影規則生成情報記憶手段１２に記憶された撮影規則生成情報は、後記する撮影規則生成手段１３によって撮影規則を生成する際に参照されて用いられる。ここでは、撮影規則生成情報は、図６の表の番号［１］〜［７］の行に示す情報と、当該情報のそれぞれと撮影ショットタイプとを対応させる［ａ］〜［ｇ］の情報とからなることとし、撮影規則生成手段１３によって、この［ａ］〜［ｇ］に示される撮影ショットタイプが、撮影ショットタイプ設定手段１１によって設定された撮影ショットタイプに含まれる場合に、このロボットカメラＣ１〜Ｃ３に対して、図６の表の番号［１］〜［７］のうちの適合する行に示す情報を撮影規則として生成することとした。
【００６２】
なお、ここでは、図６の表と［ａ］〜［ｇ］の情報とからなる撮影規則生成情報について説明したが、例えば、図６の表の番号［１］〜［７］の行の情報のそれぞれに含まれる撮影ショット（切り替えショットを含む）が撮影ショットタイプを示すこととし、後記する撮影規則生成手段１３によって、この撮影ショットを撮影ショットタイプに含むロボットカメラＣ１〜Ｃ３に対して、図６の表の適合する行を撮影規則として生成することとしてもよい。
【００６３】
また、ここでは、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の切替もしくはオンエア前後の撮影ショットと、他のロボットカメラＣ１〜Ｃ３の切替前後の撮影ショットとを対応させるイベント撮影規則生成情報について説明したが、例えば、あるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３がある撮影ショットに切り替わった際に、他のロボットカメラＣ１〜Ｃ３を、指定した撮影ショットに切り替える場合に特定して、ロボットカメラＣ１〜Ｃ３の種類及び切り替わり後の撮影ショットと、ロボットカメラＣ１〜Ｃ３の種類及び切り替わり後の撮影ショットのみを対応させるものとしてもよい。この撮影規則生成情報は、例えば、過去のカメラマンによる撮影におけるカメラの撮影ショットの選択を参考にして生成することができる。
【００６４】
図４に戻り説明を続ける。また、撮影規則生成情報記憶手段１２は、カメラマンを含めたマンカメラＭＣの形状と大きさと、ロボットカメラＣ１〜Ｃ３の形状と大きさとを含むカメラ形状・大きさ情報を予め記憶する。例えば、カメラ形状・大きさ情報は、カメラマンを含めたマンカメラＭＣの形状及びロボットカメラＣ１〜Ｃ３の形状を、微小な三角形に分割して表現し（ポリゴン処理）、各三角形の頂点をこれらの形状としても良い。この場合、カメラ形状・大きさ情報は、前記した各三角形の角頂点間の距離（長さ）を、カメラマンを含めたマンカメラＭＣの大きさ及びロボットカメラＣ１〜Ｃ３の大きさとしても良い。また、後記する占有領域の演算を簡易にするため、カメラ形状・大きさ情報は、カメラマンを含めたマンカメラＭＣの形状及びロボットカメラＣ１〜Ｃ３の形状を、四角形、円筒形等の簡易な形状として扱っても良い。
【００６５】
撮影規則生成手段１３は、撮影規則生成情報記憶手段１２が記憶する撮影規則生成情報を参照し、撮影ショットタイプ設定手段１１が設定したマンカメラＭＣの撮影ショットタイプとロボットカメラＣ１〜Ｃ３の撮影ショットタイプとに基づいて、イベントとマンカメラＭＣの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成するものである。ここで生成された撮影規則は、撮影規則設定手段１４に出力される。
【００６６】
ここで、撮影規則生成情報は、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットタイプの情報を含む。撮影規則生成手段１３は、撮影規則生成情報によって示されるロボットカメラＣ１〜Ｃ３の撮影ショットタイプが、撮影ショットタイプ設定手段１１によって設定されたロボットカメラＣ１〜Ｃ３の撮影ショットタイプに含まれる場合に、このロボットカメラＣ１〜Ｃ３に対して当該撮影規則生成情報によって示される撮影規則を生成する。そして、撮影ショットタイプ設定手段１１によって設定されたロボットカメラＣ１〜Ｃ３の撮影ショットタイプが、マンカメラＭＣの撮影ショットタイプ、スタジオの配置や話者の人数等に合うように番組制作者によって選択されているため、撮影規則生成手段１３によって生成される撮影規則は、マンカメラＭＣの撮影ショットタイプ、スタジオの配置や話者の人数等の撮影条件に合うものとなる。これによって、撮影規則生成手段１３は、番組ごとに撮影条件が変化してもそれに応じた撮影規則を自動で生成でき、撮影条件が変更されても番組制作者は撮影ショットタイプの設定のみを行えばよく、その都度撮影条件にあうイベントと切替ショットとを対応させる必要がなくなる。
【００６７】
撮影規則設定手段１４は、撮影規則生成手段１３によって生成された撮影規則を、外部から入力された番組制作者からの指令に基づいて修正するものである。なお、番組制作者からの修正の指令が入力されない場合には、撮影規則設定手段１４は、撮影規則生成手段１３によって生成された撮影規則をそのまま設定する。ここで設定された撮影規則は、撮影ショット制御手段１５に出力される。
【００６８】
ここで、図７を参照して、撮影規則生成手段１３によって生成された撮影規則と、撮影規則設定手段１４による撮影規則の修正について、具体例を用いて説明する（適宜図４参照）。図７は、撮影規則の修正時において、番組制作者に提示される表示画面の例を示す図、（ａ）は、あるロボットカメラのイベント撮影規則を提示した表示画面の例を示す図、（ｂ）は、協調撮影規則を提示した表示画面の例を示す図である。
【００６９】
ここでは、撮影規則設定手段１４は、図７に示すようなＧＵＩによって、番組制作者からの撮影規則の修正指令を入力することとした。例えば、撮影規則生成手段１３によって、イベント撮影規則生成情報に基づいてロボットカメラＣ１について、図７（ａ）の行Ｄ１に示すような撮影規則（イベント撮影規則）が生成されたとする。ここで、図７（ａ）のイベント撮影規則の一番上の行Ｄ１は、フリップＦが提示されたというイベント情報が入力されたときに、後記する撮影ショット制御手段１５がロボットカメラＣ１に「フリップ」の撮影ショットを撮影する指令を出力する撮影規則を示している。
【００７０】
また、例えば、撮影規則生成手段１３によって、スイッチング撮影規則生成情報に基づいて、図７（ａ）の行Ｄ２に示すような撮影規則（スイッチング撮影規則）が生成されたとする。ここで、このスイッチング撮影規則は、ロボットカメラＣ１で撮影された「越し２」の映像がスイッチャＳＷから出力されている状態において、スイッチャＳＷから他のロボットカメラの映像を出力する指令が、後記するスイッチャ制御手段１６によってスイッチャＳＷに出力されると、撮影ショット制御手段１５が、ロボットカメラＣ１に「最適ショット」の撮影ショットを撮影する指令を出力する撮影規則を示している。
【００７１】
また、例えば、撮影規則生成手段１３によって、協調撮影規則生成情報に基づいて、図７（ｂ）に示すような撮影規則（協調撮影規則）が生成されたとする。ここで、図７（ｂ）の協調撮影規則の一番上の行Ｄ３は、ロボットカメラＣ１が「越し１」を撮影しているときに、ロボットカメラＣ３で撮影された「ツーショット」の映像をスイッチャＳＷにおいて出力する指令が、後記するスイッチャ制御手段１６によって出力されると、撮影ショット制御手段１５がロボットカメラＣ１に「最適ショット」の撮影ショットを撮影する指令を出力する撮影規則を示している。
【００７２】
さらに、例えば、図７（ｂ）の協調撮影規則の一番下の行Ｄ４は、マンカメラＭＣが「スクリーン込２」を撮影しているときに、カメラマンがマンカメラＭＣで別の撮影ショットから「スクリーン込２」を撮影すると、ロボットカメラＣ１が「スクリーン込２」から「最適ショット」に撮影ショットを撮影する指令を出力する撮影規則を示している。
【００７３】
そして、番組制作者は図示しないマウス等によって、図７（ａ）及び（ｂ）の表示画面のプルダウンメニューを操作することで、撮影規則を修正する指令を撮影規則設定手段１４に入力することができる。そして、撮影規則設定手段１４は、番組制作者によって入力された指令に基づいて撮影規則を修正する。
【００７４】
図４に戻って説明を続ける。撮影ショット制御手段（撮影ショット決定手段）１５は、撮影規則生成手段１４が生成した撮影規則を参照し、外部から入力されるイベントの情報と、マンカメラ撮影ショット判定装置６から入力されるマンカメラＭＣの撮影ショットタイプと、マンカメラＭＣから入力される現在位置とに基づいて、ロボットカメラが撮影する撮影ショットＣ１〜Ｃ３を決定するものである。ここで決定された撮影ショットの映像を撮影する指令（撮影ショット制御信号）は、スイッチングハブＳＨを介してロボットカメラＣ１〜Ｃ３に出力される。
【００７５】
また、撮影ショット制御手段１５は、撮影規則設定手段１４において撮影規則が設定されるごとに、ロボットカメラＣ１〜Ｃ３に対して「最適ショット」の撮影の指令を出力して、撮影ショットを初期化することとした。さらに、撮影ショット制御手段１５は、例えば、ズームインのような動きを伴う撮影ショットを決定した場合には、このロボットカメラＣ１〜Ｃ３を待機させ、番組制作者によって当該撮影ショットをスイッチャＳＷから出力させる指令が後記するスイッチャ制御手段１６に入力されたときに、この撮影ショットを撮影する指令を出力することとした。これによって、撮影ショット制御手段１５は、ロボットカメラＣ１〜Ｃ３に、スイッチャＳＷからの映像の出力開始とともに撮影を開始させることができる。そのため、ズームイン等の動きの途中で映像がスイッチャＳＷから出力開始されることなく、スイッチャＳＷからの出力開始と撮影開始とを一致させた映像がスイッチャＳＷから出力される。
【００７６】
なお、あるロボットカメラＣ１〜Ｃ３が決定した撮影ショット位置に移動したときに、他のロボットカメラＣ１〜Ｃ３と衝突し、又は、他のロボットカメラＣ１〜Ｃ３が撮影する映像に映り込む可能性がある。このため、撮影ショット決定手段１５は、後記する切替情報に基づいて、スイッチャＳＷが映像を出力しているロボットカメラＣ１〜Ｃ３を判定する。そして、撮影ショット決定手段１５は、撮影ショットを決定したあるロボットカメラＣ１〜Ｃ３の映像をスイッチャＳＷが出力していない場合、このロボットカメラＣ１〜Ｃ３の撮影ショットを、例えば、「最適ショット」に再決定する。一方、撮影ショット決定手段１５は、撮影ショットを決定したあるロボットカメラＣ１〜Ｃ３の映像をスイッチャＳＷが出力している場合、このロボットカメラＣ１〜Ｃ３と衝突し又はこのロボットカメラＣ１〜Ｃ３が撮影する映像に映り込む他のロボットカメラＣ１〜Ｃ３の撮影ショットを、例えば、「最適ショット」に再決定する。
【００７７】
ここで、図８を参照して、撮影ショット制御手段１５の詳細について説明する（適宜図４参照）。図８は、図４の撮影ショット制御手段の構成を示すブロック図である。図８に示すように、撮影ショット制御手段１５は、ロボットカメラ位置設定部１５１と、カメラ占有領域算出部１５２と、カメラ衝突判定部１５３と、移動指示通知部１５４とを備える。
【００７８】
ロボットカメラ位置設定部１５１は、番組制作者が入力するロボットカメラＣ１〜Ｃ３の撮影ショットとロボットカメラＣ１〜Ｃ３の位置とを対応させる指令に基づいて、撮影ショット制御手段１５が決定したロボットカメラＣ１〜Ｃ３の撮影ショットに応じたロボットカメラＣ１〜Ｃ３の移動後位置を設定するものである。
【００７９】
ここでは、ロボットカメラ位置設定部１５１は、図９に示すようなＧＵＩによって、撮影ショットを対応させる指令を入力することとした。図９に示す表示画面の例において、マンカメラの現在位置表示領域Ａ１に、マンカメラ撮影情報入力手段２１に入力されたマンカメラＭＣの撮影アングル（パン、チルト、フォーカス、ズーム）と、マンカメラＭＣの現在位置（横方向の位置：ｘ、縦方向の位置：ｙ、高さ方向の位置：ｚ）とがそれぞれ表示されている。また、撮影ショット表示領域Ｕ１内の撮影ショットタイプ表示領域Ｕ１１〜Ｕ１４に、それぞれ撮影ショットタイプ設定手段１１において設定されたマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットタイプを示すサムネールＳ１１、Ｓ１２、Ｓ２１・・・が表示される。
【００８０】
そして、番組制作者は、図示しない入力手段によって、ロボットカメラＣ１〜Ｃ３の位置を設定する。また、番組制作者は、ショットメモリボタンＶ１を押下し、サムネールＳ１１、Ｓ１２、Ｓ２１・・・の中から割り当てたいサムネールを選択（クリック等）する。これによって、ロボットカメラ位置設定部１５１は、ショットメモリ作業、及び、ロボットカメラＣ１〜Ｃ３の撮影ショットとロボットカメラＣ１〜Ｃ３の位置とを対応付けを終了する。
【００８１】
図８に戻り説明を続ける。カメラ占有領域算出部１５２は、撮影規則生成情報記憶手段１２が記憶するカメラ形状・大きさ情報を参照し、マンカメラＭＣの現在位置でのマンカメラＭＣが占有する領域を示す占有領域と、ロボットカメラＣ１〜Ｃ３の移動後位置でのロボットカメラＣ１〜Ｃ３が占有する領域を示す占有領域とを算出するものである。カメラ占有領域算出部１５２は、例えば、マンカメラＭＣの現在位置（３次元位置）を基準に、カメラ形状・大きさ情報に設定されたマンカメラＭＣの大きさで、マンカメラＭＣの形状をポリゴンで表現し、マンカメラＭＣの占有領域を算出する。また、カメラ占有領域算出部１５２は、例えば、ロボットカメラＣ１〜Ｃ３の移動後位置を基準に、カメラ形状・大きさ情報に設定されたロボットカメラＣ１〜Ｃ３の大きさで、ロボットカメラＣ１〜Ｃ３の形状をポリゴンで表現し、ロボットカメラＣ１〜Ｃ３の占有領域を算出する。
【００８２】
カメラ衝突判定部１５３は、カメラ占有範囲算出部１５２が算出したロボットカメラＣ１〜Ｃ３の占有領域とマンカメラＭＣの占有領域とを比較してロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突するか否かを判定するものである。また、カメラ衝突判定部１５３は、ロボットカメラＣ１〜Ｃ３同士の占有領域を比較してロボットカメラＣ１〜Ｃ３同士が衝突するか否かを判定する。カメラ衝突判定部１５３は、例えば、ポリゴンで表現したマンカメラＭＣの占有領域及びロボットカメラＣ１〜Ｃ３が重なる場合に、ロボットカメラＣ１〜Ｃ３同士又はロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突すると判定する。なお、カメラ衝突判定部１５３は、これらの判定結果に応じて、後記する衝突メッセージ又は映り込みメッセージを生成して出力する。
【００８３】
また、カメラ衝突判定部１５３は、ロボットカメラＣ１〜Ｃ３が撮影する映像に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込むか否かと、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込みむか否かとを判定する。ここで、カメラ衝突判定部１５３は、例えば、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットと形状と大きさとが分かるので、下記の式（１）によって、ロボットカメラＣ１〜Ｃ３及びマンカメラＭＣの画界を算出し、この画界に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込むか否かを判定する。
【００８４】
ｙ＝ｙ’×ｌ／ｆ・・・式（１）
なお、式（１）において、ｙはマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の画界、ｙ’はマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットのイメージサイズ、ｌはマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３のレンズ主点と被写体との距離、及び、ｆはマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の焦点距離である。
【００８５】
移動指示通知部１５４は、カメラ衝突判定部１５３によって、ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突すると判定された場合、ロボットカメラＣ１〜Ｃ３が撮影する映像にマンカメラＭＣが含まれると判定された場合、又は、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込みむと判定された場合、マンカメラＭＣへ移動指示を通知するものである。この移動指示は、スイッチングハブＳＨを介して、マンカメラＭＣに出力される。例えば、移動指示通知部１５４は、入力された切替実施情報に基づいて、スイッチャＳＷがマンカメラＭＣの映像を出力しているか否かを判定する。そして、スイッチャＳＷがマンカメラＭＣの映像を出力していないと判定された場合、移動指示通知部１５４は、カメラ衝突判定部１５３からの衝突メッセージ又は映り込みメッセージに応じて、マンカメラＭＣへ移動指示を通知する。
【００８６】
なお、スイッチャＳＷがマンカメラＭＣの映像を出力していると判定された場合、移動指示通知部１５４がマンカメラＭＣへ移動指示を通知しても、カメラマンがマンカメラＭＣを移動させることができない。このため、撮影ショット決定手段１５は、スイッチャＳＷがマンカメラＭＣの映像を出力していると判定され、かつ、マンカメラＭＣとロボットカメラＣ１〜Ｃ３が衝突すると判定された場合、又は、スイッチャＳＷがマンカメラＭＣの映像を出力していると判定され、かつ、ロボットカメラＣ１〜Ｃ３が撮影する映像にマンカメラＭＣが含まれると判定された場合、マンカメラＭＣに衝突又は映り込むロボットカメラＣ１〜Ｃ３の撮影ショットを、例えば、「最適ショット」に再決定する。
【００８７】
図４に戻って説明を続ける。スイッチャ制御手段１６は、番組制作者によって外部から入力された、スイッチャＳＷから出力する映像の切替指令に基づいて、スイッチャＳＷの切替を制御するものである。ここで生成されたスイッチャＳＷの切替を制御する指令（切替制御信号）は、スイッチングハブＳＨを介してスイッチャＳＷに出力される。また、スイッチャＳＷが出力するマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットについての切替実施情報が、撮影ショット制御手段１５に入力される。
【００８８】
ここで、図９を参照して、番組制作者によるスイッチャＳＷから出力する映像の切替について、具体例を用いて説明する（適宜図４参照）。図９に示すように、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３のそれぞれは、サムネールＳ１１、Ｓ２１、Ｓ３１、Ｓ４１の撮影ショットを撮影している。そして、番組制作者は、話者（Ｐ１、Ｐ２）の行うフリップＦや小物Ｏの提示及び除去、情報画スクリーンＳＣの情報画の切り替わり、話者（Ｐ１、Ｐ２）の切り替わり、スイッチャＳＷから出力される映像の切り替わり、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットの切り替わり等のスタジオの状況変化に合わせて、スイッチャＳＷの切替を制御するための指令をスイッチャ制御手段１６に入力する。
【００８９】
このとき、番組制作者は、図示しないマウス等でクリックしたり図示しないタッチパネルをタッチしたりして、図９におけるスイッチングパネル表示領域Ｕ２内に表示されたスイッチングパネルＴ１〜Ｔ４を指定することで、対応するマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の映像にスイッチャＳＷの出力を切り替えさせる指令をスイッチャ制御手段１６に入力することができる。ここで、スイッチングパネルＴ１〜Ｔ４のそれぞれは、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３に対応する。そして、スイッチャ制御手段１６は、番組制作者によって入力された指令に基づいて、選択されたマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の映像に出力を切り替える切替制御信号をスイッチャＳＷに出力する。なお、スイッチャＳＷの制御は、前記したタッチパネルに限られず、例えば、スイッチャＳＷからタリー信号を取得することで、スイッチャ専用操作器（不図示）を用いて行なうこともできる。
【００９０】
以上のように、ロボットカメラ・スイッチャ制御装置１は、スタジオの状況変化やマンカメラＭＣの撮影ショットに応じて、各々のロボットカメラＣ１〜Ｃ３の撮影ショットを制御することができる。これによって、ロボットカメラとマンカメラとが協調してテレビ番組の撮影を行うことができる。また、ロボットカメラ・スイッチャ制御装置１は、移動指示をマンカメラＭＣに通知することで、ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突する事態、ロボットカメラＣ１〜Ｃ３が撮影する映像にマンカメラＭＣが映り込む事態を防止できるため、様々なテレビ番組の自動撮影に適用することができる。さらに、ロボットカメラ・スイッチャ制御装置１は、放送中の映像を撮影しているロボットカメラＣ１〜Ｃ３の撮影ショットを再決定してしまう事態を防止できるため、番組制作者が意図しない撮影ショットでロボットカメラＣ１〜Ｃ３が映像を撮影することを防止し、様々なテレビ番組の自動撮影に適用することができる。
【００９１】
なお、ロボットカメラ・スイッチャ制御装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、ロボットカメラ・スイッチャ制御プログラム（撮影ショット制御プログラム）として動作させることも可能である。
【００９２】
なお、ロボットカメラ・スイッチャ制御装置１は、撮影ショット決定手段１５によって、ロボットカメラＣ１〜Ｃ３同士の衝突や撮影する映像の映り込みを防止することとしたが、撮影規則生成手段１３がロボットカメラＣ１〜Ｃ３同士の衝突や撮影する映像の映り込みを防止する撮影規則情報を生成することとしても良い。また、ロボットカメラＣ１〜Ｃ３の自動ポジショニング及び自動フレーミングの手法として、前記した文献（T.Tsuda,et al,"Intelligent Mobile Robot Camera",SMPTE Australia 2005-Conference and Exhibition,Session 4.4,July 2005）に記載の手法又はメモリーショット以外の手法を用いても良い。
【００９３】
［ロボットカメラ・スイッチャ制御装置の動作］
以下、図１０を参照して、図４のロボットカメラ・スイッチャ制御装置１の動作について詳細に説明する（適宜図４参照）。図１０は、図４のロボットカメラ・スイッチャ制御装置の動作を示すフローチャートである。なお、図１０、図１１では、ロボットカメラをロボカメと略記し、マンカメラをマンカメと略記する。
【００９４】
まず、ロボットカメラ・スイッチャ制御装置１は、撮影ショットタイプ設定手段１１によって、外部から入力されるマンカメラＭＣの撮影ショットの種類とロボットカメラの撮影ショットＣ１〜Ｃ３の種類とを設定する指令に基づいて、マンカメラＭＣが番組で撮影する撮影ショットの種類であるマンカメラＭＣの撮影ショットタイプと、ロボットカメラＣ１〜Ｃ３が番組で撮影する撮影ショットの種類であるロボットカメラＣ１〜Ｃ３の撮影ショットタイプとを予め設定する（ステップＳ１）。
【００９５】
ステップＳ１の処理に続いて、ロボットカメラ・スイッチャ制御装置１は、撮影規則生成手段１３によって、撮影規則生成情報記憶手段１２が記憶する撮影規則生成情報を参照し、撮影ショットタイプ設定手段１１が設定したマンカメラＭＣの撮影ショットタイプとロボットカメラＣ１〜Ｃ３の撮影ショットタイプとに基づいて、イベントとマンカメラＭＣの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成する（ステップＳ２）。
【００９６】
ステップＳ２の処理に続いて、ロボットカメラ・スイッチャ制御装置１は、撮影規則設定手段１４によって、撮影規則生成手段１３によって生成された撮影規則を、外部から入力された番組制作者からの指令に基づいて修正する（ステップＳ３）。また、ロボットカメラ・スイッチャ制御装置１は、撮影ショット制御手段１５によって、ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突するか否かと、ロボットカメラＣ１〜Ｃ３同士が衝突するか否かと、ロボットカメラＣ１〜Ｃ３が撮影する映像に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込みむか否かと、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込みむか否かとを判定する（ステップＳ４）。なお、ステップＳ４における衝突及び映り込みの判定の動作の詳細は、後記する。
【００９７】
ステップＳ４の処理に続いて、ロボットカメラ・スイッチャ制御装置１は、撮影ショット制御手段１５によって、撮影規則生成手段１４が生成した撮影規則を参照し、外部から入力されるイベントの情報と、マンカメラ撮影ショット判定装置６から入力されるマンカメラＭＣの撮影ショットタイプとに基づいて、ロボットカメラが撮影する撮影ショットＣ１〜Ｃ３を決定する（ステップＳ５）。ここで、ロボットカメラ・スイッチャ制御装置１は、スイッチャ制御手段１６によって、切替制御信号を出力してスイッチャＳＷの切替を制御し、撮影ショット制御手段１５によって、撮影ショット制御信号をロボットカメラＣ１〜Ｃ３に出力する。
【００９８】
＜衝突及び映り込みの判定＞
以下、図１１を参照（適宜図４参照）して、衝突の判定及び映り込みの判定の動作について詳細に説明する。図１１は、図１０のステップＳ４における衝突及び映り込みの判定の動作を示すフローチャートである。
【００９９】
まず、ロボットカメラ・スイッチャ制御装置１は、ロボットカメラ位置設定部１５１によって、番組制作者が入力するロボットカメラＣ１〜Ｃ３の撮影ショットとロボットカメラＣ１〜Ｃ３の位置とを対応させる指令に基づいて、撮影ショット制御手段１５が決定したロボットカメラＣ１〜Ｃ３の撮影ショットに応じたロボットカメラＣ１〜Ｃ３の移動後位置を設定する（ステップＳ４１）。
【０１００】
ステップＳ４１の処理に続いて、ロボットカメラ・スイッチャ制御装置１は、カメラ占有領域算出部１５２によって、撮影規則生成情報記憶手段１２が記憶するカメラ形状・大きさ情報を参照し、マンカメラＭＣの現在位置でのマンカメラＭＣが占有する領域を示す占有領域と、ロボットカメラＣ１〜Ｃ３の移動後位置でのロボットカメラＣ１〜Ｃ３が占有する領域を示す占有領域とを算出する（ステップＳ４２）。
【０１０１】
ステップＳ４２の処理に続いて、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突するか否かを判定する（ステップＳ４３）。ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突すると判定された場合（ステップＳ４３でＹｅｓ）、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、衝突するロボットカメラＣ１〜Ｃ３とマンカメラＭＣとを一意に識別する識別子を含む衝突メッセージ（例えば、１カメ・２カメが衝突）を生成して出力し、衝突及び映り込みの判定の動作を終了する（ステップＳ４４）。
【０１０２】
ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突しないと判定された場合（ステップＳ４３でＮｏ）、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、ロボットカメラＣ１〜Ｃ３同士が衝突するか否かを判定する（ステップＳ４５）。ロボットカメラＣ１〜Ｃ３同士が衝突すると判定された場合（ステップＳ４５でＹｅｓ）、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、衝突するロボットカメラＣ１〜Ｃ３同士の識別子を含む衝突メッセージ（例えば、２カメ・３カメが衝突）を生成して出力し、衝突及び映り込みの判定の動作を終了する（ステップＳ４６）。
【０１０３】
ロボットカメラＣ１〜Ｃ３同士が衝突しないと判定された場合（ステップＳ４５でＮｏ）、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、ロボットカメラＣ１〜Ｃ３が撮影する映像に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込むか否かと、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込みむか否かとを判定する（ステップＳ４７）。ロボットカメラＣ１〜Ｃ３が撮影する映像に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込むと判定された場合、又は、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込みむと判定された場合（ステップＳ４７でＹｅｓ）、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、映り込むマンカメラＭＣ又はロボットカメラＣ１〜Ｃ３の識別子を含む映り込みメッセージ（例えば、２カメが３カメに映り込み）を生成して出力し、衝突及び映り込みの判定の動作を終了する（ステップＳ４８）。
【０１０４】
一方、ロボットカメラＣ１〜Ｃ３が撮影する映像に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込まないと判定された場合、及び、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込まないと判定された場合（ステップＳ４７でＮｏ）、ロボットカメラ・スイッチャ制御装置１は、衝突メッセージ及び映り込みメッセージを生成せずに、衝突及び映り込みの判定の動作を終了する。
【図面の簡単な説明】
【０１０５】
【図１】本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムの構成を模式的に示した模式図である。
【図２】図１のマンカメラ撮影ショット認識装置６の構成を示すブロック図である。
【図３】撮影情報−撮影ショット対応情報の詳細及び撮影ショットタイプの判定において、番組制作者に提示される表示画面の例を示す図である。
【図４】図１のロボットカメラ・スイッチャ制御装置の構成を示すブロック図である。
【図５】撮影ショットタイプの設定時において、番組制作者に提示される表示画面の例を模式的に示す模式図である。
【図６】撮影規則生成情報を説明するための説明図である。
【図７】撮影規則の修正時において、番組制作者に提示される表示画面の例を示す図、（ａ）は、あるロボットカメラのイベント撮影規則を提示した表示画面の例を示す図、（ｂ）は、協調撮影規則を提示した表示画面の例を示す図である。
【図８】図４の撮影ショット制御手段の構成を示すブロック図である。
【図９】ロボットカメラの位置設定時において、番組制作者に提示される表示画面の例を示す図である。
【図１０】図４のロボットカメラ・スイッチャ制御装置の動作を示すフローチャートである。
【図１１】図１０のステップＳ４における衝突及び映り込みの判定の動作を示すフローチャートである。
【符号の説明】
【０１０６】
１ ロボットカメラ・スイッチャ制御装置（撮影ショット制御装置）
１１ 撮影ショットタイプ設定手段
１２ 撮影規則生成情報記憶手段
１３ 撮影規則生成手段
１４ 撮影規則設定手段
１５ 撮影ショット制御手段
１６ スイッチャ制御手段
２１ マンカメラ撮影情報入力手段
２２ 撮影情報−撮影ショット対応情報記憶手段
２３ マンカメラ撮影ショットタイプ判定手段
６ マンカメラ撮影ショット認識装置
Ｃ１〜Ｃ３ ロボットカメラ
ＭＣ マンカメラ
Ｓ 自動撮影システム（協調撮影システム）
【技術分野】
【０００１】
本発明は、テレビ局のテレビ番組、遠隔テレビ会議、講義等の映像を自動撮影するロボットカメラの撮影ショットを、マンカメラに協調させて制御する撮影ショット制御装置、協調撮影システム及びそのプログラムに関する。
【背景技術】
【０００２】
従来から、テレビ番組等をロボットカメラで自動撮影する技術が知られている（例えば、特許文献１参照）。特許文献１に記載の発明では、ロボットカメラの撮影ショットタイプと、被写体の変化を示すイベントと、切替後の撮影ショットとを対応させる撮影規則を生成しておく。そして、特許文献１に記載の発明では、被写体の変化を示すイベントが入力された際、このイベントに応じてロボットカメラの撮影ショットを制御する。
【特許文献１】特開２００８−７２７０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、被写体の自動検出が困難である、又は、自動撮影によるロボットカメラの映像では視聴者にテレビ番組の臨場感等が伝わらない等の理由で、ロボットカメラだけでテレビ番組を自動撮影できない問題がある。そこで、ロボットカメラが撮影できない撮影ショットをカメラマンが操作するマンカメラで撮影する技術、つまり、ロボットカメラとマンカメラとが協調してテレビ番組の撮影を可能にしたいとの強い要望がある。
【０００４】
そこで、本発明は、前記した課題を解決し、ロボットカメラとマンカメラとが協調してテレビ番組の撮影を行うことを可能とする撮影ショット制御装置、協調撮影システム及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記した課題を解決するため、請求項１に係る撮影ショット制御装置は、マンカメラの撮影ショットの種類を判定するマンカメラ撮影ショット判定装置に接続され、１以上のロボットカメラが番組を撮影する映像とマンカメラが番組を撮影する映像とを切り替えるスイッチャを制御すると共に、ロボットカメラの撮影ショットを制御する撮影ショット制御装置であって、撮影ショットタイプ設定手段と、記憶手段と、撮影規則生成手段と、スイッチャ制御手段と、撮影ショット決定手段と、を備える構成とした。
【０００６】
かかる構成によれば、撮影ショット制御装置は、撮影ショットタイプ設定手段によって、外部から入力されるマンカメラの撮影ショットの種類とロボットカメラの撮影ショットの種類とを設定する指令に基づいて、マンカメラが番組で撮影する撮影ショットの種類であるマンカメラの撮影ショットタイプと、ロボットカメラが番組で撮影する撮影ショットの種類であるロボットカメラの撮影ショットタイプとを予め設定する。また、撮影ショット制御装置は、記憶手段に、番組の状況変化を示すイベントと、マンカメラの撮影ショットタイプと、ロボットカメラの撮影ショットタイプと、イベント後のロボットカメラの撮影ショットである切替ショットとを対応させる撮影規則生成情報を予め記憶する。
【０００７】
また、撮影ショット制御装置は、撮影規則生成手段によって、記憶手段が記憶する撮影規則生成情報を参照し、撮影ショットタイプ設定手段が設定したマンカメラの撮影ショットタイプとロボットカメラの撮影ショットタイプとに基づいて、イベントとマンカメラの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成する。このとき、撮影規則生成手段は、各々の撮影規則生成情報によって示される撮影ショットタイプが、撮影ショットタイプ設定手段で設定された撮影ショットタイプに含まれる場合に、このロボットカメラに対して、当該撮影規則生成情報によって示されるイベントとマンカメラの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成することができる。
【０００８】
また、撮影ショット制御装置は、スイッチャ制御手段によって、外部から入力されるロボットカメラ又はマンカメラの何れかの映像に出力を切り替える指令に基づいて、スイッチャの出力をロボットカメラが撮影する映像又はマンカメラが撮影する映像の何れかに切り替える。さらに、撮影ショット制御装置は、撮影ショット決定手段によって、撮影規則生成手段が生成した撮影規則を参照し、外部から入力されるイベントの情報と、マンカメラ撮影ショット判定装置から入力されるマンカメラの撮影ショットタイプとに基づいて、ロボットカメラが撮影する撮影ショットを決定する。
【０００９】
また、請求項２に係る撮影ショット制御装置は、記憶手段が、カメラマンを含めたマンカメラの形状と大きさと、ロボットカメラの形状と大きさとを含むカメラ形状・大きさ情報を予め記憶し、撮影ショット決定手段が、マンカメラからマンカメラの現在位置が入力され、外部から入力されるロボットカメラの撮影ショットとロボットカメラの位置とを対応させる指令に基づいて、決定したロボットカメラの撮影ショットに応じたロボットカメラの移動後位置を設定するロボットカメラ位置設定部と、カメラ形状・大きさ情報を参照し、マンカメラの現在位置でのマンカメラが占有する領域を示す占有領域と、ロボットカメラの移動後位置でのロボットカメラが占有する領域を示す占有領域とを算出するカメラ占有領域算出部と、カメラ占有範囲算出部が算出したロボットカメラの占有領域とマンカメラの占有領域とを比較して、ロボットカメラと当該マンカメラとが衝突するか否かと、ロボットカメラが撮影する映像にマンカメラが映り込むか否かと、マンカメラが撮影する映像にロボットカメラが映り込むか否かとを判定するカメラ衝突判定部と、ロボットカメラとマンカメラとが衝突すると判定された場合、ロボットカメラが撮影する映像にマンカメラが含まれると判定された場合、又は、マンカメラが撮影する映像にロボットカメラが映り込むと判定された場合、マンカメラへ移動指示を通知する移動指示通知部と、を備えることを特徴とする。
【００１０】
かかる構成によれば、撮影ショット制御装置は、カメラ占有領域算出部によって、マンカメラの現在位置での占有領域と、ロボットカメラの移動後位置での占有領域とを算出する。また、撮影ショット制御装置は、カメラ衝突判定部によって、ロボットカメラとマンカメラとが衝突するか否かと、ロボットカメラが撮影する映像にマンカメラが映り込むか否かと、マンカメラが撮影する映像にロボットカメラが映り込むか否かとを判定する。さらに、撮影ショット制御装置は、移動指示通知部によって、ロボットカメラとマンカメラとが衝突すると判定された場合、ロボットカメラが撮影する映像にマンカメラが含まれると判定された場合、又は、マンカメラが撮影する映像にロボットカメラが映り込むと判定された場合、マンカメラへ移動指示を通知する。この移動指示を通知されたマンカメラを操作するカメラマンは、事前にマンカメラを移動させて、ロボットカメラとマンカメラとが衝突する事態やロボットカメラが撮影する映像にマンカメラが映り込んでしまう事態を防止できる。
【００１１】
また、請求項３に係る撮影ショット制御装置は、ロボットカメラが複数の場合、カメラ占有領域算出部は、ロボットカメラ毎に占有領域を算出し、カメラ衝突判定部は、ロボットカメラ同士の占有領域を比較してロボットカメラ同士が衝突するか否かを判定すると共に、ロボットカメラが撮影する映像に他のロボットカメラが映り込むか否かを判定し、撮影ショット決定手段は、ロボットカメラ同士が衝突すると判定された場合、又は、ロボットカメラが撮影する映像に他のロボットカメラが含まれると判定された場合、スイッチャが映像を出力していないロボットカメラの撮影ショットを再決定することを特徴とする。
【００１２】
かかる構成によれば、撮影ショット制御装置は、カメラ衝突判定部によって、ロボットカメラ同士が衝突するか否かを判定すると共に、ロボットカメラが撮影する映像に他のロボットカメラが映り込むか否かを判定する。さらに、撮影ショット制御装置は、撮影ショット決定手段によって、ロボットカメラ同士が衝突すると判定された場合、又は、ロボットカメラが撮影する映像に他のロボットカメラが含まれると判定された場合、スイッチャが切り替えていないロボットカメラの撮影ショットを再決定する。これによって、撮影ショット制御装置は、スイッチャが出力している映像、つまり、放送中の映像を撮影しているロボットカメラの撮影ショットを再決定してしまう事態を防止できる。
【００１３】
また、前記した課題を解決するため、請求項４に係る協調撮影システムは、請求項１から請求項３の何れか一項に記載の撮影ショット制御装置と、マンカメラの撮影ショットの種類を判定するマンカメラ撮影ショット判定装置と、を含む協調撮影システムであって、マンカメラ撮影ショット判定装置が、マンカメラ撮影情報入力手段と、撮影情報−撮影ショット対応情報記憶手段と、マンカメラ撮影ショットタイプ判定手段と、を備える構成とした。
【００１４】
かかる構成によれば、協調撮影システムは、マンカメラ撮影ショット判定装置のマンカメラ撮影情報入力手段によって、マンカメラから、当該マンカメラの撮影アングルと当該マンカメラの現在位置とを含むマンカメラ撮影情報が入力される。また、協調撮影システムは、マンカメラ撮影ショット判定装置の撮影情報−撮影ショット対応情報記憶手段によって、マンカメラ撮影情報とマンカメラの撮影ショットの種類とを対応させた撮影情報−撮影ショット対応情報を予め記憶する。また、協調撮影システムは、マンカメラ撮影ショット判定装置のマンカメラ撮影ショットタイプ判定手段によって、撮影情報−撮影ショット対応情報を参照し、マンカメラ撮影情報入力手段に入力されるマンカメラ撮影情報に応じて、マンカメラの撮影ショットの種類であるマンカメラの撮影ショットタイプを判定する。さらに、協調撮影システムは、マンカメラ撮影ショット判定装置が、マンカメラの撮影ショットタイプを撮影ショット制御装置に出力する。これによって、協調撮影システムは、撮影ショット制御装置が、外部から入力されるイベントの情報と、マンカメラ撮影ショット判定装置から入力されるマンカメラの撮影ショットタイプとに基づいて、ロボットカメラが撮影する撮影ショットを決定する。
【００１５】
また、前記した課題を解決するため、請求項５に係る協調撮影プログラムは、マンカメラが撮影の撮影ショットの種類を判定するマンカメラ撮影ショット判定装置に接続され、番組の状況変化を示すイベントと、マンカメラの撮影ショットタイプと、ロボットカメラの撮影ショットタイプと、イベント後のロボットカメラの撮影ショットである切替ショットとを対応させる撮影規則生成情報を予め記憶する記憶手段を備え、１以上のロボットカメラが番組を撮影する映像とマンカメラが番組を撮影する映像とを切り替えるスイッチャを制御すると共に、ロボットカメラの撮影ショットを制御するために、コンピュータを、撮影ショットタイプ設定手段、撮影規則生成手段、スイッチャ制御手段、撮影ショット決定手段、として機能させる構成とした。
【００１６】
かかる構成によれば、撮影ショット制御プログラムは、撮影ショットタイプ設定手段によって、外部から入力されるマンカメラの撮影ショットの種類とロボットカメラの撮影ショットの種類とを設定する指令に基づいて、マンカメラが番組で撮影する撮影ショットの種類であるマンカメラの撮影ショットタイプと、ロボットカメラが番組で撮影する撮影ショットの種類であるロボットカメラの撮影ショットタイプとを予め設定する。
【００１７】
また、撮影ショット制御プログラムは、撮影規則生成手段によって、記憶手段が記憶する撮影規則生成情報を参照し、撮影ショットタイプ設定手段が設定したマンカメラの撮影ショットタイプとロボットカメラの撮影ショットタイプとに基づいて、イベントとマンカメラの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成する。このとき、撮影規則生成手段は、各々の撮影規則生成情報によって示される撮影ショットタイプが、撮影ショットタイプ設定手段で設定された撮影ショットタイプに含まれる場合に、このロボットカメラに対して、当該撮影規則生成情報によって示されるイベントとマンカメラの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成することができる。
【００１８】
また、撮影ショット制御プログラムは、スイッチャ制御手段によって、外部から入力されるロボットカメラ又はマンカメラの何れかの映像に出力を切り替える指令に基づいて、スイッチャの出力をロボットカメラが撮影する映像又はマンカメラが撮影する映像の何れかに切り替える。さらに、撮影ショット制御プログラムは、撮影ショット決定手段によって、撮影規則生成手段が生成した撮影規則を参照し、外部から入力されるイベントの情報と、マンカメラ撮影ショット判定装置から入力されるマンカメラの撮影ショットタイプとに基づいて、ロボットカメラが撮影する撮影ショットを決定する。
【発明の効果】
【００１９】
本発明によれば、以下のような優れた効果を奏する。
請求項１，４，５に係る発明によれば、イベントとマンカメラの撮影ショットタイプと切替ショットとを対応させる撮影規則を参照してロボットカメラが撮影する撮影ショットを決定するため、ロボットカメラとマンカメラとが協調してテレビ番組の撮影を行うことができる。
【００２０】
請求項２に係る発明によれば、ロボットカメラとマンカメラとが衝突する事態やロボットカメラが撮影する映像にマンカメラが映り込む事態を防止するため、様々なテレビ番組の自動撮影に適用することができる。
請求項３に係る発明によれば、放送中の映像を撮影しているロボットカメラの撮影ショットを再決定してしまう事態を防止するため、番組制作者が意図しない撮影ショットでロボットカメラが映像を撮影することを防止し、様々なテレビ番組の自動撮影に適用することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。
【００２２】
まず、図１を参照して、本発明におけるロボットカメラ・スイッチャ制御装置１を備える自動撮影システムＳの構成について説明する。図１は、本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムの構成を模式的に示した模式図である。
【００２３】
自動撮影システム（協調撮影システム）Ｓは、被写体［テーブルＴ、話者（出演者）Ｐ１、Ｐ２、フリップＦ、小物Ｏ、情報画スクリーンＳＣ］を撮影し、番組映像を生成するものである。図１に示すように、自動撮影システムＳは、ロボットカメラ・スイッチャ制御装置１と、マンカメラＭＣと、ロボットカメラＣ１〜Ｃ３と、センサカメラＣ０と、画像処理装置５と、マンカメラ撮影ショット認識装置６と、スイッチングハブＳＨと、スイッチャＳＷとを備える。
【００２４】
ロボットカメラ・スイッチャ制御装置（撮影ショット制御装置）１は、ロボットカメラＣ１〜Ｃ３が被写体を撮影する映像とマンカメラＭＣが被写体を撮影する映像とを切り替えるスイッチャＳＷを制御するものである。また、ロボットカメラ・スイッチャ制御装置１は、ロボットカメラＣ１〜Ｃ３の撮影ショットを制御するものである。
【００２５】
ここで、ロボットカメラ・スイッチャ制御装置１によって生成されたロボットカメラＣ１〜Ｃ３の撮影ショットを制御する指令となる撮影ショット制御信号は、スイッチングハブＳＨを介してロボットカメラＣ１〜Ｃ３に出力される。また、ロボットカメラ・スイッチャ制御装置１によって生成されたスイッチャＳＷの切替を制御する指令となる切替制御信号は、スイッチングハブＳＨを介してスイッチャＳＷに出力される。
【００２６】
なお、ここでは、被写体の変化を示すイベントとして、フリップＦと小物Ｏとの提示及び除去と、情報画スクリーンＳＣへの情報画の提示及び除去と、話者Ｐ１、Ｐ２の喋りの開始及び終了を想定し、イベント情報として、後記する画像処理装置５からのフリップＦと小物Ｏとの提示と除去との情報、及び、情報画スクリーンＳＣへの情報画の提示と除去との情報と、図示しないマイクによって取得された話者Ｐ１、Ｐ２の音声信号の音声レベルに基づいて、図示しない音声処理装置によって解析した各々の話者Ｐ１、Ｐ２の喋りの開始と終了との情報とが、ロボットカメラ・スイッチャ制御装置１に入力されることとした。
【００２７】
ロボットカメラＣ１〜Ｃ３は、ロボットカメラ・スイッチャ制御装置１から入力された撮影ショット制御信号と、後記する画像処理装置５から入力されるスタジオ内における被写体の位置の情報とに基づいて、当該撮影ショット制御信号によって指示される撮影ショットの映像を撮影し、番組映像の素材となる映像信号を生成するものである。ここで、生成された映像信号は、スイッチャＳＷに出力される。ここで、このフレーミングを自動で行えるロボットカメラＣ１〜Ｃ３としては、例えば、T.Tsuda,et al,"Intelligent Mobile Robot Camera",SMPTE Australia 2005-Conference and Exhibition,Session 4.4,July 2005に記載されたものを用いることができる。なお、図１では、ロボットカメラＣ１〜Ｃ３及びマンカメラＭＣからの映像信号の流れを破線で示した。
【００２８】
マンカメラＭＣは、図示しないカメラマンによって被写体を撮影し、備え付けられた移動機構で撮影フロア内を自在に移動し、番組映像の素材となる映像信号を生成するものである。ここで、マンカメラＭＣは、マンカメラＭＣの各軸を測定するエンコーダを備えており、撮影アングルを後記するマンカメラ撮影ショット認識装置６に出力する。また、マンカメラＭＣは、移動機構が測定する移動量及び移動方向から、撮影フロア内でのマンカメラＭＣの現在位置を算出してロボットカメラ・スイッチャ制御装置１に出力する。また、マンカメラＭＣは、図示しない屋内ＧＰＳ（Galileo positioning system）測位手段を備え、測位したＧＰＳ座標をマンカメラＭＣの現在位置としても良い。つまり、マンカメラＭＣは、スイッチングハブＳＨを介して、撮影アングルと現在位置とを含むマンカメラ撮影情報をマンカメラ撮影ショット認識装置６に出力すると共に、現在位置をロボットカメラ・スイッチャ制御装置１に出力する。
【００２９】
また、マンカメラＭＣは、後記する移動指示が通知されたときに、カメラマンに移動指示の通知を伝える移動指示出力手段を備える。この移動指示出力手段としては、例えば、移動指示が通知されたときに点灯するＬＥＤ(Light Emitting Diode)がある。
【００３０】
ここでは、被写体として、テーブルＴと、このテーブルＴを挟んで向かい合う２人の話者Ｐ１、Ｐ２と、この話者Ｐ１、Ｐ２の間のフリップＦと、話者Ｐ２の手元の小物Ｏと、話者Ｐ１、Ｐ２の背後の情報画スクリーンＳＣとが設置されることとした。そして、話者Ｐ１、Ｐ２が、フリップＦと、小物Ｏと、情報画スクリーンＳＣとを用いて対談する番組をマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３によって撮影して番組制作する場合について説明する。しかしながら、フリップＦと小物Ｏと情報画スクリーンＳＣの個数及び有無や、これらの被写体の配置、話者Ｐ１、Ｐ２の人数はこれに限定されることなく、任意の被写体を設定することができる。また、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の個数もこれに限定されることなく、任意の個数とすることができる。さらに、本発明は番組制作に限定されず、テレビ会議や、大学の講義の撮影や、ＴＶＭＬ（TV program Making Language；"http://www.nhk.or.jp/strl/tvml/"参照）等のＣＧを使ったテレビ番組の制作にも応用が可能である。
【００３１】
センサカメラＣ０は、被写体を撮影し、後記する画像処理装置５によって被写体の位置を算出するのに必要となる映像信号を生成するものである。ここで生成された映像信号は、画像処理装置５に出力される。なお、センサカメラＣ０は、被写体が撮影できる位置に設置されていればよく、例えば、被写体の上方や背後に設置されることとしてもよい。また、センサカメラＣ０の個数はこれに限定されることなく、任意の個数とすることができる。さらに、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３によって撮影した映像から画像処理装置５によって被写体の位置を算出する場合には、自動撮影システムＳがセンサカメラＣ０を備えないこととしてもよい。
【００３２】
画像処理装置５は、センサカメラＣ０によって撮影された映像を構成するフレーム画像ごとに被写体を検出し、スタジオ内における被写体の位置を算出するものである。また、画像処理装置５は、フリップＦと小物Ｏを検出することで、スタジオ内においてフリップＦや小物Ｏが提示もしくは除去されたかを解析するものでもある。ここで算出された被写体の位置の情報は、スイッチングハブＳＨを介してロボットカメラＣ１〜Ｃ３に出力される。また、ここで解析されたフリップＦと小物Ｏとの提示及び除去の情報が、イベント情報として、スイッチングハブＳＨを介してロボットカメラ・スイッチャ制御装置１に出力される。なお、画像処理装置５は、例えば、被写体の形状や色や、予め被写体に取り付けたセンサからの不可視光等に基づいて、フレーム画像から検出することとしてもよい。
【００３３】
マンカメラ撮影ショット認識装置（マンカメラ撮影ショット判定装置）６は、マンカメラＭＣから入力されたマンカメラ撮影情報に基づいて、マンカメラＭＣが撮影する被写体の撮影ショットの種類を判定するものである。そして、マンカメラ撮影ショット認識装置６は、判定したマンカメラＭＣの撮影ショットの種類を、マンカメラＭＣの撮影ショットタイプとして、ロボットカメラ・スイッチャ制御装置１に出力する。なお、マンカメラ撮影ショット認識装置６の詳細については、後記する。
【００３４】
スイッチングハブＳＨは、ロボットカメラ・スイッチャ制御装置１から入力された撮影ショット制御信号及び切替制御信号をそれぞれマンカメラＭＣ、ロボットカメラＣ１〜Ｃ３及びスイッチャＳＷに出力するとともに、画像処理装置５、音声処理装置（図示せず）及び情報画スクリーンＳＣへの情報画の出力装置（図示せず）から入力されたイベント情報をロボットカメラ・スイッチャ制御装置１に出力する中継器である。また、スイッチングハブＳＨは、マンカメラ撮影ショット認識装置６が出力するマンカメラＭＣの撮影ショットタイプを、ロボットカメラ・スイッチャ制御装置１に中継する。また、スイッチングハブＳＨは、マンカメラＭＣから入力されたマンカメラ撮影情報をマンカメラ撮影ショット認識装置６に出力する。
【００３５】
スイッチャＳＷは、ロボットカメラ・スイッチャ制御装置１から入力された切替制御信号に基づいて、スイッチャＳＷの出力をロボットカメラＣ１〜Ｃ３が撮影する映像又はマンカメラＭＣが撮影する映像の何れかに切り替えて、番組映像（出力映像）として出力するものである。
【００３６】
［マンカメラ撮影ショット認識装置の構成］
以下、図２を参照して、本発明におけるマンカメラ撮影ショット認識装置６の構成について詳細に説明する（適宜図１参照）。図２は、図１のマンカメラ撮影ショット認識装置６の構成を示すブロック図である。図２に示すように、マンカメラ撮影ショット認識装置６は、マンカメラ撮影情報入力手段２１と、撮影情報−撮影ショット対応情報記憶手段２２と、マンカメラ撮影ショットタイプ判定手段２３とを備える。
【００３７】
マンカメラ撮影情報入力手段２１は、マンカメラＭＣから、マンカメラＭＣの撮影アングルとマンカメラＭＣの現在位置とを含むマンカメラ撮影情報が入力されるものである。ここで、マンカメラＭＣの撮影アングルは、例えば、パン角、チルト角、フォーカス位置及びズーム位置を含む。また、マンカメラＭＣの現在位置は、例えば、撮影フロアの任意位置を基準としたマンカメラＭＣの横方向の位置、縦方向の位置及び高さ方向の位置を示す３次元位置である。また、マンカメラＭＣの現在位置は、ＧＰＳ座標（経度、緯度、高度を示す３次元位置）としても良い。
【００３８】
撮影情報−撮影ショット対応情報記憶手段２２は、マンカメラ撮影情報入力手段２１に入力されたマンカメラ撮影情報とマンカメラＭＣの撮影ショットの種類とを予め対応させた撮影情報−撮影ショット対応情報を予め記憶するものである。なお、撮影情報−撮影ショット対応情報の詳細は、後記する。
【００３９】
マンカメラ撮影ショットタイプ判定手段２３は、撮影情報−撮影ショット対応情報記憶手段２２が記憶する撮影情報−撮影ショット対応情報を参照し、マンカメラ撮影情報入力手段２１に入力されたマンカメラ撮影情報に応じたマンカメラＭＣの撮影ショットの種類であるマンカメラＭＣの撮影ショットタイプを判定するものである。
【００４０】
＜撮影情報−撮影ショット対応情報の詳細及び撮影ショットタイプの判定＞
ここで、図３を参照して、撮影情報−撮影ショット対応情報の詳細及び撮影ショットタイプの判定について、具体例を用いて説明する（適宜図１及び図２参照）。図３は、撮影情報−撮影ショット対応情報の詳細及び撮影ショットタイプの判定において、番組制作者に提示される表示画面の例を示す図である。
【００４１】
ここでは、番組制作者は、図示しない表示装置に表示された図３に示すようなＧＵＩ（Graphical User Interface）によって、マンカメラ撮影情報とマンカメラＭＣの撮影ショットの種類とを予め対応付けることとした。図３では、マンカメラの現在位置表示領域Ａ１に、マンカメラ撮影情報入力手段２１に入力されたマンカメラＭＣの撮影アングル（パン、チルト、フォーカス、ズーム）と、マンカメラＭＣの現在位置（横方向の位置：ｘ、縦方向の位置：ｙ、高さ方向の位置：ｚ）とがそれぞれ表示されている。
【００４２】
図３の撮影情報−撮影ショット対応情報表示領域Ａ２には、撮影情報−撮影ショット対応情報記憶手段２２が記憶する撮影情報−撮影ショット対応情報が表示されている。具体的には、撮影情報−撮影ショット対応情報表示領域Ａ２には、パン、チルト、フォーカス、ズーム、横方向の位置、縦方向の位置、高さ方向の位置等のマンカメラ撮影情報の各要素の範囲が表示される撮影情報表示領域Ｂ２が含まれる。また、撮影情報−撮影ショット対応情報表示領域Ａ２には、マンカメラ撮影情報入力手段２１に入力されたマンカメラ撮影情報が、前記した各要素の範囲内であるときのマンカメラＭＣの撮影ショットの種類（例えば、「フリップ」）が表示される撮影ショット表示領域Ｂ１が含まれる。ここで、番組制作者は、マウス、キーボード等の入力手段によって、撮影情報表示領域Ｂ２におけるマンカメラ撮影情報の各要素の範囲と、撮影ショット表示領域Ｂ１におけるマンカメラの撮影ショットの種類とを入力できる。また、番組制作者は、範囲設定ボタンＢ３を押下すると、マンカメラの現在位置表示領域Ａ１に表示されたマンカメラＭＣの撮影アングル又はマンカメラＭＣの現在位置の値に対する、撮影情報−撮影ショット対応情報表示領域Ａ２に表示されたマンカメラ撮影情報の各要素の値の差が計算され、この差が各要素の値に反映される。つまり、図３の表示画面によって、番組制作者は、マンカメラＭＣの撮影ショットの種類毎に、マンカメラ撮影情報の各要素の範囲を設定し、マンカメラ撮影情報とマンカメラＭＣの撮影ショットの種類とを対応させることができる。
【００４３】
マンカメラ撮影ショットタイプ判定手段２３は、撮影情報−撮影ショット対応情報表示領域Ａ２に表示されたマンカメラ撮影情報の各要素の範囲内に、マンカメラの現在位置表示領域Ａ１に表示されたマンカメラＭＣの撮影アングルとカメラＭＣの現在位置とが収まる場合、撮影情報−撮影ショット対応情報表示領域Ａ２に表示されたマンカメラの撮影ショットの種類であると判定する。ここで、撮影情報−撮影ショット対応情報表示領域Ａ２において、番組制作者は、チェックボックスｃｂを外すことで、そのチェックボックスｃｂに対応するマンカメラ撮影情報の要素が、マンカメラＭＣの撮影ショットの種類の判定基準から除外させることができる。なお、マンカメラ撮影ショット認識装置６は、前記した方法とは別に、マンカメラＭＣが撮影している映像を画像処理して、マンカメラＭＣの撮影ショットタイプを判定しても良い。
【００４４】
［ロボットカメラ・スイッチャ制御装置の構成］
以下、図４を参照して、図１のロボットカメラ・スイッチャ制御装置１の構成について詳細に説明する（適宜図１参照）。図４は、図１のロボットカメラ・スイッチャ制御装置の構成を示すブロック図である。図４に示すように、ロボットカメラ・スイッチャ制御装置１は、撮影ショットタイプ設定手段１１と、撮影規則生成情報記憶手段１２と、撮影規則生成手段１３と、撮影規則設定手段１４と、撮影ショット制御手段１５と、スイッチャ制御手段１６とを備える。
【００４５】
撮影ショットタイプ設定手段１１は、番組制作者によって、外部から入力されるマンカメラＭＣの撮影ショットの種類とロボットカメラの撮影ショットＣ１〜Ｃ３の種類とを設定する指令（設定指令）に基づいて、マンカメラＭＣが番組で撮影する撮影ショットの種類であるマンカメラＭＣの撮影ショットタイプと、ロボットカメラＣ１〜Ｃ３が番組で撮影する撮影ショットの種類であるロボットカメラＣ１〜Ｃ３の撮影ショットタイプとを予め設定するものである。また、撮影ショットタイプ設定手段１１は、設定した撮影ショットタイプの情報を、撮影規則生成手段１３及び撮影ショット制御手段１５に出力する。
【００４６】
ここで、図５を参照（適宜図４参照）して、撮影ショットタイプ設定手段１１による撮影ショットタイプの設定について、具体例を用いて説明する。図５は、撮影ショットタイプの設定時において、番組制作者に提示される表示画面の例を模式的に示す模式図である。
【００４７】
ここでは、番組制作者は、図示しない表示装置に表示された図５に示すようなＧＵＩによって、撮影ショットタイプを設定する指令を入力することとした。なお、図５において、「１カメ」、「２カメ」、「３カメ」及び「４カメ」は、それぞれマンカメラＭＣ、ロボットカメラＣ１、Ｃ２、Ｃ３を示す。これらのロボットカメラＣ１〜Ｃ３には予め設定可能な複数の種類の撮影ショットが割り当てられ、さらに、優先順位が設定されている。図５では、撮影ショットタイプ表示領域Ｒ１〜Ｒ４に、各々のマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３において設定可能な撮影ショットが表示されている。例えば、ロボットカメラＣ１（１カメ）には、「フリップ込２」（フリップＦと話者Ｐ２の映像）、「スクリーン込２」（情報画スクリーンＳＣと話者Ｐ２の映像）、「バストショット２」（話者Ｐ２の胸から上の映像）及び「越し２」（話者Ｐ１の背後から撮影した話者Ｐ２の映像）の４種類の撮影ショットが割り当てられ、これらの撮影ショットが撮影ショットタイプ表示領域Ｒ１に優先順位の高い順に表示されている。
【００４８】
そして、番組制作者は、スタジオ内の配置に合う撮影ショットタイプを選択する。このとき、番組制作者は、図５に示す撮影ショットタイプ表示領域Ｒ１〜Ｒ４に表示された撮影ショットのチェックボックスｃｂを図示しないマウス等によってクリックしてチェックを付加することで、選択した撮影ショットタイプを設定する指令を入力することができる。図５は、例えば、マンカメラＭＣに、「フリップ込２」及び「バストショット２」の２種類の撮影ショットを設定した場合を示している。このようにして、番組制作者は、すべてのマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３について、番組で撮影する撮影ショットタイプを設定する。そして、番組制作者によって入力された指令に基づいて、撮影ショットタイプ設定手段１１は、選択された撮影ショットタイプをマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３毎に設定する。
【００４９】
図４に戻って説明を続ける。撮影規則生成情報記憶手段（記憶装置）１２は、後記する撮影規則生成手段１３において撮影規則を生成するための撮影規則生成情報を記憶するもので、ハードディスク等の一般的な記憶手段によって構成される。ここで、撮影規則生成情報記憶手段１２は、撮影規則生成情報としてイベント撮影規則生成情報、スイッチング撮影規則生成情報及び協調撮影規則生成情報を記憶することとした。
【００５０】
ここで、図６を参照して、撮影規則生成情報について具体例を用いて説明する（適宜図４参照）。図６は、撮影規則生成情報を説明するための説明図である。ここでは、撮影規則生成情報記憶手段１２には、図６に示す情報が記憶されていることとする。図６に示す表の各行には、行の番号とイベントと、イベント後の撮影ショット（切替ショット）とを対応させた情報が示されている。
【００５１】
イベント撮影規則生成情報は、イベントと、ロボットカメラＣ１〜Ｃ３の撮影ショットタイプと、切替ショットとを対応させる情報である。ここで、図６の表の番号［１］〜［４］の行に示す情報は、イベント撮影規則生成情報の一部であり、イベントと、切替ショットとを対応させる情報である。例えば、図６の番号［１］の行では、フリップＦが提示されたことを示すイベントに、切替ショットとして「フリップ」（フリップＦのみを撮影した映像）の撮影ショットが対応付けられている。図６の表の番号［１］〜［４］の行に示す情報以外にも、例えば、情報画スクリーンＳＣの提示及び除去や、小物Ｏの提示及び除去、話者Ｐ１、Ｐ２の喋りの開始及び終了等のイベントにそれぞれ切替ショットを対応させる情報を撮影規則生成情報記憶手段１２に記憶することとしてもよい。
【００５２】
なお、図６に示す表の番号［４］の行における切替ショットの「最適ショット」は、撮影ショットタイプ設定手段１１において設定された撮影ショットタイプのうち、選択可能なもので最も優先順位の高い撮影ショットを示す。このとき、例えば、他のマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３が撮影している撮影ショットと同じ撮影ショットや、フリップＦが提示されていないときのフリップショットは選択不可能である。
【００５３】
さらに、撮影規則生成情報記憶手段１２には、以下の［ａ］〜［ｄ］の情報が記憶されていることとする。この情報は、図６の表の番号［１］〜［４］の行に示す情報のそれぞれと撮影ショットタイプとを対応させるものであり、この情報と図６の表の番号［１］〜［４］の行に示す情報とを、イベント撮影規則生成情報とした。
【００５４】
［ａ］：撮影ショットタイプに「フリップ」が設定されているロボットカメラＣ１〜Ｃ３には、図６の表の番号［１］及び［４］の行を撮影規則として生成する。
［ｂ］：［ａ］に該当しないロボットカメラＣ１〜Ｃ３で、撮影ショットタイプに「フリップ込２」が設定されているロボットカメラＣ１〜Ｃ３には、図６の表の番号［２］及び［４］の行を撮影規則として生成する。
［ｃ］：［ａ］及び［ｂ］に該当しないロボットカメラＣ１〜Ｃ３で、撮影ショットタイプに「フリップ込１」が設定されているロボットカメラＣ１〜Ｃ３には、図６の表の番号［３］及び［４］の行を撮影規則として生成する。
［ｄ］：情報画スクリーンＳＣ、小物Ｏについても［ａ］〜［ｃ］と同様の処理を行う。ただし、複数のロボットカメラＣ１〜Ｃ３に同じ撮影規則を生成せず、ロボットカメラＣ２、ロボットカメラＣ３、ロボットカメラＣ１の順に優先的に生成する。
【００５５】
スイッチング撮影規則生成情報は、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットと、この撮影ショットの切替の条件となるイベントと、切替ショット（他の撮影ショット）と、ロボットカメラＣ１〜Ｃ３の撮影ショットタイプとを対応させる情報である。ここで、図６の表の番号［５］の行に示す情報は、スイッチング撮影規則生成情報の一部であり、ある撮影ショットのオンエアが解除されるイベントの情報と、オンエア解除後の切替ショットとを対応させる情報である。図６の番号［５］の行では、あるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の「越し」（「越し１」及び「越し２」）、「ドリー」、「ズームイン」および「クレーン」の何れかの撮影ショットの映像がオンエアされている状態からオンエアが解除されるイベントに、切替ショットとして「最適ショット」の撮影ショットが対応付けられている。ここで、オンエアは、スイッチャＳＷから映像が出力されることを示す。
【００５６】
さらに、撮影規則生成情報記憶手段１２には、以下の［ｅ］の情報が記憶されていることとする。この情報は、図６の表の番号［５］の行に示す情報と撮影ショットタイプとを対応させるものであり、この情報と図６の表の番号［５］の行に示す情報とを、スイッチング撮影規則生成情報とした。
【００５７】
［ｅ］：撮影ショットタイプに「越し」、「ドリー」、「ズームイン」および「クレーン」の何れかが設定されているロボットカメラＣ１〜Ｃ３には、図６の表の番号［５］の行を撮影規則として生成する。
【００５８】
協調撮影規則生成情報は、あるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットと、撮影ショットタイプと、他のロボットカメラＣ１〜Ｃ３と、撮影ショットタイプとを対応させる情報である。ここで、図６の表の番号［６］及び［７］の行に示す情報は、協調撮影規則生成情報の一部であり、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の種類、切り替わり前後の撮影ショットもしくはオンエアされた撮影ショット、及び、撮影ショットの切替もしくはオンエアのイベントの情報と、このイベント後に撮影ショットが切り替えられる他のロボットカメラＣ１〜Ｃ３の種類、及び、切り替わり前後の撮影ショットの情報とを対応させる情報である。例えば、図６の番号［６］の行では、あるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の「ツーショット」の撮影ショットがオンエアされるイベントに、他のロボットカメラＣ１〜Ｃ３の撮影ショットを「越し」（「越し１」及び「越し２」）から「最適ショット」に切り替わることが対応付けられている。ここで、「カメラＸ」は任意のマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３、「カメラＹ」は「カメラＸ」以外のロボットカメラＣ１〜Ｃ３を示す。
【００５９】
さらに、撮影規則生成情報記憶手段１２には、以下の［ｆ］、［ｇ］の情報が記憶されていることとする。この情報は、図６の表の番号［６］及び［７］の行に示す情報のそれぞれと撮影ショットタイプとを対応させるものであり、この情報と図６の表の番号［６］及び［７］の行に示す情報とを、協調撮影規則生成情報とした。
【００６０】
［ｆ］：あるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットタイプに「ツーショット」が、他のロボットカメラＣ１〜Ｃ３の撮影ショットタイプに「越し」が設定されている場合には、図６の表の番号［６］の行を撮影規則として生成する。
［ｇ］：異なるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３に同じ撮影ショットタイプが設定されている場合には、図６の表の番号［７］の行を撮影規則として生成する。
【００６１】
撮影規則生成情報記憶手段１２に記憶された撮影規則生成情報は、後記する撮影規則生成手段１３によって撮影規則を生成する際に参照されて用いられる。ここでは、撮影規則生成情報は、図６の表の番号［１］〜［７］の行に示す情報と、当該情報のそれぞれと撮影ショットタイプとを対応させる［ａ］〜［ｇ］の情報とからなることとし、撮影規則生成手段１３によって、この［ａ］〜［ｇ］に示される撮影ショットタイプが、撮影ショットタイプ設定手段１１によって設定された撮影ショットタイプに含まれる場合に、このロボットカメラＣ１〜Ｃ３に対して、図６の表の番号［１］〜［７］のうちの適合する行に示す情報を撮影規則として生成することとした。
【００６２】
なお、ここでは、図６の表と［ａ］〜［ｇ］の情報とからなる撮影規則生成情報について説明したが、例えば、図６の表の番号［１］〜［７］の行の情報のそれぞれに含まれる撮影ショット（切り替えショットを含む）が撮影ショットタイプを示すこととし、後記する撮影規則生成手段１３によって、この撮影ショットを撮影ショットタイプに含むロボットカメラＣ１〜Ｃ３に対して、図６の表の適合する行を撮影規則として生成することとしてもよい。
【００６３】
また、ここでは、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の切替もしくはオンエア前後の撮影ショットと、他のロボットカメラＣ１〜Ｃ３の切替前後の撮影ショットとを対応させるイベント撮影規則生成情報について説明したが、例えば、あるマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３がある撮影ショットに切り替わった際に、他のロボットカメラＣ１〜Ｃ３を、指定した撮影ショットに切り替える場合に特定して、ロボットカメラＣ１〜Ｃ３の種類及び切り替わり後の撮影ショットと、ロボットカメラＣ１〜Ｃ３の種類及び切り替わり後の撮影ショットのみを対応させるものとしてもよい。この撮影規則生成情報は、例えば、過去のカメラマンによる撮影におけるカメラの撮影ショットの選択を参考にして生成することができる。
【００６４】
図４に戻り説明を続ける。また、撮影規則生成情報記憶手段１２は、カメラマンを含めたマンカメラＭＣの形状と大きさと、ロボットカメラＣ１〜Ｃ３の形状と大きさとを含むカメラ形状・大きさ情報を予め記憶する。例えば、カメラ形状・大きさ情報は、カメラマンを含めたマンカメラＭＣの形状及びロボットカメラＣ１〜Ｃ３の形状を、微小な三角形に分割して表現し（ポリゴン処理）、各三角形の頂点をこれらの形状としても良い。この場合、カメラ形状・大きさ情報は、前記した各三角形の角頂点間の距離（長さ）を、カメラマンを含めたマンカメラＭＣの大きさ及びロボットカメラＣ１〜Ｃ３の大きさとしても良い。また、後記する占有領域の演算を簡易にするため、カメラ形状・大きさ情報は、カメラマンを含めたマンカメラＭＣの形状及びロボットカメラＣ１〜Ｃ３の形状を、四角形、円筒形等の簡易な形状として扱っても良い。
【００６５】
撮影規則生成手段１３は、撮影規則生成情報記憶手段１２が記憶する撮影規則生成情報を参照し、撮影ショットタイプ設定手段１１が設定したマンカメラＭＣの撮影ショットタイプとロボットカメラＣ１〜Ｃ３の撮影ショットタイプとに基づいて、イベントとマンカメラＭＣの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成するものである。ここで生成された撮影規則は、撮影規則設定手段１４に出力される。
【００６６】
ここで、撮影規則生成情報は、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットタイプの情報を含む。撮影規則生成手段１３は、撮影規則生成情報によって示されるロボットカメラＣ１〜Ｃ３の撮影ショットタイプが、撮影ショットタイプ設定手段１１によって設定されたロボットカメラＣ１〜Ｃ３の撮影ショットタイプに含まれる場合に、このロボットカメラＣ１〜Ｃ３に対して当該撮影規則生成情報によって示される撮影規則を生成する。そして、撮影ショットタイプ設定手段１１によって設定されたロボットカメラＣ１〜Ｃ３の撮影ショットタイプが、マンカメラＭＣの撮影ショットタイプ、スタジオの配置や話者の人数等に合うように番組制作者によって選択されているため、撮影規則生成手段１３によって生成される撮影規則は、マンカメラＭＣの撮影ショットタイプ、スタジオの配置や話者の人数等の撮影条件に合うものとなる。これによって、撮影規則生成手段１３は、番組ごとに撮影条件が変化してもそれに応じた撮影規則を自動で生成でき、撮影条件が変更されても番組制作者は撮影ショットタイプの設定のみを行えばよく、その都度撮影条件にあうイベントと切替ショットとを対応させる必要がなくなる。
【００６７】
撮影規則設定手段１４は、撮影規則生成手段１３によって生成された撮影規則を、外部から入力された番組制作者からの指令に基づいて修正するものである。なお、番組制作者からの修正の指令が入力されない場合には、撮影規則設定手段１４は、撮影規則生成手段１３によって生成された撮影規則をそのまま設定する。ここで設定された撮影規則は、撮影ショット制御手段１５に出力される。
【００６８】
ここで、図７を参照して、撮影規則生成手段１３によって生成された撮影規則と、撮影規則設定手段１４による撮影規則の修正について、具体例を用いて説明する（適宜図４参照）。図７は、撮影規則の修正時において、番組制作者に提示される表示画面の例を示す図、（ａ）は、あるロボットカメラのイベント撮影規則を提示した表示画面の例を示す図、（ｂ）は、協調撮影規則を提示した表示画面の例を示す図である。
【００６９】
ここでは、撮影規則設定手段１４は、図７に示すようなＧＵＩによって、番組制作者からの撮影規則の修正指令を入力することとした。例えば、撮影規則生成手段１３によって、イベント撮影規則生成情報に基づいてロボットカメラＣ１について、図７（ａ）の行Ｄ１に示すような撮影規則（イベント撮影規則）が生成されたとする。ここで、図７（ａ）のイベント撮影規則の一番上の行Ｄ１は、フリップＦが提示されたというイベント情報が入力されたときに、後記する撮影ショット制御手段１５がロボットカメラＣ１に「フリップ」の撮影ショットを撮影する指令を出力する撮影規則を示している。
【００７０】
また、例えば、撮影規則生成手段１３によって、スイッチング撮影規則生成情報に基づいて、図７（ａ）の行Ｄ２に示すような撮影規則（スイッチング撮影規則）が生成されたとする。ここで、このスイッチング撮影規則は、ロボットカメラＣ１で撮影された「越し２」の映像がスイッチャＳＷから出力されている状態において、スイッチャＳＷから他のロボットカメラの映像を出力する指令が、後記するスイッチャ制御手段１６によってスイッチャＳＷに出力されると、撮影ショット制御手段１５が、ロボットカメラＣ１に「最適ショット」の撮影ショットを撮影する指令を出力する撮影規則を示している。
【００７１】
また、例えば、撮影規則生成手段１３によって、協調撮影規則生成情報に基づいて、図７（ｂ）に示すような撮影規則（協調撮影規則）が生成されたとする。ここで、図７（ｂ）の協調撮影規則の一番上の行Ｄ３は、ロボットカメラＣ１が「越し１」を撮影しているときに、ロボットカメラＣ３で撮影された「ツーショット」の映像をスイッチャＳＷにおいて出力する指令が、後記するスイッチャ制御手段１６によって出力されると、撮影ショット制御手段１５がロボットカメラＣ１に「最適ショット」の撮影ショットを撮影する指令を出力する撮影規則を示している。
【００７２】
さらに、例えば、図７（ｂ）の協調撮影規則の一番下の行Ｄ４は、マンカメラＭＣが「スクリーン込２」を撮影しているときに、カメラマンがマンカメラＭＣで別の撮影ショットから「スクリーン込２」を撮影すると、ロボットカメラＣ１が「スクリーン込２」から「最適ショット」に撮影ショットを撮影する指令を出力する撮影規則を示している。
【００７３】
そして、番組制作者は図示しないマウス等によって、図７（ａ）及び（ｂ）の表示画面のプルダウンメニューを操作することで、撮影規則を修正する指令を撮影規則設定手段１４に入力することができる。そして、撮影規則設定手段１４は、番組制作者によって入力された指令に基づいて撮影規則を修正する。
【００７４】
図４に戻って説明を続ける。撮影ショット制御手段（撮影ショット決定手段）１５は、撮影規則生成手段１４が生成した撮影規則を参照し、外部から入力されるイベントの情報と、マンカメラ撮影ショット判定装置６から入力されるマンカメラＭＣの撮影ショットタイプと、マンカメラＭＣから入力される現在位置とに基づいて、ロボットカメラが撮影する撮影ショットＣ１〜Ｃ３を決定するものである。ここで決定された撮影ショットの映像を撮影する指令（撮影ショット制御信号）は、スイッチングハブＳＨを介してロボットカメラＣ１〜Ｃ３に出力される。
【００７５】
また、撮影ショット制御手段１５は、撮影規則設定手段１４において撮影規則が設定されるごとに、ロボットカメラＣ１〜Ｃ３に対して「最適ショット」の撮影の指令を出力して、撮影ショットを初期化することとした。さらに、撮影ショット制御手段１５は、例えば、ズームインのような動きを伴う撮影ショットを決定した場合には、このロボットカメラＣ１〜Ｃ３を待機させ、番組制作者によって当該撮影ショットをスイッチャＳＷから出力させる指令が後記するスイッチャ制御手段１６に入力されたときに、この撮影ショットを撮影する指令を出力することとした。これによって、撮影ショット制御手段１５は、ロボットカメラＣ１〜Ｃ３に、スイッチャＳＷからの映像の出力開始とともに撮影を開始させることができる。そのため、ズームイン等の動きの途中で映像がスイッチャＳＷから出力開始されることなく、スイッチャＳＷからの出力開始と撮影開始とを一致させた映像がスイッチャＳＷから出力される。
【００７６】
なお、あるロボットカメラＣ１〜Ｃ３が決定した撮影ショット位置に移動したときに、他のロボットカメラＣ１〜Ｃ３と衝突し、又は、他のロボットカメラＣ１〜Ｃ３が撮影する映像に映り込む可能性がある。このため、撮影ショット決定手段１５は、後記する切替情報に基づいて、スイッチャＳＷが映像を出力しているロボットカメラＣ１〜Ｃ３を判定する。そして、撮影ショット決定手段１５は、撮影ショットを決定したあるロボットカメラＣ１〜Ｃ３の映像をスイッチャＳＷが出力していない場合、このロボットカメラＣ１〜Ｃ３の撮影ショットを、例えば、「最適ショット」に再決定する。一方、撮影ショット決定手段１５は、撮影ショットを決定したあるロボットカメラＣ１〜Ｃ３の映像をスイッチャＳＷが出力している場合、このロボットカメラＣ１〜Ｃ３と衝突し又はこのロボットカメラＣ１〜Ｃ３が撮影する映像に映り込む他のロボットカメラＣ１〜Ｃ３の撮影ショットを、例えば、「最適ショット」に再決定する。
【００７７】
ここで、図８を参照して、撮影ショット制御手段１５の詳細について説明する（適宜図４参照）。図８は、図４の撮影ショット制御手段の構成を示すブロック図である。図８に示すように、撮影ショット制御手段１５は、ロボットカメラ位置設定部１５１と、カメラ占有領域算出部１５２と、カメラ衝突判定部１５３と、移動指示通知部１５４とを備える。
【００７８】
ロボットカメラ位置設定部１５１は、番組制作者が入力するロボットカメラＣ１〜Ｃ３の撮影ショットとロボットカメラＣ１〜Ｃ３の位置とを対応させる指令に基づいて、撮影ショット制御手段１５が決定したロボットカメラＣ１〜Ｃ３の撮影ショットに応じたロボットカメラＣ１〜Ｃ３の移動後位置を設定するものである。
【００７９】
ここでは、ロボットカメラ位置設定部１５１は、図９に示すようなＧＵＩによって、撮影ショットを対応させる指令を入力することとした。図９に示す表示画面の例において、マンカメラの現在位置表示領域Ａ１に、マンカメラ撮影情報入力手段２１に入力されたマンカメラＭＣの撮影アングル（パン、チルト、フォーカス、ズーム）と、マンカメラＭＣの現在位置（横方向の位置：ｘ、縦方向の位置：ｙ、高さ方向の位置：ｚ）とがそれぞれ表示されている。また、撮影ショット表示領域Ｕ１内の撮影ショットタイプ表示領域Ｕ１１〜Ｕ１４に、それぞれ撮影ショットタイプ設定手段１１において設定されたマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットタイプを示すサムネールＳ１１、Ｓ１２、Ｓ２１・・・が表示される。
【００８０】
そして、番組制作者は、図示しない入力手段によって、ロボットカメラＣ１〜Ｃ３の位置を設定する。また、番組制作者は、ショットメモリボタンＶ１を押下し、サムネールＳ１１、Ｓ１２、Ｓ２１・・・の中から割り当てたいサムネールを選択（クリック等）する。これによって、ロボットカメラ位置設定部１５１は、ショットメモリ作業、及び、ロボットカメラＣ１〜Ｃ３の撮影ショットとロボットカメラＣ１〜Ｃ３の位置とを対応付けを終了する。
【００８１】
図８に戻り説明を続ける。カメラ占有領域算出部１５２は、撮影規則生成情報記憶手段１２が記憶するカメラ形状・大きさ情報を参照し、マンカメラＭＣの現在位置でのマンカメラＭＣが占有する領域を示す占有領域と、ロボットカメラＣ１〜Ｃ３の移動後位置でのロボットカメラＣ１〜Ｃ３が占有する領域を示す占有領域とを算出するものである。カメラ占有領域算出部１５２は、例えば、マンカメラＭＣの現在位置（３次元位置）を基準に、カメラ形状・大きさ情報に設定されたマンカメラＭＣの大きさで、マンカメラＭＣの形状をポリゴンで表現し、マンカメラＭＣの占有領域を算出する。また、カメラ占有領域算出部１５２は、例えば、ロボットカメラＣ１〜Ｃ３の移動後位置を基準に、カメラ形状・大きさ情報に設定されたロボットカメラＣ１〜Ｃ３の大きさで、ロボットカメラＣ１〜Ｃ３の形状をポリゴンで表現し、ロボットカメラＣ１〜Ｃ３の占有領域を算出する。
【００８２】
カメラ衝突判定部１５３は、カメラ占有範囲算出部１５２が算出したロボットカメラＣ１〜Ｃ３の占有領域とマンカメラＭＣの占有領域とを比較してロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突するか否かを判定するものである。また、カメラ衝突判定部１５３は、ロボットカメラＣ１〜Ｃ３同士の占有領域を比較してロボットカメラＣ１〜Ｃ３同士が衝突するか否かを判定する。カメラ衝突判定部１５３は、例えば、ポリゴンで表現したマンカメラＭＣの占有領域及びロボットカメラＣ１〜Ｃ３が重なる場合に、ロボットカメラＣ１〜Ｃ３同士又はロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突すると判定する。なお、カメラ衝突判定部１５３は、これらの判定結果に応じて、後記する衝突メッセージ又は映り込みメッセージを生成して出力する。
【００８３】
また、カメラ衝突判定部１５３は、ロボットカメラＣ１〜Ｃ３が撮影する映像に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込むか否かと、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込みむか否かとを判定する。ここで、カメラ衝突判定部１５３は、例えば、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットと形状と大きさとが分かるので、下記の式（１）によって、ロボットカメラＣ１〜Ｃ３及びマンカメラＭＣの画界を算出し、この画界に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込むか否かを判定する。
【００８４】
ｙ＝ｙ’×ｌ／ｆ・・・式（１）
なお、式（１）において、ｙはマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の画界、ｙ’はマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットのイメージサイズ、ｌはマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３のレンズ主点と被写体との距離、及び、ｆはマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の焦点距離である。
【００８５】
移動指示通知部１５４は、カメラ衝突判定部１５３によって、ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突すると判定された場合、ロボットカメラＣ１〜Ｃ３が撮影する映像にマンカメラＭＣが含まれると判定された場合、又は、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込みむと判定された場合、マンカメラＭＣへ移動指示を通知するものである。この移動指示は、スイッチングハブＳＨを介して、マンカメラＭＣに出力される。例えば、移動指示通知部１５４は、入力された切替実施情報に基づいて、スイッチャＳＷがマンカメラＭＣの映像を出力しているか否かを判定する。そして、スイッチャＳＷがマンカメラＭＣの映像を出力していないと判定された場合、移動指示通知部１５４は、カメラ衝突判定部１５３からの衝突メッセージ又は映り込みメッセージに応じて、マンカメラＭＣへ移動指示を通知する。
【００８６】
なお、スイッチャＳＷがマンカメラＭＣの映像を出力していると判定された場合、移動指示通知部１５４がマンカメラＭＣへ移動指示を通知しても、カメラマンがマンカメラＭＣを移動させることができない。このため、撮影ショット決定手段１５は、スイッチャＳＷがマンカメラＭＣの映像を出力していると判定され、かつ、マンカメラＭＣとロボットカメラＣ１〜Ｃ３が衝突すると判定された場合、又は、スイッチャＳＷがマンカメラＭＣの映像を出力していると判定され、かつ、ロボットカメラＣ１〜Ｃ３が撮影する映像にマンカメラＭＣが含まれると判定された場合、マンカメラＭＣに衝突又は映り込むロボットカメラＣ１〜Ｃ３の撮影ショットを、例えば、「最適ショット」に再決定する。
【００８７】
図４に戻って説明を続ける。スイッチャ制御手段１６は、番組制作者によって外部から入力された、スイッチャＳＷから出力する映像の切替指令に基づいて、スイッチャＳＷの切替を制御するものである。ここで生成されたスイッチャＳＷの切替を制御する指令（切替制御信号）は、スイッチングハブＳＨを介してスイッチャＳＷに出力される。また、スイッチャＳＷが出力するマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットについての切替実施情報が、撮影ショット制御手段１５に入力される。
【００８８】
ここで、図９を参照して、番組制作者によるスイッチャＳＷから出力する映像の切替について、具体例を用いて説明する（適宜図４参照）。図９に示すように、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３のそれぞれは、サムネールＳ１１、Ｓ２１、Ｓ３１、Ｓ４１の撮影ショットを撮影している。そして、番組制作者は、話者（Ｐ１、Ｐ２）の行うフリップＦや小物Ｏの提示及び除去、情報画スクリーンＳＣの情報画の切り替わり、話者（Ｐ１、Ｐ２）の切り替わり、スイッチャＳＷから出力される映像の切り替わり、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の撮影ショットの切り替わり等のスタジオの状況変化に合わせて、スイッチャＳＷの切替を制御するための指令をスイッチャ制御手段１６に入力する。
【００８９】
このとき、番組制作者は、図示しないマウス等でクリックしたり図示しないタッチパネルをタッチしたりして、図９におけるスイッチングパネル表示領域Ｕ２内に表示されたスイッチングパネルＴ１〜Ｔ４を指定することで、対応するマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の映像にスイッチャＳＷの出力を切り替えさせる指令をスイッチャ制御手段１６に入力することができる。ここで、スイッチングパネルＴ１〜Ｔ４のそれぞれは、マンカメラＭＣ及びロボットカメラＣ１〜Ｃ３に対応する。そして、スイッチャ制御手段１６は、番組制作者によって入力された指令に基づいて、選択されたマンカメラＭＣ及びロボットカメラＣ１〜Ｃ３の映像に出力を切り替える切替制御信号をスイッチャＳＷに出力する。なお、スイッチャＳＷの制御は、前記したタッチパネルに限られず、例えば、スイッチャＳＷからタリー信号を取得することで、スイッチャ専用操作器（不図示）を用いて行なうこともできる。
【００９０】
以上のように、ロボットカメラ・スイッチャ制御装置１は、スタジオの状況変化やマンカメラＭＣの撮影ショットに応じて、各々のロボットカメラＣ１〜Ｃ３の撮影ショットを制御することができる。これによって、ロボットカメラとマンカメラとが協調してテレビ番組の撮影を行うことができる。また、ロボットカメラ・スイッチャ制御装置１は、移動指示をマンカメラＭＣに通知することで、ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突する事態、ロボットカメラＣ１〜Ｃ３が撮影する映像にマンカメラＭＣが映り込む事態を防止できるため、様々なテレビ番組の自動撮影に適用することができる。さらに、ロボットカメラ・スイッチャ制御装置１は、放送中の映像を撮影しているロボットカメラＣ１〜Ｃ３の撮影ショットを再決定してしまう事態を防止できるため、番組制作者が意図しない撮影ショットでロボットカメラＣ１〜Ｃ３が映像を撮影することを防止し、様々なテレビ番組の自動撮影に適用することができる。
【００９１】
なお、ロボットカメラ・スイッチャ制御装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、ロボットカメラ・スイッチャ制御プログラム（撮影ショット制御プログラム）として動作させることも可能である。
【００９２】
なお、ロボットカメラ・スイッチャ制御装置１は、撮影ショット決定手段１５によって、ロボットカメラＣ１〜Ｃ３同士の衝突や撮影する映像の映り込みを防止することとしたが、撮影規則生成手段１３がロボットカメラＣ１〜Ｃ３同士の衝突や撮影する映像の映り込みを防止する撮影規則情報を生成することとしても良い。また、ロボットカメラＣ１〜Ｃ３の自動ポジショニング及び自動フレーミングの手法として、前記した文献（T.Tsuda,et al,"Intelligent Mobile Robot Camera",SMPTE Australia 2005-Conference and Exhibition,Session 4.4,July 2005）に記載の手法又はメモリーショット以外の手法を用いても良い。
【００９３】
［ロボットカメラ・スイッチャ制御装置の動作］
以下、図１０を参照して、図４のロボットカメラ・スイッチャ制御装置１の動作について詳細に説明する（適宜図４参照）。図１０は、図４のロボットカメラ・スイッチャ制御装置の動作を示すフローチャートである。なお、図１０、図１１では、ロボットカメラをロボカメと略記し、マンカメラをマンカメと略記する。
【００９４】
まず、ロボットカメラ・スイッチャ制御装置１は、撮影ショットタイプ設定手段１１によって、外部から入力されるマンカメラＭＣの撮影ショットの種類とロボットカメラの撮影ショットＣ１〜Ｃ３の種類とを設定する指令に基づいて、マンカメラＭＣが番組で撮影する撮影ショットの種類であるマンカメラＭＣの撮影ショットタイプと、ロボットカメラＣ１〜Ｃ３が番組で撮影する撮影ショットの種類であるロボットカメラＣ１〜Ｃ３の撮影ショットタイプとを予め設定する（ステップＳ１）。
【００９５】
ステップＳ１の処理に続いて、ロボットカメラ・スイッチャ制御装置１は、撮影規則生成手段１３によって、撮影規則生成情報記憶手段１２が記憶する撮影規則生成情報を参照し、撮影ショットタイプ設定手段１１が設定したマンカメラＭＣの撮影ショットタイプとロボットカメラＣ１〜Ｃ３の撮影ショットタイプとに基づいて、イベントとマンカメラＭＣの撮影ショットタイプと切替ショットとを対応させる撮影規則を生成する（ステップＳ２）。
【００９６】
ステップＳ２の処理に続いて、ロボットカメラ・スイッチャ制御装置１は、撮影規則設定手段１４によって、撮影規則生成手段１３によって生成された撮影規則を、外部から入力された番組制作者からの指令に基づいて修正する（ステップＳ３）。また、ロボットカメラ・スイッチャ制御装置１は、撮影ショット制御手段１５によって、ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突するか否かと、ロボットカメラＣ１〜Ｃ３同士が衝突するか否かと、ロボットカメラＣ１〜Ｃ３が撮影する映像に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込みむか否かと、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込みむか否かとを判定する（ステップＳ４）。なお、ステップＳ４における衝突及び映り込みの判定の動作の詳細は、後記する。
【００９７】
ステップＳ４の処理に続いて、ロボットカメラ・スイッチャ制御装置１は、撮影ショット制御手段１５によって、撮影規則生成手段１４が生成した撮影規則を参照し、外部から入力されるイベントの情報と、マンカメラ撮影ショット判定装置６から入力されるマンカメラＭＣの撮影ショットタイプとに基づいて、ロボットカメラが撮影する撮影ショットＣ１〜Ｃ３を決定する（ステップＳ５）。ここで、ロボットカメラ・スイッチャ制御装置１は、スイッチャ制御手段１６によって、切替制御信号を出力してスイッチャＳＷの切替を制御し、撮影ショット制御手段１５によって、撮影ショット制御信号をロボットカメラＣ１〜Ｃ３に出力する。
【００９８】
＜衝突及び映り込みの判定＞
以下、図１１を参照（適宜図４参照）して、衝突の判定及び映り込みの判定の動作について詳細に説明する。図１１は、図１０のステップＳ４における衝突及び映り込みの判定の動作を示すフローチャートである。
【００９９】
まず、ロボットカメラ・スイッチャ制御装置１は、ロボットカメラ位置設定部１５１によって、番組制作者が入力するロボットカメラＣ１〜Ｃ３の撮影ショットとロボットカメラＣ１〜Ｃ３の位置とを対応させる指令に基づいて、撮影ショット制御手段１５が決定したロボットカメラＣ１〜Ｃ３の撮影ショットに応じたロボットカメラＣ１〜Ｃ３の移動後位置を設定する（ステップＳ４１）。
【０１００】
ステップＳ４１の処理に続いて、ロボットカメラ・スイッチャ制御装置１は、カメラ占有領域算出部１５２によって、撮影規則生成情報記憶手段１２が記憶するカメラ形状・大きさ情報を参照し、マンカメラＭＣの現在位置でのマンカメラＭＣが占有する領域を示す占有領域と、ロボットカメラＣ１〜Ｃ３の移動後位置でのロボットカメラＣ１〜Ｃ３が占有する領域を示す占有領域とを算出する（ステップＳ４２）。
【０１０１】
ステップＳ４２の処理に続いて、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突するか否かを判定する（ステップＳ４３）。ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突すると判定された場合（ステップＳ４３でＹｅｓ）、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、衝突するロボットカメラＣ１〜Ｃ３とマンカメラＭＣとを一意に識別する識別子を含む衝突メッセージ（例えば、１カメ・２カメが衝突）を生成して出力し、衝突及び映り込みの判定の動作を終了する（ステップＳ４４）。
【０１０２】
ロボットカメラＣ１〜Ｃ３とマンカメラＭＣとが衝突しないと判定された場合（ステップＳ４３でＮｏ）、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、ロボットカメラＣ１〜Ｃ３同士が衝突するか否かを判定する（ステップＳ４５）。ロボットカメラＣ１〜Ｃ３同士が衝突すると判定された場合（ステップＳ４５でＹｅｓ）、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、衝突するロボットカメラＣ１〜Ｃ３同士の識別子を含む衝突メッセージ（例えば、２カメ・３カメが衝突）を生成して出力し、衝突及び映り込みの判定の動作を終了する（ステップＳ４６）。
【０１０３】
ロボットカメラＣ１〜Ｃ３同士が衝突しないと判定された場合（ステップＳ４５でＮｏ）、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、ロボットカメラＣ１〜Ｃ３が撮影する映像に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込むか否かと、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込みむか否かとを判定する（ステップＳ４７）。ロボットカメラＣ１〜Ｃ３が撮影する映像に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込むと判定された場合、又は、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込みむと判定された場合（ステップＳ４７でＹｅｓ）、ロボットカメラ・スイッチャ制御装置１は、カメラ衝突判定部１５３によって、映り込むマンカメラＭＣ又はロボットカメラＣ１〜Ｃ３の識別子を含む映り込みメッセージ（例えば、２カメが３カメに映り込み）を生成して出力し、衝突及び映り込みの判定の動作を終了する（ステップＳ４８）。
【０１０４】
一方、ロボットカメラＣ１〜Ｃ３が撮影する映像に他のロボットカメラＣ１〜Ｃ３又はマンカメラＭＣが映り込まないと判定された場合、及び、マンカメラＭＣが撮影する映像にロボットカメラＣ１〜Ｃ３が映り込まないと判定された場合（ステップＳ４７でＮｏ）、ロボットカメラ・スイッチャ制御装置１は、衝突メッセージ及び映り込みメッセージを生成せずに、衝突及び映り込みの判定の動作を終了する。
【図面の簡単な説明】
【０１０５】
【図１】本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムの構成を模式的に示した模式図である。
【図２】図１のマンカメラ撮影ショット認識装置６の構成を示すブロック図である。
【図３】撮影情報−撮影ショット対応情報の詳細及び撮影ショットタイプの判定において、番組制作者に提示される表示画面の例を示す図である。
【図４】図１のロボットカメラ・スイッチャ制御装置の構成を示すブロック図である。
【図５】撮影ショットタイプの設定時において、番組制作者に提示される表示画面の例を模式的に示す模式図である。
【図６】撮影規則生成情報を説明するための説明図である。
【図７】撮影規則の修正時において、番組制作者に提示される表示画面の例を示す図、（ａ）は、あるロボットカメラのイベント撮影規則を提示した表示画面の例を示す図、（ｂ）は、協調撮影規則を提示した表示画面の例を示す図である。
【図８】図４の撮影ショット制御手段の構成を示すブロック図である。
【図９】ロボットカメラの位置設定時において、番組制作者に提示される表示画面の例を示す図である。
【図１０】図４のロボットカメラ・スイッチャ制御装置の動作を示すフローチャートである。
【図１１】図１０のステップＳ４における衝突及び映り込みの判定の動作を示すフローチャートである。
【符号の説明】
【０１０６】
１ ロボットカメラ・スイッチャ制御装置（撮影ショット制御装置）
１１ 撮影ショットタイプ設定手段
１２ 撮影規則生成情報記憶手段
１３ 撮影規則生成手段
１４ 撮影規則設定手段
１５ 撮影ショット制御手段
１６ スイッチャ制御手段
２１ マンカメラ撮影情報入力手段
２２ 撮影情報−撮影ショット対応情報記憶手段
２３ マンカメラ撮影ショットタイプ判定手段
６ マンカメラ撮影ショット認識装置
Ｃ１〜Ｃ３ ロボットカメラ
ＭＣ マンカメラ
Ｓ 自動撮影システム（協調撮影システム）
【特許請求の範囲】
【請求項１】
マンカメラの撮影ショットの種類を判定するマンカメラ撮影ショット判定装置に接続され、１以上のロボットカメラが番組を撮影する映像と前記マンカメラが前記番組を撮影する映像とを切り替えるスイッチャを制御すると共に、前記ロボットカメラの撮影ショットを制御する撮影ショット制御装置であって、
外部から入力される前記マンカメラの撮影ショットの種類と前記ロボットカメラの撮影ショットの種類とを設定する指令に基づいて、前記マンカメラが前記番組で撮影する前記撮影ショットの種類である前記マンカメラの撮影ショットタイプと、前記ロボットカメラが前記番組で撮影する前記撮影ショットの種類である前記ロボットカメラの撮影ショットタイプとを予め設定する撮影ショットタイプ設定手段と、
前記番組の状況変化を示すイベントと、前記マンカメラの撮影ショットタイプと、前記ロボットカメラの撮影ショットタイプと、前記イベント後の前記ロボットカメラの撮影ショットである切替ショットとを対応させる撮影規則生成情報を予め記憶する記憶手段と、
前記撮影規則生成情報を参照し、前記撮影ショットタイプ設定手段が設定した前記マンカメラの撮影ショットタイプと前記ロボットカメラの撮影ショットタイプとに基づいて、前記イベントと前記マンカメラの撮影ショットタイプと前記切替ショットとを対応させる撮影規則を生成する撮影規則生成手段と、
外部から入力される前記ロボットカメラ又は前記マンカメラの何れかの映像に出力を切り替える指令に基づいて、前記スイッチャの出力を前記ロボットカメラが撮影する映像又は前記マンカメラが撮影する映像の何れかに切り替えるスイッチャ制御手段と、
前記撮影規則生成手段が生成した撮影規則を参照し、外部から入力される前記イベントの情報と、前記マンカメラ撮影ショット判定装置から入力される前記マンカメラの撮影ショットタイプとに基づいて、前記ロボットカメラが撮影する撮影ショットを決定する撮影ショット決定手段と、
を備えることを特徴とする撮影ショット制御装置。
【請求項２】
前記記憶手段は、カメラマンを含めた前記マンカメラの形状と大きさと、前記ロボットカメラの形状と大きさとを含むカメラ形状・大きさ情報を予め記憶し、
前記撮影ショット決定手段は、前記マンカメラから前記マンカメラの現在位置が入力され、
外部から入力される前記ロボットカメラの撮影ショットと前記ロボットカメラの位置とを対応させる指令に基づいて、決定した前記ロボットカメラの撮影ショットに応じた前記ロボットカメラの移動後位置を設定するロボットカメラ位置設定部と、
前記カメラ形状・大きさ情報を参照し、前記マンカメラの現在位置での前記マンカメラが占有する領域を示す占有領域と、前記ロボットカメラの移動後位置での前記ロボットカメラが占有する領域を示す占有領域とを算出するカメラ占有領域算出部と、
前記カメラ占有範囲算出部が算出した前記ロボットカメラの占有領域と前記マンカメラの占有領域とを比較して、当該ロボットカメラと当該マンカメラとが衝突するか否かと、当該ロボットカメラが撮影する映像に当該マンカメラが映り込むか否かと、当該マンカメラが撮影する映像に当該ロボットカメラが映り込むか否かとを判定するカメラ衝突判定部と、
前記ロボットカメラと前記マンカメラとが衝突すると判定された場合、前記ロボットカメラが撮影する映像に前記マンカメラが含まれると判定された場合、又は、前記マンカメラが撮影する映像に前記ロボットカメラが映り込むと判定された場合、前記マンカメラへ移動指示を通知する移動指示通知部と、
を備えることを特徴とする請求項１に記載の撮影ショット制御装置。
【請求項３】
前記ロボットカメラが複数の場合、
前記カメラ占有領域算出部は、前記ロボットカメラ毎に占有領域を算出し、
前記カメラ衝突判定部は、前記ロボットカメラ同士の占有領域を比較して前記ロボットカメラ同士が衝突するか否かを判定すると共に、前記ロボットカメラが撮影する映像に他の前記ロボットカメラが映り込むか否かを判定し、
前記撮影ショット決定手段は、前記ロボットカメラ同士が衝突すると判定された場合、又は、前記ロボットカメラが撮影する映像に他の前記ロボットカメラが含まれると判定された場合、前記スイッチャが映像を出力していない前記ロボットカメラの撮影ショットを再決定することを特徴とする請求項２に記載の撮影ショット制御装置。
【請求項４】
請求項１から請求項３の何れか一項に記載の撮影ショット制御装置と、マンカメラの撮影ショットの種類を判定するマンカメラ撮影ショット判定装置と、を含む協調撮影システムであって、
前記マンカメラ撮影ショット判定装置が、
前記マンカメラから、当該マンカメラの撮影アングルと当該マンカメラの現在位置とを含むマンカメラ撮影情報が入力されるマンカメラ撮影情報入力手段と、
前記マンカメラ撮影情報と前記マンカメラの撮影ショットの種類とを対応させた撮影情報−撮影ショット対応情報を予め記憶する撮影情報−撮影ショット対応情報記憶手段と、
前記撮影情報−撮影ショット対応情報を参照し、前記マンカメラ撮影情報入力手段に入力される前記マンカメラ撮影情報に応じて、前記マンカメラの撮影ショットの種類である前記マンカメラの撮影ショットタイプを判定するマンカメラ撮影ショットタイプ判定手段と、
を備えることを特徴とする協調撮影システム。
【請求項５】
マンカメラが撮影の撮影ショットの種類を判定するマンカメラ撮影ショット判定装置に接続され、番組の状況変化を示すイベントと、前記マンカメラの撮影ショットタイプと、ロボットカメラの撮影ショットタイプと、前記イベント後の前記ロボットカメラの撮影ショットである切替ショットとを対応させる撮影規則生成情報を予め記憶する記憶手段を備え、１以上の前記ロボットカメラが前記番組を撮影する映像と前記マンカメラが前記番組を撮影する映像とを切り替えるスイッチャを制御すると共に、前記ロボットカメラの撮影ショットを制御するために、コンピュータを、
外部から入力される前記マンカメラの撮影ショットの種類と前記ロボットカメラの撮影ショットの種類とを設定する指令に基づいて、前記マンカメラが前記番組で撮影する前記撮影ショットの種類である前記マンカメラの撮影ショットタイプと、前記ロボットカメラが前記番組で撮影する前記撮影ショットの種類である前記ロボットカメラの撮影ショットタイプとを予め設定する撮影ショットタイプ設定手段、
前記撮影規則生成情報を参照し、前記撮影ショットタイプ設定手段が設定した前記マンカメラの撮影ショットタイプと前記ロボットカメラの撮影ショットタイプとに基づいて、前記イベントと前記マンカメラの撮影ショットタイプと前記切替ショットとを対応させる撮影規則を生成する撮影規則生成手段、
外部から入力される前記ロボットカメラ又は前記マンカメラの何れかの映像に出力を切り替える指令に基づいて、前記スイッチャの出力を前記ロボットカメラが撮影する映像又は前記マンカメラが撮影する映像の何れかに切り替えるスイッチャ制御手段、
前記撮影規則生成手段が生成した撮影規則を参照し、外部から入力される前記イベントの情報と、前記マンカメラ撮影ショット判定装置から入力される前記マンカメラの撮影ショットタイプとに基づいて、前記ロボットカメラが撮影する撮影ショットを決定する撮影ショット決定手段、
として機能させることを特徴とする撮影ショット制御プログラム。
【請求項１】
マンカメラの撮影ショットの種類を判定するマンカメラ撮影ショット判定装置に接続され、１以上のロボットカメラが番組を撮影する映像と前記マンカメラが前記番組を撮影する映像とを切り替えるスイッチャを制御すると共に、前記ロボットカメラの撮影ショットを制御する撮影ショット制御装置であって、
外部から入力される前記マンカメラの撮影ショットの種類と前記ロボットカメラの撮影ショットの種類とを設定する指令に基づいて、前記マンカメラが前記番組で撮影する前記撮影ショットの種類である前記マンカメラの撮影ショットタイプと、前記ロボットカメラが前記番組で撮影する前記撮影ショットの種類である前記ロボットカメラの撮影ショットタイプとを予め設定する撮影ショットタイプ設定手段と、
前記番組の状況変化を示すイベントと、前記マンカメラの撮影ショットタイプと、前記ロボットカメラの撮影ショットタイプと、前記イベント後の前記ロボットカメラの撮影ショットである切替ショットとを対応させる撮影規則生成情報を予め記憶する記憶手段と、
前記撮影規則生成情報を参照し、前記撮影ショットタイプ設定手段が設定した前記マンカメラの撮影ショットタイプと前記ロボットカメラの撮影ショットタイプとに基づいて、前記イベントと前記マンカメラの撮影ショットタイプと前記切替ショットとを対応させる撮影規則を生成する撮影規則生成手段と、
外部から入力される前記ロボットカメラ又は前記マンカメラの何れかの映像に出力を切り替える指令に基づいて、前記スイッチャの出力を前記ロボットカメラが撮影する映像又は前記マンカメラが撮影する映像の何れかに切り替えるスイッチャ制御手段と、
前記撮影規則生成手段が生成した撮影規則を参照し、外部から入力される前記イベントの情報と、前記マンカメラ撮影ショット判定装置から入力される前記マンカメラの撮影ショットタイプとに基づいて、前記ロボットカメラが撮影する撮影ショットを決定する撮影ショット決定手段と、
を備えることを特徴とする撮影ショット制御装置。
【請求項２】
前記記憶手段は、カメラマンを含めた前記マンカメラの形状と大きさと、前記ロボットカメラの形状と大きさとを含むカメラ形状・大きさ情報を予め記憶し、
前記撮影ショット決定手段は、前記マンカメラから前記マンカメラの現在位置が入力され、
外部から入力される前記ロボットカメラの撮影ショットと前記ロボットカメラの位置とを対応させる指令に基づいて、決定した前記ロボットカメラの撮影ショットに応じた前記ロボットカメラの移動後位置を設定するロボットカメラ位置設定部と、
前記カメラ形状・大きさ情報を参照し、前記マンカメラの現在位置での前記マンカメラが占有する領域を示す占有領域と、前記ロボットカメラの移動後位置での前記ロボットカメラが占有する領域を示す占有領域とを算出するカメラ占有領域算出部と、
前記カメラ占有範囲算出部が算出した前記ロボットカメラの占有領域と前記マンカメラの占有領域とを比較して、当該ロボットカメラと当該マンカメラとが衝突するか否かと、当該ロボットカメラが撮影する映像に当該マンカメラが映り込むか否かと、当該マンカメラが撮影する映像に当該ロボットカメラが映り込むか否かとを判定するカメラ衝突判定部と、
前記ロボットカメラと前記マンカメラとが衝突すると判定された場合、前記ロボットカメラが撮影する映像に前記マンカメラが含まれると判定された場合、又は、前記マンカメラが撮影する映像に前記ロボットカメラが映り込むと判定された場合、前記マンカメラへ移動指示を通知する移動指示通知部と、
を備えることを特徴とする請求項１に記載の撮影ショット制御装置。
【請求項３】
前記ロボットカメラが複数の場合、
前記カメラ占有領域算出部は、前記ロボットカメラ毎に占有領域を算出し、
前記カメラ衝突判定部は、前記ロボットカメラ同士の占有領域を比較して前記ロボットカメラ同士が衝突するか否かを判定すると共に、前記ロボットカメラが撮影する映像に他の前記ロボットカメラが映り込むか否かを判定し、
前記撮影ショット決定手段は、前記ロボットカメラ同士が衝突すると判定された場合、又は、前記ロボットカメラが撮影する映像に他の前記ロボットカメラが含まれると判定された場合、前記スイッチャが映像を出力していない前記ロボットカメラの撮影ショットを再決定することを特徴とする請求項２に記載の撮影ショット制御装置。
【請求項４】
請求項１から請求項３の何れか一項に記載の撮影ショット制御装置と、マンカメラの撮影ショットの種類を判定するマンカメラ撮影ショット判定装置と、を含む協調撮影システムであって、
前記マンカメラ撮影ショット判定装置が、
前記マンカメラから、当該マンカメラの撮影アングルと当該マンカメラの現在位置とを含むマンカメラ撮影情報が入力されるマンカメラ撮影情報入力手段と、
前記マンカメラ撮影情報と前記マンカメラの撮影ショットの種類とを対応させた撮影情報−撮影ショット対応情報を予め記憶する撮影情報−撮影ショット対応情報記憶手段と、
前記撮影情報−撮影ショット対応情報を参照し、前記マンカメラ撮影情報入力手段に入力される前記マンカメラ撮影情報に応じて、前記マンカメラの撮影ショットの種類である前記マンカメラの撮影ショットタイプを判定するマンカメラ撮影ショットタイプ判定手段と、
を備えることを特徴とする協調撮影システム。
【請求項５】
マンカメラが撮影の撮影ショットの種類を判定するマンカメラ撮影ショット判定装置に接続され、番組の状況変化を示すイベントと、前記マンカメラの撮影ショットタイプと、ロボットカメラの撮影ショットタイプと、前記イベント後の前記ロボットカメラの撮影ショットである切替ショットとを対応させる撮影規則生成情報を予め記憶する記憶手段を備え、１以上の前記ロボットカメラが前記番組を撮影する映像と前記マンカメラが前記番組を撮影する映像とを切り替えるスイッチャを制御すると共に、前記ロボットカメラの撮影ショットを制御するために、コンピュータを、
外部から入力される前記マンカメラの撮影ショットの種類と前記ロボットカメラの撮影ショットの種類とを設定する指令に基づいて、前記マンカメラが前記番組で撮影する前記撮影ショットの種類である前記マンカメラの撮影ショットタイプと、前記ロボットカメラが前記番組で撮影する前記撮影ショットの種類である前記ロボットカメラの撮影ショットタイプとを予め設定する撮影ショットタイプ設定手段、
前記撮影規則生成情報を参照し、前記撮影ショットタイプ設定手段が設定した前記マンカメラの撮影ショットタイプと前記ロボットカメラの撮影ショットタイプとに基づいて、前記イベントと前記マンカメラの撮影ショットタイプと前記切替ショットとを対応させる撮影規則を生成する撮影規則生成手段、
外部から入力される前記ロボットカメラ又は前記マンカメラの何れかの映像に出力を切り替える指令に基づいて、前記スイッチャの出力を前記ロボットカメラが撮影する映像又は前記マンカメラが撮影する映像の何れかに切り替えるスイッチャ制御手段、
前記撮影規則生成手段が生成した撮影規則を参照し、外部から入力される前記イベントの情報と、前記マンカメラ撮影ショット判定装置から入力される前記マンカメラの撮影ショットタイプとに基づいて、前記ロボットカメラが撮影する撮影ショットを決定する撮影ショット決定手段、
として機能させることを特徴とする撮影ショット制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−７４３２７（Ｐ２０１０−７４３２７Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３７３３４（Ｐ２００８−２３７３３４）
【出願日】平成２０年９月１７日（２００８．９．１７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１７日（２００８．９．１７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]