配置情報生成装置およびその動作方法
【課題】複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成でき、かつ、各構成要素映像に映る被写体同士の位置関係を実際の位置関係と同じにでき、かつ、各構成要素映像の大きさをその重要度に応じた大きさにする。
【解決手段】配置情報生成装置１は、講師および資料を同一位置から見たときの位置関係を求める位置関係算出部１３と、講師映像および資料映像のそれぞれの重要度を算出する重要度算出部１４と、重要度に応じた大きさの講師映像および資料映像が全体映像を構成するように配置され、かつ、全体映像を見たときの講師映像および資料映像の位置関係が講師および資料の位置関係と同じであるように講師映像および資料映像が配置された状態を示す配置情報を生成する配置情報生成部１５とを備える。
【解決手段】配置情報生成装置１は、講師および資料を同一位置から見たときの位置関係を求める位置関係算出部１３と、講師映像および資料映像のそれぞれの重要度を算出する重要度算出部１４と、重要度に応じた大きさの講師映像および資料映像が全体映像を構成するように配置され、かつ、全体映像を見たときの講師映像および資料映像の位置関係が講師および資料の位置関係と同じであるように講師映像および資料映像が配置された状態を示す配置情報を生成する配置情報生成部１５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、配置情報生成装置およびその動作方法に関するものである。
【背景技術】
【０００２】
従来において、複数の構成要素映像の各フレーム画像を合成して全体映像を生成する技術としては、以下のものがある。
【０００３】
この技術では、予め構成要素映像の位置や大きさのレイアウトを規定したテンプレートを用意しておき、テンプレートに基づいて構成要素映像を合成するものである。
【０００４】
例えば、非特許文献１では，講義会場において講師が資料を投影機で投影しながら行った講義の映像から、講師のエリアと資料のエリアをクリッピングして、構成要素映像として、講師の映像と資料の映像を生成し、それらを合成するときに、講師のエリアと資料のエリアを全体映像の中にどのようにレイアウトするかを設定ファイル（テンプレートに相当）に記載しておき、設定ファイルに基づいて講師の映像と資料の映像を合成する。
【０００５】
また、複数の構成要素映像のレイアウトを動的に変更する方法として、非特許文献２の方法がある。
【０００６】
この方法は、同様な全体映像の作成を目的として、講師の映像（講師映像）と資料の映像（講義資料映像）を取得し、これらを合成するときに、一方の構成要素映像を大きく表示し、他方を小さく表示するように合成するパターンを用意し、大きく提示する構成要素映像を講義の状況に応じて切り替えるというものである。講義資料映像を拡大するタイミングは、講師が講義資料内の語句を話したとき、講義資料が切り替わったとき、拡大された講師映像が30秒以上続いたときなどである。一方、講師映像を拡大するタイミングは、講師が講義資料内の語句を話していないとき、拡大された講義資料映像が30秒以上続いたときなどである。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】FAUDOT TIMOTHE，嶌田 聡，小島 明：Automatic and easy creation of learning friendly conferences videos: a practical example of computer-vision applied to online-learning，電子情報通信学会技術研究報告. IE, 2009-09-17，pp.37-42，2009.
【非特許文献２】中村亮太，井上亮文，市村哲，岡田謙一，松下温：誘目性の高い講義コンテンツを作成する自動編集システム，情報処理学会論文誌Vol.47，No.1，pp.172-180,2006．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１の技術では、固定のテンプレートに基づいて構成要素映像を合成しているので編集映像がいつも同じレイアウトになり、単調で視聴者にとっては飽きやすく、誘目性の高い全体映像が得られないことが問題であった。
【０００９】
また、非特許文献２の技術では、講師の映像と資料の映像の大小を切り替えるだけなので、講師が聴衆に向き発話しているというような、より着目すべき重要なときに、講師の映像をより大きくするというようなことができない。また、資料の映像を小さくした場合、文字が読めなくなるという可能性がある。また、大小を切り替えるだけなので、３つ以上の映像に対応できない。
【００１０】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成でき、かつ、各構成要素映像に映る被写体同士の位置関係を実際の位置関係と同じにでき、かつ、各構成要素映像の大きさをその重要度に応じた大きさにできる配置情報生成装置およびその動作方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、第１の本発明は、複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成する配置情報生成装置であって、前記複数の構成要素映像を取得する構成要素映像取得部と、前記取得された複数の構成要素映像が記憶される構成要素映像記憶部と、前記構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を予め与えられた情報から求める位置関係算出部と、前記構成要素情報記憶部から前記複数の構成要素映像を読み出し、該各構成要素映像の内容に基づいて、当該構成要素映像の重要度を算出する重要度算出部と、前記重要度に応じた大きさの前記複数の構成要素映像が前記全体映像を構成するように配置され、かつ、前記全体映像を見たときの前記複数の構成要素映像の位置関係が前記被写体同士の位置関係と同じであるように前記複数の構成要素映像が配置された状態を示す配置情報を生成する配置情報生成部とを備えることを特徴とする配置情報生成装置をもって解決手段とする。
【００１２】
例えば、前記配置情報生成装置は、前記全体映像を構成する少なくとも１つの構成要素映像が大きさの変化後の映像である場合の変化前の大きさに対する変化後の大きさの比率である拡大率の下限、および／または、前記全体映像を構成する少なくとも１つの構成要素映像がアスペクト比の変化後の映像である場合の変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が記憶される許容情報記憶部を備え、前記配置情報生成部は、前記拡大率が前記拡大率の前記下限以上となるようにする、および／または、前記アスペクト比変化率が前記アスペクト比変化率の前記下限以上かつ前記アスペクト比変化率の前記上限以下になるようにする。
【００１３】
第２の本発明は、複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成する配置情報生成装置の動作方法であって、前記配置情報生成装置は、前記複数の構成要素映像を取得する構成要素映像取得部と、前記取得された複数の構成要素映像が記憶される構成要素映像記憶部とを備え、前記動作方法は、前記配置情報生成装置の位置関係算出部が、前記構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を予め与えられた情報から求め、前記配置情報生成装置の重要度算出部が、前記構成要素情報記憶部から前記複数の構成要素映像を読み出し、該各構成要素映像の内容に基づいて、当該構成要素映像の重要度を算出し、前記配置情報生成装置の配置情報生成部が、前記重要度に応じた大きさの前記複数の構成要素映像が前記全体映像を構成するように配置され、かつ、前記全体映像を見たときの前記複数の構成要素映像の位置関係が前記被写体同士の位置関係と同じであるように前記複数の構成要素映像が配置された状態を示す配置情報を生成することを特徴とする配置情報生成装置の動作方法をもって解決手段とする。
【００１４】
例えば、前記配置情報生成装置は、前記全体映像を構成する少なくとも１つの構成要素映像が大きさの変化後の映像である場合の変化前の大きさに対する変化後の大きさの比率である拡大率の下限、および／または、前記全体映像を構成する少なくとも１つの構成要素映像がアスペクト比の変化後の映像である場合の変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が記憶される許容情報記憶部を備え、前記配置情報生成部は、前記拡大率が前記拡大率の前記下限以上となるようにする、および／または、前記アスペクト比変化率が前記アスペクト比変化率の前記下限以上かつ前記アスペクト比変化率の前記上限以下になるようにする。
【発明の効果】
【００１５】
本発明によれば、複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成でき、かつ、各構成要素映像に映る被写体同士の位置関係を実際の位置関係と同じにでき、かつ、各構成要素映像の大きさをその重要度に応じた大きさにすることができる。
【図面の簡単な説明】
【００１６】
【図１】本実施の形態に係る配置情報生成装置を含む映像編集装置の概略構成を示すブロック図である。
【図２】映像編集装置における処理手順の一例を示す図である。
【図３】映像編集装置で使用される構成要素映像の一例を示す図である。
【図４】位置関係情報の一例を示す図である。
【図５】全景映像１０１、講師映像１０２および資料映像１０３について求められた重要度の推移の一例を示す図である。
【図６】図５の時刻Ａに対応する配置情報の算出過程の一例を示す図である。
【図７】ステップ関数で近似した後の重要度の推移の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１は、本実施の形態に係る配置情報生成装置を含む映像編集装置の概略構成を示すブロック図である。
【００１９】
映像編集装置１は、複数の構成要素映像を自動的に編集して全体映像を生成する装置であり、複数の構成要素映像を取得する構成要素映像取得部１１と、取得された複数の構成要素映像が記憶される構成要素映像記憶部１２と、構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を映像撮影情報から求める位置関係算出部１３と、構成要素映像記憶部１２から複数の構成要素映像を読み出し、該各構成要素映像の内容に基づいて、当該構成要素映像の重要度を算出する重要度算出部１４と、重要度に応じた大きさの複数の構成要素映像が全体映像を構成するように配置され、かつ、全体映像を見たときの複数の構成要素映像の位置関係が被写体同士の位置関係と同じであるように複数の構成要素映像が配置された状態（レイアウト）を示す配置情報を生成する配置情報生成部１５と、変動許容情報として、全体映像を構成する少なくとも１つの構成要素映像が大きさの変化後の映像である場合の変化前の大きさに対する変化後の大きさの比率である拡大率の下限、および、全体映像を構成する少なくとも１つの構成要素映像がアスペクト比の変化後の映像である場合の変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が記憶される変動許容情報記憶部１６と、変動許容情報記憶部１６に記憶される変動許容情報を算出する変動許容情報算出部１７と、複数の構成要素映像が配置情報のとおりに配置された状態の全体映像を生成する映像編集部１８とを備える。
【００２０】
構成要素映像取得部１１、構成要素映像記憶部１２、位置関係算出部１３、重要度算出部１４、変動許容情報記憶部１６および変動許容情報算出部１７は、本実施の形態に係る配置情報生成装置を構成するものである。
【００２１】
映像編集装置１は、ここでは、講義会場において講師が資料を投影機で投影しながら行った講義の様子を示す全体映像を生成することとする。
【００２２】
また、ここでは、１台のカメラで講義会場の全景を撮影して得た構成要素映像である全景映像（以下、全景映像１０１という）、全景映像１０１を構成する各フレーム（画像）から講師の顔検出を行い、顔の中心を基準とした予め定められた大きさのエリアをクリッピングし、必要なら射影歪みや明るさを補正して得た画像（フレーム）からなる構成要素映像である講師映像（以下、講師映像１０２という）、全景映像１０１を構成する各フレーム（画像）から資料の投影されたエリアをクリッピングし、必要なら射影歪みや明るさを補正して得た画像（フレーム）からなる構成要素映像である資料映像（以下、資料映像１０３という）が使用されることとする。
【００２３】
変動許容情報記憶部１６には、全景映像１０１の大きさが変化させられ、かつ、全体映像を構成する少なくとも１つの構成要素映像が、大きさの変化後の全景映像１０１となる場合の、変化前の大きさに対する変化後の大きさの比率である拡大率の下限が予め記憶されている。全景映像１０１の拡大率の下限は、例えば、「０．１」である。つまり、全景映像１０１は、１／１０まで縮小可能である。
【００２４】
また、変動許容情報記憶部１６には、全景映像１０１のアスペクト比（例えば、高さに対する幅の比率）が変化させられ、かつ、全体映像を構成する少なくとも１つの構成要素映像が、アスペクト比の変化後の全景映像１０１となる場合の、変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が予め記憶されている。全景映像１０１についてのアスペクト比変化率の上限は、例えば、「１．２」、下限は、例えば、「０．８」である。
【００２５】
また、変動許容情報記憶部１６には、講師映像１０２のアスペクト比が変化させられ、かつ、全体映像を構成する少なくとも１つの構成要素映像が、アスペクト比の変化後の講師映像１０２となる場合の、変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が予め記憶されている。講師映像１０２についてのアスペクト比変化率の上限および下限は、例えば、共に「１」である。
【００２６】
また、変動許容情報記憶部１６には、資料映像１０３のアスペクト比が変化させられ、かつ、全体映像を構成する少なくとも１つの構成要素映像が、アスペクト比の変化後の資料映像１０３となる場合の、変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が予め記憶されている。資料映像１０３についてのアスペクト比変化率の上限は、例えば、「１．２」、下限は、例えば、「０．８」である。
【００２７】
図２は、映像編集装置における処理手順の一例を示す図である。
構成要素映像取得部１１は、全景映像１０１、講師映像１０２および資料映像１０３を取得し（Ｓ１）、これらの全景映像１０１、講師映像１０２および資料映像１０３を構成要素映像記憶部１２に記憶させる。
【００２８】
図３は、映像編集装置で使用される構成要素映像の一例を示す図である。
全景映像１０１は、例えば、図３（ａ）に示す横１９８０×縦１０８０画素のハイビジョン映像であるオリジナル映像を、例えば、図３（ｂ）に示すように、１／３の横６６０×縦３６０画素に縮小した映像である。講師映像１０２は、例えば、図３（ｃ）に示すように、オリジナル映像からクリッピングされ、明るさを補正された横１５０×縦１６０画素の映像である。資料映像１０３は、例えば、図３（ｄ）に示すように、オリジナル映像からクリッピングされ、射影歪みを補正された横６４０×縦４８０画素の映像である。
【００２９】
なお、全景映像１０１、講師映像１０２および資料映像１０３は、それぞれを撮影するためのカメラで撮影し、必要に応じて補正したものでもよい。
【００３０】
図２に戻り、次に、位置関係算出部１３は、構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を、映像における各時刻について、映像撮影情報から求める。
【００３１】
ここでは、位置関係算出部１３は、映像撮影情報として、例えば、構成要素映像取得部１１から全景映像１０１、講師映像１０２および資料映像１０３を取得し、映像における各時刻について、全景映像１０１において講師映像１０２および資料映像１０３を基に講師および資料のエリアの中心位置を検出し、講師のエリアの中心位置を示す中心座標値および資料のエリアの中心位置を示す中心座標値からなる位置関係情報を生成し（Ｓ３）、位置関係情報を配置情報生成部１５に送信する。
【００３２】
図４は、位置関係情報の一例を示す図である。
図４は、例えば、１秒ごとに求めた、講師のエリアの中心座標値（（２００、８００）など）と資料のエリアの中心座標値（（１００５、８００）など）からなる位置関係情報を示すものである。
【００３３】
なお、全景映像１０１、講師映像１０２および資料映像１０３を、別々のカメラ（３台）で撮影する場合は、各カメラの位置、撮影方向、講師や資料を写したスライドまでの距離に基づいて、図４のような、位置関係情報を求めればよい。
【００３４】
次に、重要度算出部１４は、構成要素映像記憶部１２から全景映像１０１、講師映像１０２および資料映像１０３を読み出し、それぞれの内容に基づいて、映像における各時刻の重要度を算出する（Ｓ５）。
【００３５】
ここでは、重要度算出部１４は、例えば、予め記憶したルール情報を使用し、例えば、全景映像１０１については、講義の開始直後と終了直前は重要度を「０．６」、その他は重要度を「０．１８」とする。これは、講義の開始直後と終了直前には、生徒が起立などするので、全景映像１０１を大きくすべきだからである。
【００３６】
また、重要度算出部１４は、例えば、講師映像１０２については、講師の発話中、講師の顔が聴衆に向いている場合は、例えば、講師の表情などを読み取ることができるように、講師映像１０２を大きくすべきなので、重要度を高くする。重要度算出部１４は、例えば、対象時刻の前後２．５秒の合計５秒間において、講師が発話している時間の割合と、講師の顔の方向が正面方向から予め定められたしきい値以内の範囲にある時間の割合との荷重平均を対象時刻の重要度とする。
【００３７】
また、重要度算出部１４は、例えば、資料映像１０３については、資料が切り替わった直後は、資料を迅速に理解するのが好ましく、資料映像１０３を大きくすべきなので、重要度を最高の「１」とし、時間経過とともに重要度を低下させる。また、重要度算出部１４は、例えば、対象時刻の資料映像１０３のフレームが予め定められた色（白や黒）のみで構成される場合は、資料映像１０３に特段の内容はないので、重要度を最低の「０」とする。
【００３８】
図５は、全景映像１０１、講師映像１０２および資料映像１０３について求められた重要度の推移の一例を示す図である。
【００３９】
全景映像１０１の重要度は、講義の開始直後は「０．６」であり、その後、「０．２」に低下し、終了直前に「０．６」に上昇し、「０．６」で終わる。
【００４０】
講師映像１０２の重要度は、講義の開始直後は、講師がまだ発話していないので、「０」であり、講師が発話を始めると上昇し、例えば、講師の顔が聴衆に向き、最高の重要度「１」に達する。以下、講師映像１０２の重要度は、このような講師の振る舞いに応じて変化する。
【００４１】
資料映像１０３の重要度は、講義の開始直後は、資料がまだ示されていないので、「０」であり、資料が提示されると最高の重要度「１」となる。資料映像１０３の重要度は、その後、次第に低下し、資料の提示が終了し、資料が取り除かれてから次の資料が提示されるまでの間は、「０」となる。そして、資料映像１０３の重要度は、次の資料が提示されている間も前の資料の期間と同様に変化する。
【００４２】
図２に戻り、次に、変動許容情報算出部１７は、変動許容情報として、（１）全体映像を構成する少なくとも１つの構成要素映像が、大きさの変化後の講師映像１０２である場合の、変化前の大きさに対する変化後の大きさの比率である拡大率の下限と、（２）全体映像を構成する少なくとも１つの構成要素映像が、大きさの変化後の資料映像１０３である場合の、変化前の大きさに対する変化後の大きさの比率である拡大率の下限とを求め（Ｓ７）、各下限を変動許容情報記憶部１６に記憶させる。
【００４３】
ここでは、変動許容情報算出部１７は、例えば、予め講師の目と口を囲む矩形の最小サイズを記憶しておき、当初の講師映像１０２から顔検出により講師の目と口を囲む矩形のエリアを検出し、エリアの大きさが最小サイズ以上になるような拡大率を求め、これを講師映像１０２の拡大率の下限とする。変動許容情報算出部１７は、講師映像１０２の拡大率の下限として、例えば、「０．３」程度の値を算出する。つまり、講師映像１０２は、３／１０まで縮小可能である。
【００４４】
また、変動許容情報算出部１７は、例えば、予め文字の高さの最小サイズを記憶しておき、当初の資料映像１０３から文字の高さを検出し、文字の高さが最小サイズ以上になるような拡大率を求め、これを資料映像１０３の拡大率の下限とする。変動許容情報算出部１７は、資料映像１０３の拡大率の下限として、例えば、「０．５」程度の値を算出する。つまり、資料映像１０３は、１／２まで縮小可能である。
【００４５】
なお、講師映像１０２の拡大率の下限および資料映像１０３の拡大率の下限を変動許容情報記憶部１６に記憶させたことで、全景映像１０１の拡大率の下限、講師映像１０２の拡大率の下限および資料映像１０３の拡大率の下限が変動許容情報記憶部１６に記憶されたことになるが、各構成要素映像を拡大しすぎた場合には、画質が低下し、内容把握が困難になるため、拡大率の上限を変動許容情報記憶部１６に記憶させるようにしてもよい。
【００４６】
さて、次に、配置情報生成部１５が、重要度と位置関係情報を用いて、映像における各時刻について、配置情報を生成する（Ｓ９）。以下、各配置情報の生成方法を詳述する。
【００４７】
次に、配置情報生成部１５は、全景映像１０１、講師映像１０２および資料映像１０３を全体映像（ここでは、横７２０×縦４８０画素とする）内に配置したときのデッドスペース（空き領域）が最小となるような配置情報を生成する。
【００４８】
配置情報の生成方法についての第１の実施例は以下のとおりである。
【００４９】
まず、配置情報生成部１５は、全景映像１０１、講師映像１０２および資料映像１０３の該当時刻のフレーム画像を、その拡大率が変動許容情報記憶部１６に記憶された拡大率の下限未満にならないように、適宜拡大または縮小し、その大きさの比率が該当時刻の重要度の比率に応じたものとなり、かつ、各フレーム画像の総面積が横７２０×縦４８０画素の面積に等しくなるようにする。
【００５０】
次に、配置情報生成部１５は、全景映像１０１、講師映像１０２および資料映像１０３のフレーム画像を、その大きさの比率を重要度の比率に応じたものとしつつ、また、大きさの合計が横７２０×縦４８０画素の大きさに等しくなるようにしつつ、また、アスペクト比変化率の制約（上限と下限）を維持しつつ、アスペクト比を一定の割合で変化させ、横７２０×縦４８０画素のエリアに左上から順に配置したときのデッドスペースを順次に求め、デッドスペースが最小となる場合を求める。
【００５１】
ここでは、全景映像１０１、講師映像１０２および資料映像１０３のフレーム画像の総面積が横７２０×縦４８０画素の面積に等しくなるようにしているのだが、デッドスペースがある場合は、各フレーム画像を横７２０×縦４８０画素のエリアに収めることができない。そこで、配置情報生成部１５は、デッドスペースが最小となった場合の各フレーム画像を例えば大きさが３／１０未満にならないように段階的に縮小し、デッドスペースが最小となるような場合を求め、この状態を示す配置情報を生成する。
【００５２】
配置情報の生成方法についての第２の実施例は以下のとおりである。
第２の実施例では、全景映像１０１、講師映像１０２および資料映像１０３の中で重要度の高い順に配置を決定していく。
【００５３】
図５の時刻Ａにおいて、全景映像１０１の重要度が「０．１８」、講師映像１０２の重要度が「０．５」、資料映像１０３の重要度が「１．０」であるとする。
【００５４】
この場合、配置情報生成部１５は、重要度の最も高い資料映像１０３のフレーム画像の大きさを、重要度の比率が１／（０．１８＋０．５＋１．０）＝０．６であることから、７２０×４８０画素の６０％の面積となるように変換する。配置情報生成部１５は、例えば、図３（ｄ）に示すような横６４０×縦４８０を横４６７×縦３５０に変換し、図６（ａ）に示すように、全体映像の左上に配置する。
【００５５】
次に、配置情報生成部１５は、重要度が２番目に高い講師映像１０２のフレーム画像の大きさを、資料映像１０３と同様、重要度の比率により、７２０×４８０画素の３０％の面積となるように変換する。配置情報生成部１５は、例えば、図３（ｃ）に示すような横１５０×縦１６０を約２．０８倍の横３１２×縦３３３に拡大する。しかし、これでは、図６（ａ）のデッドスペースに収まらないので、横２５３×縦２７０に縮小し、図６（ｂ）に示すように配置する。
【００５６】
次に、配置情報生成部１５は、重要度の最も低い全景映像１０１のフレーム画像の大きさを、資料映像１０３と同様、重要度の比率により、変換する。配置情報生成部１５は、例えば、図３（ｂ）に示すような横６６０×縦３６０を約０．３倍の横１９８×縦１０８に縮小する。しかし、これでは、図６（ｂ）のデッドスペースに対して小さすぎるので、配置情報生成部１５は、横２５３×縦１３８に拡大し、図６（ｃ）に示すように配置する。
【００５７】
次に、配置情報生成部１５は、図６（ｃ）のデッドスペースをより小さくすべく、図６（ｄ）に示すように、例えば、全景映像１０１および資料映像１０３のアスペクト比を、アスペクト比変化率の制約（上限と下限）を維持しつつ、変化させる。配置情報生成部１５は、講師映像１０２についてのアスペクト比変化率の上限および下限が共に「１」であり、アスペクト比を変化させられず、全景映像１０１および資料映像１０３のアスペクト比変化率の上限および下限が「０．８」および「１．２」であり、アスペクト比を変化させられる場合には、このように全景映像１０１および資料映像１０３のアスペクト比のみを変化させる。
【００５８】
最後に、配置情報生成部１５は、該当時刻の位置関係情報を取得し、その中の講師のエリアの中心座標値と資料のエリアの中心座標値に基づいて、例えば、講師が資料の左側に立っていると判断すれば、図６（ｅ）に示すように、全景映像１０１および講師映像１０２が資料映像１０３の左側になるような配置情報を生成する。つまり、図６（ｅ）に示すような配置を示す配置情報が時刻Ａでの配置情報となる。
【００５９】
なお、図５に示すような、映像における各時刻についての重要度を基に、各時刻についての配置情報を生成すると、配置が頻繁に変化し、見にくくなることがあるので、図７に示すように、重要度をステップ関数で近似し、こうした処理後の重要度を用いるようにしてもよい。
【００６０】
図２に戻り、最後に、映像編集部１８は、全景映像１０１、講師映像１０２および資料映像１０３における各時刻のフレーム画像を当該時刻の配置情報のとおりに適宜拡大または縮小して配置して全体映像の該当フレームを生成し（Ｓ１１）、処理を終える。つまり、映像編集部１８は、全景映像１０１、講師映像１０２および資料映像１０３、ならびに、各配置情報を基に、全体映像を生成し、処理を終える。
【００６１】
なお、本実施の形態においては、場合によっては、変動許容情報記憶部１６および変動許容情報算出部１７は使用せず、つまり、拡大率やアスペクト比変化率に制約を設けなくてもよい。または、一方のみに制約を設けてもよい。または、予め定められた構成要素映像についてのみ制約を設けてもよい。
【００６２】
したがって、本実施の形態に係る配置情報生成装置１によれば、講師および資料を同一位置から見たときの位置関係を求める位置関係算出部１３と、講師映像１０２および資料映像１０３のそれぞれの重要度を算出する重要度算出部１４と、重要度に応じた大きさの講師映像１０２および資料映像１０３が全体映像を構成するように配置され、かつ、全体映像を見たときの講師映像１０２および資料映像１０３の位置関係が講師および資料の位置関係と同じであるように講師映像１０２および資料映像１０３が配置された状態を示す配置情報を生成する配置情報生成部１５とを備えるので、全体映像により、講師および資料が実際とは逆にならず、かつ、重要度に応じた大きさで講師および資料を見ることを可能にすることができる。これにより、講師が投影された資料の右から左に移動するというような臨場感が全体映像には反映され、誘目性の高い全体映像を得ることが可能となる。
【００６３】
また、全景映像１０１により、講義会場の全景を、その重要度に応じた大きさで見ることを可能にすることができる。
【００６４】
また、資料映像１０３の拡大率を下限以上としたので、資料映像１０３の中の文字が読めなくなるというような不都合を防止することができる。
【００６５】
また、全景映像１０１および資料映像１０３のアスペクト比変化率を下限以上かつ上限以下にするので、講義会場の全景を実感でき、また、資料映像１０３の中の文字が読めなくなるというような不都合を防止することができる。
【００６６】
なお、本実施の形態に係る配置情報生成装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【００６７】
また、本実施の形態では、講義の様子を示す全体映像のための配置情報を生成する例を示したが、全体映像は講義の様子を示すものに限らない。一例を挙げれば、演劇の様子を示すものでもよい。この場合、各役者の構成要素映像の位置関係が実際の役者と同じように変化し、かつ、各役者の構成要素映像の大きさが動的に変化する臨場感の高い全体映像を得ることができる。
【符号の説明】
【００６８】
１…映像編集装置
１１…構成要素映像取得部
１２…構成要素映像記憶部
１３…位置関係算出部
１４…重要度算出部
１５…配置情報生成部
１６…変動許容情報記憶部
１７…変動許容情報算出部
１８…映像編集部
１０１…全景映像
１０２…講師映像
１０３…資料映像
【技術分野】
【０００１】
本発明は、配置情報生成装置およびその動作方法に関するものである。
【背景技術】
【０００２】
従来において、複数の構成要素映像の各フレーム画像を合成して全体映像を生成する技術としては、以下のものがある。
【０００３】
この技術では、予め構成要素映像の位置や大きさのレイアウトを規定したテンプレートを用意しておき、テンプレートに基づいて構成要素映像を合成するものである。
【０００４】
例えば、非特許文献１では，講義会場において講師が資料を投影機で投影しながら行った講義の映像から、講師のエリアと資料のエリアをクリッピングして、構成要素映像として、講師の映像と資料の映像を生成し、それらを合成するときに、講師のエリアと資料のエリアを全体映像の中にどのようにレイアウトするかを設定ファイル（テンプレートに相当）に記載しておき、設定ファイルに基づいて講師の映像と資料の映像を合成する。
【０００５】
また、複数の構成要素映像のレイアウトを動的に変更する方法として、非特許文献２の方法がある。
【０００６】
この方法は、同様な全体映像の作成を目的として、講師の映像（講師映像）と資料の映像（講義資料映像）を取得し、これらを合成するときに、一方の構成要素映像を大きく表示し、他方を小さく表示するように合成するパターンを用意し、大きく提示する構成要素映像を講義の状況に応じて切り替えるというものである。講義資料映像を拡大するタイミングは、講師が講義資料内の語句を話したとき、講義資料が切り替わったとき、拡大された講師映像が30秒以上続いたときなどである。一方、講師映像を拡大するタイミングは、講師が講義資料内の語句を話していないとき、拡大された講義資料映像が30秒以上続いたときなどである。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】FAUDOT TIMOTHE，嶌田 聡，小島 明：Automatic and easy creation of learning friendly conferences videos: a practical example of computer-vision applied to online-learning，電子情報通信学会技術研究報告. IE, 2009-09-17，pp.37-42，2009.
【非特許文献２】中村亮太，井上亮文，市村哲，岡田謙一，松下温：誘目性の高い講義コンテンツを作成する自動編集システム，情報処理学会論文誌Vol.47，No.1，pp.172-180,2006．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１の技術では、固定のテンプレートに基づいて構成要素映像を合成しているので編集映像がいつも同じレイアウトになり、単調で視聴者にとっては飽きやすく、誘目性の高い全体映像が得られないことが問題であった。
【０００９】
また、非特許文献２の技術では、講師の映像と資料の映像の大小を切り替えるだけなので、講師が聴衆に向き発話しているというような、より着目すべき重要なときに、講師の映像をより大きくするというようなことができない。また、資料の映像を小さくした場合、文字が読めなくなるという可能性がある。また、大小を切り替えるだけなので、３つ以上の映像に対応できない。
【００１０】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成でき、かつ、各構成要素映像に映る被写体同士の位置関係を実際の位置関係と同じにでき、かつ、各構成要素映像の大きさをその重要度に応じた大きさにできる配置情報生成装置およびその動作方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、第１の本発明は、複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成する配置情報生成装置であって、前記複数の構成要素映像を取得する構成要素映像取得部と、前記取得された複数の構成要素映像が記憶される構成要素映像記憶部と、前記構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を予め与えられた情報から求める位置関係算出部と、前記構成要素情報記憶部から前記複数の構成要素映像を読み出し、該各構成要素映像の内容に基づいて、当該構成要素映像の重要度を算出する重要度算出部と、前記重要度に応じた大きさの前記複数の構成要素映像が前記全体映像を構成するように配置され、かつ、前記全体映像を見たときの前記複数の構成要素映像の位置関係が前記被写体同士の位置関係と同じであるように前記複数の構成要素映像が配置された状態を示す配置情報を生成する配置情報生成部とを備えることを特徴とする配置情報生成装置をもって解決手段とする。
【００１２】
例えば、前記配置情報生成装置は、前記全体映像を構成する少なくとも１つの構成要素映像が大きさの変化後の映像である場合の変化前の大きさに対する変化後の大きさの比率である拡大率の下限、および／または、前記全体映像を構成する少なくとも１つの構成要素映像がアスペクト比の変化後の映像である場合の変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が記憶される許容情報記憶部を備え、前記配置情報生成部は、前記拡大率が前記拡大率の前記下限以上となるようにする、および／または、前記アスペクト比変化率が前記アスペクト比変化率の前記下限以上かつ前記アスペクト比変化率の前記上限以下になるようにする。
【００１３】
第２の本発明は、複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成する配置情報生成装置の動作方法であって、前記配置情報生成装置は、前記複数の構成要素映像を取得する構成要素映像取得部と、前記取得された複数の構成要素映像が記憶される構成要素映像記憶部とを備え、前記動作方法は、前記配置情報生成装置の位置関係算出部が、前記構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を予め与えられた情報から求め、前記配置情報生成装置の重要度算出部が、前記構成要素情報記憶部から前記複数の構成要素映像を読み出し、該各構成要素映像の内容に基づいて、当該構成要素映像の重要度を算出し、前記配置情報生成装置の配置情報生成部が、前記重要度に応じた大きさの前記複数の構成要素映像が前記全体映像を構成するように配置され、かつ、前記全体映像を見たときの前記複数の構成要素映像の位置関係が前記被写体同士の位置関係と同じであるように前記複数の構成要素映像が配置された状態を示す配置情報を生成することを特徴とする配置情報生成装置の動作方法をもって解決手段とする。
【００１４】
例えば、前記配置情報生成装置は、前記全体映像を構成する少なくとも１つの構成要素映像が大きさの変化後の映像である場合の変化前の大きさに対する変化後の大きさの比率である拡大率の下限、および／または、前記全体映像を構成する少なくとも１つの構成要素映像がアスペクト比の変化後の映像である場合の変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が記憶される許容情報記憶部を備え、前記配置情報生成部は、前記拡大率が前記拡大率の前記下限以上となるようにする、および／または、前記アスペクト比変化率が前記アスペクト比変化率の前記下限以上かつ前記アスペクト比変化率の前記上限以下になるようにする。
【発明の効果】
【００１５】
本発明によれば、複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成でき、かつ、各構成要素映像に映る被写体同士の位置関係を実際の位置関係と同じにでき、かつ、各構成要素映像の大きさをその重要度に応じた大きさにすることができる。
【図面の簡単な説明】
【００１６】
【図１】本実施の形態に係る配置情報生成装置を含む映像編集装置の概略構成を示すブロック図である。
【図２】映像編集装置における処理手順の一例を示す図である。
【図３】映像編集装置で使用される構成要素映像の一例を示す図である。
【図４】位置関係情報の一例を示す図である。
【図５】全景映像１０１、講師映像１０２および資料映像１０３について求められた重要度の推移の一例を示す図である。
【図６】図５の時刻Ａに対応する配置情報の算出過程の一例を示す図である。
【図７】ステップ関数で近似した後の重要度の推移の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１は、本実施の形態に係る配置情報生成装置を含む映像編集装置の概略構成を示すブロック図である。
【００１９】
映像編集装置１は、複数の構成要素映像を自動的に編集して全体映像を生成する装置であり、複数の構成要素映像を取得する構成要素映像取得部１１と、取得された複数の構成要素映像が記憶される構成要素映像記憶部１２と、構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を映像撮影情報から求める位置関係算出部１３と、構成要素映像記憶部１２から複数の構成要素映像を読み出し、該各構成要素映像の内容に基づいて、当該構成要素映像の重要度を算出する重要度算出部１４と、重要度に応じた大きさの複数の構成要素映像が全体映像を構成するように配置され、かつ、全体映像を見たときの複数の構成要素映像の位置関係が被写体同士の位置関係と同じであるように複数の構成要素映像が配置された状態（レイアウト）を示す配置情報を生成する配置情報生成部１５と、変動許容情報として、全体映像を構成する少なくとも１つの構成要素映像が大きさの変化後の映像である場合の変化前の大きさに対する変化後の大きさの比率である拡大率の下限、および、全体映像を構成する少なくとも１つの構成要素映像がアスペクト比の変化後の映像である場合の変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が記憶される変動許容情報記憶部１６と、変動許容情報記憶部１６に記憶される変動許容情報を算出する変動許容情報算出部１７と、複数の構成要素映像が配置情報のとおりに配置された状態の全体映像を生成する映像編集部１８とを備える。
【００２０】
構成要素映像取得部１１、構成要素映像記憶部１２、位置関係算出部１３、重要度算出部１４、変動許容情報記憶部１６および変動許容情報算出部１７は、本実施の形態に係る配置情報生成装置を構成するものである。
【００２１】
映像編集装置１は、ここでは、講義会場において講師が資料を投影機で投影しながら行った講義の様子を示す全体映像を生成することとする。
【００２２】
また、ここでは、１台のカメラで講義会場の全景を撮影して得た構成要素映像である全景映像（以下、全景映像１０１という）、全景映像１０１を構成する各フレーム（画像）から講師の顔検出を行い、顔の中心を基準とした予め定められた大きさのエリアをクリッピングし、必要なら射影歪みや明るさを補正して得た画像（フレーム）からなる構成要素映像である講師映像（以下、講師映像１０２という）、全景映像１０１を構成する各フレーム（画像）から資料の投影されたエリアをクリッピングし、必要なら射影歪みや明るさを補正して得た画像（フレーム）からなる構成要素映像である資料映像（以下、資料映像１０３という）が使用されることとする。
【００２３】
変動許容情報記憶部１６には、全景映像１０１の大きさが変化させられ、かつ、全体映像を構成する少なくとも１つの構成要素映像が、大きさの変化後の全景映像１０１となる場合の、変化前の大きさに対する変化後の大きさの比率である拡大率の下限が予め記憶されている。全景映像１０１の拡大率の下限は、例えば、「０．１」である。つまり、全景映像１０１は、１／１０まで縮小可能である。
【００２４】
また、変動許容情報記憶部１６には、全景映像１０１のアスペクト比（例えば、高さに対する幅の比率）が変化させられ、かつ、全体映像を構成する少なくとも１つの構成要素映像が、アスペクト比の変化後の全景映像１０１となる場合の、変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が予め記憶されている。全景映像１０１についてのアスペクト比変化率の上限は、例えば、「１．２」、下限は、例えば、「０．８」である。
【００２５】
また、変動許容情報記憶部１６には、講師映像１０２のアスペクト比が変化させられ、かつ、全体映像を構成する少なくとも１つの構成要素映像が、アスペクト比の変化後の講師映像１０２となる場合の、変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が予め記憶されている。講師映像１０２についてのアスペクト比変化率の上限および下限は、例えば、共に「１」である。
【００２６】
また、変動許容情報記憶部１６には、資料映像１０３のアスペクト比が変化させられ、かつ、全体映像を構成する少なくとも１つの構成要素映像が、アスペクト比の変化後の資料映像１０３となる場合の、変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が予め記憶されている。資料映像１０３についてのアスペクト比変化率の上限は、例えば、「１．２」、下限は、例えば、「０．８」である。
【００２７】
図２は、映像編集装置における処理手順の一例を示す図である。
構成要素映像取得部１１は、全景映像１０１、講師映像１０２および資料映像１０３を取得し（Ｓ１）、これらの全景映像１０１、講師映像１０２および資料映像１０３を構成要素映像記憶部１２に記憶させる。
【００２８】
図３は、映像編集装置で使用される構成要素映像の一例を示す図である。
全景映像１０１は、例えば、図３（ａ）に示す横１９８０×縦１０８０画素のハイビジョン映像であるオリジナル映像を、例えば、図３（ｂ）に示すように、１／３の横６６０×縦３６０画素に縮小した映像である。講師映像１０２は、例えば、図３（ｃ）に示すように、オリジナル映像からクリッピングされ、明るさを補正された横１５０×縦１６０画素の映像である。資料映像１０３は、例えば、図３（ｄ）に示すように、オリジナル映像からクリッピングされ、射影歪みを補正された横６４０×縦４８０画素の映像である。
【００２９】
なお、全景映像１０１、講師映像１０２および資料映像１０３は、それぞれを撮影するためのカメラで撮影し、必要に応じて補正したものでもよい。
【００３０】
図２に戻り、次に、位置関係算出部１３は、構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を、映像における各時刻について、映像撮影情報から求める。
【００３１】
ここでは、位置関係算出部１３は、映像撮影情報として、例えば、構成要素映像取得部１１から全景映像１０１、講師映像１０２および資料映像１０３を取得し、映像における各時刻について、全景映像１０１において講師映像１０２および資料映像１０３を基に講師および資料のエリアの中心位置を検出し、講師のエリアの中心位置を示す中心座標値および資料のエリアの中心位置を示す中心座標値からなる位置関係情報を生成し（Ｓ３）、位置関係情報を配置情報生成部１５に送信する。
【００３２】
図４は、位置関係情報の一例を示す図である。
図４は、例えば、１秒ごとに求めた、講師のエリアの中心座標値（（２００、８００）など）と資料のエリアの中心座標値（（１００５、８００）など）からなる位置関係情報を示すものである。
【００３３】
なお、全景映像１０１、講師映像１０２および資料映像１０３を、別々のカメラ（３台）で撮影する場合は、各カメラの位置、撮影方向、講師や資料を写したスライドまでの距離に基づいて、図４のような、位置関係情報を求めればよい。
【００３４】
次に、重要度算出部１４は、構成要素映像記憶部１２から全景映像１０１、講師映像１０２および資料映像１０３を読み出し、それぞれの内容に基づいて、映像における各時刻の重要度を算出する（Ｓ５）。
【００３５】
ここでは、重要度算出部１４は、例えば、予め記憶したルール情報を使用し、例えば、全景映像１０１については、講義の開始直後と終了直前は重要度を「０．６」、その他は重要度を「０．１８」とする。これは、講義の開始直後と終了直前には、生徒が起立などするので、全景映像１０１を大きくすべきだからである。
【００３６】
また、重要度算出部１４は、例えば、講師映像１０２については、講師の発話中、講師の顔が聴衆に向いている場合は、例えば、講師の表情などを読み取ることができるように、講師映像１０２を大きくすべきなので、重要度を高くする。重要度算出部１４は、例えば、対象時刻の前後２．５秒の合計５秒間において、講師が発話している時間の割合と、講師の顔の方向が正面方向から予め定められたしきい値以内の範囲にある時間の割合との荷重平均を対象時刻の重要度とする。
【００３７】
また、重要度算出部１４は、例えば、資料映像１０３については、資料が切り替わった直後は、資料を迅速に理解するのが好ましく、資料映像１０３を大きくすべきなので、重要度を最高の「１」とし、時間経過とともに重要度を低下させる。また、重要度算出部１４は、例えば、対象時刻の資料映像１０３のフレームが予め定められた色（白や黒）のみで構成される場合は、資料映像１０３に特段の内容はないので、重要度を最低の「０」とする。
【００３８】
図５は、全景映像１０１、講師映像１０２および資料映像１０３について求められた重要度の推移の一例を示す図である。
【００３９】
全景映像１０１の重要度は、講義の開始直後は「０．６」であり、その後、「０．２」に低下し、終了直前に「０．６」に上昇し、「０．６」で終わる。
【００４０】
講師映像１０２の重要度は、講義の開始直後は、講師がまだ発話していないので、「０」であり、講師が発話を始めると上昇し、例えば、講師の顔が聴衆に向き、最高の重要度「１」に達する。以下、講師映像１０２の重要度は、このような講師の振る舞いに応じて変化する。
【００４１】
資料映像１０３の重要度は、講義の開始直後は、資料がまだ示されていないので、「０」であり、資料が提示されると最高の重要度「１」となる。資料映像１０３の重要度は、その後、次第に低下し、資料の提示が終了し、資料が取り除かれてから次の資料が提示されるまでの間は、「０」となる。そして、資料映像１０３の重要度は、次の資料が提示されている間も前の資料の期間と同様に変化する。
【００４２】
図２に戻り、次に、変動許容情報算出部１７は、変動許容情報として、（１）全体映像を構成する少なくとも１つの構成要素映像が、大きさの変化後の講師映像１０２である場合の、変化前の大きさに対する変化後の大きさの比率である拡大率の下限と、（２）全体映像を構成する少なくとも１つの構成要素映像が、大きさの変化後の資料映像１０３である場合の、変化前の大きさに対する変化後の大きさの比率である拡大率の下限とを求め（Ｓ７）、各下限を変動許容情報記憶部１６に記憶させる。
【００４３】
ここでは、変動許容情報算出部１７は、例えば、予め講師の目と口を囲む矩形の最小サイズを記憶しておき、当初の講師映像１０２から顔検出により講師の目と口を囲む矩形のエリアを検出し、エリアの大きさが最小サイズ以上になるような拡大率を求め、これを講師映像１０２の拡大率の下限とする。変動許容情報算出部１７は、講師映像１０２の拡大率の下限として、例えば、「０．３」程度の値を算出する。つまり、講師映像１０２は、３／１０まで縮小可能である。
【００４４】
また、変動許容情報算出部１７は、例えば、予め文字の高さの最小サイズを記憶しておき、当初の資料映像１０３から文字の高さを検出し、文字の高さが最小サイズ以上になるような拡大率を求め、これを資料映像１０３の拡大率の下限とする。変動許容情報算出部１７は、資料映像１０３の拡大率の下限として、例えば、「０．５」程度の値を算出する。つまり、資料映像１０３は、１／２まで縮小可能である。
【００４５】
なお、講師映像１０２の拡大率の下限および資料映像１０３の拡大率の下限を変動許容情報記憶部１６に記憶させたことで、全景映像１０１の拡大率の下限、講師映像１０２の拡大率の下限および資料映像１０３の拡大率の下限が変動許容情報記憶部１６に記憶されたことになるが、各構成要素映像を拡大しすぎた場合には、画質が低下し、内容把握が困難になるため、拡大率の上限を変動許容情報記憶部１６に記憶させるようにしてもよい。
【００４６】
さて、次に、配置情報生成部１５が、重要度と位置関係情報を用いて、映像における各時刻について、配置情報を生成する（Ｓ９）。以下、各配置情報の生成方法を詳述する。
【００４７】
次に、配置情報生成部１５は、全景映像１０１、講師映像１０２および資料映像１０３を全体映像（ここでは、横７２０×縦４８０画素とする）内に配置したときのデッドスペース（空き領域）が最小となるような配置情報を生成する。
【００４８】
配置情報の生成方法についての第１の実施例は以下のとおりである。
【００４９】
まず、配置情報生成部１５は、全景映像１０１、講師映像１０２および資料映像１０３の該当時刻のフレーム画像を、その拡大率が変動許容情報記憶部１６に記憶された拡大率の下限未満にならないように、適宜拡大または縮小し、その大きさの比率が該当時刻の重要度の比率に応じたものとなり、かつ、各フレーム画像の総面積が横７２０×縦４８０画素の面積に等しくなるようにする。
【００５０】
次に、配置情報生成部１５は、全景映像１０１、講師映像１０２および資料映像１０３のフレーム画像を、その大きさの比率を重要度の比率に応じたものとしつつ、また、大きさの合計が横７２０×縦４８０画素の大きさに等しくなるようにしつつ、また、アスペクト比変化率の制約（上限と下限）を維持しつつ、アスペクト比を一定の割合で変化させ、横７２０×縦４８０画素のエリアに左上から順に配置したときのデッドスペースを順次に求め、デッドスペースが最小となる場合を求める。
【００５１】
ここでは、全景映像１０１、講師映像１０２および資料映像１０３のフレーム画像の総面積が横７２０×縦４８０画素の面積に等しくなるようにしているのだが、デッドスペースがある場合は、各フレーム画像を横７２０×縦４８０画素のエリアに収めることができない。そこで、配置情報生成部１５は、デッドスペースが最小となった場合の各フレーム画像を例えば大きさが３／１０未満にならないように段階的に縮小し、デッドスペースが最小となるような場合を求め、この状態を示す配置情報を生成する。
【００５２】
配置情報の生成方法についての第２の実施例は以下のとおりである。
第２の実施例では、全景映像１０１、講師映像１０２および資料映像１０３の中で重要度の高い順に配置を決定していく。
【００５３】
図５の時刻Ａにおいて、全景映像１０１の重要度が「０．１８」、講師映像１０２の重要度が「０．５」、資料映像１０３の重要度が「１．０」であるとする。
【００５４】
この場合、配置情報生成部１５は、重要度の最も高い資料映像１０３のフレーム画像の大きさを、重要度の比率が１／（０．１８＋０．５＋１．０）＝０．６であることから、７２０×４８０画素の６０％の面積となるように変換する。配置情報生成部１５は、例えば、図３（ｄ）に示すような横６４０×縦４８０を横４６７×縦３５０に変換し、図６（ａ）に示すように、全体映像の左上に配置する。
【００５５】
次に、配置情報生成部１５は、重要度が２番目に高い講師映像１０２のフレーム画像の大きさを、資料映像１０３と同様、重要度の比率により、７２０×４８０画素の３０％の面積となるように変換する。配置情報生成部１５は、例えば、図３（ｃ）に示すような横１５０×縦１６０を約２．０８倍の横３１２×縦３３３に拡大する。しかし、これでは、図６（ａ）のデッドスペースに収まらないので、横２５３×縦２７０に縮小し、図６（ｂ）に示すように配置する。
【００５６】
次に、配置情報生成部１５は、重要度の最も低い全景映像１０１のフレーム画像の大きさを、資料映像１０３と同様、重要度の比率により、変換する。配置情報生成部１５は、例えば、図３（ｂ）に示すような横６６０×縦３６０を約０．３倍の横１９８×縦１０８に縮小する。しかし、これでは、図６（ｂ）のデッドスペースに対して小さすぎるので、配置情報生成部１５は、横２５３×縦１３８に拡大し、図６（ｃ）に示すように配置する。
【００５７】
次に、配置情報生成部１５は、図６（ｃ）のデッドスペースをより小さくすべく、図６（ｄ）に示すように、例えば、全景映像１０１および資料映像１０３のアスペクト比を、アスペクト比変化率の制約（上限と下限）を維持しつつ、変化させる。配置情報生成部１５は、講師映像１０２についてのアスペクト比変化率の上限および下限が共に「１」であり、アスペクト比を変化させられず、全景映像１０１および資料映像１０３のアスペクト比変化率の上限および下限が「０．８」および「１．２」であり、アスペクト比を変化させられる場合には、このように全景映像１０１および資料映像１０３のアスペクト比のみを変化させる。
【００５８】
最後に、配置情報生成部１５は、該当時刻の位置関係情報を取得し、その中の講師のエリアの中心座標値と資料のエリアの中心座標値に基づいて、例えば、講師が資料の左側に立っていると判断すれば、図６（ｅ）に示すように、全景映像１０１および講師映像１０２が資料映像１０３の左側になるような配置情報を生成する。つまり、図６（ｅ）に示すような配置を示す配置情報が時刻Ａでの配置情報となる。
【００５９】
なお、図５に示すような、映像における各時刻についての重要度を基に、各時刻についての配置情報を生成すると、配置が頻繁に変化し、見にくくなることがあるので、図７に示すように、重要度をステップ関数で近似し、こうした処理後の重要度を用いるようにしてもよい。
【００６０】
図２に戻り、最後に、映像編集部１８は、全景映像１０１、講師映像１０２および資料映像１０３における各時刻のフレーム画像を当該時刻の配置情報のとおりに適宜拡大または縮小して配置して全体映像の該当フレームを生成し（Ｓ１１）、処理を終える。つまり、映像編集部１８は、全景映像１０１、講師映像１０２および資料映像１０３、ならびに、各配置情報を基に、全体映像を生成し、処理を終える。
【００６１】
なお、本実施の形態においては、場合によっては、変動許容情報記憶部１６および変動許容情報算出部１７は使用せず、つまり、拡大率やアスペクト比変化率に制約を設けなくてもよい。または、一方のみに制約を設けてもよい。または、予め定められた構成要素映像についてのみ制約を設けてもよい。
【００６２】
したがって、本実施の形態に係る配置情報生成装置１によれば、講師および資料を同一位置から見たときの位置関係を求める位置関係算出部１３と、講師映像１０２および資料映像１０３のそれぞれの重要度を算出する重要度算出部１４と、重要度に応じた大きさの講師映像１０２および資料映像１０３が全体映像を構成するように配置され、かつ、全体映像を見たときの講師映像１０２および資料映像１０３の位置関係が講師および資料の位置関係と同じであるように講師映像１０２および資料映像１０３が配置された状態を示す配置情報を生成する配置情報生成部１５とを備えるので、全体映像により、講師および資料が実際とは逆にならず、かつ、重要度に応じた大きさで講師および資料を見ることを可能にすることができる。これにより、講師が投影された資料の右から左に移動するというような臨場感が全体映像には反映され、誘目性の高い全体映像を得ることが可能となる。
【００６３】
また、全景映像１０１により、講義会場の全景を、その重要度に応じた大きさで見ることを可能にすることができる。
【００６４】
また、資料映像１０３の拡大率を下限以上としたので、資料映像１０３の中の文字が読めなくなるというような不都合を防止することができる。
【００６５】
また、全景映像１０１および資料映像１０３のアスペクト比変化率を下限以上かつ上限以下にするので、講義会場の全景を実感でき、また、資料映像１０３の中の文字が読めなくなるというような不都合を防止することができる。
【００６６】
なお、本実施の形態に係る配置情報生成装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【００６７】
また、本実施の形態では、講義の様子を示す全体映像のための配置情報を生成する例を示したが、全体映像は講義の様子を示すものに限らない。一例を挙げれば、演劇の様子を示すものでもよい。この場合、各役者の構成要素映像の位置関係が実際の役者と同じように変化し、かつ、各役者の構成要素映像の大きさが動的に変化する臨場感の高い全体映像を得ることができる。
【符号の説明】
【００６８】
１…映像編集装置
１１…構成要素映像取得部
１２…構成要素映像記憶部
１３…位置関係算出部
１４…重要度算出部
１５…配置情報生成部
１６…変動許容情報記憶部
１７…変動許容情報算出部
１８…映像編集部
１０１…全景映像
１０２…講師映像
１０３…資料映像
【特許請求の範囲】
【請求項１】
複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成する配置情報生成装置であって、
前記複数の構成要素映像を取得する構成要素映像取得部と、
前記取得された複数の構成要素映像が記憶される構成要素映像記憶部と、
前記構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を予め与えられた情報から求める位置関係算出部と、
前記構成要素情報記憶部から前記複数の構成要素映像を読み出し、該各構成要素映像の内容に基づいて、当該構成要素映像の重要度を算出する重要度算出部と、
前記重要度に応じた大きさの前記複数の構成要素映像が前記全体映像を構成するように配置され、かつ、前記全体映像を見たときの前記複数の構成要素映像の位置関係が前記被写体同士の位置関係と同じであるように前記複数の構成要素映像が配置された状態を示す配置情報を生成する配置情報生成部と
を備えることを特徴とする配置情報生成装置。
【請求項２】
前記全体映像を構成する少なくとも１つの構成要素映像が大きさの変化後の映像である場合の変化前の大きさに対する変化後の大きさの比率である拡大率の下限、および／または、前記全体映像を構成する少なくとも１つの構成要素映像がアスペクト比の変化後の映像である場合の変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が記憶される変動許容情報記憶部を備え、
前記配置情報生成部は、前記拡大率が前記拡大率の前記下限以上となるようにする、および／または、前記アスペクト比変化率が前記アスペクト比変化率の前記下限以上かつ前記アスペクト比変化率の前記上限以下になるようにする
ことを特徴とする請求項１記載の配置情報生成装置。
【請求項３】
複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成する配置情報生成装置の動作方法であって、
前記配置情報生成装置は、前記複数の構成要素映像を取得する構成要素映像取得部と、前記取得された複数の構成要素映像が記憶される構成要素映像記憶部とを備え、
前記動作方法は、
前記配置情報生成装置の位置関係算出部が、前記構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を予め与えられた情報から求め、
前記配置情報生成装置の重要度算出部が、前記構成要素情報記憶部から前記複数の構成要素映像を読み出し、該各構成要素映像の内容に基づいて、当該構成要素映像の重要度を算出し、
前記配置情報生成装置の配置情報生成部が、前記重要度に応じた大きさの前記複数の構成要素映像が前記全体映像を構成するように配置され、かつ、前記全体映像を見たときの前記複数の構成要素映像の位置関係が前記被写体同士の位置関係と同じであるように前記複数の構成要素映像が配置された状態を示す配置情報を生成する
ことを特徴とする配置情報生成装置の動作方法。
【請求項４】
前記配置情報生成装置は、前記全体映像を構成する少なくとも１つの構成要素映像が大きさの変化後の映像である場合の変化前の大きさに対する変化後の大きさの比率である拡大率の下限、および／または、前記全体映像を構成する少なくとも１つの構成要素映像がアスペクト比の変化後の映像である場合の変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が記憶される変動許容情報記憶部を備え、
前記配置情報生成部は、前記拡大率が前記拡大率の前記下限以上となるようにする、および／または、前記アスペクト比変化率が前記アスペクト比変化率の前記下限以上かつ前記アスペクト比変化率の前記上限以下になるようにする
ことを特徴とする請求項３記載の配置情報生成装置の動作方法。
【請求項５】
請求項１または２記載の配置情報生成装置としてコンピュータを機能させるためのコンピュータプログラム。
【請求項１】
複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成する配置情報生成装置であって、
前記複数の構成要素映像を取得する構成要素映像取得部と、
前記取得された複数の構成要素映像が記憶される構成要素映像記憶部と、
前記構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を予め与えられた情報から求める位置関係算出部と、
前記構成要素情報記憶部から前記複数の構成要素映像を読み出し、該各構成要素映像の内容に基づいて、当該構成要素映像の重要度を算出する重要度算出部と、
前記重要度に応じた大きさの前記複数の構成要素映像が前記全体映像を構成するように配置され、かつ、前記全体映像を見たときの前記複数の構成要素映像の位置関係が前記被写体同士の位置関係と同じであるように前記複数の構成要素映像が配置された状態を示す配置情報を生成する配置情報生成部と
を備えることを特徴とする配置情報生成装置。
【請求項２】
前記全体映像を構成する少なくとも１つの構成要素映像が大きさの変化後の映像である場合の変化前の大きさに対する変化後の大きさの比率である拡大率の下限、および／または、前記全体映像を構成する少なくとも１つの構成要素映像がアスペクト比の変化後の映像である場合の変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が記憶される変動許容情報記憶部を備え、
前記配置情報生成部は、前記拡大率が前記拡大率の前記下限以上となるようにする、および／または、前記アスペクト比変化率が前記アスペクト比変化率の前記下限以上かつ前記アスペクト比変化率の前記上限以下になるようにする
ことを特徴とする請求項１記載の配置情報生成装置。
【請求項３】
複数の構成要素映像が全体映像を構成するように配置された状態を示す配置情報を生成する配置情報生成装置の動作方法であって、
前記配置情報生成装置は、前記複数の構成要素映像を取得する構成要素映像取得部と、前記取得された複数の構成要素映像が記憶される構成要素映像記憶部とを備え、
前記動作方法は、
前記配置情報生成装置の位置関係算出部が、前記構成要素映像ごとに定められた当該構成要素映像に映る被写体を同一位置から見たときの当該被写体同士の位置関係を予め与えられた情報から求め、
前記配置情報生成装置の重要度算出部が、前記構成要素情報記憶部から前記複数の構成要素映像を読み出し、該各構成要素映像の内容に基づいて、当該構成要素映像の重要度を算出し、
前記配置情報生成装置の配置情報生成部が、前記重要度に応じた大きさの前記複数の構成要素映像が前記全体映像を構成するように配置され、かつ、前記全体映像を見たときの前記複数の構成要素映像の位置関係が前記被写体同士の位置関係と同じであるように前記複数の構成要素映像が配置された状態を示す配置情報を生成する
ことを特徴とする配置情報生成装置の動作方法。
【請求項４】
前記配置情報生成装置は、前記全体映像を構成する少なくとも１つの構成要素映像が大きさの変化後の映像である場合の変化前の大きさに対する変化後の大きさの比率である拡大率の下限、および／または、前記全体映像を構成する少なくとも１つの構成要素映像がアスペクト比の変化後の映像である場合の変化前のアスペクト比に対する変化後のアスペクト比の比率であるアスペクト比変化率の上限および下限が記憶される変動許容情報記憶部を備え、
前記配置情報生成部は、前記拡大率が前記拡大率の前記下限以上となるようにする、および／または、前記アスペクト比変化率が前記アスペクト比変化率の前記下限以上かつ前記アスペクト比変化率の前記上限以下になるようにする
ことを特徴とする請求項３記載の配置情報生成装置の動作方法。
【請求項５】
請求項１または２記載の配置情報生成装置としてコンピュータを機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−２７０２５（Ｐ２０１３−２７０２５Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１６３２７９（Ｐ２０１１−１６３２７９）
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]