追尾撮像装置およびこれを利用した追尾撮像システム
【課題】被写体の背景にある重要な情報も逃さず撮影するとともに、見る人に見やすい映像を撮影することができる追尾撮像装置およびこれを利用した追尾撮像システムを提供する。
【解決手段】指定された基準画角内を撮影した画像から被写体の位置を検出する被写体検出部２０２と、被写体による任意の場所を指し示す特定のジェスチャが行われた位置を検出するジェスチャ検出部２０３と、ジェスチャにより指し示された意味のある情報が集合した領域である指示領域の位置を検出する図形検出部２０５と、特定された前記被写体の位置と前記指示領域の位置との中心を重心とした表示画角を撮影された画像から抽出する画像切り出し部２０９とを備え、被写体および被写体の背景にある重要な情報の画像を得ることができる。
【解決手段】指定された基準画角内を撮影した画像から被写体の位置を検出する被写体検出部２０２と、被写体による任意の場所を指し示す特定のジェスチャが行われた位置を検出するジェスチャ検出部２０３と、ジェスチャにより指し示された意味のある情報が集合した領域である指示領域の位置を検出する図形検出部２０５と、特定された前記被写体の位置と前記指示領域の位置との中心を重心とした表示画角を撮影された画像から抽出する画像切り出し部２０９とを備え、被写体および被写体の背景にある重要な情報の画像を得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の被写体を検出するとともに追尾して撮影する追尾撮像装置およびこれを利用した追尾撮像システムに関する。
【背景技術】
【０００２】
近年、大学や予備校などでは、講義の風景を撮影した映像を衛星やインターネットを介して遠隔地にいる受講者が受信して視聴するような遠隔講義が行われている。特に最近における生涯学習がさかんになるにつれて、その需要が増えてきている。
【０００３】
従来の遠隔講義は、テレビ放送の製作会社などが作成したプログラム番組の中で行われるものや、大手の予備校が衛星回線を使用して行うサテライト講義など多大な費用や手間がかかる大規模なものが多かったが、近年はインターネットの普及および接続回線のブロードバンド化により撮影した講義風景の映像を安価で容易に受講者に配信することが可能になっている。
【０００４】
これらの遠隔講義の映像を撮影する際は、講師が自在に移動したり、黒板やスクリーンに写し出された資料や機材など（以下、「講義情報」と称する）を使用したりする状況に伴って撮像装置の向きを変えるパン、チルト機能やズーム機能などの操作が必要となる。しかし、これらの機能操作は手動で行われており、手間がかかるものであった。このとき、常に講師と講義情報とがすべて画角に入るように広いエリアを撮影すれば操作の手間はかからないが、講義情報の細部などが画面上で見づらくなるため、適宜カメラの向きやズーム倍率を変更して撮影する必要がある。
【０００５】
このようなパン、チルト、ズーム機能の操作を自動化する技術が特許文献１および特許文献２に記載されている。
【０００６】
特許文献１には、教壇など撮影すべきエリアをすべて収める広角カメラと、駆動部を持ちターゲット（被写体）を追尾して撮影する追尾カメラとを配置することにより、広角カメラで検出したターゲットの重心が画角の中心となるように追尾カメラでズーム拡大して撮影する技術が記載されている。
【０００７】
この特許文献１の技術により、講師などの被写体をカメラが自動で認識するため、人的な手間を大幅に削減して拡大された被写体を撮影することができる。
【０００８】
また、特許文献２には、予めいくつかのショット（撮影画角）を登録しておき、撮影により検出した被写体の重心座標に基づいて、被写体が撮影画角に収まるようなショットを登録されたショットの中から選出し、そのショットで撮影を行う技術が記載されている。
【０００９】
この特許文献２の技術により、カメラの動作を極力少なくして、見やすい映像により被写体を自動追尾して撮影することが可能になる。
【特許文献１】特開２００４−２８９７７９号公報
【特許文献２】特開２００１−１６０９１６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、上記の特許文献１の技術は、広角カメラと追尾カメラとの２台のカメラを使用するため、システムが大掛かりになり設定が複雑になるという問題があった。また、この技術では被写体の重心位置が画面の中心になるように追尾カメラで追尾を行っているので、被写体をはっきりと映すことが重要である監視用カメラなどには適している。しかし、講義のように被写体として認識される講師の背景にある講義情報も重要な情報であるようなものの撮影には適さない場合があるという問題があった。
【００１１】
また、特許文献２の技術は、予め登録された撮影画角で撮影が行われるため、講師がダイナミックに移動したときや異なる撮影画角の境界付近にいるときには、多少の撮影画角の重なりをオーバーラップエリアとして考慮したとしても講師の少しの動きで撮影画角が頻繁に切り替わり、受講者に見づらい映像になってしまう可能性があるという問題があった。
【００１２】
そこで、本発明は、上記事情に鑑みてなされたものであり、被写体の背景にある重要な情報も逃さず撮影するとともに、見やすい映像を撮影することができる追尾撮像装置およびこれを利用した追尾撮像システムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するための本発明の請求項１に記載の追尾撮像装置は、追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するカメラ部を備えたものであり、カメラ部が、追尾撮影エリア内を撮影して得られた画像から第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、検出された第１被写体が重要背景エリア内の任意の位置を差し示す所定のジェスチャを検出するとともに、検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、取得された位置座標に基づいて第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、第１及び第２被写体の画像を所定の画角で撮影画像から抽出する画像切り出し部とを備えたことを特徴とする。
【００１４】
また、請求項２は請求項１に記載の追尾撮像装置であり、被写体検出部は、画像切り出し部から抽出された第１画像から検出した第１被写体の重心位置座標と、第１画像よりも後に撮影されて抽出された第２画像から検出した第１被写体の重心位置座標との距離が、あらかじめ設定された移動許容値以下である場合は、第２画像の画角を第１画像の画角と同一にするように構成したことを特徴とする。
【００１５】
また、請求項３に記載の追尾撮像装置は、追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するパン、チルト、及びズーム機能を有するカメラ部を備えたものであり、カメラ部が、追尾撮影エリア内を撮影して得られた画像から第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、検出された第１被写体が重要背景エリア内の任意の位置を指し示す所定のジェスチャを検出するとともに、検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、取得された位置座標に基づいて第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、パン、チルト、及びズームのうち少なくとも一の撮影制御機能により、第１及び第２被写体の画像を所定の画角で撮影するようにカメラ部を制御するカメラ制御部とを備えたことを特徴とする。
【００１６】
また、請求項４は請求項３に記載の追尾撮像装置は、被写体検出部は、カメラ制御部の制御によってカメラ部で撮影された第１画像から検出した第１被写体の重心位置座標と、第１画像よりも後に撮影されて抽出された第２画像から検出した第１被写体の重心位置座標との距離が、あらかじめ設定された移動許容値以下である場合は、第２画像の画角を第１画像の画角と同一にするように構成したことを特徴とする。
【００１７】
また、請求項５に記載の追尾撮像システムは、追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するカメラ部を備えた追尾撮像装置と、カメラ部で撮影された画像を表示する表示端末とがネットワークを介してそれぞれ接続されたものであり、追尾撮像装置は、カメラ部が、追尾撮影エリア内を撮影して得られた画像から第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、検出された第１被写体が重要背景エリア内の任意の位置を差し示す所定のジェスチャを検出するとともに、検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、取得された位置座標に基づいて第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、第１及び第２被写体の画像を所定の画角で撮影画像から抽出する画像切り出し部と、抽出された画像をネットワークに送出するための通信制御部とを備えるとともに、表示端末は、追尾撮像装置から送出された画像を受信する通信制御部と、受信された画像を表示出力する出力部とを備えたことを特徴とする。
【００１８】
また、請求項６に記載の追尾撮像システムは、追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するパン、チルト、及びズーム機能を有するカメラ部を備えた追尾撮像装置と、カメラ部で撮影された画像を表示する表示端末とがネットワークを介してそれぞれ接続されたものであり、追尾撮像装置は、カメラ部が、追尾撮影エリア内を撮影して得られた画像から第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、検出された第１被写体が重要背景エリア内の任意の位置を指し示す所定のジェスチャを検出するとともに、検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、取得された位置座標に基づいて第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、パン、チルト、及びズームのうち少なくとも一の撮影制御機能により、第１及び第２被写体の画像を所定の画角で撮影するようにカメラ部を制御するカメラ制御部と、撮影された画像をネットワークに送出するための通信制御部とを備えるとともに、表示端末は、追尾撮像装置から送出された画像を受信する通信制御部と、受信された画像を表示出力する出力部とを備えたことを特徴とする。
【発明の効果】
【００１９】
本発明の追尾撮像装置およびこれを利用した追尾撮像システムによれば、被写体の背景にある重要な情報も確実に逃さず捉えることができ、見やすく且つ講義など内容の把握に効果的な映像を撮影することができる。
【発明を実施するための最良の形態】
【００２０】
《第１実施形態》
本発明の第１実施形態による追尾撮像装置は、遠隔講義などに利用するための講義の映像を撮影し、検出した被写体を中心とした画角を切り出して表示するものである。
【００２１】
〈第１実施形態による追尾撮像装置の構成〉
本実施形態による追尾撮像装置１の構成を、図１〜図３を用いて説明する。図１は、本実施形態による追尾撮像装置１の構成を示すブロック図である。図２は、本実施形態による追尾撮像装置１により撮影が行われる空間を示す説明図であり、図３は、図２の空間内で実際に撮影が行われるエリアを示す説明図である。
【００２２】
本実施形態による追尾撮像装置１は、空間３０内の講義が行われる教壇がすべて含まれる基準画角３０１で撮影するカメラ部１０と、カメラ部１０で撮影した映像を処理する制御端末２０とを有する。
【００２３】
カメラ部１０は、人物（第１被写体）を撮影するとともに実際にモニタなどに表示する講義の映像よりも高解像度な映像の撮影が可能であり、撮影された黒板などに書かれた文字や図、スクリーンに映し出された資料、必要な機材などの講義情報（第２被写体）をユーザが認識可能な状態に表示できる解像度で撮影する。
【００２４】
制御端末２０は、プリセット部２０１と、被写体検出部２０２と、ジェスチャ検出部２０３と、カメラ制御部２０４と、図形検出部２０５と、表示部２０６と、入力部２０７と、記憶装置２０８と、画像切り出し部２０９と、スケーリング部２１０と、制御部２１１とを有する。
【００２５】
プリセット部２０１は、被写体の検出および追尾を行う追尾エリア３０２の設定と、この追尾エリア３０２内で講義情報が含まれる重要背景エリア３０３の設定と、講義風景を遠隔地などのモニタやスクリーンに表示するための画像として、撮影した画像から被写体および後述する指示領域などの対象物部分を切り出す範囲である表示画角と、実際にモニタなどにスケーリングして表示を行う際の映像のサイズである表示画角サイズの設定とを含む初期設定を行う。
【００２６】
被写体検出部２０２は、指定されたエリア内を撮影して得られた画像において追尾エリア３０２内に入った第１被写体の検出を行うとともに、検出された第１被写体の位置を特定する。
【００２７】
ジェスチャ検出部２０３は、検出された第１被写体による重要背景エリア３０３内の任意の場所を指し示す特定のジェスチャを検出するとともに、検出されたジェスチャによって指し示された位置の位置座標を取得する。
【００２８】
カメラ制御部２０４は、カメラ部１０の起動、撮影の開始および停止等を制御する。
【００２９】
図形検出部２０５は、特定されたジェスチャが行われた位置から、重要背景エリア３０３内にあるユーザに必要な講義情報のうちジェスチャにより指し示された意味のある情報が集合した領域を指示領域として検出するとともに、この指示領域の重心位置座標を取得する。
【００３０】
表示部２０６は、撮影した映像を確認のためなどに表示する。
【００３１】
入力部２０７は、プリセット部２０１で行う設定や撮影の開始および停止などの命令を入力する。
【００３２】
記憶装置２０８は、プリセット部２０１で行った設定内容や撮影した映像データを記録する。
【００３３】
画像切り出し部２０９は、撮影した基準画角３０１のフレーム画像から被写体３０４や指示領域が映っている部分など必要な情報を含む表示画角を所定の画角で撮影画像から抽出する。
【００３４】
スケーリング部２１０は、画像切り出し部２０９で切り出された表示画角がプリセット部２０１で設定された表示画角サイズと異なる場合に切り出された表示画角の画像サイズの調整を行う。
【００３５】
制御部２１１は、上記のプリセット部２０１〜スケーリング部２１０を制御する。
【００３６】
〈第１実施形態による追尾撮像装置の動作〉
本発明の第１実施形態による追尾撮像装置１の動作を、図４〜図７のフローチャートを参照して説明する。
【００３７】
まず、制御端末２０のプリセット部２０１で行われる初期設定の動作について図４を参照して説明する。
【００３８】
図２に示す教室などのような空間３０で被写体の検出、追尾を行いたいエリア、例えば講義を行う教壇がすべて含まれる画像が撮影できる場所にカメラ部１０が設置され、その画角が基準画角３０１として図３のように設定される（Ｓ４０１）。
【００３９】
次に、図３の基準画角３０１内で被写体の検出および追尾が行われる領域が、追尾エリア３０２として設定される（Ｓ４０２）。
【００４０】
次に、設定された追尾エリア３０２内で講義情報が含まれる領域が、重要背景エリア３０３として設定される（Ｓ４０３）。
【００４１】
さらに、この講義風景が遠隔地などのモニタやスクリーンに表示されるときの画角であり、検出した被写体および指示領域などの対象物を切り出す範囲である表示画角と、その表示時の解像度になる表示画角サイズが設定される（Ｓ４０４）。このとき、表示画角サイズ≦カメラの解像度サイズとなるように設定される。
【００４２】
さらに、表示画角が切り出された画像である第１画像で検出された被写体の位置と、この第１画像よりも後に撮影された第２画像で検出された被写体の位置との移動距離が所定値（移動許容値）以下のときには表示画角が変わらないように、被写体の移動許容量が設定される。これは、被写体の微量の移動によって頻繁に表示画角が変わると見る人にとって見づらい映像になるためである。この移動許容量は、想定される被写体の動作スピードおよび移動量によって設定値が定められる。
【００４３】
これらのステップＳ４０１〜ステップＳ４０４の初期設定は入力部２０７により行われ、記憶装置２０８に記憶される。
【００４４】
次に、カメラ部１０で行われる講義の撮影の動作について図５、６、８を参照して説明する。
【００４５】
まず、制御端末２０のカメラ制御部２０４によりカメラ部１０が起動されると（Ｓ４１０の「Yes」）、図６のフローチャートに従って撮影処理（Ａ）が行われる（Ｓ４１１）。図６の撮影処理（Ａ）について説明する。
【００４６】
カメラ部１０が起動されると、まず基準画角３０１の撮影が開始される（Ｓ４１２）。ここでは基準画角３０１全体が表示画角として設定され（Ｓ４１３）、被写体検出部２０２により追尾エリア３０２内での被写体３０４の検出が行われる（Ｓ４１４）。
【００４７】
追尾エリア３０２内に誰も存在せず、被写体検出部２０２において被写体未検出の間（Ｓ４１４の「No」）は、ステップＳ４１３に戻りそのまま基準画角３０１全体が表示画角として設定されるとともに、後述する保存処理（Ｂ）に従って撮影された画像が記憶装置２０８に保存される。
【００４８】
追尾エリア３０２内に被写体３０４が入り、被写体検出部２０２により被写体３０４が検出されたときは（Ｓ４１４の「Yes」）、この被写体３０４の位置３０４Ａおよび被写体３０４の重心位置３０５Ａが求められる（Ｓ４１５）。
【００４９】
次に、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる（Ｓ４１６）。ここで言う特定のジェスチャとは、被写体３０４が重要背景内のある部位を指し示す動作のことであり、腕や手指、指し棒などの形状や動く方向、移動の仕方、滞留時間などによって検出される。
【００５０】
ジェスチャ検出部２０３において被写体３０４の特定のジェスチャが未検出であったときは（Ｓ４１６の「No」）、被写体３０４を含み被写体位置３０４Ａにおける被写体３０４の重心位置３０５Ａが中心となるような位置に表示画角３０６Ａが設定される（Ｓ４１７）。
【００５１】
設定された表示画角３０６Ａの画像は、図７のフローチャートに従って保存処理（Ｂ）が行われる（Ｓ４１８）。図７の保存処理（Ｂ）について説明する。
【００５２】
まず、設定された表示画角３０６Ａ部分が、画像切り出し部２０９により基準画角から切り出される（Ｓ４１９）。
【００５３】
切り出された表示画角３０６Ａの画像サイズＴ（Ｔｘ，Ｔｙ）が予め初期設定で設定された表示画角の画像サイズＤ（Ｄｘ，Ｄｙ）より大きい場合（Ｓ４２０の（１））は、スケーリング部２１０において（Ｔｘ≦Ｄｘ）∩（Ｔｙ≦Ｄｙ）となる最大サイズに表示画角３０６Ａの画像が縮小される（Ｓ４２１）。
【００５４】
また、切り出された表示画角３０６Ａの画像サイズＴ（Ｔｘ，Ｔｙ）が予め初期設定で設定された表示画角の画像サイズＤ（Ｄｘ，Ｄｙ）より小さい場合（Ｓ４２０の（３））は、スケーリング部２１０において（Ｔｘ≦Ｄｘ）∩（Ｔｙ≦Ｄｙ）となる最大サイズに表示画角３０６Ａの画像が拡大される（Ｓ４２２）。
【００５５】
また、切り出された表示画角３０６Ａの画像サイズＴ（Ｔｘ，Ｔｙ）と予め初期設定で設定された表示画角の画像サイズＤ（Ｄｘ，Ｄｙ）とが同じ場合（Ｓ４２０の（２））は、縮小または拡大のスケーリングは行われない。
【００５６】
表示画角３０６Ａの画像が予め設定された表示画角の画像サイズにスケーリングされた状態の画像を図９に示す。図９では、被写体３０４の重心位置３０５Ａが表示画角３０６Ａの中心に位置している。
【００５７】
所定サイズにスケーリングされた表示画角３０６Ａの画像は記憶装置２０８に保存される（Ｓ４２３）。以上で保存処理（Ｂ）が終了する。
【００５８】
保存処理（Ｂ）が終了すると、追尾エリア３０２内での被写体３０４の検出が継続して行われ（Ｓ４２４）、被写体３０４が未検出であれば（Ｓ４２４の「No」）ステップＳ４１３に戻り基準画角３０１全体が表示画角として設定され、ステップＳ４１４以降の処理が行われる。
【００５９】
ステップＳ４２４において被写体３０４が検出されたときは、被写体３０４が移動したかどうかが判定される（Ｓ４２５）。判定の結果、被写体３０４が移動していれば（Ｓ４２５の「Yes」）、移動距離がプリセット部２０１に設定された移動許容量の範囲内であるかどうかが判定される（Ｓ４２６）。
【００６０】
判定の結果、被写体３０４の移動距離が移動許容量の範囲を超えていた場合は（Ｓ４２６の「No」）、ステップＳ４１５に戻り、図８に示すように移動後の被写体の位置３０４Ｂおよび被写体の重心位置３０５Ｂが求められ、ステップＳ４１６以降の処理が行われる。このときの、被写体３０４の重心位置３０５Ｂが中心となるような位置の画像としては、表示画角３０６Ｂが切り出される。
【００６１】
ステップＳ４２５において被写体３０４が移動しなかったと判定された場合（Ｓ４２５の「No」）、およびステップＳ４２６において被写体の移動距離が設定された移動許容量の範囲内であると判定された場合（Ｓ４２６の「Yes」）は、ステップＳ４１６に戻り、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる。
【００６２】
ステップＳ４１６において、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャ３０７が検出された場合について図１０〜図１２を参照して説明する（Ｓ４１６の「Yes」）。
【００６３】
被写体３０４による特定のジェスチャ３０７が検出されたときは、このジェスチャ３０７の検出位置が重要背景エリア３０３内であるかどうかが判定される（Ｓ４２７）。
【００６４】
判定の結果、重要背景エリア３０３内であると判定された場合は（Ｓ４２７の「Yes」）、図形検出部２０５により重要背景エリア３０３内からジェスチャ３０７で指し示された指示領域３０８が検出される（Ｓ４２８）。
【００６５】
次に、検出された指示領域３０８の重心位置３０９が求められ（Ｓ４２９）、さらに被写体３０４の重心位置３０５Ｃと指示領域３０８の重心位置３０９との中心位置が求められる。
【００６６】
この被写体３０４の重心位置３０５Ｃと指示領域３０８の重心位置３０９との中心位置を重心位置３１０とし、被写体３０４および指示領域３０８を含む画角が表示画角３０６Ｄとして設定される（Ｓ４３０）。
【００６７】
設定された表示画角３０６Ｄは、上述したとおり、図７のフローチャートに従って保存処理（Ｂ）が行われる（Ｓ４１８）。
【００６８】
これらの処理により、図１０において、ジェスチャ３０７が検出される前は図８と同様に被写体３０４のみに基づいて重心位置３０５Ｃを重心とした表示画角３０６Ｃが切り出され図１１のようになるが、ジェスチャ３０７が検出されると被写体３０４および指示領域３０８に基づいて求められた重心位置３１０を重心として表示画角３０６Ｄが切り出され、モニタに表示される画像は図１２のように切り替わる。
【００６９】
また、ステップＳ４２７において、検出されたジェスチャ３０７の検出位置が重要背景エリア３０３内ではなかったと判定された場合は（Ｓ４２７の「No」）、ステップ４１７に進み、被写体３０４を含み被写体位置３０４Ｃにおける被写体３０４の重心位置３０５Ｃが中心となるような位置に表示画角３０６Ｃが設定される。
【００７０】
以上の撮影処理（Ａ）は講義風景が撮影されている間繰り返し実行され、ユーザにより撮影を停止する操作が入力部２０７により行われた場合は（Ｓ４３１の「Yes」）、撮影処理（Ａ）に停止を指示する割り込み信号が送信され（Ｓ４３２）、カメラ制御部２０４によってカメラ部１０の撮影が停止されるとともに、制御端末２０も一連の検出動作および撮影動作が停止される。
【００７１】
ユーザにより撮影を停止する操作が行われていないときは（Ｓ４３１の「No」）、撮影処理（Ａ）は継続して行われる。
【００７２】
以上の第１実施形態による追尾撮像装置によれば、被写体と被写体の背景にある重要な情報とを確実に逃さず捉えることができるとともに、これらの重要な情報は認識可能な解像度で撮影されているため講義内容の把握に効果的な映像を得ることができる。
【００７３】
《第２実施形態》
本発明の第２実施形態による追尾撮像システムは、第１実施形態による追尾撮像装置を用いて撮影された講義等の映像を、ネットワークを介して遠隔地の受講生が受信して視聴する遠隔講義に用いるものである。
【００７４】
〈第２実施形態による追尾撮像システムの構成〉
本実施形態による追尾システムの構成を、図１３を用いて説明する。図１３は、本実施形態による追尾システムの構成を示すブロック図であり、追尾撮像装置２と、ネットワーク３と、ネットワーク３を介して追尾撮像装置２に接続されている表示端末４とから構成されている。
【００７５】
追尾撮像装置２の主な構成は、第１実施形態における追尾撮像装置１の構成と同様であるため詳細な説明は省略する。追尾撮像装置１と異なる点は、講義の音声を録音する音声入力部１１と、制御端末２０に設けられネットワーク３を介して表示端末４と通信を行う通信制御部２１２を有することである。音声入力部１１は、被写体すなわち講師に装着したピンマイクもしくは集音マイクなどである。
【００７６】
ネットワーク３は、インターネット網、公衆網、衛星回線、テレビ回線などが利用できる。
【００７７】
表示端末４は、通信制御部４１と、出力部４２と、入力部４３と、記憶装置４４と、制御部４５とを有する。
【００７８】
通信制御部４１は、制御端末２０とネットワーク３を介して通信を行う。
【００７９】
出力部４２は、コンテンツを再生するスクリーンやモニタなどの映像表示装置およびスピーカなどの音声出力装置から構成される。
【００８０】
入力部４３は、ユーザが出力部４２及び表示端末全体を操作するときに用いる。
【００８１】
記憶装置４４は、必要な設定やコンテンツなどのデータを記憶する。
【００８２】
制御部４５は、上記の通信制御部４１〜記憶装置４４を制御する。
【００８３】
〈第２実施形態による追尾撮像システムの動作〉
本発明の第２実施形態による追尾撮像システムの動作を、図４〜図６、図１４および図１５のフローチャートを参照して説明する。
【００８４】
本実施形態において、講義が撮影されている間、カメラ部１０で撮影された画像は第１実施形態と同様に図４の初期設定が行われた後、図５および図６のフローチャートに従って撮影処理（Ａ）が継続して行われ、音声入力部１１から入力した講義の音声も継続して集音されているものとする。
【００８５】
追尾撮像装置２により撮影された映像および集音された音声であるコンテンツの配信処理について、図１４を参照して説明する。
【００８６】
まず、制御端末２０において撮影および集音されたコンテンツをリアルタイムに配信するか否かが判定される（Ｓ５０１）。リアルタイムに配信しないと判定された場合は（Ｓ５０７の「No」）、記憶装置２０８にコンテンツが保存される（Ｓ５０２）。保存は撮影が終了するまで継続される。
【００８７】
次に、保存されたコンテンツを配信するか否かが判定され、配信すると判定された場合（Ｓ５０３の「Yes」）は、配信先の表示端末４が指定される（Ｓ５０４）。このとき、配信がネットワーク３としてインターネット網を利用して行われるときはＩＰアドレスなどを用いて配信先の表示端末４の指定が行われ、必要があれば表示端末４と所定の通信手続きが行われて接続が確認される。配信先の表示端末４の設定はコンテンツの撮影前に予め行っておいてもよい。また、配信がテレビ放送などのように相手が不特定なブロードキャスト送信による場合は、特定の相手先の指定は行わないが、放送に必要な所定の配信手続きが行われる。
【００８８】
これらの通信準備が完了している状態で、ネットワーク３を介して追尾撮像装置２の通信制御部２１２から表示端末４へのコンテンツの配信が開始される（Ｓ５０５）。
【００８９】
コンテンツの配信が終わるまで、もしくは配信が必要なシーンまでコンテンツの配信が継続され（Ｓ５０６、Ｓ５０７の「No」）、必要な配信が完了すると配信処理が終了する（Ｓ５０７の「Yes」）。
【００９０】
ステップＳ５０３において保存されたコンテンツがここでは配信されず、後で別途配信が行われる場合は（Ｓ５０３の「No」）、処理が終了される。
【００９１】
また、ステップＳ５０１において、リアルタイムに配信すると判定された場合は（Ｓ５０１の「Yes」）、ステップＳ５０４における処理と同様に配信先の指定および確認が行われる（Ｓ５０８）。
【００９２】
ここで、コンテンツを保存する必要があれば（Ｓ５０９の「Yes」）保存し（Ｓ５１０）、その後ネットワーク３を介して追尾撮像装置２の通信制御部２１２から表示端末４へのコンテンツの配信が開始される（Ｓ５０５）。
【００９３】
講義が撮影されている間、コンテンツの配信が継続され（Ｓ５０６）、講義の撮影が終了したときはコンテンツの配信および保存（Ｓ５０９で「Yes」だった場合）が停止されて配信が完了し（Ｓ５０７）、コンテンツの配信処理が終了される。
【００９４】
次に、表示端末４におけるコンテンツの受信処理について、図１５を参照して説明する。
【００９５】
まず、表示端末４はコンテンツを受信するために待機しており、（Ｓ６０１、Ｓ６０２の「No」）、ネットワーク３を介して通信制御部４１で所望のコンテンツが受信されると（Ｓ６０２の「Yes」）処理が開始される。
【００９６】
所望のコンテンツが受信されると、まずこのコンテンツがストリーミングであるかファイル形式であるかが判定される（Ｓ６０３）。
【００９７】
コンテンツがストリーミングの場合は（Ｓ６０３の（１））、制御部４５で受信したコンテンツが再生可能な形式に変換された後、出力部４２から出力され再生、表示される（Ｓ６０４）。このコンテンツの変換および出力はコンテンツの受信が完了するまで継続して行われる（Ｓ６０５の「No」）。
【００９８】
コンテンツの受信が完了すると（Ｓ６０５の「Yes」）、出力部４２からのコンテンツの再生、表示が停止され（Ｓ６０６）、処理が終了する。
【００９９】
ステップＳ６０３において受信されたコンテンツがファイル形式であった場合は（Ｓ６０３の（２））、記憶装置４４にコンテンツが保存される（Ｓ６０７）。このコンテンツの保存はコンテンツの受信が完了するまで継続して行われる（Ｓ６０８の「No」）。
【０１００】
コンテンツの受信が完了すると（Ｓ６０８の「Yes」）、コンテンツがすぐに再生される場合は（Ｓ６０９の「Yes」）コンテンツが再生可能な形式に変換された後、出力部４２から出力され再生、表示される（Ｓ６１０）。このコンテンツの変換および出力はコンテンツの再生が完了するまで継続して行われる（Ｓ６１１の「No」）。
【０１０１】
コンテンツの再生が完了すると（Ｓ６１１の「Yes」）、出力部４２からのコンテンツの再生、表示が停止され、処理が終了する。
【０１０２】
ステップＳ６０９においてコンテンツがすぐに再生されない場合には、処理が終了される（Ｓ６０９の「No」）。
【０１０３】
ストリーミングで受信したときも、保存が行われる場合には記憶装置４４にコンテンツの保存が行われると同時に再生、表示が行われる。
【０１０４】
ここでは追尾撮像装置２から能動的にコンテンツを配信する例を示したが、必要に応じて表示端末４の入力部４３から追尾撮像装置２の制御端末２０に所望のコンテンツの配信要求を行い、追尾撮像装置２から受信するようにしてもよい。
【０１０５】
以上の第２実施形態による追尾撮像制御システムによれば、第１実施形態と同様の効果を得ることができるとともに、ネットワークを介して遠隔地に撮影したコンテンツを配信することができる。
【０１０６】
《第３実施形態》
本発明の第３実施形態による追尾撮像システムは、第２実施形態による追尾撮像システムを用いて撮影された講義等の映像を表示する際に、被写体と指示領域とを別々の映像として表示して遠隔講義に用いるものである。
【０１０７】
〈第３実施形態による追尾撮像システムの構成〉
本実施形態による追尾撮像システムの構成は、第２実施形態と同様であるため、詳細な説明は省略する。
【０１０８】
〈第３実施形態による追尾撮像システムの動作〉
本発明の第３実施形態による追尾撮像システムの動作を、図２、図３、図１６〜図２５を参照して説明する。
【０１０９】
まず、追尾撮像装置２により撮影した映像および集音した音声であるコンテンツの配信処理について、図１４を参照して説明する。
【０１１０】
まず、制御端末２０のプリセット部２０１で行われる初期設定の動作について図１６を参照して説明する。
【０１１１】
図２に示す教室などのような空間３０で被写体の検出、追尾を行いたいエリア、例えば講義を行う教壇がすべて含まれる画像が撮影できる場所にカメラ部１０が設置され、その画角が基準画角３０１として図３のように設定される（Ｓ７０１）。
【０１１２】
次に、図３の基準画角３０１内で被写体の検出および追尾が行われる領域が、追尾エリア３０２として設定される（Ｓ７０２）。
【０１１３】
次に、設定された追尾エリア３０２内で講義情報が含まれる領域が、重要背景エリア３０３として設定される（Ｓ７０３）。
【０１１４】
さらに、この講義風景を遠隔地などのモニタやスクリーンに表示するときの画角であり、検出した被写体を中心として画像を切り出す範囲である第１表示画角と、指示領域を中心とした画像を切り出す範囲である第２表示画角と、被写体の表示時の解像度である第１表示画角サイズと、指示領域の表示時の解像度である第２表示画角サイズとが設定される（Ｓ７０４）。
【０１１５】
ここで、第１の表示画角は、図１８に示すように検出した被写体３０４（身体全体もしくは顔、頭部など）から表示したい領域の重心位置３１１を中心に領域３１２（Ｈｘ，Ｈｙ）が抜き出され、第１の表示画角に対して被写体が常に同じ比率で表示されるように横方向にｈｘ、縦方向にｈｙの枠領域部分が追加される。ここでは、バストショットになるような画角を第１の表示画角３１３（Ｘ１，Ｙ１）としている。
【０１１６】
また、第２の表示画角は、図１９に示すように検出した指示領域の重心位置３０９を中心に領域３０８（Ｓｘ，Ｓｙ）が抜き出され、第２の表示画角に対して指示領域が常に同じ比率で表示されるように横方向にｓｘ、縦方向にｓｙの枠領域部分が追加される。このようにして、第２の表示画角３１４（Ｘ２，Ｙ２）が設定される。
【０１１７】
指示領域のアスペクト比は一定ではないので、ｓｘ、ｓｙは検出されたアスペクト比によって変更できるように複数の値を設定して保存しておいてもよい。または、ｓｘ、ｓｙはアスペクト比にあわせて計算によって求めるようにしてもよい。
【０１１８】
このとき、カメラ部１０が撮影する映像の解像度を（Ｘ，Ｙ）とすると、第１の表示画角のサイズは（Ｘ１≦Ｘ）∩（Ｙ１≦Ｙ）であり、第２の表示画角サイズは（Ｘ２≦Ｘ）∩（Ｙ２≦Ｙ）となる最大サイズになるように設定される。
【０１１９】
さらに、第１実施形態と同様に被写体の移動許容量が設定される。これらのステップＳ７０１〜ステップＳ７０４の初期設定は入力部２０７により行われ、記憶装置２０８に記憶される。
【０１２０】
次に、カメラ部１０で行われる講義の撮影の動作について図５および図１７を参照して説明する。
【０１２１】
まず、第１実施形態と同様に制御端末２０のカメラ制御部２０４によりカメラ部１０が起動されると（Ｓ４１０の「Yes」）、図１７のフローチャートに従って撮影処理（Ｃ）が行われる（Ｓ４１１）。図１７の撮影処理（Ｃ）について説明する。
【０１２２】
カメラ部１０が起動されると、まず基準画角３０１の撮影が開始される（Ｓ８０１）。ここでは基準画角３０１全体が第１の表示画角および第２の表示画角として設定され（Ｓ８０２）、被写体検出部２０２により追尾エリア３０２内での被写体３０４の検出が行われる（Ｓ８０３）。
【０１２３】
追尾エリア３０２内に誰も存在せず、被写体検出部２０２において被写体未検出の間（Ｓ８０３の「No」）は、ステップＳ８０２に戻りそのまま基準画角３０１全体が第１の表示画角および第２の表示画角として設定されるとともに、第１実施形態と同様に保存処理（Ｂ）に従って撮影された画像が記憶装置２０８に保存される（Ｓ８０４）。
【０１２４】
このとき、第１の表示画角または第２の表示画角として設定され切り出された画像サイズがプリセット部２０１で予め設定された各表示画角サイズと異なっている場合は、同じサイズになるように、スケーリング部２１０において第１の表示画角または第２の表示画角として切り出された画像が拡大または縮小される。
【０１２５】
このように調整された画像がモニタに出力された状態を、図２０に示す。図２０において、画像３１５は予め設定された第１の表示画角として切り出された基準画角３０１の画像であり、画像３１６は第２の表示画角として切り出された基準画角３０１の画像である。
【０１２６】
追尾エリア３０２内に被写体が入った場合を、図２１を参照して説明する。
【０１２７】
追尾エリア３０２内に被写体３０４が入り、被写体検出部２０２により検出されたときは（Ｓ８０３の「Yes」）、この被写体３０４の位置３０４Ａおよび被写体３０４の重心位置３０５Ａが求められる（Ｓ８０５）。
【０１２８】
次に、求められた被写体３０４の重心位置３０５Ａを基準に表示画角３０６Ａが第１の表示画角として設定され切り出される（Ｓ８０６）。ここで、第２の表示画角は基準画角３０１のままであり、このときの第１の表示画角として切り出された表示画角３０６Ａの画像３１７および第２の表示画角として切り出された基準画角３０１の画像３１８がモニタに出力された状態を図２２に示す。
【０１２９】
次に、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる（Ｓ８０７）。
【０１３０】
ジェスチャ検出部２０３において被写体３０４の特定のジェスチャが未検出であったときは（Ｓ８０７の「No」）、図７のフローチャートに従って保存処理（Ｂ）が行われる。（Ｓ８０４）
保存処理（Ｂ）が終了すると、追尾エリア３０２内での被写体３０４の検出が継続して行われ（Ｓ８１２）、被写体３０４が未検出であれば（Ｓ８１２の「No」）ステップＳ８０２に戻り基準画角３０１が第１の表示画角および第２の表示画角として設定され、ステップＳ８０３以降の処理が行われる。
【０１３１】
ステップＳ８１２において被写体３０４が検出されたときは、被写体３０４が移動したかどうかが判定される（Ｓ８１３）。判定の結果、被写体３０４が移動していれば（Ｓ８１３の「Yes」）、移動距離がプリセット部２０１に設定された移動許容量の範囲内であるかどうかが判定される（Ｓ８１４）。
【０１３２】
判定の結果、被写体３０４の移動距離が移動許容量の範囲を超えていた場合は（Ｓ８１４の「No」）、ステップＳ８０５に戻り、図２１に示すように移動後の被写体３０４の位置３０４Ｂおよび被写体３０４の重心位置３０５Ｂが求められ、ステップＳ８０６以降の処理が行われる。このときの、被写体３０４の重心位置３０５Ｂが中心となるような位置の第１の表示画角として、表示画角３０６Ｂが切り出される。
【０１３３】
ステップＳ８１３において被写体３０４が移動しなかったと判定された場合（Ｓ８１３の「No」）、およびステップＳ８１４において被写体３０４の移動距離が設定された移動許容量の範囲内であると判定された場合（Ｓ８１４の「Yes」）は、ステップＳ８０６に戻り、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる。
【０１３４】
ステップＳ８０７において、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャ３０７が検出された場合について図２３〜図２５を参照して説明する（Ｓ８０７の「Yes」）。
【０１３５】
被写体３０４による特定のジェスチャ３０７が検出されたときは、このジェスチャ３０７の検出位置が重要背景エリア３０３内であるかどうかが判定される（Ｓ８０８）。
【０１３６】
判定の結果、重要背景エリア３０３内であると判定された場合は（Ｓ８０８の「Yes」）、図形検出部２０５により重要背景エリア３０３内からジェスチャ３０７で指し示された指示領域３０８が検出される（Ｓ８０９）。
【０１３７】
次に、検出された指示領域３０８の重心位置３０９が求められ（Ｓ８１０）、この指示領域３０８を含み、指示領域３０８の重心位置３０９を基準にした表示画角３１９が第２の表示画角として設定され切り出される（Ｓ８１１）。
【０１３８】
第２の表示画角として設定された表示画角３１９は、上述したとおり、図７のフローチャートに従って保存処理（Ｂ）が行われる（Ｓ８０４）。
【０１３９】
これらの処理により、図２３において、ジェスチャ３０７が検出される前は図２１と同様に被写体３０４の位置３０４Ｃに基づいて重心位置３０５Ｃを重心とした表示画角３０６Ｃが第１の表示画角として切り出されるとともに基準画角３０１が第２の表示画角として切り出され、図２２の画像３１７および画像３１８のように表示されるが、ジェスチャ３０７が検出されると指示領域３０８に基づいて求められた重心位置３０９を重心とした表示画角３１９が第２の表示画角として切り出され、モニタに表示される画像は図２４の画像３２０および画像３２１のように切り替わる。
【０１４０】
さらに、図２３に示すように、被写体３０４の位置３０４Ｃが位置３０４Ｄに移動した場合は、第１の表示画角として切り出される画角は表示画角３０６Ｃから表示画角３０６Ｄに移動して図２５の画像３２２のように表示されるが、第２の表示画角は次のジェスチャが行われるまで画角位置が維持され、直前に被写体３０４が指した指示領域３０８を中心とする表示画角３１９が表示され続け、画像３２３のように表示される。
【０１４１】
以上の撮影処理（Ｃ）は講義風景が撮影されている間繰り返し行われ、ユーザにより撮影を停止する操作が入力部２０７により行われた場合は、第１実施形態と同様に図５のフローチャートに基づいて撮影処理（Ｃ）に停止を指示する割り込み信号が送信され（Ｓ４３２）、カメラ制御部２０４によってカメラ部１０の撮影が停止されるとともに、制御端末２０も一連の検出動作および撮影動作が停止される。
【０１４２】
撮影されたコンテンツは、第２実施形態と同様に図１４のフローチャートに従って表示端末４に送信され、表示端末４の制御部４５で第１の表示画角の画像として切り出された画像と第２の表示画角として切り出された画像とが同期がとられ出力部４２に出力される。
【０１４３】
以上の第３実施形態によれば、第１の表示画角の画像および第２の表示画角として切り出された２つの画像が表示されるため、随時移動する被写体を検出および追尾しながら、指示領域を別途固定画角で表示でき、被写体も指示領域も逃さずより見やすい映像を作成することができる。
【０１４４】
本実施形態において、第１の表示画角および第２の表示画角はそれぞれの表示したい（検出した）領域の重心位置を基準に設定したが、これには限定されず、見やすい映像を作成するために算出された位置を中心位置とすれば重心位置以外を基準としてもよい。
【０１４５】
《第４実施形態》
本発明の第４実施形態による追尾撮像装置は、遠隔講義などに利用するための講義の映像を撮影し、検出した被写体を中心としてパン、チルト、ズームの処理を行って表示するものである。
【０１４６】
〈第４実施形態による追尾撮像装置の構成〉
本発明の第４実施形態による追尾撮像装置５の構成を、図２、図３、図２６〜図３３を用いて説明する。
【０１４７】
図２６は本実施形態による追尾撮像装置５の構成を示すブロック図である。
【０１４８】
本実施形態による追尾撮像装置５は、空間３０内の講義が行われる教壇がすべて含まれる基準画角３０１で撮影するカメラ部１０と、カメラ部１０で撮影した映像を処理する制御端末２０とを有する。
【０１４９】
カメラ部１０は、制御端末２０からの制御により撮影可能な画角の範囲内で任意の位置にパン、チルト、ズーム処理（以下、「ＰＴＺ」と称する）を行う駆動部１０１を有する。またカメラ部１０は、ＰＴＺにより画角が変わっても、ステッピングモータで現在自分がいる位置およびズーム率を記憶しており、現在、画角内のどの範囲を撮影しているかを記憶している。
【０１５０】
制御端末２０は、プリセット部２０１と、被写体検出部２０２と、ジェスチャ検出部２０３と、カメラ制御部２０４と、表示部２０６と、入力部２０７と、記憶装置２０８と、図形検出部２１３とを有する。
【０１５１】
プリセット部２０１、被写体検出部２０２、ジェスチャ検出部２０３、表示部２０６、入力部２０７、および記憶装置２０８の機能は第１実施形態〜第３実施形態と同様であるため、詳細な説明は省略する。
【０１５２】
カメラ制御部２０４は、被写体や指示領域が撮影画角内に収まるようにカメラのＰＴＺを制御する。
【０１５３】
図形検出部２１３は、特定されたジェスチャが行われた位置から、重要背景エリア３０３内にあるユーザに必要な講義情報のうちジェスチャにより指し示された意味のある情報が集合した領域を指示領域として認識する。
【０１５４】
〈第４実施形態による追尾撮像装置の動作〉
本発明の第４実施形態による追尾撮像装置５の動作を、図２、図３、図５、図２７、図２８のフローチャートを参照して説明する。
【０１５５】
まず、制御端末２０のプリセット部２０１で行われる初期設定の動作について図２７を参照して説明する。
【０１５６】
図２に示す教室などのような空間３０で被写体の検出、追尾を行いたいエリア、例えば講義を行う教壇がすべて含まれる画像が撮影できる場所にカメラ部１０が設置され、その画角が基準画角３０１として図３のように設定される（Ｓ９０１）。
【０１５７】
次に、図３の基準画角３０１内で被写体の検出および追尾が行われる領域が、追尾エリア３０２として設定される（Ｓ９０２）。
【０１５８】
次に、設定された追尾エリア３０２内で講義情報が含まれる領域が、重要背景エリア３０３として設定される（Ｓ９０３）。
【０１５９】
さらに、第１実施形態と同様に被写体の移動許容量が設定される。これらのステップＳ９０１〜ステップＳ９０３の初期設定は入力部２０７により行われ、記憶装置２０８に記憶される。
【０１６０】
次に、カメラ部１０で行われる講義の撮影の動作について図５、図８、および図２８〜図３２を参照して説明する。
【０１６１】
まず、制御端末２０のカメラ制御部２０４によりカメラ部１０が起動されると（Ｓ４１０の「Yes」）、図２８のフローチャートに従って撮影処理（Ｄ）が行われる（Ｓ４１１）。図２８の撮影処理（Ｄ）について説明する。
【０１６２】
カメラ部１０が起動されると、まず基準画角３０１の撮影が開始される（Ｓ９１１）。ここでは基準画角３０１全体が表示画角として設定され、被写体検出部２０２により追尾エリア３０２内での被写体３０４の検出が行われる（Ｓ９１２）。
【０１６３】
追尾エリア３０２内に誰も存在せず、被写体検出部２０２において被写体未検出の間（Ｓ９１２の「No」）は、ステップＳ９１１に戻りそのまま基準画角３０１全体が表示画角として設定されるとともに、撮影された画像が記憶装置２０８に保存される（Ｓ９１３）。
【０１６４】
追尾エリア３０２内に被写体３０４が入り、被写体検出部２０２により被写体３０４が検出されたときは（Ｓ９１２の「Yes」）、この被写体３０４の位置および被写体３０４の重心位置３０５が求められる（Ｓ９１４）。
【０１６５】
次に、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる（Ｓ９１５）。
【０１６６】
ジェスチャ検出部２０３において被写体３０４の特定のジェスチャが未検出であったときは（Ｓ９１５の「No」）、被写体３０４を含み被写体３０４の重心位置３０５が中心となるような位置にカメラ制御部２０４により駆動部１０１が制御され、ＰＴＺ機能により撮影画角が図２９に示すように設定される（Ｓ９１６）。
【０１６７】
設定された撮影画角の画像は、記憶装置２０８に保存される（Ｓ９１３）。保存処理が終了すると、追尾エリア３０２内で被写体３０４が移動したかどうかが判定される（Ｓ９１７）。
【０１６８】
判定の結果、被写体３０４が移動していれば（Ｓ９１７の「Yes」）、移動距離がプリセット部２０１に設定された移動許容量の範囲内であるかどうかが判定される（Ｓ９１８）。
【０１６９】
判定の結果、被写体３０４の移動距離が移動許容量の範囲を超えていた場合は（Ｓ９１８の「No」）、ステップＳ９１４に戻り、移動後の被写体の位置および被写体の重心位置が求められ、ステップＳ９１５以降の処理が行われる。
【０１７０】
ステップＳ９１７において被写体３０４が移動しなかったと判定された場合（Ｓ９１７の「No」）、およびステップＳ９１８において被写体の移動距離が設定された移動許容量の範囲内であると判定された場合（Ｓ９１８の「Yes」）は、ステップＳ９１５に戻り、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる。
【０１７１】
ステップＳ９１５において、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャ３０７が検出された場合について図３０〜図３２を参照して説明する（Ｓ９１５の「Yes」）。
【０１７２】
被写体３０４による特定のジェスチャ３０７が検出されたときは、このジェスチャ３０７の検出位置が重要背景エリア３０３内であるかどうかが判定される（Ｓ９１９）。
【０１７３】
判定の結果、重要背景エリア３０３内であると判定された場合は（Ｓ９１９の「Yes」）、図形検出部２１３により重要背景エリア３０３内から、ジェスチャ３０７で指し示された指示領域３０８が検出される（Ｓ９２０）。
【０１７４】
次に、重要背景エリア３０３全体がこのときの撮影画角に含まれているかもしくは、指示領域３０８がこのときの撮影画角に収まっている場合は（Ｓ９２１の「Yes」）指示領域３０８の重心位置３０９が求められ（Ｓ９２２）、さらに被写体３０４の重心位置３０５と指示領域３０８の重心位置３０９との中心位置が求められる。
【０１７５】
この被写体３０４の重心位置３０５と指示領域３０８の重心位置３０９との中心位置を重心位置３１０とし、カメラ制御部２０４により駆動部１０１が制御され、ＰＴＺ機能により図３０に示すように被写体３０４および指示領域３０８が収まるように撮影画角が変更される（Ｓ９２３）。
【０１７６】
変更された撮影画角は、記憶装置２０８に保存される（Ｓ９１３）。
【０１７７】
ステップＳ９２１において、指示領域３０８が撮影画角の端を含む形で検出され、撮影画角内に収まっていないと判断された場合は（Ｓ９２１の「No」）、被写体３０４が含まれたままカメラ制御部２０４により駆動部１０１が制御され、ＰＴＺ機能により指示領域３０８の撮影画角端の方向に撮影画角が広げられ、指示領域３０８全体が含まれるように撮影画角が変更される（Ｓ９２４）。
【０１７８】
例えば、図３１のように指示領域３０８が撮影画角に収まっていない場合は、指示領域３０８が右端にはみ出ていると判断され、図３２に示すように被写体３０４および指示領域３０８を含むように右側に一定量パンされるとともに、被写体３０４と指示領域３０８とが両方共フレームアウトしないように一定量ズームアウトされる。
【０１７９】
そして、再びステップＳ９２１に戻り、指示領域３０８が撮影画角に収まっているか判断される。このステップＳ９２１およびＳ９２４の処理は、指示領域３０８が撮影画角に収まるまで繰り返される。
【０１８０】
これらの処理により、ジェスチャ３０７が検出される前は被写体３０４のみに基づいて重心位置３０５を重心とした撮影画角が図２９に示すように設定されるが、ジェスチャ３０７が検出されると被写体３０４および指示領域３０８に基づいて求められた重心位置３１０を重心として撮影画角に変更され、モニタに表示される画像は図３０のように切り替わる。
【０１８１】
また、ステップＳ９１５において、検出されたジェスチャ３０７の検出位置が重要背景エリア３０３内ではなかったと判定された場合は（Ｓ９１９の「No」）、ステップＳ９１６に進み、被写体３０４を含み被写体３０４の重心位置３０５が中心となるような位置にカメラ制御部２０４により駆動部１０１が制御され、ＰＴＺ機能により撮影画角が設定される。
【０１８２】
以上の撮影処理（Ｄ）は講義風景が撮影されている間繰り返し行われ、ユーザにより撮影を停止する操作が入力部２０７により行われた場合は（Ｓ４３１の「Yes」）、撮影処理（Ｄ）に停止を指示する割り込み信号が送信され（Ｓ４３２）、カメラ制御部２０４によってカメラ部１０の撮影が停止されるとともに、制御端末２０も一連の検出動作および撮影動作が停止される。
【０１８３】
ユーザにより撮影を停止する操作が行われていないときは（Ｓ４３１の「No」）、撮影処理（Ｄ）は継続して行われる。
【０１８４】
以上の第４実施形態による追尾撮像装置によれば、被写体と被写体の背景にある重要な情報とを確実に逃さず捉えることができるとともに、これらの重要な情報はズーム機能を用いて認識可能な大きさで撮影されているため講義内容の把握に効果的な映像を得ることができる。
【０１８５】
《第５実施形態》
本発明の第５実施形態による追尾撮像システムは、第４実施形態による追尾撮像装置を用いて撮影された講義等の映像を、ネットワークを介して遠隔地の受講生が受信して視聴する遠隔講義に用いるものである。
【０１８６】
〈第５実施形態による追尾撮像システムの構成〉
本実施形態による追尾システムの構成を、図３３を用いて説明する。図３３は、本実施形態による追尾システムの構成を示すブロック図であり、追尾撮像装置６と、ネットワーク３と、ネットワーク３を介して追尾撮像装置６に接続されている表示端末４とから構成されている。
【０１８７】
追尾撮像装置６の主な構成は、第４実施形態における追尾撮像装置５の構成と同様であるため詳細な説明は省略する。追尾撮像装置５と異なる点は、講義の音声を録音する音声入力部１１と、制御端末２０に設けられネットワーク３を介して表示端末４と通信を行う通信制御部２１２を有することである。音声入力部１１は、被写体すなわち講師に装着したピンマイクもしくは集音マイクなどである。
【０１８８】
ネットワーク３および表示端末４の構成は第２実施形態と同様であるため、詳しい説明は省略する。
【０１８９】
〈第５実施形態による追尾撮像システムの動作〉
本発明の第２実施形態による追尾撮像システムの動作について説明する。本実施形態において、講義が撮影されている間、カメラ部１０で撮影された画像は第４実施形態と同様に図２８のフローチャートに従って撮影処理（Ｄ）が継続して行われ、音声入力部１１から入力した講義の音声も継続して集音されているものとする。
【０１９０】
追尾撮像装置６により撮影された映像および集音された音声であるコンテンツの配信処理は、第２実施形態と同様であるため、詳しい説明は省略する。
【０１９１】
以上の第５実施形態による追尾撮像制御システムによれば、第４実施形態と同様の効果を得ることができるとともに、ネットワークを介して遠隔地に撮影したコンテンツを配信することができる。
【０１９２】
《その他の実施形態》
上記の第１実施形態〜第５実施形態において、下記のような形態で処理を行うことも可能である。
【０１９３】
〈ジェスチャの検出に関する他の実施形態〉
第１実施形態〜第５実施形態において、撮影した映像から被写体およびそのジェスチャを検出したが、これには限定されず、黒板などの重要背景エリアにタッチセンサーを設置し、被写体が黒板に触れたときにその位置を指示した位置をジェスチャが行われた位置として検出し、さらに指示領域を検出したり、被写体や指示領域の検出精度を向上させるためにその他の位置サンサーを併用したりしてもよい。
【０１９４】
〈トラッキングに関する他の実施形態〉
第１実施形態〜第５実施形態の撮影中の映像において、被写体が追尾エリアの中程で突然消えることはないので、撮影した映像のある画像フレームでそれまで検出していた被写体が未検出になった場合、すぐに表示画角を基準画角に変更せず、その後数フレーム内に被写体が再検出された場合には継続して検出されていたものとみなして処理を続けるトラッキング機能を使用してもよい。このような機能を使用することで、表示画角が頻繁に変わってしまうことを防ぎ、より見やすい映像にすることができる。
【０１９５】
〈表示画角を切り出す位置に関する他の実施形態〉
第１実施形態〜第５実施形態において、撮影したフレーム画像から表示画角を切り出す際、カメラ部１０で撮影した基準画角の映像全体を制御端末２０に送信し、制御端末２０側で表示画角の切り出しを行っているが、カメラ部１０内に切り出し部２０９の機能を持たせ、カメラ制御部２０４からカメラ部１０に切り出す部分の位置座標などの情報を送信し、撮影した映像の中で表示画角だけをカメラ部１０内で切り出して制御端末２０に送信するようにしてもよい。
【０１９６】
また、カメラ部１０に制御端末２０の被写体検出部２０２、ジェスチャ検出部２０３、図形検出部２０５、スケーリング部２１０などの機能を持たせ、カメラ部１０に中で各種検出から表示画角の切り出しまで行うようにしてもよい。
【０１９７】
〈重心位置、中心位置に関する他の実施形態〉
第１実施形態〜第５実施形態において、ジェスチャが検出されていないときは被写体の重心位置から表示画角を求めているが、被写体の表示範囲はこれには限定されず、必要な部分が映っていれば他の画角でもよい。
【０１９８】
また、被写体のジェスチャが検出されたとき、被写体の重心位置と指示領域の重心位置とから表示画角の中心位置を求めたが、これには限定されず、例えば被写体が表示画角の端に位置するようにするとともに指示領域の重心位置を表示画角の中心位置にするようにするなど、被写体と指示領域とが含まれ、見る人が見やすい表示画角であれば別の画角でもよい。
【０１９９】
〈移動許容量に関する他の実施形態〉
第１実施形態〜第５実施形態において、被写体の移動許容量は予め想定される被写体の動作スピードと移動量によって設定しているが、これには限定されず、撮影中に被写体の動きベクトルを求め、被写体の移動スピードによってその移動許容量や、被写体や指示領域の表示画角および表示画角サイズを変更するようなダイナミックな設定を行うようにしてもよい。
【０２００】
〈撮影した映像の保存場所に関する他の実施形態〉
第１実施形態〜第５実施形態において、撮影した映像のデータは追尾撮像装置内の記憶装置２０８に記録したが、これには限定されず、制御端末２０に通信手段（図示せず）を設け、この通信手段を介して別の記憶装置に記録するようにしてもよい。このとき、リアルタイム配信をする場合は、記憶バッファ（図示せず）に映像のデータを一時保存するか、もしくはそのまま所定のデータ形式に変換して配信する。
【図面の簡単な説明】
【０２０１】
【図１】本発明の第１実施形態における追尾撮像装置の構成を示すブロック図である。
【図２】本発明の第１実施形態における追尾撮像装置により撮影が行われる空間を示す概略図である。
【図３】本発明の第１実施形態における追尾撮像装置により撮影された基準画角を示す概略図である。
【図４】本発明の第１実施形態における追尾撮像装置における初期設定の動作を示すフローチャートである。
【図５】本発明の第１実施形態における追尾撮像装置における起動および停止の動作を示すフローチャートである。
【図６】本発明の第１実施形態における追尾撮像装置における撮影処理の動作を示すフローチャートである。
【図７】本発明の第１実施形態における追尾撮像装置における保存処理の動作を示すフローチャートである。
【図８】本発明の第１実施形態における追尾撮像装置により撮影された基準画角の画像を示す概略図である。
【図９】本発明の第１実施形態における追尾撮像装置により撮影された画像から切り出した被写体を中心とした表示画角の概略図である。
【図１０】本発明の第１実施形態における追尾撮像装置により撮影された基準画角の画像を示す概略図である。
【図１１】本発明の第１実施形態における追尾撮像装置により撮影された画像から切り出された被写体を中心とした表示画角の概略図である。
【図１２】本発明の第１実施形態における追尾撮像装置により撮影された画像から切り出された被写体および指示領域を中心とした表示画角の概略図である。
【図１３】本発明の第２実施形態における追尾撮像システムの構成を示すブロック図である。
【図１４】本発明の第２実施形態における追尾撮像システムにおけるコンテンツ配信処理の動作を示すフローチャートである。
【図１５】本発明の第２実施形態における追尾撮像システムにおけるコンテンツ受信処理および表示処理の動作を示すフローチャートである。
【図１６】本発明の第３実施形態における追尾撮像システムにおける初期設定の動作を示すフローチャートである。
【図１７】本発明の第３実施形態における追尾撮像システムにおける撮影処理の動作を示すフローチャートである。
【図１８】本発明の第３実施形態における追尾撮像システムにおいて検出された被写体を示す概略図である。
【図１９】本発明の第３実施形態における追尾撮像システムにおいて検出された指示領域を示す概略図である。
【図２０】本発明の第３実施形態における追尾撮像システムにおいて撮影された画像が表示された状態を示す概略図である。
【図２１】本発明の第３実施形態における追尾撮像システムにより撮影された基準画角を示す概略図である。
【図２２】本発明の第３実施形態における追尾撮像システムにおいて撮影された画像が表示された状態を示す概略図である。
【図２３】本発明の第３実施形態における追尾撮像システムにより撮影された基準画角を示す概略図である。
【図２４】本発明の第３実施形態における追尾撮像システムにおいて撮影された画像が表示された状態を示す概略図である。
【図２５】本発明の第３実施形態における追尾撮像システムにおいて撮影された画像が表示された状態を示す概略図である。
【図２６】本発明の第４実施形態における追尾撮像装置の構成を示すブロック図である。
【図２７】本発明の第４実施形態における追尾撮像装置における初期設定の動作を示すフローチャートである。
【図２８】本発明の第４実施形態における追尾撮像装置における撮影処理の動作を示すフローチャートである。
【図２９】本発明の第４実施形態における追尾撮像装置により撮影された被写体を中心とした撮影画角の概略図である。
【図３０】本発明の第４実施形態における追尾撮像装置により撮影された被写体および指示領域を中心とした撮影画角の概略図である。
【図３１】本発明の第４実施形態における追尾撮像システムにより撮影された被写体を中心とした撮影画角の概略図である。
【図３２】本発明の第４実施形態における追尾撮像装置により撮影された被写体を中心とした撮影画角の概略図である。
【図３３】本発明の第５実施形態における追尾撮像システムの構成を示すブロック図である。
【符号の説明】
【０２０２】
１、２、５、６、…追尾撮像装置
３…ネットワーク
４…表示端末
１０…カメラ部
１１…音声入力部
２０…制御端末
３０…空間
４１…通信制御部
４２…出力部
４３…入力部
４４…記憶装置
４５…制御部
１０１…駆動部
２０１…プリセット部
２０２…被写体検出部
２０３…ジェスチャ検出部
２０４…カメラ制御部
２０５…図形検出部
２０６…表示部
２０７…入力部
２０８…記憶装置
２０９…画像切り出し部
２１０…スケーリング部
２１１…制御部
２１２…通信制御部
２１３…図形検出部
３０１…基準画角
３０２…追尾エリア
３０３…重要背景エリア
３０４…被写体
３０４Ａ、３０４Ｂ、３０４Ｃ、３０４Ｄ…被写体位置
３０５…被写体の重心位置
３０５Ａ、３０５Ｂ、３０５Ｃ、３０５Ｄ…重心位置
３０６…領域
３０６Ａ、３０６Ｂ、３０６Ｃ、３０６Ｄ…表示画角
３０７…ジェスチャ
３０８…指示領域
３０９…指示領域の重心位置
３１０…重心位置
３１１…重心位置
３１２…領域
３１３…第１の表示画角
３１４…第２の表示画角
３１５〜３１８…画像
３１９…表示画角
３２０〜３２３…画像
【技術分野】
【０００１】
本発明は、特定の被写体を検出するとともに追尾して撮影する追尾撮像装置およびこれを利用した追尾撮像システムに関する。
【背景技術】
【０００２】
近年、大学や予備校などでは、講義の風景を撮影した映像を衛星やインターネットを介して遠隔地にいる受講者が受信して視聴するような遠隔講義が行われている。特に最近における生涯学習がさかんになるにつれて、その需要が増えてきている。
【０００３】
従来の遠隔講義は、テレビ放送の製作会社などが作成したプログラム番組の中で行われるものや、大手の予備校が衛星回線を使用して行うサテライト講義など多大な費用や手間がかかる大規模なものが多かったが、近年はインターネットの普及および接続回線のブロードバンド化により撮影した講義風景の映像を安価で容易に受講者に配信することが可能になっている。
【０００４】
これらの遠隔講義の映像を撮影する際は、講師が自在に移動したり、黒板やスクリーンに写し出された資料や機材など（以下、「講義情報」と称する）を使用したりする状況に伴って撮像装置の向きを変えるパン、チルト機能やズーム機能などの操作が必要となる。しかし、これらの機能操作は手動で行われており、手間がかかるものであった。このとき、常に講師と講義情報とがすべて画角に入るように広いエリアを撮影すれば操作の手間はかからないが、講義情報の細部などが画面上で見づらくなるため、適宜カメラの向きやズーム倍率を変更して撮影する必要がある。
【０００５】
このようなパン、チルト、ズーム機能の操作を自動化する技術が特許文献１および特許文献２に記載されている。
【０００６】
特許文献１には、教壇など撮影すべきエリアをすべて収める広角カメラと、駆動部を持ちターゲット（被写体）を追尾して撮影する追尾カメラとを配置することにより、広角カメラで検出したターゲットの重心が画角の中心となるように追尾カメラでズーム拡大して撮影する技術が記載されている。
【０００７】
この特許文献１の技術により、講師などの被写体をカメラが自動で認識するため、人的な手間を大幅に削減して拡大された被写体を撮影することができる。
【０００８】
また、特許文献２には、予めいくつかのショット（撮影画角）を登録しておき、撮影により検出した被写体の重心座標に基づいて、被写体が撮影画角に収まるようなショットを登録されたショットの中から選出し、そのショットで撮影を行う技術が記載されている。
【０００９】
この特許文献２の技術により、カメラの動作を極力少なくして、見やすい映像により被写体を自動追尾して撮影することが可能になる。
【特許文献１】特開２００４−２８９７７９号公報
【特許文献２】特開２００１−１６０９１６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、上記の特許文献１の技術は、広角カメラと追尾カメラとの２台のカメラを使用するため、システムが大掛かりになり設定が複雑になるという問題があった。また、この技術では被写体の重心位置が画面の中心になるように追尾カメラで追尾を行っているので、被写体をはっきりと映すことが重要である監視用カメラなどには適している。しかし、講義のように被写体として認識される講師の背景にある講義情報も重要な情報であるようなものの撮影には適さない場合があるという問題があった。
【００１１】
また、特許文献２の技術は、予め登録された撮影画角で撮影が行われるため、講師がダイナミックに移動したときや異なる撮影画角の境界付近にいるときには、多少の撮影画角の重なりをオーバーラップエリアとして考慮したとしても講師の少しの動きで撮影画角が頻繁に切り替わり、受講者に見づらい映像になってしまう可能性があるという問題があった。
【００１２】
そこで、本発明は、上記事情に鑑みてなされたものであり、被写体の背景にある重要な情報も逃さず撮影するとともに、見やすい映像を撮影することができる追尾撮像装置およびこれを利用した追尾撮像システムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するための本発明の請求項１に記載の追尾撮像装置は、追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するカメラ部を備えたものであり、カメラ部が、追尾撮影エリア内を撮影して得られた画像から第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、検出された第１被写体が重要背景エリア内の任意の位置を差し示す所定のジェスチャを検出するとともに、検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、取得された位置座標に基づいて第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、第１及び第２被写体の画像を所定の画角で撮影画像から抽出する画像切り出し部とを備えたことを特徴とする。
【００１４】
また、請求項２は請求項１に記載の追尾撮像装置であり、被写体検出部は、画像切り出し部から抽出された第１画像から検出した第１被写体の重心位置座標と、第１画像よりも後に撮影されて抽出された第２画像から検出した第１被写体の重心位置座標との距離が、あらかじめ設定された移動許容値以下である場合は、第２画像の画角を第１画像の画角と同一にするように構成したことを特徴とする。
【００１５】
また、請求項３に記載の追尾撮像装置は、追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するパン、チルト、及びズーム機能を有するカメラ部を備えたものであり、カメラ部が、追尾撮影エリア内を撮影して得られた画像から第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、検出された第１被写体が重要背景エリア内の任意の位置を指し示す所定のジェスチャを検出するとともに、検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、取得された位置座標に基づいて第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、パン、チルト、及びズームのうち少なくとも一の撮影制御機能により、第１及び第２被写体の画像を所定の画角で撮影するようにカメラ部を制御するカメラ制御部とを備えたことを特徴とする。
【００１６】
また、請求項４は請求項３に記載の追尾撮像装置は、被写体検出部は、カメラ制御部の制御によってカメラ部で撮影された第１画像から検出した第１被写体の重心位置座標と、第１画像よりも後に撮影されて抽出された第２画像から検出した第１被写体の重心位置座標との距離が、あらかじめ設定された移動許容値以下である場合は、第２画像の画角を第１画像の画角と同一にするように構成したことを特徴とする。
【００１７】
また、請求項５に記載の追尾撮像システムは、追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するカメラ部を備えた追尾撮像装置と、カメラ部で撮影された画像を表示する表示端末とがネットワークを介してそれぞれ接続されたものであり、追尾撮像装置は、カメラ部が、追尾撮影エリア内を撮影して得られた画像から第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、検出された第１被写体が重要背景エリア内の任意の位置を差し示す所定のジェスチャを検出するとともに、検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、取得された位置座標に基づいて第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、第１及び第２被写体の画像を所定の画角で撮影画像から抽出する画像切り出し部と、抽出された画像をネットワークに送出するための通信制御部とを備えるとともに、表示端末は、追尾撮像装置から送出された画像を受信する通信制御部と、受信された画像を表示出力する出力部とを備えたことを特徴とする。
【００１８】
また、請求項６に記載の追尾撮像システムは、追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するパン、チルト、及びズーム機能を有するカメラ部を備えた追尾撮像装置と、カメラ部で撮影された画像を表示する表示端末とがネットワークを介してそれぞれ接続されたものであり、追尾撮像装置は、カメラ部が、追尾撮影エリア内を撮影して得られた画像から第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、検出された第１被写体が重要背景エリア内の任意の位置を指し示す所定のジェスチャを検出するとともに、検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、取得された位置座標に基づいて第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、パン、チルト、及びズームのうち少なくとも一の撮影制御機能により、第１及び第２被写体の画像を所定の画角で撮影するようにカメラ部を制御するカメラ制御部と、撮影された画像をネットワークに送出するための通信制御部とを備えるとともに、表示端末は、追尾撮像装置から送出された画像を受信する通信制御部と、受信された画像を表示出力する出力部とを備えたことを特徴とする。
【発明の効果】
【００１９】
本発明の追尾撮像装置およびこれを利用した追尾撮像システムによれば、被写体の背景にある重要な情報も確実に逃さず捉えることができ、見やすく且つ講義など内容の把握に効果的な映像を撮影することができる。
【発明を実施するための最良の形態】
【００２０】
《第１実施形態》
本発明の第１実施形態による追尾撮像装置は、遠隔講義などに利用するための講義の映像を撮影し、検出した被写体を中心とした画角を切り出して表示するものである。
【００２１】
〈第１実施形態による追尾撮像装置の構成〉
本実施形態による追尾撮像装置１の構成を、図１〜図３を用いて説明する。図１は、本実施形態による追尾撮像装置１の構成を示すブロック図である。図２は、本実施形態による追尾撮像装置１により撮影が行われる空間を示す説明図であり、図３は、図２の空間内で実際に撮影が行われるエリアを示す説明図である。
【００２２】
本実施形態による追尾撮像装置１は、空間３０内の講義が行われる教壇がすべて含まれる基準画角３０１で撮影するカメラ部１０と、カメラ部１０で撮影した映像を処理する制御端末２０とを有する。
【００２３】
カメラ部１０は、人物（第１被写体）を撮影するとともに実際にモニタなどに表示する講義の映像よりも高解像度な映像の撮影が可能であり、撮影された黒板などに書かれた文字や図、スクリーンに映し出された資料、必要な機材などの講義情報（第２被写体）をユーザが認識可能な状態に表示できる解像度で撮影する。
【００２４】
制御端末２０は、プリセット部２０１と、被写体検出部２０２と、ジェスチャ検出部２０３と、カメラ制御部２０４と、図形検出部２０５と、表示部２０６と、入力部２０７と、記憶装置２０８と、画像切り出し部２０９と、スケーリング部２１０と、制御部２１１とを有する。
【００２５】
プリセット部２０１は、被写体の検出および追尾を行う追尾エリア３０２の設定と、この追尾エリア３０２内で講義情報が含まれる重要背景エリア３０３の設定と、講義風景を遠隔地などのモニタやスクリーンに表示するための画像として、撮影した画像から被写体および後述する指示領域などの対象物部分を切り出す範囲である表示画角と、実際にモニタなどにスケーリングして表示を行う際の映像のサイズである表示画角サイズの設定とを含む初期設定を行う。
【００２６】
被写体検出部２０２は、指定されたエリア内を撮影して得られた画像において追尾エリア３０２内に入った第１被写体の検出を行うとともに、検出された第１被写体の位置を特定する。
【００２７】
ジェスチャ検出部２０３は、検出された第１被写体による重要背景エリア３０３内の任意の場所を指し示す特定のジェスチャを検出するとともに、検出されたジェスチャによって指し示された位置の位置座標を取得する。
【００２８】
カメラ制御部２０４は、カメラ部１０の起動、撮影の開始および停止等を制御する。
【００２９】
図形検出部２０５は、特定されたジェスチャが行われた位置から、重要背景エリア３０３内にあるユーザに必要な講義情報のうちジェスチャにより指し示された意味のある情報が集合した領域を指示領域として検出するとともに、この指示領域の重心位置座標を取得する。
【００３０】
表示部２０６は、撮影した映像を確認のためなどに表示する。
【００３１】
入力部２０７は、プリセット部２０１で行う設定や撮影の開始および停止などの命令を入力する。
【００３２】
記憶装置２０８は、プリセット部２０１で行った設定内容や撮影した映像データを記録する。
【００３３】
画像切り出し部２０９は、撮影した基準画角３０１のフレーム画像から被写体３０４や指示領域が映っている部分など必要な情報を含む表示画角を所定の画角で撮影画像から抽出する。
【００３４】
スケーリング部２１０は、画像切り出し部２０９で切り出された表示画角がプリセット部２０１で設定された表示画角サイズと異なる場合に切り出された表示画角の画像サイズの調整を行う。
【００３５】
制御部２１１は、上記のプリセット部２０１〜スケーリング部２１０を制御する。
【００３６】
〈第１実施形態による追尾撮像装置の動作〉
本発明の第１実施形態による追尾撮像装置１の動作を、図４〜図７のフローチャートを参照して説明する。
【００３７】
まず、制御端末２０のプリセット部２０１で行われる初期設定の動作について図４を参照して説明する。
【００３８】
図２に示す教室などのような空間３０で被写体の検出、追尾を行いたいエリア、例えば講義を行う教壇がすべて含まれる画像が撮影できる場所にカメラ部１０が設置され、その画角が基準画角３０１として図３のように設定される（Ｓ４０１）。
【００３９】
次に、図３の基準画角３０１内で被写体の検出および追尾が行われる領域が、追尾エリア３０２として設定される（Ｓ４０２）。
【００４０】
次に、設定された追尾エリア３０２内で講義情報が含まれる領域が、重要背景エリア３０３として設定される（Ｓ４０３）。
【００４１】
さらに、この講義風景が遠隔地などのモニタやスクリーンに表示されるときの画角であり、検出した被写体および指示領域などの対象物を切り出す範囲である表示画角と、その表示時の解像度になる表示画角サイズが設定される（Ｓ４０４）。このとき、表示画角サイズ≦カメラの解像度サイズとなるように設定される。
【００４２】
さらに、表示画角が切り出された画像である第１画像で検出された被写体の位置と、この第１画像よりも後に撮影された第２画像で検出された被写体の位置との移動距離が所定値（移動許容値）以下のときには表示画角が変わらないように、被写体の移動許容量が設定される。これは、被写体の微量の移動によって頻繁に表示画角が変わると見る人にとって見づらい映像になるためである。この移動許容量は、想定される被写体の動作スピードおよび移動量によって設定値が定められる。
【００４３】
これらのステップＳ４０１〜ステップＳ４０４の初期設定は入力部２０７により行われ、記憶装置２０８に記憶される。
【００４４】
次に、カメラ部１０で行われる講義の撮影の動作について図５、６、８を参照して説明する。
【００４５】
まず、制御端末２０のカメラ制御部２０４によりカメラ部１０が起動されると（Ｓ４１０の「Yes」）、図６のフローチャートに従って撮影処理（Ａ）が行われる（Ｓ４１１）。図６の撮影処理（Ａ）について説明する。
【００４６】
カメラ部１０が起動されると、まず基準画角３０１の撮影が開始される（Ｓ４１２）。ここでは基準画角３０１全体が表示画角として設定され（Ｓ４１３）、被写体検出部２０２により追尾エリア３０２内での被写体３０４の検出が行われる（Ｓ４１４）。
【００４７】
追尾エリア３０２内に誰も存在せず、被写体検出部２０２において被写体未検出の間（Ｓ４１４の「No」）は、ステップＳ４１３に戻りそのまま基準画角３０１全体が表示画角として設定されるとともに、後述する保存処理（Ｂ）に従って撮影された画像が記憶装置２０８に保存される。
【００４８】
追尾エリア３０２内に被写体３０４が入り、被写体検出部２０２により被写体３０４が検出されたときは（Ｓ４１４の「Yes」）、この被写体３０４の位置３０４Ａおよび被写体３０４の重心位置３０５Ａが求められる（Ｓ４１５）。
【００４９】
次に、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる（Ｓ４１６）。ここで言う特定のジェスチャとは、被写体３０４が重要背景内のある部位を指し示す動作のことであり、腕や手指、指し棒などの形状や動く方向、移動の仕方、滞留時間などによって検出される。
【００５０】
ジェスチャ検出部２０３において被写体３０４の特定のジェスチャが未検出であったときは（Ｓ４１６の「No」）、被写体３０４を含み被写体位置３０４Ａにおける被写体３０４の重心位置３０５Ａが中心となるような位置に表示画角３０６Ａが設定される（Ｓ４１７）。
【００５１】
設定された表示画角３０６Ａの画像は、図７のフローチャートに従って保存処理（Ｂ）が行われる（Ｓ４１８）。図７の保存処理（Ｂ）について説明する。
【００５２】
まず、設定された表示画角３０６Ａ部分が、画像切り出し部２０９により基準画角から切り出される（Ｓ４１９）。
【００５３】
切り出された表示画角３０６Ａの画像サイズＴ（Ｔｘ，Ｔｙ）が予め初期設定で設定された表示画角の画像サイズＤ（Ｄｘ，Ｄｙ）より大きい場合（Ｓ４２０の（１））は、スケーリング部２１０において（Ｔｘ≦Ｄｘ）∩（Ｔｙ≦Ｄｙ）となる最大サイズに表示画角３０６Ａの画像が縮小される（Ｓ４２１）。
【００５４】
また、切り出された表示画角３０６Ａの画像サイズＴ（Ｔｘ，Ｔｙ）が予め初期設定で設定された表示画角の画像サイズＤ（Ｄｘ，Ｄｙ）より小さい場合（Ｓ４２０の（３））は、スケーリング部２１０において（Ｔｘ≦Ｄｘ）∩（Ｔｙ≦Ｄｙ）となる最大サイズに表示画角３０６Ａの画像が拡大される（Ｓ４２２）。
【００５５】
また、切り出された表示画角３０６Ａの画像サイズＴ（Ｔｘ，Ｔｙ）と予め初期設定で設定された表示画角の画像サイズＤ（Ｄｘ，Ｄｙ）とが同じ場合（Ｓ４２０の（２））は、縮小または拡大のスケーリングは行われない。
【００５６】
表示画角３０６Ａの画像が予め設定された表示画角の画像サイズにスケーリングされた状態の画像を図９に示す。図９では、被写体３０４の重心位置３０５Ａが表示画角３０６Ａの中心に位置している。
【００５７】
所定サイズにスケーリングされた表示画角３０６Ａの画像は記憶装置２０８に保存される（Ｓ４２３）。以上で保存処理（Ｂ）が終了する。
【００５８】
保存処理（Ｂ）が終了すると、追尾エリア３０２内での被写体３０４の検出が継続して行われ（Ｓ４２４）、被写体３０４が未検出であれば（Ｓ４２４の「No」）ステップＳ４１３に戻り基準画角３０１全体が表示画角として設定され、ステップＳ４１４以降の処理が行われる。
【００５９】
ステップＳ４２４において被写体３０４が検出されたときは、被写体３０４が移動したかどうかが判定される（Ｓ４２５）。判定の結果、被写体３０４が移動していれば（Ｓ４２５の「Yes」）、移動距離がプリセット部２０１に設定された移動許容量の範囲内であるかどうかが判定される（Ｓ４２６）。
【００６０】
判定の結果、被写体３０４の移動距離が移動許容量の範囲を超えていた場合は（Ｓ４２６の「No」）、ステップＳ４１５に戻り、図８に示すように移動後の被写体の位置３０４Ｂおよび被写体の重心位置３０５Ｂが求められ、ステップＳ４１６以降の処理が行われる。このときの、被写体３０４の重心位置３０５Ｂが中心となるような位置の画像としては、表示画角３０６Ｂが切り出される。
【００６１】
ステップＳ４２５において被写体３０４が移動しなかったと判定された場合（Ｓ４２５の「No」）、およびステップＳ４２６において被写体の移動距離が設定された移動許容量の範囲内であると判定された場合（Ｓ４２６の「Yes」）は、ステップＳ４１６に戻り、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる。
【００６２】
ステップＳ４１６において、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャ３０７が検出された場合について図１０〜図１２を参照して説明する（Ｓ４１６の「Yes」）。
【００６３】
被写体３０４による特定のジェスチャ３０７が検出されたときは、このジェスチャ３０７の検出位置が重要背景エリア３０３内であるかどうかが判定される（Ｓ４２７）。
【００６４】
判定の結果、重要背景エリア３０３内であると判定された場合は（Ｓ４２７の「Yes」）、図形検出部２０５により重要背景エリア３０３内からジェスチャ３０７で指し示された指示領域３０８が検出される（Ｓ４２８）。
【００６５】
次に、検出された指示領域３０８の重心位置３０９が求められ（Ｓ４２９）、さらに被写体３０４の重心位置３０５Ｃと指示領域３０８の重心位置３０９との中心位置が求められる。
【００６６】
この被写体３０４の重心位置３０５Ｃと指示領域３０８の重心位置３０９との中心位置を重心位置３１０とし、被写体３０４および指示領域３０８を含む画角が表示画角３０６Ｄとして設定される（Ｓ４３０）。
【００６７】
設定された表示画角３０６Ｄは、上述したとおり、図７のフローチャートに従って保存処理（Ｂ）が行われる（Ｓ４１８）。
【００６８】
これらの処理により、図１０において、ジェスチャ３０７が検出される前は図８と同様に被写体３０４のみに基づいて重心位置３０５Ｃを重心とした表示画角３０６Ｃが切り出され図１１のようになるが、ジェスチャ３０７が検出されると被写体３０４および指示領域３０８に基づいて求められた重心位置３１０を重心として表示画角３０６Ｄが切り出され、モニタに表示される画像は図１２のように切り替わる。
【００６９】
また、ステップＳ４２７において、検出されたジェスチャ３０７の検出位置が重要背景エリア３０３内ではなかったと判定された場合は（Ｓ４２７の「No」）、ステップ４１７に進み、被写体３０４を含み被写体位置３０４Ｃにおける被写体３０４の重心位置３０５Ｃが中心となるような位置に表示画角３０６Ｃが設定される。
【００７０】
以上の撮影処理（Ａ）は講義風景が撮影されている間繰り返し実行され、ユーザにより撮影を停止する操作が入力部２０７により行われた場合は（Ｓ４３１の「Yes」）、撮影処理（Ａ）に停止を指示する割り込み信号が送信され（Ｓ４３２）、カメラ制御部２０４によってカメラ部１０の撮影が停止されるとともに、制御端末２０も一連の検出動作および撮影動作が停止される。
【００７１】
ユーザにより撮影を停止する操作が行われていないときは（Ｓ４３１の「No」）、撮影処理（Ａ）は継続して行われる。
【００７２】
以上の第１実施形態による追尾撮像装置によれば、被写体と被写体の背景にある重要な情報とを確実に逃さず捉えることができるとともに、これらの重要な情報は認識可能な解像度で撮影されているため講義内容の把握に効果的な映像を得ることができる。
【００７３】
《第２実施形態》
本発明の第２実施形態による追尾撮像システムは、第１実施形態による追尾撮像装置を用いて撮影された講義等の映像を、ネットワークを介して遠隔地の受講生が受信して視聴する遠隔講義に用いるものである。
【００７４】
〈第２実施形態による追尾撮像システムの構成〉
本実施形態による追尾システムの構成を、図１３を用いて説明する。図１３は、本実施形態による追尾システムの構成を示すブロック図であり、追尾撮像装置２と、ネットワーク３と、ネットワーク３を介して追尾撮像装置２に接続されている表示端末４とから構成されている。
【００７５】
追尾撮像装置２の主な構成は、第１実施形態における追尾撮像装置１の構成と同様であるため詳細な説明は省略する。追尾撮像装置１と異なる点は、講義の音声を録音する音声入力部１１と、制御端末２０に設けられネットワーク３を介して表示端末４と通信を行う通信制御部２１２を有することである。音声入力部１１は、被写体すなわち講師に装着したピンマイクもしくは集音マイクなどである。
【００７６】
ネットワーク３は、インターネット網、公衆網、衛星回線、テレビ回線などが利用できる。
【００７７】
表示端末４は、通信制御部４１と、出力部４２と、入力部４３と、記憶装置４４と、制御部４５とを有する。
【００７８】
通信制御部４１は、制御端末２０とネットワーク３を介して通信を行う。
【００７９】
出力部４２は、コンテンツを再生するスクリーンやモニタなどの映像表示装置およびスピーカなどの音声出力装置から構成される。
【００８０】
入力部４３は、ユーザが出力部４２及び表示端末全体を操作するときに用いる。
【００８１】
記憶装置４４は、必要な設定やコンテンツなどのデータを記憶する。
【００８２】
制御部４５は、上記の通信制御部４１〜記憶装置４４を制御する。
【００８３】
〈第２実施形態による追尾撮像システムの動作〉
本発明の第２実施形態による追尾撮像システムの動作を、図４〜図６、図１４および図１５のフローチャートを参照して説明する。
【００８４】
本実施形態において、講義が撮影されている間、カメラ部１０で撮影された画像は第１実施形態と同様に図４の初期設定が行われた後、図５および図６のフローチャートに従って撮影処理（Ａ）が継続して行われ、音声入力部１１から入力した講義の音声も継続して集音されているものとする。
【００８５】
追尾撮像装置２により撮影された映像および集音された音声であるコンテンツの配信処理について、図１４を参照して説明する。
【００８６】
まず、制御端末２０において撮影および集音されたコンテンツをリアルタイムに配信するか否かが判定される（Ｓ５０１）。リアルタイムに配信しないと判定された場合は（Ｓ５０７の「No」）、記憶装置２０８にコンテンツが保存される（Ｓ５０２）。保存は撮影が終了するまで継続される。
【００８７】
次に、保存されたコンテンツを配信するか否かが判定され、配信すると判定された場合（Ｓ５０３の「Yes」）は、配信先の表示端末４が指定される（Ｓ５０４）。このとき、配信がネットワーク３としてインターネット網を利用して行われるときはＩＰアドレスなどを用いて配信先の表示端末４の指定が行われ、必要があれば表示端末４と所定の通信手続きが行われて接続が確認される。配信先の表示端末４の設定はコンテンツの撮影前に予め行っておいてもよい。また、配信がテレビ放送などのように相手が不特定なブロードキャスト送信による場合は、特定の相手先の指定は行わないが、放送に必要な所定の配信手続きが行われる。
【００８８】
これらの通信準備が完了している状態で、ネットワーク３を介して追尾撮像装置２の通信制御部２１２から表示端末４へのコンテンツの配信が開始される（Ｓ５０５）。
【００８９】
コンテンツの配信が終わるまで、もしくは配信が必要なシーンまでコンテンツの配信が継続され（Ｓ５０６、Ｓ５０７の「No」）、必要な配信が完了すると配信処理が終了する（Ｓ５０７の「Yes」）。
【００９０】
ステップＳ５０３において保存されたコンテンツがここでは配信されず、後で別途配信が行われる場合は（Ｓ５０３の「No」）、処理が終了される。
【００９１】
また、ステップＳ５０１において、リアルタイムに配信すると判定された場合は（Ｓ５０１の「Yes」）、ステップＳ５０４における処理と同様に配信先の指定および確認が行われる（Ｓ５０８）。
【００９２】
ここで、コンテンツを保存する必要があれば（Ｓ５０９の「Yes」）保存し（Ｓ５１０）、その後ネットワーク３を介して追尾撮像装置２の通信制御部２１２から表示端末４へのコンテンツの配信が開始される（Ｓ５０５）。
【００９３】
講義が撮影されている間、コンテンツの配信が継続され（Ｓ５０６）、講義の撮影が終了したときはコンテンツの配信および保存（Ｓ５０９で「Yes」だった場合）が停止されて配信が完了し（Ｓ５０７）、コンテンツの配信処理が終了される。
【００９４】
次に、表示端末４におけるコンテンツの受信処理について、図１５を参照して説明する。
【００９５】
まず、表示端末４はコンテンツを受信するために待機しており、（Ｓ６０１、Ｓ６０２の「No」）、ネットワーク３を介して通信制御部４１で所望のコンテンツが受信されると（Ｓ６０２の「Yes」）処理が開始される。
【００９６】
所望のコンテンツが受信されると、まずこのコンテンツがストリーミングであるかファイル形式であるかが判定される（Ｓ６０３）。
【００９７】
コンテンツがストリーミングの場合は（Ｓ６０３の（１））、制御部４５で受信したコンテンツが再生可能な形式に変換された後、出力部４２から出力され再生、表示される（Ｓ６０４）。このコンテンツの変換および出力はコンテンツの受信が完了するまで継続して行われる（Ｓ６０５の「No」）。
【００９８】
コンテンツの受信が完了すると（Ｓ６０５の「Yes」）、出力部４２からのコンテンツの再生、表示が停止され（Ｓ６０６）、処理が終了する。
【００９９】
ステップＳ６０３において受信されたコンテンツがファイル形式であった場合は（Ｓ６０３の（２））、記憶装置４４にコンテンツが保存される（Ｓ６０７）。このコンテンツの保存はコンテンツの受信が完了するまで継続して行われる（Ｓ６０８の「No」）。
【０１００】
コンテンツの受信が完了すると（Ｓ６０８の「Yes」）、コンテンツがすぐに再生される場合は（Ｓ６０９の「Yes」）コンテンツが再生可能な形式に変換された後、出力部４２から出力され再生、表示される（Ｓ６１０）。このコンテンツの変換および出力はコンテンツの再生が完了するまで継続して行われる（Ｓ６１１の「No」）。
【０１０１】
コンテンツの再生が完了すると（Ｓ６１１の「Yes」）、出力部４２からのコンテンツの再生、表示が停止され、処理が終了する。
【０１０２】
ステップＳ６０９においてコンテンツがすぐに再生されない場合には、処理が終了される（Ｓ６０９の「No」）。
【０１０３】
ストリーミングで受信したときも、保存が行われる場合には記憶装置４４にコンテンツの保存が行われると同時に再生、表示が行われる。
【０１０４】
ここでは追尾撮像装置２から能動的にコンテンツを配信する例を示したが、必要に応じて表示端末４の入力部４３から追尾撮像装置２の制御端末２０に所望のコンテンツの配信要求を行い、追尾撮像装置２から受信するようにしてもよい。
【０１０５】
以上の第２実施形態による追尾撮像制御システムによれば、第１実施形態と同様の効果を得ることができるとともに、ネットワークを介して遠隔地に撮影したコンテンツを配信することができる。
【０１０６】
《第３実施形態》
本発明の第３実施形態による追尾撮像システムは、第２実施形態による追尾撮像システムを用いて撮影された講義等の映像を表示する際に、被写体と指示領域とを別々の映像として表示して遠隔講義に用いるものである。
【０１０７】
〈第３実施形態による追尾撮像システムの構成〉
本実施形態による追尾撮像システムの構成は、第２実施形態と同様であるため、詳細な説明は省略する。
【０１０８】
〈第３実施形態による追尾撮像システムの動作〉
本発明の第３実施形態による追尾撮像システムの動作を、図２、図３、図１６〜図２５を参照して説明する。
【０１０９】
まず、追尾撮像装置２により撮影した映像および集音した音声であるコンテンツの配信処理について、図１４を参照して説明する。
【０１１０】
まず、制御端末２０のプリセット部２０１で行われる初期設定の動作について図１６を参照して説明する。
【０１１１】
図２に示す教室などのような空間３０で被写体の検出、追尾を行いたいエリア、例えば講義を行う教壇がすべて含まれる画像が撮影できる場所にカメラ部１０が設置され、その画角が基準画角３０１として図３のように設定される（Ｓ７０１）。
【０１１２】
次に、図３の基準画角３０１内で被写体の検出および追尾が行われる領域が、追尾エリア３０２として設定される（Ｓ７０２）。
【０１１３】
次に、設定された追尾エリア３０２内で講義情報が含まれる領域が、重要背景エリア３０３として設定される（Ｓ７０３）。
【０１１４】
さらに、この講義風景を遠隔地などのモニタやスクリーンに表示するときの画角であり、検出した被写体を中心として画像を切り出す範囲である第１表示画角と、指示領域を中心とした画像を切り出す範囲である第２表示画角と、被写体の表示時の解像度である第１表示画角サイズと、指示領域の表示時の解像度である第２表示画角サイズとが設定される（Ｓ７０４）。
【０１１５】
ここで、第１の表示画角は、図１８に示すように検出した被写体３０４（身体全体もしくは顔、頭部など）から表示したい領域の重心位置３１１を中心に領域３１２（Ｈｘ，Ｈｙ）が抜き出され、第１の表示画角に対して被写体が常に同じ比率で表示されるように横方向にｈｘ、縦方向にｈｙの枠領域部分が追加される。ここでは、バストショットになるような画角を第１の表示画角３１３（Ｘ１，Ｙ１）としている。
【０１１６】
また、第２の表示画角は、図１９に示すように検出した指示領域の重心位置３０９を中心に領域３０８（Ｓｘ，Ｓｙ）が抜き出され、第２の表示画角に対して指示領域が常に同じ比率で表示されるように横方向にｓｘ、縦方向にｓｙの枠領域部分が追加される。このようにして、第２の表示画角３１４（Ｘ２，Ｙ２）が設定される。
【０１１７】
指示領域のアスペクト比は一定ではないので、ｓｘ、ｓｙは検出されたアスペクト比によって変更できるように複数の値を設定して保存しておいてもよい。または、ｓｘ、ｓｙはアスペクト比にあわせて計算によって求めるようにしてもよい。
【０１１８】
このとき、カメラ部１０が撮影する映像の解像度を（Ｘ，Ｙ）とすると、第１の表示画角のサイズは（Ｘ１≦Ｘ）∩（Ｙ１≦Ｙ）であり、第２の表示画角サイズは（Ｘ２≦Ｘ）∩（Ｙ２≦Ｙ）となる最大サイズになるように設定される。
【０１１９】
さらに、第１実施形態と同様に被写体の移動許容量が設定される。これらのステップＳ７０１〜ステップＳ７０４の初期設定は入力部２０７により行われ、記憶装置２０８に記憶される。
【０１２０】
次に、カメラ部１０で行われる講義の撮影の動作について図５および図１７を参照して説明する。
【０１２１】
まず、第１実施形態と同様に制御端末２０のカメラ制御部２０４によりカメラ部１０が起動されると（Ｓ４１０の「Yes」）、図１７のフローチャートに従って撮影処理（Ｃ）が行われる（Ｓ４１１）。図１７の撮影処理（Ｃ）について説明する。
【０１２２】
カメラ部１０が起動されると、まず基準画角３０１の撮影が開始される（Ｓ８０１）。ここでは基準画角３０１全体が第１の表示画角および第２の表示画角として設定され（Ｓ８０２）、被写体検出部２０２により追尾エリア３０２内での被写体３０４の検出が行われる（Ｓ８０３）。
【０１２３】
追尾エリア３０２内に誰も存在せず、被写体検出部２０２において被写体未検出の間（Ｓ８０３の「No」）は、ステップＳ８０２に戻りそのまま基準画角３０１全体が第１の表示画角および第２の表示画角として設定されるとともに、第１実施形態と同様に保存処理（Ｂ）に従って撮影された画像が記憶装置２０８に保存される（Ｓ８０４）。
【０１２４】
このとき、第１の表示画角または第２の表示画角として設定され切り出された画像サイズがプリセット部２０１で予め設定された各表示画角サイズと異なっている場合は、同じサイズになるように、スケーリング部２１０において第１の表示画角または第２の表示画角として切り出された画像が拡大または縮小される。
【０１２５】
このように調整された画像がモニタに出力された状態を、図２０に示す。図２０において、画像３１５は予め設定された第１の表示画角として切り出された基準画角３０１の画像であり、画像３１６は第２の表示画角として切り出された基準画角３０１の画像である。
【０１２６】
追尾エリア３０２内に被写体が入った場合を、図２１を参照して説明する。
【０１２７】
追尾エリア３０２内に被写体３０４が入り、被写体検出部２０２により検出されたときは（Ｓ８０３の「Yes」）、この被写体３０４の位置３０４Ａおよび被写体３０４の重心位置３０５Ａが求められる（Ｓ８０５）。
【０１２８】
次に、求められた被写体３０４の重心位置３０５Ａを基準に表示画角３０６Ａが第１の表示画角として設定され切り出される（Ｓ８０６）。ここで、第２の表示画角は基準画角３０１のままであり、このときの第１の表示画角として切り出された表示画角３０６Ａの画像３１７および第２の表示画角として切り出された基準画角３０１の画像３１８がモニタに出力された状態を図２２に示す。
【０１２９】
次に、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる（Ｓ８０７）。
【０１３０】
ジェスチャ検出部２０３において被写体３０４の特定のジェスチャが未検出であったときは（Ｓ８０７の「No」）、図７のフローチャートに従って保存処理（Ｂ）が行われる。（Ｓ８０４）
保存処理（Ｂ）が終了すると、追尾エリア３０２内での被写体３０４の検出が継続して行われ（Ｓ８１２）、被写体３０４が未検出であれば（Ｓ８１２の「No」）ステップＳ８０２に戻り基準画角３０１が第１の表示画角および第２の表示画角として設定され、ステップＳ８０３以降の処理が行われる。
【０１３１】
ステップＳ８１２において被写体３０４が検出されたときは、被写体３０４が移動したかどうかが判定される（Ｓ８１３）。判定の結果、被写体３０４が移動していれば（Ｓ８１３の「Yes」）、移動距離がプリセット部２０１に設定された移動許容量の範囲内であるかどうかが判定される（Ｓ８１４）。
【０１３２】
判定の結果、被写体３０４の移動距離が移動許容量の範囲を超えていた場合は（Ｓ８１４の「No」）、ステップＳ８０５に戻り、図２１に示すように移動後の被写体３０４の位置３０４Ｂおよび被写体３０４の重心位置３０５Ｂが求められ、ステップＳ８０６以降の処理が行われる。このときの、被写体３０４の重心位置３０５Ｂが中心となるような位置の第１の表示画角として、表示画角３０６Ｂが切り出される。
【０１３３】
ステップＳ８１３において被写体３０４が移動しなかったと判定された場合（Ｓ８１３の「No」）、およびステップＳ８１４において被写体３０４の移動距離が設定された移動許容量の範囲内であると判定された場合（Ｓ８１４の「Yes」）は、ステップＳ８０６に戻り、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる。
【０１３４】
ステップＳ８０７において、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャ３０７が検出された場合について図２３〜図２５を参照して説明する（Ｓ８０７の「Yes」）。
【０１３５】
被写体３０４による特定のジェスチャ３０７が検出されたときは、このジェスチャ３０７の検出位置が重要背景エリア３０３内であるかどうかが判定される（Ｓ８０８）。
【０１３６】
判定の結果、重要背景エリア３０３内であると判定された場合は（Ｓ８０８の「Yes」）、図形検出部２０５により重要背景エリア３０３内からジェスチャ３０７で指し示された指示領域３０８が検出される（Ｓ８０９）。
【０１３７】
次に、検出された指示領域３０８の重心位置３０９が求められ（Ｓ８１０）、この指示領域３０８を含み、指示領域３０８の重心位置３０９を基準にした表示画角３１９が第２の表示画角として設定され切り出される（Ｓ８１１）。
【０１３８】
第２の表示画角として設定された表示画角３１９は、上述したとおり、図７のフローチャートに従って保存処理（Ｂ）が行われる（Ｓ８０４）。
【０１３９】
これらの処理により、図２３において、ジェスチャ３０７が検出される前は図２１と同様に被写体３０４の位置３０４Ｃに基づいて重心位置３０５Ｃを重心とした表示画角３０６Ｃが第１の表示画角として切り出されるとともに基準画角３０１が第２の表示画角として切り出され、図２２の画像３１７および画像３１８のように表示されるが、ジェスチャ３０７が検出されると指示領域３０８に基づいて求められた重心位置３０９を重心とした表示画角３１９が第２の表示画角として切り出され、モニタに表示される画像は図２４の画像３２０および画像３２１のように切り替わる。
【０１４０】
さらに、図２３に示すように、被写体３０４の位置３０４Ｃが位置３０４Ｄに移動した場合は、第１の表示画角として切り出される画角は表示画角３０６Ｃから表示画角３０６Ｄに移動して図２５の画像３２２のように表示されるが、第２の表示画角は次のジェスチャが行われるまで画角位置が維持され、直前に被写体３０４が指した指示領域３０８を中心とする表示画角３１９が表示され続け、画像３２３のように表示される。
【０１４１】
以上の撮影処理（Ｃ）は講義風景が撮影されている間繰り返し行われ、ユーザにより撮影を停止する操作が入力部２０７により行われた場合は、第１実施形態と同様に図５のフローチャートに基づいて撮影処理（Ｃ）に停止を指示する割り込み信号が送信され（Ｓ４３２）、カメラ制御部２０４によってカメラ部１０の撮影が停止されるとともに、制御端末２０も一連の検出動作および撮影動作が停止される。
【０１４２】
撮影されたコンテンツは、第２実施形態と同様に図１４のフローチャートに従って表示端末４に送信され、表示端末４の制御部４５で第１の表示画角の画像として切り出された画像と第２の表示画角として切り出された画像とが同期がとられ出力部４２に出力される。
【０１４３】
以上の第３実施形態によれば、第１の表示画角の画像および第２の表示画角として切り出された２つの画像が表示されるため、随時移動する被写体を検出および追尾しながら、指示領域を別途固定画角で表示でき、被写体も指示領域も逃さずより見やすい映像を作成することができる。
【０１４４】
本実施形態において、第１の表示画角および第２の表示画角はそれぞれの表示したい（検出した）領域の重心位置を基準に設定したが、これには限定されず、見やすい映像を作成するために算出された位置を中心位置とすれば重心位置以外を基準としてもよい。
【０１４５】
《第４実施形態》
本発明の第４実施形態による追尾撮像装置は、遠隔講義などに利用するための講義の映像を撮影し、検出した被写体を中心としてパン、チルト、ズームの処理を行って表示するものである。
【０１４６】
〈第４実施形態による追尾撮像装置の構成〉
本発明の第４実施形態による追尾撮像装置５の構成を、図２、図３、図２６〜図３３を用いて説明する。
【０１４７】
図２６は本実施形態による追尾撮像装置５の構成を示すブロック図である。
【０１４８】
本実施形態による追尾撮像装置５は、空間３０内の講義が行われる教壇がすべて含まれる基準画角３０１で撮影するカメラ部１０と、カメラ部１０で撮影した映像を処理する制御端末２０とを有する。
【０１４９】
カメラ部１０は、制御端末２０からの制御により撮影可能な画角の範囲内で任意の位置にパン、チルト、ズーム処理（以下、「ＰＴＺ」と称する）を行う駆動部１０１を有する。またカメラ部１０は、ＰＴＺにより画角が変わっても、ステッピングモータで現在自分がいる位置およびズーム率を記憶しており、現在、画角内のどの範囲を撮影しているかを記憶している。
【０１５０】
制御端末２０は、プリセット部２０１と、被写体検出部２０２と、ジェスチャ検出部２０３と、カメラ制御部２０４と、表示部２０６と、入力部２０７と、記憶装置２０８と、図形検出部２１３とを有する。
【０１５１】
プリセット部２０１、被写体検出部２０２、ジェスチャ検出部２０３、表示部２０６、入力部２０７、および記憶装置２０８の機能は第１実施形態〜第３実施形態と同様であるため、詳細な説明は省略する。
【０１５２】
カメラ制御部２０４は、被写体や指示領域が撮影画角内に収まるようにカメラのＰＴＺを制御する。
【０１５３】
図形検出部２１３は、特定されたジェスチャが行われた位置から、重要背景エリア３０３内にあるユーザに必要な講義情報のうちジェスチャにより指し示された意味のある情報が集合した領域を指示領域として認識する。
【０１５４】
〈第４実施形態による追尾撮像装置の動作〉
本発明の第４実施形態による追尾撮像装置５の動作を、図２、図３、図５、図２７、図２８のフローチャートを参照して説明する。
【０１５５】
まず、制御端末２０のプリセット部２０１で行われる初期設定の動作について図２７を参照して説明する。
【０１５６】
図２に示す教室などのような空間３０で被写体の検出、追尾を行いたいエリア、例えば講義を行う教壇がすべて含まれる画像が撮影できる場所にカメラ部１０が設置され、その画角が基準画角３０１として図３のように設定される（Ｓ９０１）。
【０１５７】
次に、図３の基準画角３０１内で被写体の検出および追尾が行われる領域が、追尾エリア３０２として設定される（Ｓ９０２）。
【０１５８】
次に、設定された追尾エリア３０２内で講義情報が含まれる領域が、重要背景エリア３０３として設定される（Ｓ９０３）。
【０１５９】
さらに、第１実施形態と同様に被写体の移動許容量が設定される。これらのステップＳ９０１〜ステップＳ９０３の初期設定は入力部２０７により行われ、記憶装置２０８に記憶される。
【０１６０】
次に、カメラ部１０で行われる講義の撮影の動作について図５、図８、および図２８〜図３２を参照して説明する。
【０１６１】
まず、制御端末２０のカメラ制御部２０４によりカメラ部１０が起動されると（Ｓ４１０の「Yes」）、図２８のフローチャートに従って撮影処理（Ｄ）が行われる（Ｓ４１１）。図２８の撮影処理（Ｄ）について説明する。
【０１６２】
カメラ部１０が起動されると、まず基準画角３０１の撮影が開始される（Ｓ９１１）。ここでは基準画角３０１全体が表示画角として設定され、被写体検出部２０２により追尾エリア３０２内での被写体３０４の検出が行われる（Ｓ９１２）。
【０１６３】
追尾エリア３０２内に誰も存在せず、被写体検出部２０２において被写体未検出の間（Ｓ９１２の「No」）は、ステップＳ９１１に戻りそのまま基準画角３０１全体が表示画角として設定されるとともに、撮影された画像が記憶装置２０８に保存される（Ｓ９１３）。
【０１６４】
追尾エリア３０２内に被写体３０４が入り、被写体検出部２０２により被写体３０４が検出されたときは（Ｓ９１２の「Yes」）、この被写体３０４の位置および被写体３０４の重心位置３０５が求められる（Ｓ９１４）。
【０１６５】
次に、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる（Ｓ９１５）。
【０１６６】
ジェスチャ検出部２０３において被写体３０４の特定のジェスチャが未検出であったときは（Ｓ９１５の「No」）、被写体３０４を含み被写体３０４の重心位置３０５が中心となるような位置にカメラ制御部２０４により駆動部１０１が制御され、ＰＴＺ機能により撮影画角が図２９に示すように設定される（Ｓ９１６）。
【０１６７】
設定された撮影画角の画像は、記憶装置２０８に保存される（Ｓ９１３）。保存処理が終了すると、追尾エリア３０２内で被写体３０４が移動したかどうかが判定される（Ｓ９１７）。
【０１６８】
判定の結果、被写体３０４が移動していれば（Ｓ９１７の「Yes」）、移動距離がプリセット部２０１に設定された移動許容量の範囲内であるかどうかが判定される（Ｓ９１８）。
【０１６９】
判定の結果、被写体３０４の移動距離が移動許容量の範囲を超えていた場合は（Ｓ９１８の「No」）、ステップＳ９１４に戻り、移動後の被写体の位置および被写体の重心位置が求められ、ステップＳ９１５以降の処理が行われる。
【０１７０】
ステップＳ９１７において被写体３０４が移動しなかったと判定された場合（Ｓ９１７の「No」）、およびステップＳ９１８において被写体の移動距離が設定された移動許容量の範囲内であると判定された場合（Ｓ９１８の「Yes」）は、ステップＳ９１５に戻り、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャの検出が行われる。
【０１７１】
ステップＳ９１５において、ジェスチャ検出部２０３により被写体３０４による特定のジェスチャ３０７が検出された場合について図３０〜図３２を参照して説明する（Ｓ９１５の「Yes」）。
【０１７２】
被写体３０４による特定のジェスチャ３０７が検出されたときは、このジェスチャ３０７の検出位置が重要背景エリア３０３内であるかどうかが判定される（Ｓ９１９）。
【０１７３】
判定の結果、重要背景エリア３０３内であると判定された場合は（Ｓ９１９の「Yes」）、図形検出部２１３により重要背景エリア３０３内から、ジェスチャ３０７で指し示された指示領域３０８が検出される（Ｓ９２０）。
【０１７４】
次に、重要背景エリア３０３全体がこのときの撮影画角に含まれているかもしくは、指示領域３０８がこのときの撮影画角に収まっている場合は（Ｓ９２１の「Yes」）指示領域３０８の重心位置３０９が求められ（Ｓ９２２）、さらに被写体３０４の重心位置３０５と指示領域３０８の重心位置３０９との中心位置が求められる。
【０１７５】
この被写体３０４の重心位置３０５と指示領域３０８の重心位置３０９との中心位置を重心位置３１０とし、カメラ制御部２０４により駆動部１０１が制御され、ＰＴＺ機能により図３０に示すように被写体３０４および指示領域３０８が収まるように撮影画角が変更される（Ｓ９２３）。
【０１７６】
変更された撮影画角は、記憶装置２０８に保存される（Ｓ９１３）。
【０１７７】
ステップＳ９２１において、指示領域３０８が撮影画角の端を含む形で検出され、撮影画角内に収まっていないと判断された場合は（Ｓ９２１の「No」）、被写体３０４が含まれたままカメラ制御部２０４により駆動部１０１が制御され、ＰＴＺ機能により指示領域３０８の撮影画角端の方向に撮影画角が広げられ、指示領域３０８全体が含まれるように撮影画角が変更される（Ｓ９２４）。
【０１７８】
例えば、図３１のように指示領域３０８が撮影画角に収まっていない場合は、指示領域３０８が右端にはみ出ていると判断され、図３２に示すように被写体３０４および指示領域３０８を含むように右側に一定量パンされるとともに、被写体３０４と指示領域３０８とが両方共フレームアウトしないように一定量ズームアウトされる。
【０１７９】
そして、再びステップＳ９２１に戻り、指示領域３０８が撮影画角に収まっているか判断される。このステップＳ９２１およびＳ９２４の処理は、指示領域３０８が撮影画角に収まるまで繰り返される。
【０１８０】
これらの処理により、ジェスチャ３０７が検出される前は被写体３０４のみに基づいて重心位置３０５を重心とした撮影画角が図２９に示すように設定されるが、ジェスチャ３０７が検出されると被写体３０４および指示領域３０８に基づいて求められた重心位置３１０を重心として撮影画角に変更され、モニタに表示される画像は図３０のように切り替わる。
【０１８１】
また、ステップＳ９１５において、検出されたジェスチャ３０７の検出位置が重要背景エリア３０３内ではなかったと判定された場合は（Ｓ９１９の「No」）、ステップＳ９１６に進み、被写体３０４を含み被写体３０４の重心位置３０５が中心となるような位置にカメラ制御部２０４により駆動部１０１が制御され、ＰＴＺ機能により撮影画角が設定される。
【０１８２】
以上の撮影処理（Ｄ）は講義風景が撮影されている間繰り返し行われ、ユーザにより撮影を停止する操作が入力部２０７により行われた場合は（Ｓ４３１の「Yes」）、撮影処理（Ｄ）に停止を指示する割り込み信号が送信され（Ｓ４３２）、カメラ制御部２０４によってカメラ部１０の撮影が停止されるとともに、制御端末２０も一連の検出動作および撮影動作が停止される。
【０１８３】
ユーザにより撮影を停止する操作が行われていないときは（Ｓ４３１の「No」）、撮影処理（Ｄ）は継続して行われる。
【０１８４】
以上の第４実施形態による追尾撮像装置によれば、被写体と被写体の背景にある重要な情報とを確実に逃さず捉えることができるとともに、これらの重要な情報はズーム機能を用いて認識可能な大きさで撮影されているため講義内容の把握に効果的な映像を得ることができる。
【０１８５】
《第５実施形態》
本発明の第５実施形態による追尾撮像システムは、第４実施形態による追尾撮像装置を用いて撮影された講義等の映像を、ネットワークを介して遠隔地の受講生が受信して視聴する遠隔講義に用いるものである。
【０１８６】
〈第５実施形態による追尾撮像システムの構成〉
本実施形態による追尾システムの構成を、図３３を用いて説明する。図３３は、本実施形態による追尾システムの構成を示すブロック図であり、追尾撮像装置６と、ネットワーク３と、ネットワーク３を介して追尾撮像装置６に接続されている表示端末４とから構成されている。
【０１８７】
追尾撮像装置６の主な構成は、第４実施形態における追尾撮像装置５の構成と同様であるため詳細な説明は省略する。追尾撮像装置５と異なる点は、講義の音声を録音する音声入力部１１と、制御端末２０に設けられネットワーク３を介して表示端末４と通信を行う通信制御部２１２を有することである。音声入力部１１は、被写体すなわち講師に装着したピンマイクもしくは集音マイクなどである。
【０１８８】
ネットワーク３および表示端末４の構成は第２実施形態と同様であるため、詳しい説明は省略する。
【０１８９】
〈第５実施形態による追尾撮像システムの動作〉
本発明の第２実施形態による追尾撮像システムの動作について説明する。本実施形態において、講義が撮影されている間、カメラ部１０で撮影された画像は第４実施形態と同様に図２８のフローチャートに従って撮影処理（Ｄ）が継続して行われ、音声入力部１１から入力した講義の音声も継続して集音されているものとする。
【０１９０】
追尾撮像装置６により撮影された映像および集音された音声であるコンテンツの配信処理は、第２実施形態と同様であるため、詳しい説明は省略する。
【０１９１】
以上の第５実施形態による追尾撮像制御システムによれば、第４実施形態と同様の効果を得ることができるとともに、ネットワークを介して遠隔地に撮影したコンテンツを配信することができる。
【０１９２】
《その他の実施形態》
上記の第１実施形態〜第５実施形態において、下記のような形態で処理を行うことも可能である。
【０１９３】
〈ジェスチャの検出に関する他の実施形態〉
第１実施形態〜第５実施形態において、撮影した映像から被写体およびそのジェスチャを検出したが、これには限定されず、黒板などの重要背景エリアにタッチセンサーを設置し、被写体が黒板に触れたときにその位置を指示した位置をジェスチャが行われた位置として検出し、さらに指示領域を検出したり、被写体や指示領域の検出精度を向上させるためにその他の位置サンサーを併用したりしてもよい。
【０１９４】
〈トラッキングに関する他の実施形態〉
第１実施形態〜第５実施形態の撮影中の映像において、被写体が追尾エリアの中程で突然消えることはないので、撮影した映像のある画像フレームでそれまで検出していた被写体が未検出になった場合、すぐに表示画角を基準画角に変更せず、その後数フレーム内に被写体が再検出された場合には継続して検出されていたものとみなして処理を続けるトラッキング機能を使用してもよい。このような機能を使用することで、表示画角が頻繁に変わってしまうことを防ぎ、より見やすい映像にすることができる。
【０１９５】
〈表示画角を切り出す位置に関する他の実施形態〉
第１実施形態〜第５実施形態において、撮影したフレーム画像から表示画角を切り出す際、カメラ部１０で撮影した基準画角の映像全体を制御端末２０に送信し、制御端末２０側で表示画角の切り出しを行っているが、カメラ部１０内に切り出し部２０９の機能を持たせ、カメラ制御部２０４からカメラ部１０に切り出す部分の位置座標などの情報を送信し、撮影した映像の中で表示画角だけをカメラ部１０内で切り出して制御端末２０に送信するようにしてもよい。
【０１９６】
また、カメラ部１０に制御端末２０の被写体検出部２０２、ジェスチャ検出部２０３、図形検出部２０５、スケーリング部２１０などの機能を持たせ、カメラ部１０に中で各種検出から表示画角の切り出しまで行うようにしてもよい。
【０１９７】
〈重心位置、中心位置に関する他の実施形態〉
第１実施形態〜第５実施形態において、ジェスチャが検出されていないときは被写体の重心位置から表示画角を求めているが、被写体の表示範囲はこれには限定されず、必要な部分が映っていれば他の画角でもよい。
【０１９８】
また、被写体のジェスチャが検出されたとき、被写体の重心位置と指示領域の重心位置とから表示画角の中心位置を求めたが、これには限定されず、例えば被写体が表示画角の端に位置するようにするとともに指示領域の重心位置を表示画角の中心位置にするようにするなど、被写体と指示領域とが含まれ、見る人が見やすい表示画角であれば別の画角でもよい。
【０１９９】
〈移動許容量に関する他の実施形態〉
第１実施形態〜第５実施形態において、被写体の移動許容量は予め想定される被写体の動作スピードと移動量によって設定しているが、これには限定されず、撮影中に被写体の動きベクトルを求め、被写体の移動スピードによってその移動許容量や、被写体や指示領域の表示画角および表示画角サイズを変更するようなダイナミックな設定を行うようにしてもよい。
【０２００】
〈撮影した映像の保存場所に関する他の実施形態〉
第１実施形態〜第５実施形態において、撮影した映像のデータは追尾撮像装置内の記憶装置２０８に記録したが、これには限定されず、制御端末２０に通信手段（図示せず）を設け、この通信手段を介して別の記憶装置に記録するようにしてもよい。このとき、リアルタイム配信をする場合は、記憶バッファ（図示せず）に映像のデータを一時保存するか、もしくはそのまま所定のデータ形式に変換して配信する。
【図面の簡単な説明】
【０２０１】
【図１】本発明の第１実施形態における追尾撮像装置の構成を示すブロック図である。
【図２】本発明の第１実施形態における追尾撮像装置により撮影が行われる空間を示す概略図である。
【図３】本発明の第１実施形態における追尾撮像装置により撮影された基準画角を示す概略図である。
【図４】本発明の第１実施形態における追尾撮像装置における初期設定の動作を示すフローチャートである。
【図５】本発明の第１実施形態における追尾撮像装置における起動および停止の動作を示すフローチャートである。
【図６】本発明の第１実施形態における追尾撮像装置における撮影処理の動作を示すフローチャートである。
【図７】本発明の第１実施形態における追尾撮像装置における保存処理の動作を示すフローチャートである。
【図８】本発明の第１実施形態における追尾撮像装置により撮影された基準画角の画像を示す概略図である。
【図９】本発明の第１実施形態における追尾撮像装置により撮影された画像から切り出した被写体を中心とした表示画角の概略図である。
【図１０】本発明の第１実施形態における追尾撮像装置により撮影された基準画角の画像を示す概略図である。
【図１１】本発明の第１実施形態における追尾撮像装置により撮影された画像から切り出された被写体を中心とした表示画角の概略図である。
【図１２】本発明の第１実施形態における追尾撮像装置により撮影された画像から切り出された被写体および指示領域を中心とした表示画角の概略図である。
【図１３】本発明の第２実施形態における追尾撮像システムの構成を示すブロック図である。
【図１４】本発明の第２実施形態における追尾撮像システムにおけるコンテンツ配信処理の動作を示すフローチャートである。
【図１５】本発明の第２実施形態における追尾撮像システムにおけるコンテンツ受信処理および表示処理の動作を示すフローチャートである。
【図１６】本発明の第３実施形態における追尾撮像システムにおける初期設定の動作を示すフローチャートである。
【図１７】本発明の第３実施形態における追尾撮像システムにおける撮影処理の動作を示すフローチャートである。
【図１８】本発明の第３実施形態における追尾撮像システムにおいて検出された被写体を示す概略図である。
【図１９】本発明の第３実施形態における追尾撮像システムにおいて検出された指示領域を示す概略図である。
【図２０】本発明の第３実施形態における追尾撮像システムにおいて撮影された画像が表示された状態を示す概略図である。
【図２１】本発明の第３実施形態における追尾撮像システムにより撮影された基準画角を示す概略図である。
【図２２】本発明の第３実施形態における追尾撮像システムにおいて撮影された画像が表示された状態を示す概略図である。
【図２３】本発明の第３実施形態における追尾撮像システムにより撮影された基準画角を示す概略図である。
【図２４】本発明の第３実施形態における追尾撮像システムにおいて撮影された画像が表示された状態を示す概略図である。
【図２５】本発明の第３実施形態における追尾撮像システムにおいて撮影された画像が表示された状態を示す概略図である。
【図２６】本発明の第４実施形態における追尾撮像装置の構成を示すブロック図である。
【図２７】本発明の第４実施形態における追尾撮像装置における初期設定の動作を示すフローチャートである。
【図２８】本発明の第４実施形態における追尾撮像装置における撮影処理の動作を示すフローチャートである。
【図２９】本発明の第４実施形態における追尾撮像装置により撮影された被写体を中心とした撮影画角の概略図である。
【図３０】本発明の第４実施形態における追尾撮像装置により撮影された被写体および指示領域を中心とした撮影画角の概略図である。
【図３１】本発明の第４実施形態における追尾撮像システムにより撮影された被写体を中心とした撮影画角の概略図である。
【図３２】本発明の第４実施形態における追尾撮像装置により撮影された被写体を中心とした撮影画角の概略図である。
【図３３】本発明の第５実施形態における追尾撮像システムの構成を示すブロック図である。
【符号の説明】
【０２０２】
１、２、５、６、…追尾撮像装置
３…ネットワーク
４…表示端末
１０…カメラ部
１１…音声入力部
２０…制御端末
３０…空間
４１…通信制御部
４２…出力部
４３…入力部
４４…記憶装置
４５…制御部
１０１…駆動部
２０１…プリセット部
２０２…被写体検出部
２０３…ジェスチャ検出部
２０４…カメラ制御部
２０５…図形検出部
２０６…表示部
２０７…入力部
２０８…記憶装置
２０９…画像切り出し部
２１０…スケーリング部
２１１…制御部
２１２…通信制御部
２１３…図形検出部
３０１…基準画角
３０２…追尾エリア
３０３…重要背景エリア
３０４…被写体
３０４Ａ、３０４Ｂ、３０４Ｃ、３０４Ｄ…被写体位置
３０５…被写体の重心位置
３０５Ａ、３０５Ｂ、３０５Ｃ、３０５Ｄ…重心位置
３０６…領域
３０６Ａ、３０６Ｂ、３０６Ｃ、３０６Ｄ…表示画角
３０７…ジェスチャ
３０８…指示領域
３０９…指示領域の重心位置
３１０…重心位置
３１１…重心位置
３１２…領域
３１３…第１の表示画角
３１４…第２の表示画角
３１５〜３１８…画像
３１９…表示画角
３２０〜３２３…画像
【特許請求の範囲】
【請求項１】
追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、前記追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するカメラ部を備えた追尾撮像装置であって、
前記カメラ部が、前記追尾撮影エリア内を撮影して得られた画像から前記第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、
前記検出された第１被写体が前記重要背景エリア内の任意の位置を差し示す所定のジェスチャを検出するとともに、前記検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、
前記取得された位置座標に基づいて前記第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、
前記取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、前記第１及び第２被写体の画像を所定の画角で撮影画像から抽出する画像切り出し部と、
を備えた構成の追尾撮像装置。
【請求項２】
前記被写体検出部は、前記画像切り出し部から抽出された第１画像から検出した前記第１被写体の重心位置座標と、前記第１画像よりも後に撮影されて抽出された第２画像から検出した前記第１被写体の重心位置座標との距離が、あらかじめ設定された移動許容値以下である場合は、前記第２画像の画角を前記第１画像の画角と同一にするように構成したことを特徴とする請求項１に記載の追尾撮像装置。
【請求項３】
追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、前記追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するパン、チルト、及びズーム機能を有するカメラ部を備えた追尾撮像装置であって、
前記カメラ部が、前記追尾撮影エリア内を撮影して得られた画像から前記第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、
前記検出された第１被写体が前記重要背景エリア内の任意の位置を指し示す所定のジェスチャを検出するとともに、前記検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、
前記取得された位置座標に基づいて前記第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、
前記取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、前記パン、チルト、及びズームのうち少なくとも一の撮影制御機能により、前記第１及び第２被写体の画像を所定の画角で撮影するように前記カメラ部を制御するカメラ制御部と、
を備えた構成の追尾撮像装置。
【請求項４】
前記被写体検出部は、前記カメラ制御部の制御によって前記カメラ部で撮影された第１画像から検出した前記第１被写体の重心位置座標と、前記第１画像よりも後に撮影されて抽出された第２画像から検出した前記第１被写体の重心位置座標との距離が、あらかじめ設定された移動許容値以下である場合は、前記第２画像の画角を前記第１画像の画角と同一にするように構成したことを特徴とする請求項３に記載の追尾撮像装置。
【請求項５】
追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、前記追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するカメラ部を備えた追尾撮像装置と、前記カメラ部で撮影された画像を表示する表示端末とがネットワークを介してそれぞれ接続された追尾撮像システムであって、
前記追尾撮像装置は、
前記カメラ部が、前記追尾撮影エリア内を撮影して得られた画像から前記第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、
前記検出された第１被写体が前記重要背景エリア内の任意の位置を差し示す所定のジェスチャを検出するとともに、前記検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、
前記取得された位置座標に基づいて前記第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、
前記取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、前記第１及び第２被写体の画像を所定の画角で撮影画像から抽出する画像切り出し部と、
前記抽出された画像を前記ネットワークに送出するための通信制御部とを備えるとともに、
前記表示端末は、
前記追尾撮像装置から送出された画像を受信する通信制御部と、
前記受信された画像を表示出力する出力部と、
を備えた構成の追尾撮像システム。
【請求項６】
追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、前記追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するパン、チルト、及びズーム機能を有するカメラ部を備えた追尾撮像装置と、前記カメラ部で撮影された画像を表示する表示端末とがネットワークを介してそれぞれ接続された追尾撮像システムであって、
前記追尾撮像装置は、
前記カメラ部が、前記追尾撮影エリア内を撮影して得られた画像から前記第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、
前記検出された第１被写体が前記重要背景エリア内の任意の位置を指し示す所定のジェスチャを検出するとともに、前記検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、
前記取得された位置座標に基づいて前記第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、
前記取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、前記パン、チルト、及びズームのうち少なくとも一の撮影制御機能により、前記第１及び第２被写体の画像を所定の画角で撮影するように前記カメラ部を制御するカメラ制御部と、
前記撮影された画像を前記ネットワークに送出するための通信制御部とを備えるとともに、
前記表示端末は、
前記追尾撮像装置から送出された画像を受信する通信制御部と、
前記受信された画像を表示出力する出力部と、
を備えた構成の追尾撮像システム。
【請求項１】
追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、前記追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するカメラ部を備えた追尾撮像装置であって、
前記カメラ部が、前記追尾撮影エリア内を撮影して得られた画像から前記第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、
前記検出された第１被写体が前記重要背景エリア内の任意の位置を差し示す所定のジェスチャを検出するとともに、前記検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、
前記取得された位置座標に基づいて前記第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、
前記取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、前記第１及び第２被写体の画像を所定の画角で撮影画像から抽出する画像切り出し部と、
を備えた構成の追尾撮像装置。
【請求項２】
前記被写体検出部は、前記画像切り出し部から抽出された第１画像から検出した前記第１被写体の重心位置座標と、前記第１画像よりも後に撮影されて抽出された第２画像から検出した前記第１被写体の重心位置座標との距離が、あらかじめ設定された移動許容値以下である場合は、前記第２画像の画角を前記第１画像の画角と同一にするように構成したことを特徴とする請求項１に記載の追尾撮像装置。
【請求項３】
追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、前記追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するパン、チルト、及びズーム機能を有するカメラ部を備えた追尾撮像装置であって、
前記カメラ部が、前記追尾撮影エリア内を撮影して得られた画像から前記第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、
前記検出された第１被写体が前記重要背景エリア内の任意の位置を指し示す所定のジェスチャを検出するとともに、前記検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、
前記取得された位置座標に基づいて前記第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、
前記取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、前記パン、チルト、及びズームのうち少なくとも一の撮影制御機能により、前記第１及び第２被写体の画像を所定の画角で撮影するように前記カメラ部を制御するカメラ制御部と、
を備えた構成の追尾撮像装置。
【請求項４】
前記被写体検出部は、前記カメラ制御部の制御によって前記カメラ部で撮影された第１画像から検出した前記第１被写体の重心位置座標と、前記第１画像よりも後に撮影されて抽出された第２画像から検出した前記第１被写体の重心位置座標との距離が、あらかじめ設定された移動許容値以下である場合は、前記第２画像の画角を前記第１画像の画角と同一にするように構成したことを特徴とする請求項３に記載の追尾撮像装置。
【請求項５】
追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、前記追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するカメラ部を備えた追尾撮像装置と、前記カメラ部で撮影された画像を表示する表示端末とがネットワークを介してそれぞれ接続された追尾撮像システムであって、
前記追尾撮像装置は、
前記カメラ部が、前記追尾撮影エリア内を撮影して得られた画像から前記第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、
前記検出された第１被写体が前記重要背景エリア内の任意の位置を差し示す所定のジェスチャを検出するとともに、前記検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、
前記取得された位置座標に基づいて前記第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、
前記取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、前記第１及び第２被写体の画像を所定の画角で撮影画像から抽出する画像切り出し部と、
前記抽出された画像を前記ネットワークに送出するための通信制御部とを備えるとともに、
前記表示端末は、
前記追尾撮像装置から送出された画像を受信する通信制御部と、
前記受信された画像を表示出力する出力部と、
を備えた構成の追尾撮像システム。
【請求項６】
追尾撮影エリア内を移動する人物を第１被写体として追尾して撮影するとともに、前記追尾撮影エリア内の重要背景エリア内にある第２被写体を撮影するパン、チルト、及びズーム機能を有するカメラ部を備えた追尾撮像装置と、前記カメラ部で撮影された画像を表示する表示端末とがネットワークを介してそれぞれ接続された追尾撮像システムであって、
前記追尾撮像装置は、
前記カメラ部が、前記追尾撮影エリア内を撮影して得られた画像から前記第１被写体を検出するとともに、この検出された第１被写体の重心位置座標を取得する被写体検出部と、
前記検出された第１被写体が前記重要背景エリア内の任意の位置を指し示す所定のジェスチャを検出するとともに、前記検出されたジェスチャによって指し示された位置の位置座標を取得するジェスチャ検出部と、
前記取得された位置座標に基づいて前記第２被写体を検出するとともに、この検出された第２被写体の重心位置座標を取得する図形検出部と、
前記取得された第１及び第２被写体の各重心位置座標の中点座標を画角の中心として、前記パン、チルト、及びズームのうち少なくとも一の撮影制御機能により、前記第１及び第２被写体の画像を所定の画角で撮影するように前記カメラ部を制御するカメラ制御部と、
前記撮影された画像を前記ネットワークに送出するための通信制御部とを備えるとともに、
前記表示端末は、
前記追尾撮像装置から送出された画像を受信する通信制御部と、
前記受信された画像を表示出力する出力部と、
を備えた構成の追尾撮像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２００７−１５８６８０（Ｐ２００７−１５８６８０Ａ）
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願番号】特願２００５−３５０６７４（Ｐ２００５−３５０６７４）
【出願日】平成１７年１２月５日（２００５．１２．５）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願日】平成１７年１２月５日（２００５．１２．５）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]