撮像システムおよび撮像装置
【課題】入力画像などから得られる各種情報を複数の撮像装置間で送受信することにより、多様な撮像制御を行うことができる撮像システムおよび撮像装置を提供する。
【解決手段】撮像システムは撮像装置Ａと撮像装置Ｂとから構成される。撮像装置Ａが追被写体Ａを追尾し、撮像装置Ｂは被写体Ｂを追尾する。撮像装置Ａ、Ｂは、画像解析部１１４、動作制御部１１５、メタデータ生成部１１６、接近判定部１１７、動き予測部１１８、構図決定部１１９、撮像トリガ生成部１２０を備える。被写体Ａと被写体Ｂとが接近した場合に撮像装置Ｂからメタデータを撮像装置Ａに送信し、メタデータに基づいて撮像装置Ａは構図を決定する。そして、被写体Ａと被写体Ｂが近づいて被写体Ｂが撮像装置Ａの撮像範囲に入ったら決定した構図で撮像を行う。
【解決手段】撮像システムは撮像装置Ａと撮像装置Ｂとから構成される。撮像装置Ａが追被写体Ａを追尾し、撮像装置Ｂは被写体Ｂを追尾する。撮像装置Ａ、Ｂは、画像解析部１１４、動作制御部１１５、メタデータ生成部１１６、接近判定部１１７、動き予測部１１８、構図決定部１１９、撮像トリガ生成部１２０を備える。被写体Ａと被写体Ｂとが接近した場合に撮像装置Ｂからメタデータを撮像装置Ａに送信し、メタデータに基づいて撮像装置Ａは構図を決定する。そして、被写体Ａと被写体Ｂが近づいて被写体Ｂが撮像装置Ａの撮像範囲に入ったら決定した構図で撮像を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の撮像装置からなり、撮像装置間でデータのやり取りを行うことにより適切な撮像を可能とする撮像システムおよびその撮像システムを構成する撮像装置に関する。
【背景技術】
【０００２】
従来から、複数の撮像装置間でデータの送受信を行い、そのデータを利用して撮像を行う技術が存在する。例えば、カメラの焦点距離、絞り、ホワイトバランス、映像データの符号化圧縮率、多重レートおよび多重期間、静止画か動画かの区別および音声の有無などの映像音声信号、ビデオ編集、システム制御に関連するパラメータを用いて、複数の撮影装置の同期制御を行う記録システムが提案されている（特許文献１）。
【０００３】
また、撮影装置からの画像データを用いて他の撮影装置を制御するシステムとしては、広角画像を撮影する２台のセンサカメラで被写体の動き予測を行い、そのパラメータを用いて撮影カメラで被写体を自動追尾して撮影する自動撮影カメラシステムが提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２―３２５２１６号公報
【特許文献１】特開平９―３２１２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述の従来のシステムで撮像装置間の同期制御に用いている情報は、カメラの焦点距離、絞り、ホワイトバランス、映像データの符号化圧縮率、多重レートおよび多重期間、静止画か動画かの区別および音声の有無などであり、実際に記録される画像データを元にした情報としては被写体の移動情報程度しかない。このため、得られる情報を用いて可能な制御としては、ズームを同期させる、WBを同じにする、圧縮率に応じて転送レートを変えるなど、単純なシステム制御に限られる。よって、画像中の撮影対象の変化に応じて撮影対象/方法を変えるような、画像データから得られるメタデータを使用した制御は行えていない。
【０００６】
また、被写体がある撮影装置の撮影範囲外に出て他の撮影装置の撮影範囲内に移動する場合など、複数の撮影装置の撮影範囲をまたいで移動する場合には、それまで撮影していた被写体の情報を引き継ぐことができず、各撮影装置で取得し直す必要があった。センサカメラの撮影範囲内から出てしまった場合も同様である。
【０００７】
したがって、この発明の目的は、入力画像などから得られる各種情報をメタデータとして複数の撮像装置間で送受信することにより、より多様な撮像制御を行うことができる撮像システムおよびその撮像システムを構成する撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、第１の発明は、相互通信可能な複数の撮像装置からなり、複数の被写体を撮像する撮像システムにおいて、複数の撮像装置に含まれる第１の撮像装置は、第１のメタデータを生成して複数の撮像装置に含まれる第２の撮像装置に送信し、第２の撮像装置は、第２のメタデータを生成して第１の撮像装置に送信し、第１の撮像装置および第２の撮像装置のうちいずれか一方または両方は第１のメタデータおよび第２のメタデータに基づいて構図を決定する撮像システムである。
【０００９】
第２の発明は、複数の撮像装置からなり、複数の被写体を撮像する撮像システムを構成する撮像装置において、撮像装置は、メタデータを生成するメタデータ生成部と、メタデータ生成部により生成されたメタデータを前記撮像システムを構成する他の撮像装置に送信し、さらに、他の撮像装置が生成した他のメタデータを受信する通信部と、メタデータおよび他のメタデータに基づいて撮像の構図を決定する構図決定部とを備える撮像装置である。
【発明の効果】
【００１０】
この発明によれば、入力画像などから得られる各種情報をメタデータとして複数の撮像装置間で送受信することにより、多様な撮像制御を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の第１の実施の形態に係る撮像システムの概略構成を示す図である。
【図２】撮像システムを構成する撮像装置の構成を示すブロック図である。
【図３】撮像システムを構成する撮像装置の外観構成を示す図である。
【図４】メタデータの詳細を示す図である。
【図５】第１の実施の形態において撮像装置が行う処理を示すフローチャートである。
【図６】構図の決定の具体例を示す図である。
【図７】構図の決定の他の具体例を示す図である。
【図８】第１の実施の形態の応用例を示す図である。
【図９】この発明の第２の実施の形態において撮像装置が行う処理を示すフローチャートである。
【図１０】第２の実施の形態における構図の決定の具体例を示す図である。
【図１１】第２の実施の形態の応用例における処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、この発明の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１．撮像システムの構成］
［１−２．撮像装置の構成］
［１−３．撮像システムの動作］
［１−４．構図決定の具体例］
［１−５．応用例］
＜２．第２の実施の形態＞
［２−１．撮像システムの動作］
［２−２．応用例］
＜３．変形例＞
【００１３】
＜１．第１の実施の形態＞
［１−１．撮像システムの構成］
図１は、この発明に係る撮像システム１の概略構成を示す図である。図１に示すように撮像システム１は、近接した状態で並設された撮像装置Ａと撮像装置Ｂとから構成されている。撮像装置Ａが特許請求の範囲における第１の撮像装置に相当し、撮像装置Ｂが第２の撮像装置に相当するものである。また、請求項１０以降においては、撮像装置Ａが撮像装置、撮像装置Ｂが他の撮像装置に相当する。なお、本実施の形態では、撮像装置Ａおよび撮像装置Ｂとしては、静止画像を記録するデジタルスチルカメラが用いられている。撮像装置Ａと撮像装置Ｂとは後述する通信部１０８を介して接続されており、メタデータ、画像データ、撮像トリガなどの各種データの送受信が可能となっている。各種データの詳細およびその送受信については後述する。
【００１４】
図１に示すように、撮像装置Ａが追尾する被写体を被写体Ａ、撮像装置Ｂが追尾する被写体を被写体Ｂと称する。また、撮像装置Ａの撮像範囲（画枠）を撮像範囲Ａ、撮像装置Ｂの撮像範囲を撮像範囲Ｂと称する。撮像装置Ａと撮像装置Ｂとは初期状態においては、輻輳角が限りなくゼロに近い、つまり光軸が並行である状態に設置するものとする。その状態を基準としてパン方向回転角度を把握するものとする。
【００１５】
［１−２．撮像装置の構成］
以下、上述の撮像システム１を構成する撮像装置Ａ、撮像装置Ｂについて説明する。図２は、この発明に係る撮像装置Ａの構成を示すブロック図である。また、図３は撮像装置の外観構成を示す図である。なお、撮像装置Ｂの構成も撮像装置Ａと同様であるため、その説明を省略する。撮像装置Ａは、被写体の撮像を行う撮像部１００と撮像部１００のパン・チルト動作を担う駆動部２００とから構成されている。
【００１６】
光学撮像系１０１は、例えば、撮像レンズ、ズームレンズ、フォーカスレンズおよび絞りなどを有し、被写体の光画像を入射する。光学撮像系１０１を介して得られた被写体の光画像は、撮像デバイスとしての固体撮像素子１０２上に結像される。固体撮像素子１０２としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
【００１７】
固体撮像素子１０２は、結像された光画像を光電変換して電荷量に変換し、アナログ撮像信号として出力する。固体撮像素子１０２から出力されるアナログ撮像信号は、Ａ／Ｄ変換部１０３に供給される。Ａ／Ｄ変換部１０３は、固体撮像素子１０２から供給されるアナログ撮像信号をデジタル撮像信号に変換し、信号処理部１０４に出力する。信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されるデジタル撮像信号を、例えば輝度信号と色差信号からなる画像データに変換して制御部１１３に出力する。ズームレンズ制御部１０５、フォーカスレンズ制御部１０６および絞り制御部１０７は、後述する制御部１１３からの制御信号に従って、それぞれ光学撮像系１０１が有するズームレンズ、フォーカスレンズおよび絞りなどを制御する。
【００１８】
通信部１０８は、有線通信または無線通信によって撮像装置Ｂとの間でメタデータ、画像データ、撮像トリガなどの各種情報を送受信するためのインターフェースである。本実施の形態では、撮像装置ＡからのメタデータＡは通信部１０８を介して撮像装置Ｂに送信され、撮像装置Ｂから送信されたメタデータＢは通信部１０８を介して撮像装置Ａが受信する。
【００１９】
通信方式は有線、無線を問わず、有線の場合にはＵＳＢ（Universal Serial Bus）ケーブル、ネットワークを利用した有線ＬＡＮ（Local Area Network）などにより接続する。無線の場合には、無線ＬＡＮ、Bluetooth（登録商標）、近接無線転送技術Transfer Jet（ソニー株式会社の商標）などを用いることができる。なお、Transfer Jetの通信可能距離は数センチメートルであるため、Transfer Jetを用いる場合は、撮像装置Ａを撮像装置Ｂとを近接した状態で配置する必要がある。
【００２０】
バッファメモリ１０９は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成される記憶媒体であり、信号処理部１０４によって所定の処理が施された画像データを一時的に蓄えておくものである。スイッチ１１０は、例えば、ＦＥＴ（Field Effect Transistor）などの半導体スイッチ素子を用いて構成されており、バッファメモリ１０９と後述するエンコード部１１１の間に設けられている。スイッチ１１０は、後述する撮像トリガ生成部１２０から出力される撮像トリガによってオン／オフが切り換えられることによりバッファメモリ１０９に格納されている画像データをエンコード部１１１に供給するか否かを切り換えるものである。
【００２１】
エンコード部１１１は、スイッチ１１０がオンの状態の場合にバッファメモリ１０９から供給された画像データを、例えばＪＰＥＧ（Joint Photographic Experts Group）などに符号化して記録部１１２に供給するものである。
【００２２】
記録部１１２は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどにより構成される大容量記憶媒体であり、撮像装置Ａによって撮像された画像を保存するためのものである。また、保存された画像に付随するメタデータもその画像に対応付けられて保存される。このように、この発明に係る撮像装置では、画像データは常時バッファメモリ１０９に格納され、撮像トリガによってスイッチ１１０がオンに切り換えられることによりエンコード部１１１に送られる。そして、最終的に記録部１１２に保存される。
【００２３】
制御部１１３は、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）から構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置Ａ全体の制御を行う。また、制御部１１３は、所定のプログラムを実行することにより、画像解析部１１４、動作制御部１１５、メタデータ生成部１１６、接近判定部１１７、動き予測部１１８、構図決定部１１９、撮像トリガ生成部１２０として機能する。
【００２４】
画像解析部１１４は、信号処理部１０４から供給された入力画像データを解析して、種々の検出、情報の算出などを行う。まず、画像解析部１１４は、画像データから被写体を検出する。本実施の形態においては被写体は人物であり、被写体の検出は例えば、人物の顔を検出することにより行われる。顔検出方法としては、例えば、人間の顔の特徴（目、眉毛、口、耳等）を含むテンプレートと画像データとのパターンマッチングによる検出方法、顔の輝度分布情報が記録されているテンプレートと画像データとのパターンマッチングによる検出方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。なお、複数の顔が検出された場合には、顔の大きさ、向き、輝度などの情報により、その検出された複数の顔に対して重み付けを行い、重み付けの結果、最も高い重みが付与された顔が被写体として選択するようにしてもよい。
【００２５】
また、画像解析部１１４は、検出された人物があらかじめ被写体として設定された人物（以下、設定被写体と称する。）であるか否かの判定も行う。その設定被写体か否かの判定は例えば、あらかじめ撮像装置Ａ内の記録部１１２にその設定被写体の顔の特徴に関する情報を保持しておき、その顔特徴情報と検出された被写体の顔の特徴とのパターンマッチングを行うことにより実施される。そして、検出された被写体が設定被写体であると判定した場合、画像解析部１１４はその被写体を追尾対象として決定する。その追尾対象の情報は動作制御部１１５に出力される。
【００２６】
また、画像解析部１１４は、上述の処理により追尾対象として決定された被写体についての顔位置情報の生成を行う。顔位置情報は、枠サイズwidth、顔枠サイズheight、顔枠オフセットleft、顔枠オフセットtop、移動速度ｘ、移動速度ｙ、移動速度ｚとから構成されている。なお、顔位置情報は特許請求の範囲における被写体情報に相当するものである。
【００２７】
顔枠サイズwidthは、撮像範囲Ａ内で顔として検出された範囲を示す顔枠の横幅のサイズを示す情報である。顔枠サイズheightは撮像範囲Ａ内における顔枠の縦方向の長さを示す情報である。また、顔枠オフセットleftは、撮像範囲Ａの左端から顔枠の左端までのオフセットである。顔枠オフセットtopは撮像範囲Ａの上端から顔枠の上端までのオフセットである。このオフセット情報により被写体の顔が撮像範囲Ａ内のどこに位置しているかが示される。
【００２８】
移動速度ｘは、検出された顔のｘ方向（横方向）の移動速度であり、移動速度ｙは顔のｙ方向（縦方向）の移動速度であり、移動速度ｚは顔のｚ方向（奥行き方向）の移動速度である。移動速度は、例えば、現フレームに係る画像と前フレームに係る画像間における顔の位置の移動量および現フレームと前フレーム間の経過時間とから算出することが可能である。このようにして、画像解析部１１４により求められた顔位置情報は動作制御部１１５およびメタデータ生成部１１６に出力される。
【００２９】
さらに、画像解析部１１４は、検出された被写体の顔の表情判定も行う。表情判定は、公知の技術を利用することで実現することができる。例えば、目、鼻、口、眉毛又は顎の輪郭周りに特徴点を検出し、その特徴点の配置状態、位置関係により表情の種別およびその表情の度合いを検出することが可能である。そして、表情判定の結果（以下、表情判定情報と称する。）は後述する撮像トリガ生成部１２０に供給され、撮像トリガの生成に用いられる。これにより、例えば、被写体が笑顔になるたびに撮像トリガを生成していわゆる笑顔撮影を行うことができる。なお、表情判定情報は、撮像トリガの生成に用いられるものであるため、表情に基づく撮像を行わない場合には表情判定処理は省略してもよい。なお、検出する表情は笑顔に限られるものではない。
【００３０】
動作制御部１１５は、画像解析部１１４によって追尾対象として決定された被写体を自動追尾するために、撮像装置Ａの各部の動作の制御を行うものである。画像解析部１１４から供給された顔位置情報に基づいて被写体の移動を検出し、その移動に合わせてオートフォーカスを行うエリアを自動的に移動させるようフォーカス制御部１１３に所定の制御信号を出力する。これにより撮像範囲Ａ内で被写体が移動した場合でも、その被写体の顔を追尾してピントを合わせることができる。
【００３１】
また、動作制御部１１５は、被写体の自動追尾のため、あらかじめ定められたアルゴリズムに基づく撮像のため、ズームレンズ制御部１０５に所定の制御信号を出力しズーム倍率の制御を行う。さらに、動作制御部１１５は、被写体の自動追尾のため、あらかじめ定められたアルゴリズムに基づく撮像のため、後述する駆動部２００に対し所定の制御信号を送信することにより駆動部２００のパン・チルト動作の制御を行う。
【００３２】
ここで、所定のアルゴリズムとは、追尾対象としている被写体の笑顔を検出したときに撮像を行う、一定の時間間隔を空けて定期的に撮像を行う、同一被写体は１０秒以上間隔を空けて撮像する、一回の撮像ごとにズーム倍率を変更する、などである。
【００３３】
さらに、動作制御部１１５は、後述する構図決定部１１９から供給された構図情報に基づいて、決定された構図を反映させるためにズーム倍率の制御、駆動部２００のパン・チルト動作制御を行う。構図情報とは、決定した構図を再現するためのオートフォーカス情報、ズーム倍率を示す情報およびパン・チルト回転角度を示す情報とからなる。なお、構図の決定の詳細については後述する。
【００３４】
なお、ズームレンズ制御部１０５に対する制御情報、すなわち、ズームレンズのズーム倍率を示す情報がズーム情報としてメタデータ生成部１１６に出力される。また、同様に駆動部２００に対する制御情報、すなわち、駆動部２００のパン方向角度、チルト方向角度を示す情報はパン・チルト情報としてメタデータ生成部１１６に出力される。パン方向角度は、撮像装置Ａの撮像方向のパン方向（水平方向）における回転角度を示すものであり、チルト方向角度は、撮像装置Ａの撮像方向のチルト方向（垂直方向）における回転角度を示すものである。
【００３５】
このように、この発明では、被写体の顔位置情報を算出し、それらに基づいて被写体を自動追尾するためのフォーカスエリアの位置、ズーム倍率、パン・チルト回転角度を求める。そして、その算出結果に基づいて、常に被写体Ａが撮像範囲Ａ内に位置するように、フォーカスエリアの移動、ズーム倍率の調整、さらに、駆動部２００の動作制御を行う。これにより、被写体が移動した場合でも、その顔を自動追尾することが可能となっている。
【００３６】
メタデータ生成部１１６は、画像解析部１１４から供給された顔位置情報、さらに動作制御部１１５から取得した撮像装置Ａの動作に関する情報であるズームレンズ情報、パン・チルト情報に基づいてメタデータを生成するものである。したがって、メタデータは図４に示すように、顔位置情報、ズーム情報、パン・チルト情報とから構成されるものとなる。メタデータ生成部１１６により生成されたメタデータは通信部１０８を介して撮像装置Ａ撮像装置Ｂ間で送受信される。さらに、接近判定部１１７、動き予測部１１８および構図決定部１１９に出力される。また、生成されたメタデータは記録部１１２に蓄積メタデータとして随時記録されていく。なお、撮像装置Ａにより生成されるメタデータをメタデータＡとし、撮像装置Ｂにより生成されるメタデータをメタデータＢと称し、区別する。
【００３７】
メタデータを構成する顔位置情報は画像解析部１１４による解析の結果取得され、ズーム情報およびパン・チルト情報は動作制御部１１５から取得されるものとして説明を行った。しかし、それに限られず、ズーム情報およびパン・チルト情報も画像解析部１１４による画像解析の結果求めるようにしてもよい。
【００３８】
接近判定部１１７は、メタデータに含まれる顔位置情報、パン・チルト情報に基づいて被写体Ａと被写体Ｂとが接近しているか否かの判定を行う。接近しているかの判定は例えば、被写体Ａと被写体Ｂとが共に撮像範囲Ａ内に収まっている場合にはそれぞれの顔の位置を検出し、その顔の位置間の距離が所定の閾値（距離）以下か否かを判定することにより行うことができる。また、撮像装置Ａの撮像範囲Ａ内には被写体Ａのみが収まっており、撮像装置Ｂの撮像範囲Ｂ内には被写体Ｂのみが収まっているような場合には、撮像装置Ａと撮像装置Ｂのそれぞれのパン方向の回転角度の差を算出する。そして、その差が所定の閾値（角度）以下である場合に被写体間の距離が短いとして被写体が接近している、と判定することができる。接近判定部１１７は、その判定結果を構図決定部１１９および撮像トリガ生成部１２０に出力する。なお、接近していると判定するための閾値はデフォルトとして撮像装置Ａ内に設定しておいてもよいし、ユーザが任意に設定できるようにしてもよい。
【００３９】
動き予測部１１８は、メタデータに含まれる被写体の顔位置情報に基づいてフレーム間の被写体の動き予測を行う。動き予測は例えば以下のようにして行う。まず、時刻Ｔｎ（現フレーム）の時点での被写体の動きベクトルＶｎを算出する。この動きベクトルＶｎは、画像中で時刻Ｔｎ−１（前フレーム）において得られた被写体と時刻Ｔｎ（現フレーム）において得られた被写体とのずれとして算出することができる。そして、動きベクトルＶｎを算出した後、動き予測を行う。被写体は同一方向に同一速度で動くと考えて予測を行う。すなわち、時刻Ｔｎ−１（前フレーム）、時刻Ｔｎ（現フレーム）、時刻Ｔｎ＋１（次フレーム）の間で、画像上での被写体の動きベクトルが変わらないと考える。したがって、予測される動きベクトルＶｎ＋１は、Ｖｎ＋１＝Ｖｎとなる。このような予測を行うことにより、被写体の時刻Ｔｎ＋１（次フレーム）における位置を予測することができる。
【００４０】
また、動き予測は、３つのフレーム、時刻Ｔｎ（現フレーム）、時刻Ｔｎ−１（前フレーム）、時刻Ｔｎ−２（２つ前のフレーム）に基づいて行なってもよい。この場合、時刻Ｔｎ−１（前フレーム）、時刻Ｔｎ−２（２つ前のフレーム）間の動きベクトルＶｎ−１を求め、さらに、時刻Ｔｎ（現フレーム）、時刻Ｔｎ−１（前フレーム）間の動きベクトルＶｎを求める。そして、その二つの動きベクトルから予測動きベクトルＶｎ＋１を算出して、その動きベクトルＶｎ＋１から被写体の時刻Ｔｎ＋１（次フレーム）における位置を予測することができる。
【００４１】
また、動き予測部１１８は、記録部１１２に保存されている蓄積メタデータを用いて動き予測を行うことも可能である。具体的には、同一の被写体について作成した直前のメタデータに含まれる被写体の顔位置情報と、現時点における被写体の顔位置情報とに基づいて上述のフレーム間における動きベクトル算出と同様にして動きベクトルを算出する。そして、その動きベクトルに基づいて動き予測を行う。なお、蓄積メタデータに含まれるパン・チルト情報に基づいても動き予測は可能であると考えられる。例えば、直前のメタデータに含まれるパン・チルト情報と現時点におけるパン・チルト情報とからパン・チルト回転角度の差分を算出する。そして、直前のメタデータ作成時刻から現時刻までの経過時間と同じ時間が経過した後には被写体が現在位置から同方向にその差分に相当する距離移動すると予測することにより動き予測を行う、などである。
【００４２】
また、蓄積メタデータを用いて画像解析部１１４における被写体の移動速度の算出も行うことが可能である。具体的には、同一の被写体について作成した直前のメタデータに含まれる被写体の顔位置情報と現時点における被写体の顔位置情報から顔位置の差として顔位置の移動量を算出する。そして、その移動量と、直前のメタデータの作成時刻から現在時刻までの経過時間とから移動速度を算出することが可能である。
【００４３】
構図決定部１１９は、撮像装置Ａにより生成されたメタデータＡおよび撮像装置Ｂにより生成されて撮像装置Ａに送信されたメタデータＢに基づいて撮像に適した構図を算出して決定するものである。構図決定の具体的内容については後述する。また、本実施の形態においては接近判定部１１７から供給された判定結果に基づいて構図の決定処理を開始する。その詳細については後述する。
【００４４】
撮像トリガ生成部１２０は、予め設定された所定の撮像条件（例えば、上述のアルゴリズム）にしたがって、撮像トリガを生成してスイッチ１１０に出力するものである。例えば、笑顔検出を行い、被写体が笑顔になるたびに撮像を行うように設定されている場合は、画像解析部１１４から被写体が笑顔である旨の表情判定情報が供給された場合に撮像トリガを出力する。
【００４５】
駆動部２００は、図３に示すように、第１支持体２０１、第２支持体２０２、回転体２０３、ベース２０４とからなるパンチチルトユニットとして構成されている。撮像部１００は、第１支持体２０１、第２支持体２０２間に水平方向に沿って設けられたチルト軸（図示せず。）によって支持されている。撮像部１００は第１支持体２０１または第２支持体２０２のどちらかの内部に設けられたチルト駆動用モータ（図示せず。）による駆動力によってチルト方向に回転することが可能となっている。第１支持体２０１および第２支持体２０２は回転体２０３の上面に立設されている。
【００４６】
回転体２０３は、上面で第１支持体２０１および第２支持体２０２を支持している。そして、ベース２０４上に設けられており、垂直方向に沿って設けられたパン軸（図示せず。）によってベース２０４上に支持されている。回転体２０３は内部に設けられたパン軸駆動用モータ（図示せず。）の駆動力によって、パン軸を中心にベース２０４上で３６０度回転可能に構成されている。すなわち、撮像部１００はパン軸を中心にパン方向に回転可能となっている。ベース２０４はパン軸を介して上面で回転体２０３を支持しており、底面はテーブルや地面などに載置することが可能なように平面上に形成されている。
【００４７】
このように構成された駆動部２００は、動作制御部１１５からの制御信号に従って動作することにより撮像部１００をパン・チルト動作させる。
【００４８】
上述のように、本実施の形態においては撮像装置Ａ、Ｂは近接した状態で並設されている。しかし、例えば、数メートル〜数十メートルなど距離をおいて撮像装置Ａ、Ｂ設置する場合には、撮像装置Ａ、Ｂに位置検出部を設けて、設置位置を検出し、その設置位置情報を撮像装置Ａ、Ｂ間でやり取りし、互いの位置を認識するようにしてもよい。位置検出部は、例えばＧＰＳ（Global Positioning System）の受信デバイスにより構成されるものであり、撮像装置の設置位置の検出を行うものである。
【００４９】
［１−３．撮像システムの動作］
以下、撮像システム１が行う撮像処理について説明する。図５Ａは、第１の実施の形態において撮像装置Ａが行う処理の流れを示すフローチャートである。図５Ｂは、撮像装置Ｂが行う処理の流れを示すフローチャートである。撮像装置Ａが行う処理と撮像装置Ｂが行う処理とは常時並行して行われる。
【００５０】
第１の実施の形態では、撮像装置Ａはあらかじめ被写体として設定されている被写体Ａを自動追尾して所定のアルゴリズムにしたがってその撮像を行う。また、撮像装置Ｂは、被写体を検索し、被写体Ａ以外の他の被写体を検出した場合、その他の被写体が被写体Ａに接近しているか否かを判定し、接近している場合、その他の被写体を追尾対象とする。その追尾対象は被写体Ｂとする。そして、撮像装置Ａ、Ｂ間でメタデータの送受信を行い、被写体Ｂが撮像装置Ａの撮像範囲Ａ内に入りそうになった場合に、撮像装置Ａは被写体Ａおよび被写体Ｂの両方を撮像するのに適した構図を決定して保持する。そして、被写体Ｂが撮像範囲Ａに入った場合に、その保持してある構図を反映することにより、被写体Ａおよび被写体Ｂの変化に即時に対応した撮像を可能にするものである。
【００５１】
なお、所定のアルゴリズムとは、上述したように、追尾対象としている被写体の笑顔を検出したときに撮影を行う、一定の時間間隔を空けて定期的に撮像を行う、などである。そのうちのどのアルゴリズムに従い撮像を行うかはデフォルトで設定されているものとする。ただし、ユーザが事前に設定可能および撮像途中で変更可能としてもよい。
【００５２】
撮像処理を開始すると、撮像装置Ａはまず、ステップＳ１１１であらかじめ設定された被写体である被写体Ａの自動追尾を開始する。また、同時に所定のアルゴリズムに従い被写体Ａの撮像も開始する。次に、ステップＳ１１２で、画像解析部１１４で入力画像の解析を行い、その解析結果および動作制御部１１５から所得するズーム情報およびパン・チルト情報に基づきメタデータ生成部１１６により被写体ＡについてのメタデータＡを生成する。そして、撮像装置ＡはステップＳ１１３でそのメタデータＡを撮像装置Ｂに送信する。
【００５３】
一方、撮像装置Ｂは、撮像開始時点では特定の追尾対象を有しておらず、ステップＳ１２１で被写体の検索を開始する。なお、この検索時においては、被写体の検索のため、あらかじめ定められた設定に従いズーム倍率の変更、パン・チルト動作を行うようにするとよい。例えば、一定の時間おきにズーム倍率を切り換える、一定時間でパン動作可能角度内を一往復するようパン動作を行う、などである。
【００５４】
そして、ステップＳ１２２で被写体を検出したら、次に撮像装置Ｂは、ステップＳ１２３で、その被写体Ｂが撮像装置Ａの追尾対象である被写体Ａとは異なる被写体であるか否かを判定する。被写体Ｂが被写体Ａと異なる被写体ではない、すなわち、同一であると判定した場合、処理はステップＳ１２１に戻り、再び被写体の検索を行う（ステップＳ１２３のＮｏ）。一方、被写体Ｂが被写体Ａとは異なると判定した場合、処理はステップＳ１２４に進む（ステップＳ１２３のＹｅｓ）。次に撮像装置Ｂは、ステップＳ１２４で撮像装置Ａから送信されたメタデータＡを受信する。
【００５５】
次に撮像装置ＢはステップＳ１２５で、接近判定部１１７により被写体Ｂと被写体Ａとが「接近している状態」か否かを判定する。判定は上述のように検出した顔の位置、またはパン方向回転角度の差分に基づいて行うことができる。そして、被写体Ａと被写体Ｂとが「接近している状態」ではないと判定した場合、処理はステップＳ１２１に戻り再び入力画像からの被写体の検索を行う（ステップＳ１２５のＮｏ）。
【００５６】
一方、被写体Ａと被写体Ｂとが「接近している状態」であると判定した場合、処理はステップＳ１２６に進む（ステップＳ１２５のＹｅｓ）。そして撮像装置Ｂは、ステップＳ１２６で被写体Ｂを追尾対象として決定し、その追尾を開始する。なお、撮像装置Ｂは、追尾中にも常に被写体Ａと被写体Ｂとが「接近している状態」か否かを判定し、「接近している状態」であると判定する限り自動追尾を続ける。次に、ステップＳ１２７で、撮像装置Ｂは被写体ＢについてのメタデータＢの生成を行う。そして、撮像装置Ｂは、ステップＳ１２８でメタデータＢを撮像装置Ａに送信する。
【００５７】
一方、撮像装置Ａは、ステップＳ１１４で、撮像装置Ｂにおける処理のステップＳ１２８で送信されたメタデータＢを受信する。次にステップＳ１１５で撮像装置Ａは、接近判定部１１７および動き予測部１１８により、メタデータＢに基づいて、被写体Ｂが被写体Ａに接近することにより撮像範囲Ａ内に「入りそう」か否かを判定する。例えば、受信したメタデータＢを用いて被写体Ｂの動き予測を行い、予測される被写体Ｂの位置が撮像装置Ａの撮像範囲Ａ内に存在する（すなわち、判定時には被写体Ｂは撮像範囲Ａ内にはまだ入っていない）場合に「入りそう」であると判定することができる。または、メタデータに含まれる撮像装置Ａと撮像装置Ｂのそれぞれパン方向回転角度の差分が所定の閾値（角度）以下になった場合に「入りそう」であると判定することも可能である。なお、被写体Ｂが被写体Ａに接近することにより撮像範囲Ａ内に「入りそう」な状態は、上述の撮像装置ＢのステップＳ１２５における「接近している状態」よりも被写体間の距離が短いものである。
【００５８】
ステップＳ１１５において、被写体Ｂが撮像装置Ａの撮像範囲内に「入りそう」ではない判定した場合、処理はステップＳ１１２に戻り、引き続き被写体Ａについてのメタデータ生成から処理を行う（ステップＳ１１５のＮｏ）。一方、ステップＳ１１５において、被写体Ｂが撮像範囲Ａに「入りそう」だと判定した場合、処理はステップＳ１１６に進む（ステップＳ１１５のＹｅｓ）。次に、撮像装置Ａは、ステップＳ１１６でメタデータＡおよびメタデータＢに基づいて、被写体Ｂが撮像範囲Ａに入った場合に適切な撮像が行える構図を決定する。詳しくは、現時点における被写体Ａの位置と予測される被写体Ｂの位置に基づいて被写体Ａおよび被写体Ｂが撮像装置Ａ内に収まるように構図を決定する。そして、その構図を反映させるために必要な構図情報を記録部１１２に保持しておく。
【００５９】
次に、撮像装置ＡはステップＳ１１７で、被写体Ｂが撮像範囲Ａ内に「入った」か否かを判定する。「入った」か否かは、例えば、撮像装置Ａの画像解析部１１４が撮像範囲Ａ内に被写体Ｂの顔を検出したか否かによって判定することができる。または、上述した、被写体Ｂが撮像範囲Ａ内に入りそうか否かの判定において予測した被写体Ｂの位置に被写体が入ったか否かを確認することなどにより判定することができる。そして、ステップＳ１１７で被写体Ｂが撮像範囲Ａに入ってはいないと判定した場合、処理はステップＳ１１２に戻り、被写体Ｂが撮像範囲Ａに入るまで、撮像装置ＡはステップＳ１１２乃至ステップＳ１１７の処理を行う。
【００６０】
一方、ステップＳ１１７で被写体Ｂが撮像範囲Ａに「入った」と判定した場合、撮像装置ＡはステップＳ１１８で、保持している構図情報に基づいてオートフォーカスの制御、ズーム倍率の制御、駆動部２００のパン・チルト制御を行うことにより、保持している構図を反映させる（ステップＳ１１７のＹｅｓ）。これにより、常に撮像装置Ａは、被写体Ａを自動追尾し撮像を行いながら、被写体Ｂが撮像範囲Ａ内に入ってきた場合であっても、即座に被写体Ａおよび被写体Ｂを適切な構図で撮像することができる。
【００６１】
そして、撮像装置Ａおよび撮像装置Ｂは被写体Ａおよび被写体Ｂの動きに合わせて上述の処理を繰り返しながら所定のアルゴリズム、例えば被写体の笑顔を検出した際に撮像トリガを生成して撮像を行う。撮像が行われるタイミングは上述の処理中のいつでもよい。
例えば、笑顔撮影の場合は、撮像装置Ａは上述の処理を行いながら常時入力画像データをバッファメモリ１０９に蓄えている。さらに、上述の処理と並行して常時被写体の表情判定を行い、被写体の笑顔が検出されたら撮像トリガをスイッチ１１０に出力する。これにより、被写体の笑顔を捉えた画像データがエンコード部１１１に送られて、最終的に記録部１１２に保存される。
【００６２】
記録された画像は撮像装置Ａ、Ｂ間で送受信して、撮像装置Ａ、Ｂそれぞれの記録部１１２に関連付けて保存するとよい。これにより、画像の検索、画像の加工などにおける利便性を高めることができる。ただし、記録された画像を撮像装置間で送受信せず、撮像装置Ａで撮像した画像は撮像装置Ａに、撮像装置Ｂで撮像した画像は撮像装置Ｂに保存するようにしてもよい。なお、説明はパン方向の動きを想定して行ったが、チルト方向についても同様にして行うことができる。
【００６３】
［１−４．構図決定の具体例］
図６および図７は構図の決定の具体例をそれぞれ示すものである。まず、図６に示す例について説明する。まず、図６Ａの状態は、撮像装置Ａは被写体Ａを自動追尾して撮像している。また、撮像装置Ｂは被写体Ａとは異なる被写体Ｂを検出し、被写体Ｂと被写体Ａとが「接近している状態」と判定したため被写体Ｂを追尾対象として決定し、メタデータＢを撮像装置Ａに送信した状態である。すなわち、撮像装置Ａにおいては、ステップＳ１１１乃至ステップＳ１１４までが行われ、撮像装置ＢにおいてはステップＳ１２１乃至ステップＳ１２８までが行われた状態である。そして、被写体Ｂは被写体Ａにさらに接近しようとしている。
【００６４】
そして、撮像装置Ａは、例えば動き予測により被写体Ｂが撮像範囲Ａ内に「入りそう」か否かを判定する。図６Ｂでは、破線で示す被写体Ｂの予測される位置が撮像範囲Ａ内に入っているため、撮像装置Ａは被写体Ｂが撮像範囲Ａ内に「入りそう」であると判定する。「入りそう」であると判定した場合、撮像装置Ａは画像解析部１１４により被写体Ａの現在位置を把握し、さらにメタデータＢから被写体Ｂの予測位置を把握し、被写体Ａおよび被写体Ｂが適切に撮像範囲Ａ内に収まるように構図を決定して保持しておく。そして、図６Ｃに示すように被写体Ｂが撮像範囲Ａ内に入ってきたら、図６Ｄに示すようにパン・チルト制御を行い、決定した構図反映させる。
【００６５】
図６の例では、構図の変更をパン・チルト制御により行う例を示したが、構図の変更はそれだけに限られない。図７はその他の方法により構図を変更する例を示すものである。図７Ａでは、被写体Ａよりも被写体Ｂが撮像装置Ａに近い場所に位置しており、そのままの構図では被写体Ｂを撮像装置Ａの撮像範囲Ａ内に納めることができない。そこで、被写体Ｂが撮像範囲Ａ内に収まるようにズーム倍率を変更して撮像範囲Ａを広くすることにより構図の調整を行っている。
【００６６】
図７Ｂは、被写体Ａよりも後方に複数の被写体（その複数の被写体を総称して被写体Ｂとする）が存在している場合である。この場合、まず、駆動部２００のパン・チルト制御を行って被写体Ａを構図の手前に入れつつ、被写体Ａと被写体Ｂとが撮像範囲Ａ内に収まるように構図を調整する。さらに、被写体Ａまたは被写体Ｂにピントを合わせる。
【００６７】
以上のような構図の決定および反映によって、撮像範囲Ａ内に被写体Ｂの一部が入った状態（被写体Ｂの顔が切れている状態など）で撮像がなされてしまうことを防止することができる。また、被写体Ｂにフォーカスが合っていない状態で撮像がなされてしまうことなども防止することができる。すなわち、常に被写体Ａおよび被写体Ｂを適切な状態で撮像することが可能となる。
【００６８】
なお、図６および図７の例では、撮像装置Ａの撮像範囲Ａのみを図示しているが、撮像装置Ｂは撮像装置Ａが撮像処理を行っている間、同様に追尾対象である被写体Ｂを継続して追尾し所定のアルゴリズムに従って撮像していてもよい。また、撮像装置Ｂの撮像範囲Ｂを撮像装置Ａに一致させるようにしてもよい。
【００６９】
［１―５．応用例］
次に、第１の実施の形態の応用例について説明する。図８Ａ、図８Ｂは共に、被写体Ａは同じ位置に留まっており、被写体Ｂが被写体Ａに向けて移動している場合を示すものである。図８Ａは被写体Ｂの移動速度が速い例を示すものであり、図８Ｂは被写体Ｂの移動速度が遅い例を示すものである。この応用例では、被写体Ｂの動きに合わせて撮像範囲Ａの調整を行うことによって、被写体Ａおよび被写体Ｂを常に撮像装置Ａの撮像範囲Ａ内に収めながら、被写体Ｂが被写体Ａに徐々に近づいてゆく過程を逃さず捉えることができる。
【００７０】
この応用例を行うには、まず、被写体Ａと被写体Ｂとが「接近している状態」になる予測時刻（以下、接近予測時刻と称する。）を算出する。接近予測時刻は、例えば、被写体Ｂの移動速度とフレーム間の経過時間とから被写体Ｂの予測位置を算出し、被写体Ａの位置と被写体Ｂの予測位置間の距離が所定の閾値以下になる時刻として求めることができる。ここで、所定の閾値は被写体Ａと被写体Ｂとが接近したか否かの基準となるものであり、デフォルトとして設定しておいてもよいし、ユーザが任意に設定できるようにしてもよい。
【００７１】
そして、その接近予測時刻よりも前の各時刻（例えば２秒前の時刻および１秒前の時刻）における被写体Ｂの位置を予測する。接近予測時刻前の各時刻における位置の予測は例えば、接近予測時刻が現在時刻から５秒後であり、接近予測時刻の２秒前の位置を予測しようとする場合には、その差である現在時刻から３秒後の被写体Ｂの位置を予測する。これにより図８に示すように接近予測時刻から２秒前の被写体Ｂの位置を予測することができる。そして、現在時刻から３秒後の被写体Ｂと被写体Ａとが撮像範囲Ａ内に収まるように構図を決定する。同様にして接近予測時刻の１秒前の被写体Ｂの位置も予測して構図を決定することができる。
【００７２】
また、まず、被写体Ａの位置と被写体Ｂの予測位置間の距離が所定の閾値以下になる接近予測時刻を求める。次に、現在時刻から接近予測時刻までの間において所定の時間間隔をあけて（例えば、１秒間隔）で、それぞれの時点における被写体Ｂの位置を予測し、そのそれぞれの時点における被写体Ｂの位置に合わせて構図を決定して保持しておく。そして、各時点において保持していた構図を反映させて撮像を行うようにしてもよい。
【００７３】
接近予測時刻前のいつの時点で撮像を行うかのポイントはデフォルトとして設定しておいてもよいし、ユーザが任意に設定できるようにしてもよい。撮像ポイントの個数を増やすことにより、被写体Ｂが被写体Ａに接近する様子をより詳細に撮像することができる。
【００７４】
＜２．第２の実施の形態＞
以下、この発明の第２の実施の形態について図９乃至図１１を参照して説明を行う。なお、撮像システム１、撮像装置Ａおよび撮像装置Ｂの構成は第１の実施の形態と同様であるため、その説明を省略する。
【００７５】
［２−１．撮像システムの動作］
なお、第２の実施の形態においては、前提として、撮像装置Ａはあらかじめ設定された被写体Ａを自動追尾しており、所定のアルゴリズムに従い撮像を行うものとする。また、撮像装置Ｂもあらかじめ設定された被写体Ｂ（被写体Ａとは異なる。）を自動追尾しており、所定のアルゴリズムに従い撮像を行うものとする。所定のアルゴリズムは、第１の実施の形態で説明したのと同様に、追尾対象としている被写体の笑顔を検出したときに撮影を行う、一定の時間間隔を空けて定期的に撮像を行う、同一被写体は１０秒以上間隔を空けて撮像する、一回の撮像ごとにズーム倍率を変更して撮像を行う、などである。
【００７６】
撮像処理を開始すると、撮像装置Ａはまず、ステップＳ２１１であらかじめ設定された被写体である被写体Ａの自動追尾を開始する。また、同時に所定のアルゴリズムに従い被写体Ａの撮像も開始する。次に、ステップＳ２１２で撮像装置Ａは被写体ＡについてのメタデータＡの生成を行う。そして、撮像装置ＡはステップＳ２１３でそのメタデータＡを撮像装置Ｂに送信する。
【００７７】
一方、撮像装置Ｂは、ステップＳ２２１であらかじめ設定された被写体である被写体Ｂの自動追尾を開始する。また、同時に所定のアルゴリズムに従い被写体Ｂの撮像も開始する。次に、ステップＳ２２２で被写体ＢについてのメタデータＢの生成を行う。そして、撮像装置ＢはステップＳ２２３でそのメタデータＢを撮像装置Ａに送信する。
【００７８】
そして、撮像装置ＡはステップＳ２１４で撮像装置Ｂから送信されたメタデータＢを受信する。また、同様に撮像装置ＢはステップＳ２２４で撮像装置Ａから送信されたメタデータＡを受信する。
【００７９】
次に撮像装置ＡはステップＳ２１５で、接近判定部１１７により被写体Ａと被写体Ｂとが「接近している状態」であるか否かの判定を行う。「接近している状態」か否かの判定は第１の実施の形態と同様にして行う。そして、「接近している状態」ではないと判定した場合、処理はステップＳ２１２に戻る（ステップＳ２１５のＮｏ）。そして、「接近している状態」であると判定するまで、ステップＳ２１２乃至ステップＳ２１５を繰り返して、被写体Ａの追尾を行いながらメタデータＡの生成および送信、撮像装置ＢからのメタデータＢの受信を行う。
【００８０】
一方、被写体Ａと被写体Ｂとが「接近している状態」であると判定した場合、処理はステップＳ２１６に進む（ステップＳ２１５のＹｅｓ）。そして、ステップＳ２１６で撮像装置Ａはズーム倍率をあらかじめ設定してあるズーム倍率（設定ズーム倍率と称する。）に一致させることにより、撮像範囲のサイズの調整（構図の調整）を行う。設定ズーム倍率は、被写体間の距離、パン方向回転角度の差分、すなわち「接近している状態」か否かの判定に用いる情報に対応させてあらかじめ設定されて記録部１１２などに保持されているものとする。言い換えると、それらの情報に基づいて構図が決定される。ただし、ズーム倍率の調整は、撮像装置同士がお互いのメタデータに含まれるズーム倍率を参照してどちらか一方の撮像装置のその時点におけるズーム倍率に合わせるように調整してもよい。
【００８１】
撮像装置Ｂも同様に、ステップＳ２２５で被写体Ｂと被写体Ａとが「接近している状態」か否かの判定を行う。そして、「接近している状態」ではないと判定した場合、処理はステップＳ２２２に戻る（ステップＳ２２５のＮｏ）。そして、「接近している状態」と判定するまで、ステップＳ２２２乃至ステップＳ２２５を繰り返して、被写体Ｂの追尾を行いながらメタデータＢの生成および送信、撮像装置ＡからのメタデータＡの受信を行う。なお、撮像装置ＡにおけるステップＳ２１５の判定、および、撮像装置ＢにおけるステップＳ２２５の判定が特許請求の範囲における第１の接近判定に相当する。
【００８２】
一方、「接近している状態」と判定した場合、処理はステップＳ２２６に進み（ステップＳ２２５のＹｅｓ）、ズーム倍率を設定ズーム倍率に一致させて撮像範囲Ｂのサイズの調整（構図の調整）を行う。設定ズーム倍率は撮像装置Ａおよび撮像装置Ｂ共通のものとする。よって、撮像装置ＡのステップＳ２１６、撮像装置ＢのステップＳ２２６によって撮像装置Ａ、撮像装置Ｂのズーム倍率は同一となり、撮像範囲Ａと撮像範囲Ｂのサイズは同一となる。
【００８３】
次に、撮像装置ＡはステップＳ２１７で、被写体Ａと被写体Ｂとが「さらに接近した」か否かを判定する。「さらに接近した」か否かは、上述のステップＳ２１５と同様にして行うことができる。ただし、ステップＳ２１７はステップＳ２１５の状態に比べて「さらに接近した」か否かを判定するものである。したがって、「さらに接近した」かを判定するために顔位置間の距離と比較する閾値、またはパン方向回転角度の差分と比較する閾値はステップＳ２１５における判定に用いる閾値よりも小さい値とする。
【００８４】
撮像装置ＡはステップＳ２１７で、「さらに接近した」とは判定しなかった場合、処理はステップＳ２１２に戻り、「さらに接近した」と判定するまで、ステップＳ２１２乃至ステップＳ２１７を繰り返す（ステップＳ２１７のＮｏ）。一方、「さらに接近した」と判定した場合処理はステップＳ２１８に進む（ステップＳ２１７のＹｅｓ）。そして、ステップＳ２１８で撮像装置Ａの撮像トリガ生成部１２０は撮像トリガを生成してスイッチ１１０に出力する。これによりバッファメモリ１０９に蓄えられていた画像データがエンコード部１１を介して記録部１１２に送られて画像の記録が行われる。
【００８５】
撮像装置Ｂも同様に、ステップＳ２２７で、被写体Ｂと被写体Ａとが「さらに接近した」か否かを判定する。「さらに接近した」とは判定しなかった場合、処理はステップＳ２２２に戻り、「さらに接近した」と判定するまで、ステップＳ２２２乃至ステップＳ２２７を繰り返す（ステップＳ２２７のＮｏ）。一方、「さらに接近した」と判定した場合処理はステップＳ２２８に進み、（ステップＳ２２７のＹｅｓ）、撮像トリガを生成してスイッチ１１０に出力する。これにより画像の記録が行われる。なお、撮像装置ＡにおけるステップＳ２１７の判定、および、撮像装置ＢにおけるステップＳ２２７の判定が特許請求の範囲における第２の接近判定に相当する。
【００８６】
なお、上述のように撮像装置Ａ、撮像装置Ｂが別々に撮像トリガを生成するのではなく、例えば、撮像装置Ａは生成した撮像トリガを撮像装置Ｂに送信し、撮像装置Ｂはその受信した撮像トリガに基づき画像の記録を行ってもよい。これによっても、２台の撮像装置で同時に画像の記録を行うことができる。
【００８７】
撮像装置Ａ、撮像装置Ｂは上述の処理を繰り返しながら撮像を行う。そして、被写体が離れていき、ステップＳ２１７（ステップＳ２２７）で被写体が「さらに接近した」と判定しなかった場合、撮像トリガの生成を行わない。さらにステップＳ２１５（ステップＳ２２５）で被写体が「接近した」と判定しなかった場合はステップＳ２１６（ステップＳ２２６）におけるズーム倍率の調整は行わず、撮像装置Ａ、撮像装置Ｂは、所定のアルゴリズムにしたがって各々の被写体を自動追尾し撮像を行う状態に戻る。なお、説明はパン方向の動きを想定して行ったが、チルト方向についても同様にして行うことができる。
【００８８】
第２の実施の形態においても第１の実施の形態と同様に、記録された画像を撮像装置Ａ、Ｂ間で送受信し、それらを関連付けられて保存してもよいし、送受信は行わず、各々が保存してもよい。
【００８９】
上述の第２の実施の形態における撮像処理について図１０を参照して具体例で説明する。図１０Ａでは、撮像装置Ａは被写体Ａを追尾しており、撮像装置Ｂは被写体Ｂを追尾している。そして、被写体Ａ、被写体Ｂは互いの方向に進んで接近しようとしている。なお、この時点で、撮像装置Ａと撮像装置Ｂのズーム倍率は異なっており、撮像範囲のサイズも異なっている。そして、図１０Ｂに示すように被写体Ａと被写体Ｂが移動し、「接近した」と判定すると、図１０Ｃに示すように、撮像装置Ａ、撮像装置Ｂはズーム倍率を調整して、撮像範囲のサイズを一致させる。そして、この状態で引き続きそれぞれ被写体の追尾を続ける。そして、図１０Ｄに示すように被写体が近づき、「さらに接近した」と判定した場合、撮像装置Ａおよび撮像装置Ｂは被写体の画像の記録を行う。
【００９０】
第２の実施の形態においては被写体が接近したか否か、すなわち、被写体間の距離に応じて撮像が行われる。よって、「さらに接近した」か否かの判定の際に用いられる閾値を調整することにより、被写体がどのくらい接近したら撮像を行うかの調整を行うことができ、ユーザの嗜好に合わせた撮像が可能となる。
【００９１】
［２−２．応用例］
次に、図１１を参照して第２の実施の形態の応用例について説明する。図１１は応用例において撮像装置で行われる処理を示すフローチャートである。図１１のフローチャートは撮像装置Ａが行う処理についてのものである。撮像装置Ｂも撮像装置Ａと同様の処理を行うため、撮像装置Ｂについてのフローチャートは省略する。この応用例は、第２の実施の形態におけるステップＳ２１６およびステップＳ２２６のズーム倍率の調整は行わず、被写体の接近の度合いに応じて撮像の頻度のみを変更する、というものである。
【００９２】
撮像処理を開始すると、撮像装置Ａはまず、ステップＳ３１１乃至ステップＳ３１４を実行し、被写体Ａの追尾を開始し、メタデータＡの生成と送信、さらに撮像装置ＢからのメタデータＢの受信を行う。このステップＳ３１１乃至ステップＳ３１４は第２の実施の形態と同様であるため、詳細な説明は省略する。
【００９３】
次にステップＳ３１５で、被写体Ａと被写体Ｂとが第３の接近状態であるか否かを判定する。判定の結果、第３の接近状態である場合には、処理はステップＳ３１６に進み（ステップＳ３１５のＹｅｓ）、第３の接近状態に対応して設定してある頻度で撮像トリガを生成して出力する。一方、被写体Ａと被写体Ｂとが第３の接近状態ではない場合には、処理はステップＳ３１７に進み、被写体Ａと被写体Ｂとが第４の接近状態である否かを判定する。判定の結果、第４の接近状態であると判定した場合には、処理はステップＳ３１８に進み（ステップＳ３１７のＹｅｓ）、第４の接近状態に対応して設定してある頻度で撮像トリガを生成して出力する。被写体間の距離が第３の接近状態、第４の接近状態のいずれでもない場合には（ステップＳ３１５、３１７のいずれもＮｏ）処理はステップＳ３１２に戻る。
【００９４】
被写体Ａと被写体Ｂとが第３の接近状態にあるか、第４の接近状態にあるかの判定は、上述の「接近している」か否かの判定と同様に行うことができる。なお、この応用例において、第３の接近状態、第４の接近状態と称しているのは、第２の実施の形態における第１の接近判定、第２の接近判定との混同を避けるためである。
【００９５】
この応用例は、上述のように、被写体の接近の度合いに応じて撮像の頻度を変更するものである。よって、例えば、第３の接近状態に対応する閾値よりも第４の接近状態に対応する閾値を小さく設定し、さらに、第３の接近状態に応じた頻度よりも第４の接近状態に応じた頻度を高く設定すれば、被写体が接近していくにつれて撮像頻度を上げていく、ということが可能となる。なお、図１１のフローチャートにおいては、接近状態は２段階であるものとして説明を行ったが、それは一例に過ぎず、より多くの段階を設定して、その段階に応じて撮像トリガ生成頻度を設定することも可能である。
【００９６】
＜３．変形例＞
以上、この発明の一実施の形態について具体的に説明したが、この発明は、上述の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。第１および第２の実施の形態においては撮像装置は２つである場合を想定して説明を行ったが、撮像装置の数は２つに限られず、それ以上でもよい。また、被写体が接近した場合に構図の決定、撮像トリガの生成が行われる場合を想定して説明を行ったが、逆に被写体Ａと被写体Ｂとが離れていく場合に構図を決定し、撮像トリガを生成してもよい。
【００９７】
例えば、撮像装置Ａ、撮像装置Ｂ、撮像装置Ｃの合計を３つの撮像装置を用いて２つの被写体Ａ、被写体Ｂを撮像することもできる。この場合、撮像装置Ａは被写体Ａを自動追尾し、所定のアルゴリズムに従い撮像を行い、メタデータＡを撮像装置Ｃに送信する。また、撮像装置Ｂは被写体Ｂを自動追尾し、所定のアルゴリズムに従い撮像を行い、メタデータＢを撮像装置Ｃに送信する。そして、撮像装置ＣはメタデータＡおよびメタデータＢに基づいて、撮像範囲Ｃ内に被写体Ａおよび被写体Ｂが常に収まるようにズーム制御、パン・チルト制御を行いながら撮像を行う。この場合、いずれかの撮像装置が撮像トリガを生成したら、その撮像トリガを他の撮像装置に送信し、他の撮像装置はその受信した撮像トリガに基づいて撮像を行うとよい。これにより、同じタイミングで、被写体Ａの画像、被写体Ｂの画像、被写体Ａと被写体Ｂとが収まった画像を記録することができる。
【００９８】
また、上述の撮像装置の構成の説明においては、撮像装置は操作部と表示部を備えていない自動パン・チルトカメラとして説明を行った。しかし、撮像装置はそのようなものに限られず、操作部および表示部を備えるものであってもよい。操作部は、シャッタボタン、電源のオン／オフを切り換える電源キー、撮影条件の設定を切り換えるための撮影モード切り換えキー、画像再生のための再生キーなどの、ユーザによる入力の各種キーから構成されるものである。操作部は、これらキーの操作に対応する操作信号を生成し、後述する制御部１１３へ出力する。表示部は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro luminescence）ディスプレイなどから構成される電子ビューファインダーである。信号処理部１０４から出力された画像データは表示部に供給されて映像として表示されることによりユーザに提供される。
【００９９】
また、操作部、表示部は外部機器として構成し、撮像装置と接続することにより、撮像装置の操作、画像等の表示を行うようにしてもよい。
【０１００】
また、撮像装置は共に撮像部１００と駆動部２００からなり、それらが一体に構成されたものとして説明を行ったが、それに限られず、撮像装置と駆動部２００とを別々の構成としてもよい。例えば、駆動部２００をParty-shot（ソニー株式会社の登録商標）のような撮像装置を載置する雲台として構成し、その雲台にデジタルスチルカメラを取り付けて自動追尾可能な撮像装置を構成してもよい。なお、その場合も上述した画像解析処理、動作制御処理、メタデータ生成処理、構図決定処理などの一連の処理はデジタルカメラ側で行う。そして、雲台はデジタルカメラによる動作制御に従いパン・チルト動作を行う。
【０１０１】
第１の実施の形態および第２の実施の形態では、撮像部１００はデジタルスチルカメラとして構成され、静止画像を撮像する場合を例にして説明を行ったが、撮像部１００としてデジタルビデオカメラを用いて動画撮影についてこの発明を適用することができる。
【０１０２】
この発明に係る撮像システム１は、例えば、結婚式等に用いることができる。この場合、撮像装置Ａが新郎を追尾し、撮像装置Ｂが新婦を追尾し、新郎と新婦の撮像を常時別々に行いながら、二人が接近したシャッターチャンスにおいては、撮像装置Ａ、撮像装置Ｂともに新郎新婦を適切な構図で撮像することが可能となる。さらに、撮像装置Ｃも用いて、撮像装置Ｃは常に新郎と新婦の両方が撮像範囲Ｃ内に収まるように撮像する、ということも可能である。このように、より多彩な写真撮影が可能となる。
【０１０３】
また、撮像システム１は、監視カメラシステムとして用いられてもよい。この場合、侵入者が複数いる場合であっても、それぞれの侵入者を捉えつつ、侵入者がひとつの場所に集まった場合にはその状況を複数のアングルで捉えることができる。これにより、侵入者の特徴等をより正確に認識することができる。
【符号の説明】
【０１０４】
１・・・・・撮像システム
１００・・・撮像部
１０８・・・通信部
１１２・・・記録部
１１３・・・制御部
１１４・・・画像解析部
１１５・・・動作制御部
１１６・・・メタデータ生成部
１１７・・・接近判定部
１１８・・・動き予測部
１１９・・・構図決定部
１２０・・・撮像トリガ生成部
【技術分野】
【０００１】
この発明は、複数の撮像装置からなり、撮像装置間でデータのやり取りを行うことにより適切な撮像を可能とする撮像システムおよびその撮像システムを構成する撮像装置に関する。
【背景技術】
【０００２】
従来から、複数の撮像装置間でデータの送受信を行い、そのデータを利用して撮像を行う技術が存在する。例えば、カメラの焦点距離、絞り、ホワイトバランス、映像データの符号化圧縮率、多重レートおよび多重期間、静止画か動画かの区別および音声の有無などの映像音声信号、ビデオ編集、システム制御に関連するパラメータを用いて、複数の撮影装置の同期制御を行う記録システムが提案されている（特許文献１）。
【０００３】
また、撮影装置からの画像データを用いて他の撮影装置を制御するシステムとしては、広角画像を撮影する２台のセンサカメラで被写体の動き予測を行い、そのパラメータを用いて撮影カメラで被写体を自動追尾して撮影する自動撮影カメラシステムが提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２―３２５２１６号公報
【特許文献１】特開平９―３２１２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述の従来のシステムで撮像装置間の同期制御に用いている情報は、カメラの焦点距離、絞り、ホワイトバランス、映像データの符号化圧縮率、多重レートおよび多重期間、静止画か動画かの区別および音声の有無などであり、実際に記録される画像データを元にした情報としては被写体の移動情報程度しかない。このため、得られる情報を用いて可能な制御としては、ズームを同期させる、WBを同じにする、圧縮率に応じて転送レートを変えるなど、単純なシステム制御に限られる。よって、画像中の撮影対象の変化に応じて撮影対象/方法を変えるような、画像データから得られるメタデータを使用した制御は行えていない。
【０００６】
また、被写体がある撮影装置の撮影範囲外に出て他の撮影装置の撮影範囲内に移動する場合など、複数の撮影装置の撮影範囲をまたいで移動する場合には、それまで撮影していた被写体の情報を引き継ぐことができず、各撮影装置で取得し直す必要があった。センサカメラの撮影範囲内から出てしまった場合も同様である。
【０００７】
したがって、この発明の目的は、入力画像などから得られる各種情報をメタデータとして複数の撮像装置間で送受信することにより、より多様な撮像制御を行うことができる撮像システムおよびその撮像システムを構成する撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、第１の発明は、相互通信可能な複数の撮像装置からなり、複数の被写体を撮像する撮像システムにおいて、複数の撮像装置に含まれる第１の撮像装置は、第１のメタデータを生成して複数の撮像装置に含まれる第２の撮像装置に送信し、第２の撮像装置は、第２のメタデータを生成して第１の撮像装置に送信し、第１の撮像装置および第２の撮像装置のうちいずれか一方または両方は第１のメタデータおよび第２のメタデータに基づいて構図を決定する撮像システムである。
【０００９】
第２の発明は、複数の撮像装置からなり、複数の被写体を撮像する撮像システムを構成する撮像装置において、撮像装置は、メタデータを生成するメタデータ生成部と、メタデータ生成部により生成されたメタデータを前記撮像システムを構成する他の撮像装置に送信し、さらに、他の撮像装置が生成した他のメタデータを受信する通信部と、メタデータおよび他のメタデータに基づいて撮像の構図を決定する構図決定部とを備える撮像装置である。
【発明の効果】
【００１０】
この発明によれば、入力画像などから得られる各種情報をメタデータとして複数の撮像装置間で送受信することにより、多様な撮像制御を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の第１の実施の形態に係る撮像システムの概略構成を示す図である。
【図２】撮像システムを構成する撮像装置の構成を示すブロック図である。
【図３】撮像システムを構成する撮像装置の外観構成を示す図である。
【図４】メタデータの詳細を示す図である。
【図５】第１の実施の形態において撮像装置が行う処理を示すフローチャートである。
【図６】構図の決定の具体例を示す図である。
【図７】構図の決定の他の具体例を示す図である。
【図８】第１の実施の形態の応用例を示す図である。
【図９】この発明の第２の実施の形態において撮像装置が行う処理を示すフローチャートである。
【図１０】第２の実施の形態における構図の決定の具体例を示す図である。
【図１１】第２の実施の形態の応用例における処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、この発明の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１．撮像システムの構成］
［１−２．撮像装置の構成］
［１−３．撮像システムの動作］
［１−４．構図決定の具体例］
［１−５．応用例］
＜２．第２の実施の形態＞
［２−１．撮像システムの動作］
［２−２．応用例］
＜３．変形例＞
【００１３】
＜１．第１の実施の形態＞
［１−１．撮像システムの構成］
図１は、この発明に係る撮像システム１の概略構成を示す図である。図１に示すように撮像システム１は、近接した状態で並設された撮像装置Ａと撮像装置Ｂとから構成されている。撮像装置Ａが特許請求の範囲における第１の撮像装置に相当し、撮像装置Ｂが第２の撮像装置に相当するものである。また、請求項１０以降においては、撮像装置Ａが撮像装置、撮像装置Ｂが他の撮像装置に相当する。なお、本実施の形態では、撮像装置Ａおよび撮像装置Ｂとしては、静止画像を記録するデジタルスチルカメラが用いられている。撮像装置Ａと撮像装置Ｂとは後述する通信部１０８を介して接続されており、メタデータ、画像データ、撮像トリガなどの各種データの送受信が可能となっている。各種データの詳細およびその送受信については後述する。
【００１４】
図１に示すように、撮像装置Ａが追尾する被写体を被写体Ａ、撮像装置Ｂが追尾する被写体を被写体Ｂと称する。また、撮像装置Ａの撮像範囲（画枠）を撮像範囲Ａ、撮像装置Ｂの撮像範囲を撮像範囲Ｂと称する。撮像装置Ａと撮像装置Ｂとは初期状態においては、輻輳角が限りなくゼロに近い、つまり光軸が並行である状態に設置するものとする。その状態を基準としてパン方向回転角度を把握するものとする。
【００１５】
［１−２．撮像装置の構成］
以下、上述の撮像システム１を構成する撮像装置Ａ、撮像装置Ｂについて説明する。図２は、この発明に係る撮像装置Ａの構成を示すブロック図である。また、図３は撮像装置の外観構成を示す図である。なお、撮像装置Ｂの構成も撮像装置Ａと同様であるため、その説明を省略する。撮像装置Ａは、被写体の撮像を行う撮像部１００と撮像部１００のパン・チルト動作を担う駆動部２００とから構成されている。
【００１６】
光学撮像系１０１は、例えば、撮像レンズ、ズームレンズ、フォーカスレンズおよび絞りなどを有し、被写体の光画像を入射する。光学撮像系１０１を介して得られた被写体の光画像は、撮像デバイスとしての固体撮像素子１０２上に結像される。固体撮像素子１０２としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
【００１７】
固体撮像素子１０２は、結像された光画像を光電変換して電荷量に変換し、アナログ撮像信号として出力する。固体撮像素子１０２から出力されるアナログ撮像信号は、Ａ／Ｄ変換部１０３に供給される。Ａ／Ｄ変換部１０３は、固体撮像素子１０２から供給されるアナログ撮像信号をデジタル撮像信号に変換し、信号処理部１０４に出力する。信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されるデジタル撮像信号を、例えば輝度信号と色差信号からなる画像データに変換して制御部１１３に出力する。ズームレンズ制御部１０５、フォーカスレンズ制御部１０６および絞り制御部１０７は、後述する制御部１１３からの制御信号に従って、それぞれ光学撮像系１０１が有するズームレンズ、フォーカスレンズおよび絞りなどを制御する。
【００１８】
通信部１０８は、有線通信または無線通信によって撮像装置Ｂとの間でメタデータ、画像データ、撮像トリガなどの各種情報を送受信するためのインターフェースである。本実施の形態では、撮像装置ＡからのメタデータＡは通信部１０８を介して撮像装置Ｂに送信され、撮像装置Ｂから送信されたメタデータＢは通信部１０８を介して撮像装置Ａが受信する。
【００１９】
通信方式は有線、無線を問わず、有線の場合にはＵＳＢ（Universal Serial Bus）ケーブル、ネットワークを利用した有線ＬＡＮ（Local Area Network）などにより接続する。無線の場合には、無線ＬＡＮ、Bluetooth（登録商標）、近接無線転送技術Transfer Jet（ソニー株式会社の商標）などを用いることができる。なお、Transfer Jetの通信可能距離は数センチメートルであるため、Transfer Jetを用いる場合は、撮像装置Ａを撮像装置Ｂとを近接した状態で配置する必要がある。
【００２０】
バッファメモリ１０９は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成される記憶媒体であり、信号処理部１０４によって所定の処理が施された画像データを一時的に蓄えておくものである。スイッチ１１０は、例えば、ＦＥＴ（Field Effect Transistor）などの半導体スイッチ素子を用いて構成されており、バッファメモリ１０９と後述するエンコード部１１１の間に設けられている。スイッチ１１０は、後述する撮像トリガ生成部１２０から出力される撮像トリガによってオン／オフが切り換えられることによりバッファメモリ１０９に格納されている画像データをエンコード部１１１に供給するか否かを切り換えるものである。
【００２１】
エンコード部１１１は、スイッチ１１０がオンの状態の場合にバッファメモリ１０９から供給された画像データを、例えばＪＰＥＧ（Joint Photographic Experts Group）などに符号化して記録部１１２に供給するものである。
【００２２】
記録部１１２は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどにより構成される大容量記憶媒体であり、撮像装置Ａによって撮像された画像を保存するためのものである。また、保存された画像に付随するメタデータもその画像に対応付けられて保存される。このように、この発明に係る撮像装置では、画像データは常時バッファメモリ１０９に格納され、撮像トリガによってスイッチ１１０がオンに切り換えられることによりエンコード部１１１に送られる。そして、最終的に記録部１１２に保存される。
【００２３】
制御部１１３は、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）から構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置Ａ全体の制御を行う。また、制御部１１３は、所定のプログラムを実行することにより、画像解析部１１４、動作制御部１１５、メタデータ生成部１１６、接近判定部１１７、動き予測部１１８、構図決定部１１９、撮像トリガ生成部１２０として機能する。
【００２４】
画像解析部１１４は、信号処理部１０４から供給された入力画像データを解析して、種々の検出、情報の算出などを行う。まず、画像解析部１１４は、画像データから被写体を検出する。本実施の形態においては被写体は人物であり、被写体の検出は例えば、人物の顔を検出することにより行われる。顔検出方法としては、例えば、人間の顔の特徴（目、眉毛、口、耳等）を含むテンプレートと画像データとのパターンマッチングによる検出方法、顔の輝度分布情報が記録されているテンプレートと画像データとのパターンマッチングによる検出方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。なお、複数の顔が検出された場合には、顔の大きさ、向き、輝度などの情報により、その検出された複数の顔に対して重み付けを行い、重み付けの結果、最も高い重みが付与された顔が被写体として選択するようにしてもよい。
【００２５】
また、画像解析部１１４は、検出された人物があらかじめ被写体として設定された人物（以下、設定被写体と称する。）であるか否かの判定も行う。その設定被写体か否かの判定は例えば、あらかじめ撮像装置Ａ内の記録部１１２にその設定被写体の顔の特徴に関する情報を保持しておき、その顔特徴情報と検出された被写体の顔の特徴とのパターンマッチングを行うことにより実施される。そして、検出された被写体が設定被写体であると判定した場合、画像解析部１１４はその被写体を追尾対象として決定する。その追尾対象の情報は動作制御部１１５に出力される。
【００２６】
また、画像解析部１１４は、上述の処理により追尾対象として決定された被写体についての顔位置情報の生成を行う。顔位置情報は、枠サイズwidth、顔枠サイズheight、顔枠オフセットleft、顔枠オフセットtop、移動速度ｘ、移動速度ｙ、移動速度ｚとから構成されている。なお、顔位置情報は特許請求の範囲における被写体情報に相当するものである。
【００２７】
顔枠サイズwidthは、撮像範囲Ａ内で顔として検出された範囲を示す顔枠の横幅のサイズを示す情報である。顔枠サイズheightは撮像範囲Ａ内における顔枠の縦方向の長さを示す情報である。また、顔枠オフセットleftは、撮像範囲Ａの左端から顔枠の左端までのオフセットである。顔枠オフセットtopは撮像範囲Ａの上端から顔枠の上端までのオフセットである。このオフセット情報により被写体の顔が撮像範囲Ａ内のどこに位置しているかが示される。
【００２８】
移動速度ｘは、検出された顔のｘ方向（横方向）の移動速度であり、移動速度ｙは顔のｙ方向（縦方向）の移動速度であり、移動速度ｚは顔のｚ方向（奥行き方向）の移動速度である。移動速度は、例えば、現フレームに係る画像と前フレームに係る画像間における顔の位置の移動量および現フレームと前フレーム間の経過時間とから算出することが可能である。このようにして、画像解析部１１４により求められた顔位置情報は動作制御部１１５およびメタデータ生成部１１６に出力される。
【００２９】
さらに、画像解析部１１４は、検出された被写体の顔の表情判定も行う。表情判定は、公知の技術を利用することで実現することができる。例えば、目、鼻、口、眉毛又は顎の輪郭周りに特徴点を検出し、その特徴点の配置状態、位置関係により表情の種別およびその表情の度合いを検出することが可能である。そして、表情判定の結果（以下、表情判定情報と称する。）は後述する撮像トリガ生成部１２０に供給され、撮像トリガの生成に用いられる。これにより、例えば、被写体が笑顔になるたびに撮像トリガを生成していわゆる笑顔撮影を行うことができる。なお、表情判定情報は、撮像トリガの生成に用いられるものであるため、表情に基づく撮像を行わない場合には表情判定処理は省略してもよい。なお、検出する表情は笑顔に限られるものではない。
【００３０】
動作制御部１１５は、画像解析部１１４によって追尾対象として決定された被写体を自動追尾するために、撮像装置Ａの各部の動作の制御を行うものである。画像解析部１１４から供給された顔位置情報に基づいて被写体の移動を検出し、その移動に合わせてオートフォーカスを行うエリアを自動的に移動させるようフォーカス制御部１１３に所定の制御信号を出力する。これにより撮像範囲Ａ内で被写体が移動した場合でも、その被写体の顔を追尾してピントを合わせることができる。
【００３１】
また、動作制御部１１５は、被写体の自動追尾のため、あらかじめ定められたアルゴリズムに基づく撮像のため、ズームレンズ制御部１０５に所定の制御信号を出力しズーム倍率の制御を行う。さらに、動作制御部１１５は、被写体の自動追尾のため、あらかじめ定められたアルゴリズムに基づく撮像のため、後述する駆動部２００に対し所定の制御信号を送信することにより駆動部２００のパン・チルト動作の制御を行う。
【００３２】
ここで、所定のアルゴリズムとは、追尾対象としている被写体の笑顔を検出したときに撮像を行う、一定の時間間隔を空けて定期的に撮像を行う、同一被写体は１０秒以上間隔を空けて撮像する、一回の撮像ごとにズーム倍率を変更する、などである。
【００３３】
さらに、動作制御部１１５は、後述する構図決定部１１９から供給された構図情報に基づいて、決定された構図を反映させるためにズーム倍率の制御、駆動部２００のパン・チルト動作制御を行う。構図情報とは、決定した構図を再現するためのオートフォーカス情報、ズーム倍率を示す情報およびパン・チルト回転角度を示す情報とからなる。なお、構図の決定の詳細については後述する。
【００３４】
なお、ズームレンズ制御部１０５に対する制御情報、すなわち、ズームレンズのズーム倍率を示す情報がズーム情報としてメタデータ生成部１１６に出力される。また、同様に駆動部２００に対する制御情報、すなわち、駆動部２００のパン方向角度、チルト方向角度を示す情報はパン・チルト情報としてメタデータ生成部１１６に出力される。パン方向角度は、撮像装置Ａの撮像方向のパン方向（水平方向）における回転角度を示すものであり、チルト方向角度は、撮像装置Ａの撮像方向のチルト方向（垂直方向）における回転角度を示すものである。
【００３５】
このように、この発明では、被写体の顔位置情報を算出し、それらに基づいて被写体を自動追尾するためのフォーカスエリアの位置、ズーム倍率、パン・チルト回転角度を求める。そして、その算出結果に基づいて、常に被写体Ａが撮像範囲Ａ内に位置するように、フォーカスエリアの移動、ズーム倍率の調整、さらに、駆動部２００の動作制御を行う。これにより、被写体が移動した場合でも、その顔を自動追尾することが可能となっている。
【００３６】
メタデータ生成部１１６は、画像解析部１１４から供給された顔位置情報、さらに動作制御部１１５から取得した撮像装置Ａの動作に関する情報であるズームレンズ情報、パン・チルト情報に基づいてメタデータを生成するものである。したがって、メタデータは図４に示すように、顔位置情報、ズーム情報、パン・チルト情報とから構成されるものとなる。メタデータ生成部１１６により生成されたメタデータは通信部１０８を介して撮像装置Ａ撮像装置Ｂ間で送受信される。さらに、接近判定部１１７、動き予測部１１８および構図決定部１１９に出力される。また、生成されたメタデータは記録部１１２に蓄積メタデータとして随時記録されていく。なお、撮像装置Ａにより生成されるメタデータをメタデータＡとし、撮像装置Ｂにより生成されるメタデータをメタデータＢと称し、区別する。
【００３７】
メタデータを構成する顔位置情報は画像解析部１１４による解析の結果取得され、ズーム情報およびパン・チルト情報は動作制御部１１５から取得されるものとして説明を行った。しかし、それに限られず、ズーム情報およびパン・チルト情報も画像解析部１１４による画像解析の結果求めるようにしてもよい。
【００３８】
接近判定部１１７は、メタデータに含まれる顔位置情報、パン・チルト情報に基づいて被写体Ａと被写体Ｂとが接近しているか否かの判定を行う。接近しているかの判定は例えば、被写体Ａと被写体Ｂとが共に撮像範囲Ａ内に収まっている場合にはそれぞれの顔の位置を検出し、その顔の位置間の距離が所定の閾値（距離）以下か否かを判定することにより行うことができる。また、撮像装置Ａの撮像範囲Ａ内には被写体Ａのみが収まっており、撮像装置Ｂの撮像範囲Ｂ内には被写体Ｂのみが収まっているような場合には、撮像装置Ａと撮像装置Ｂのそれぞれのパン方向の回転角度の差を算出する。そして、その差が所定の閾値（角度）以下である場合に被写体間の距離が短いとして被写体が接近している、と判定することができる。接近判定部１１７は、その判定結果を構図決定部１１９および撮像トリガ生成部１２０に出力する。なお、接近していると判定するための閾値はデフォルトとして撮像装置Ａ内に設定しておいてもよいし、ユーザが任意に設定できるようにしてもよい。
【００３９】
動き予測部１１８は、メタデータに含まれる被写体の顔位置情報に基づいてフレーム間の被写体の動き予測を行う。動き予測は例えば以下のようにして行う。まず、時刻Ｔｎ（現フレーム）の時点での被写体の動きベクトルＶｎを算出する。この動きベクトルＶｎは、画像中で時刻Ｔｎ−１（前フレーム）において得られた被写体と時刻Ｔｎ（現フレーム）において得られた被写体とのずれとして算出することができる。そして、動きベクトルＶｎを算出した後、動き予測を行う。被写体は同一方向に同一速度で動くと考えて予測を行う。すなわち、時刻Ｔｎ−１（前フレーム）、時刻Ｔｎ（現フレーム）、時刻Ｔｎ＋１（次フレーム）の間で、画像上での被写体の動きベクトルが変わらないと考える。したがって、予測される動きベクトルＶｎ＋１は、Ｖｎ＋１＝Ｖｎとなる。このような予測を行うことにより、被写体の時刻Ｔｎ＋１（次フレーム）における位置を予測することができる。
【００４０】
また、動き予測は、３つのフレーム、時刻Ｔｎ（現フレーム）、時刻Ｔｎ−１（前フレーム）、時刻Ｔｎ−２（２つ前のフレーム）に基づいて行なってもよい。この場合、時刻Ｔｎ−１（前フレーム）、時刻Ｔｎ−２（２つ前のフレーム）間の動きベクトルＶｎ−１を求め、さらに、時刻Ｔｎ（現フレーム）、時刻Ｔｎ−１（前フレーム）間の動きベクトルＶｎを求める。そして、その二つの動きベクトルから予測動きベクトルＶｎ＋１を算出して、その動きベクトルＶｎ＋１から被写体の時刻Ｔｎ＋１（次フレーム）における位置を予測することができる。
【００４１】
また、動き予測部１１８は、記録部１１２に保存されている蓄積メタデータを用いて動き予測を行うことも可能である。具体的には、同一の被写体について作成した直前のメタデータに含まれる被写体の顔位置情報と、現時点における被写体の顔位置情報とに基づいて上述のフレーム間における動きベクトル算出と同様にして動きベクトルを算出する。そして、その動きベクトルに基づいて動き予測を行う。なお、蓄積メタデータに含まれるパン・チルト情報に基づいても動き予測は可能であると考えられる。例えば、直前のメタデータに含まれるパン・チルト情報と現時点におけるパン・チルト情報とからパン・チルト回転角度の差分を算出する。そして、直前のメタデータ作成時刻から現時刻までの経過時間と同じ時間が経過した後には被写体が現在位置から同方向にその差分に相当する距離移動すると予測することにより動き予測を行う、などである。
【００４２】
また、蓄積メタデータを用いて画像解析部１１４における被写体の移動速度の算出も行うことが可能である。具体的には、同一の被写体について作成した直前のメタデータに含まれる被写体の顔位置情報と現時点における被写体の顔位置情報から顔位置の差として顔位置の移動量を算出する。そして、その移動量と、直前のメタデータの作成時刻から現在時刻までの経過時間とから移動速度を算出することが可能である。
【００４３】
構図決定部１１９は、撮像装置Ａにより生成されたメタデータＡおよび撮像装置Ｂにより生成されて撮像装置Ａに送信されたメタデータＢに基づいて撮像に適した構図を算出して決定するものである。構図決定の具体的内容については後述する。また、本実施の形態においては接近判定部１１７から供給された判定結果に基づいて構図の決定処理を開始する。その詳細については後述する。
【００４４】
撮像トリガ生成部１２０は、予め設定された所定の撮像条件（例えば、上述のアルゴリズム）にしたがって、撮像トリガを生成してスイッチ１１０に出力するものである。例えば、笑顔検出を行い、被写体が笑顔になるたびに撮像を行うように設定されている場合は、画像解析部１１４から被写体が笑顔である旨の表情判定情報が供給された場合に撮像トリガを出力する。
【００４５】
駆動部２００は、図３に示すように、第１支持体２０１、第２支持体２０２、回転体２０３、ベース２０４とからなるパンチチルトユニットとして構成されている。撮像部１００は、第１支持体２０１、第２支持体２０２間に水平方向に沿って設けられたチルト軸（図示せず。）によって支持されている。撮像部１００は第１支持体２０１または第２支持体２０２のどちらかの内部に設けられたチルト駆動用モータ（図示せず。）による駆動力によってチルト方向に回転することが可能となっている。第１支持体２０１および第２支持体２０２は回転体２０３の上面に立設されている。
【００４６】
回転体２０３は、上面で第１支持体２０１および第２支持体２０２を支持している。そして、ベース２０４上に設けられており、垂直方向に沿って設けられたパン軸（図示せず。）によってベース２０４上に支持されている。回転体２０３は内部に設けられたパン軸駆動用モータ（図示せず。）の駆動力によって、パン軸を中心にベース２０４上で３６０度回転可能に構成されている。すなわち、撮像部１００はパン軸を中心にパン方向に回転可能となっている。ベース２０４はパン軸を介して上面で回転体２０３を支持しており、底面はテーブルや地面などに載置することが可能なように平面上に形成されている。
【００４７】
このように構成された駆動部２００は、動作制御部１１５からの制御信号に従って動作することにより撮像部１００をパン・チルト動作させる。
【００４８】
上述のように、本実施の形態においては撮像装置Ａ、Ｂは近接した状態で並設されている。しかし、例えば、数メートル〜数十メートルなど距離をおいて撮像装置Ａ、Ｂ設置する場合には、撮像装置Ａ、Ｂに位置検出部を設けて、設置位置を検出し、その設置位置情報を撮像装置Ａ、Ｂ間でやり取りし、互いの位置を認識するようにしてもよい。位置検出部は、例えばＧＰＳ（Global Positioning System）の受信デバイスにより構成されるものであり、撮像装置の設置位置の検出を行うものである。
【００４９】
［１−３．撮像システムの動作］
以下、撮像システム１が行う撮像処理について説明する。図５Ａは、第１の実施の形態において撮像装置Ａが行う処理の流れを示すフローチャートである。図５Ｂは、撮像装置Ｂが行う処理の流れを示すフローチャートである。撮像装置Ａが行う処理と撮像装置Ｂが行う処理とは常時並行して行われる。
【００５０】
第１の実施の形態では、撮像装置Ａはあらかじめ被写体として設定されている被写体Ａを自動追尾して所定のアルゴリズムにしたがってその撮像を行う。また、撮像装置Ｂは、被写体を検索し、被写体Ａ以外の他の被写体を検出した場合、その他の被写体が被写体Ａに接近しているか否かを判定し、接近している場合、その他の被写体を追尾対象とする。その追尾対象は被写体Ｂとする。そして、撮像装置Ａ、Ｂ間でメタデータの送受信を行い、被写体Ｂが撮像装置Ａの撮像範囲Ａ内に入りそうになった場合に、撮像装置Ａは被写体Ａおよび被写体Ｂの両方を撮像するのに適した構図を決定して保持する。そして、被写体Ｂが撮像範囲Ａに入った場合に、その保持してある構図を反映することにより、被写体Ａおよび被写体Ｂの変化に即時に対応した撮像を可能にするものである。
【００５１】
なお、所定のアルゴリズムとは、上述したように、追尾対象としている被写体の笑顔を検出したときに撮影を行う、一定の時間間隔を空けて定期的に撮像を行う、などである。そのうちのどのアルゴリズムに従い撮像を行うかはデフォルトで設定されているものとする。ただし、ユーザが事前に設定可能および撮像途中で変更可能としてもよい。
【００５２】
撮像処理を開始すると、撮像装置Ａはまず、ステップＳ１１１であらかじめ設定された被写体である被写体Ａの自動追尾を開始する。また、同時に所定のアルゴリズムに従い被写体Ａの撮像も開始する。次に、ステップＳ１１２で、画像解析部１１４で入力画像の解析を行い、その解析結果および動作制御部１１５から所得するズーム情報およびパン・チルト情報に基づきメタデータ生成部１１６により被写体ＡについてのメタデータＡを生成する。そして、撮像装置ＡはステップＳ１１３でそのメタデータＡを撮像装置Ｂに送信する。
【００５３】
一方、撮像装置Ｂは、撮像開始時点では特定の追尾対象を有しておらず、ステップＳ１２１で被写体の検索を開始する。なお、この検索時においては、被写体の検索のため、あらかじめ定められた設定に従いズーム倍率の変更、パン・チルト動作を行うようにするとよい。例えば、一定の時間おきにズーム倍率を切り換える、一定時間でパン動作可能角度内を一往復するようパン動作を行う、などである。
【００５４】
そして、ステップＳ１２２で被写体を検出したら、次に撮像装置Ｂは、ステップＳ１２３で、その被写体Ｂが撮像装置Ａの追尾対象である被写体Ａとは異なる被写体であるか否かを判定する。被写体Ｂが被写体Ａと異なる被写体ではない、すなわち、同一であると判定した場合、処理はステップＳ１２１に戻り、再び被写体の検索を行う（ステップＳ１２３のＮｏ）。一方、被写体Ｂが被写体Ａとは異なると判定した場合、処理はステップＳ１２４に進む（ステップＳ１２３のＹｅｓ）。次に撮像装置Ｂは、ステップＳ１２４で撮像装置Ａから送信されたメタデータＡを受信する。
【００５５】
次に撮像装置ＢはステップＳ１２５で、接近判定部１１７により被写体Ｂと被写体Ａとが「接近している状態」か否かを判定する。判定は上述のように検出した顔の位置、またはパン方向回転角度の差分に基づいて行うことができる。そして、被写体Ａと被写体Ｂとが「接近している状態」ではないと判定した場合、処理はステップＳ１２１に戻り再び入力画像からの被写体の検索を行う（ステップＳ１２５のＮｏ）。
【００５６】
一方、被写体Ａと被写体Ｂとが「接近している状態」であると判定した場合、処理はステップＳ１２６に進む（ステップＳ１２５のＹｅｓ）。そして撮像装置Ｂは、ステップＳ１２６で被写体Ｂを追尾対象として決定し、その追尾を開始する。なお、撮像装置Ｂは、追尾中にも常に被写体Ａと被写体Ｂとが「接近している状態」か否かを判定し、「接近している状態」であると判定する限り自動追尾を続ける。次に、ステップＳ１２７で、撮像装置Ｂは被写体ＢについてのメタデータＢの生成を行う。そして、撮像装置Ｂは、ステップＳ１２８でメタデータＢを撮像装置Ａに送信する。
【００５７】
一方、撮像装置Ａは、ステップＳ１１４で、撮像装置Ｂにおける処理のステップＳ１２８で送信されたメタデータＢを受信する。次にステップＳ１１５で撮像装置Ａは、接近判定部１１７および動き予測部１１８により、メタデータＢに基づいて、被写体Ｂが被写体Ａに接近することにより撮像範囲Ａ内に「入りそう」か否かを判定する。例えば、受信したメタデータＢを用いて被写体Ｂの動き予測を行い、予測される被写体Ｂの位置が撮像装置Ａの撮像範囲Ａ内に存在する（すなわち、判定時には被写体Ｂは撮像範囲Ａ内にはまだ入っていない）場合に「入りそう」であると判定することができる。または、メタデータに含まれる撮像装置Ａと撮像装置Ｂのそれぞれパン方向回転角度の差分が所定の閾値（角度）以下になった場合に「入りそう」であると判定することも可能である。なお、被写体Ｂが被写体Ａに接近することにより撮像範囲Ａ内に「入りそう」な状態は、上述の撮像装置ＢのステップＳ１２５における「接近している状態」よりも被写体間の距離が短いものである。
【００５８】
ステップＳ１１５において、被写体Ｂが撮像装置Ａの撮像範囲内に「入りそう」ではない判定した場合、処理はステップＳ１１２に戻り、引き続き被写体Ａについてのメタデータ生成から処理を行う（ステップＳ１１５のＮｏ）。一方、ステップＳ１１５において、被写体Ｂが撮像範囲Ａに「入りそう」だと判定した場合、処理はステップＳ１１６に進む（ステップＳ１１５のＹｅｓ）。次に、撮像装置Ａは、ステップＳ１１６でメタデータＡおよびメタデータＢに基づいて、被写体Ｂが撮像範囲Ａに入った場合に適切な撮像が行える構図を決定する。詳しくは、現時点における被写体Ａの位置と予測される被写体Ｂの位置に基づいて被写体Ａおよび被写体Ｂが撮像装置Ａ内に収まるように構図を決定する。そして、その構図を反映させるために必要な構図情報を記録部１１２に保持しておく。
【００５９】
次に、撮像装置ＡはステップＳ１１７で、被写体Ｂが撮像範囲Ａ内に「入った」か否かを判定する。「入った」か否かは、例えば、撮像装置Ａの画像解析部１１４が撮像範囲Ａ内に被写体Ｂの顔を検出したか否かによって判定することができる。または、上述した、被写体Ｂが撮像範囲Ａ内に入りそうか否かの判定において予測した被写体Ｂの位置に被写体が入ったか否かを確認することなどにより判定することができる。そして、ステップＳ１１７で被写体Ｂが撮像範囲Ａに入ってはいないと判定した場合、処理はステップＳ１１２に戻り、被写体Ｂが撮像範囲Ａに入るまで、撮像装置ＡはステップＳ１１２乃至ステップＳ１１７の処理を行う。
【００６０】
一方、ステップＳ１１７で被写体Ｂが撮像範囲Ａに「入った」と判定した場合、撮像装置ＡはステップＳ１１８で、保持している構図情報に基づいてオートフォーカスの制御、ズーム倍率の制御、駆動部２００のパン・チルト制御を行うことにより、保持している構図を反映させる（ステップＳ１１７のＹｅｓ）。これにより、常に撮像装置Ａは、被写体Ａを自動追尾し撮像を行いながら、被写体Ｂが撮像範囲Ａ内に入ってきた場合であっても、即座に被写体Ａおよび被写体Ｂを適切な構図で撮像することができる。
【００６１】
そして、撮像装置Ａおよび撮像装置Ｂは被写体Ａおよび被写体Ｂの動きに合わせて上述の処理を繰り返しながら所定のアルゴリズム、例えば被写体の笑顔を検出した際に撮像トリガを生成して撮像を行う。撮像が行われるタイミングは上述の処理中のいつでもよい。
例えば、笑顔撮影の場合は、撮像装置Ａは上述の処理を行いながら常時入力画像データをバッファメモリ１０９に蓄えている。さらに、上述の処理と並行して常時被写体の表情判定を行い、被写体の笑顔が検出されたら撮像トリガをスイッチ１１０に出力する。これにより、被写体の笑顔を捉えた画像データがエンコード部１１１に送られて、最終的に記録部１１２に保存される。
【００６２】
記録された画像は撮像装置Ａ、Ｂ間で送受信して、撮像装置Ａ、Ｂそれぞれの記録部１１２に関連付けて保存するとよい。これにより、画像の検索、画像の加工などにおける利便性を高めることができる。ただし、記録された画像を撮像装置間で送受信せず、撮像装置Ａで撮像した画像は撮像装置Ａに、撮像装置Ｂで撮像した画像は撮像装置Ｂに保存するようにしてもよい。なお、説明はパン方向の動きを想定して行ったが、チルト方向についても同様にして行うことができる。
【００６３】
［１−４．構図決定の具体例］
図６および図７は構図の決定の具体例をそれぞれ示すものである。まず、図６に示す例について説明する。まず、図６Ａの状態は、撮像装置Ａは被写体Ａを自動追尾して撮像している。また、撮像装置Ｂは被写体Ａとは異なる被写体Ｂを検出し、被写体Ｂと被写体Ａとが「接近している状態」と判定したため被写体Ｂを追尾対象として決定し、メタデータＢを撮像装置Ａに送信した状態である。すなわち、撮像装置Ａにおいては、ステップＳ１１１乃至ステップＳ１１４までが行われ、撮像装置ＢにおいてはステップＳ１２１乃至ステップＳ１２８までが行われた状態である。そして、被写体Ｂは被写体Ａにさらに接近しようとしている。
【００６４】
そして、撮像装置Ａは、例えば動き予測により被写体Ｂが撮像範囲Ａ内に「入りそう」か否かを判定する。図６Ｂでは、破線で示す被写体Ｂの予測される位置が撮像範囲Ａ内に入っているため、撮像装置Ａは被写体Ｂが撮像範囲Ａ内に「入りそう」であると判定する。「入りそう」であると判定した場合、撮像装置Ａは画像解析部１１４により被写体Ａの現在位置を把握し、さらにメタデータＢから被写体Ｂの予測位置を把握し、被写体Ａおよび被写体Ｂが適切に撮像範囲Ａ内に収まるように構図を決定して保持しておく。そして、図６Ｃに示すように被写体Ｂが撮像範囲Ａ内に入ってきたら、図６Ｄに示すようにパン・チルト制御を行い、決定した構図反映させる。
【００６５】
図６の例では、構図の変更をパン・チルト制御により行う例を示したが、構図の変更はそれだけに限られない。図７はその他の方法により構図を変更する例を示すものである。図７Ａでは、被写体Ａよりも被写体Ｂが撮像装置Ａに近い場所に位置しており、そのままの構図では被写体Ｂを撮像装置Ａの撮像範囲Ａ内に納めることができない。そこで、被写体Ｂが撮像範囲Ａ内に収まるようにズーム倍率を変更して撮像範囲Ａを広くすることにより構図の調整を行っている。
【００６６】
図７Ｂは、被写体Ａよりも後方に複数の被写体（その複数の被写体を総称して被写体Ｂとする）が存在している場合である。この場合、まず、駆動部２００のパン・チルト制御を行って被写体Ａを構図の手前に入れつつ、被写体Ａと被写体Ｂとが撮像範囲Ａ内に収まるように構図を調整する。さらに、被写体Ａまたは被写体Ｂにピントを合わせる。
【００６７】
以上のような構図の決定および反映によって、撮像範囲Ａ内に被写体Ｂの一部が入った状態（被写体Ｂの顔が切れている状態など）で撮像がなされてしまうことを防止することができる。また、被写体Ｂにフォーカスが合っていない状態で撮像がなされてしまうことなども防止することができる。すなわち、常に被写体Ａおよび被写体Ｂを適切な状態で撮像することが可能となる。
【００６８】
なお、図６および図７の例では、撮像装置Ａの撮像範囲Ａのみを図示しているが、撮像装置Ｂは撮像装置Ａが撮像処理を行っている間、同様に追尾対象である被写体Ｂを継続して追尾し所定のアルゴリズムに従って撮像していてもよい。また、撮像装置Ｂの撮像範囲Ｂを撮像装置Ａに一致させるようにしてもよい。
【００６９】
［１―５．応用例］
次に、第１の実施の形態の応用例について説明する。図８Ａ、図８Ｂは共に、被写体Ａは同じ位置に留まっており、被写体Ｂが被写体Ａに向けて移動している場合を示すものである。図８Ａは被写体Ｂの移動速度が速い例を示すものであり、図８Ｂは被写体Ｂの移動速度が遅い例を示すものである。この応用例では、被写体Ｂの動きに合わせて撮像範囲Ａの調整を行うことによって、被写体Ａおよび被写体Ｂを常に撮像装置Ａの撮像範囲Ａ内に収めながら、被写体Ｂが被写体Ａに徐々に近づいてゆく過程を逃さず捉えることができる。
【００７０】
この応用例を行うには、まず、被写体Ａと被写体Ｂとが「接近している状態」になる予測時刻（以下、接近予測時刻と称する。）を算出する。接近予測時刻は、例えば、被写体Ｂの移動速度とフレーム間の経過時間とから被写体Ｂの予測位置を算出し、被写体Ａの位置と被写体Ｂの予測位置間の距離が所定の閾値以下になる時刻として求めることができる。ここで、所定の閾値は被写体Ａと被写体Ｂとが接近したか否かの基準となるものであり、デフォルトとして設定しておいてもよいし、ユーザが任意に設定できるようにしてもよい。
【００７１】
そして、その接近予測時刻よりも前の各時刻（例えば２秒前の時刻および１秒前の時刻）における被写体Ｂの位置を予測する。接近予測時刻前の各時刻における位置の予測は例えば、接近予測時刻が現在時刻から５秒後であり、接近予測時刻の２秒前の位置を予測しようとする場合には、その差である現在時刻から３秒後の被写体Ｂの位置を予測する。これにより図８に示すように接近予測時刻から２秒前の被写体Ｂの位置を予測することができる。そして、現在時刻から３秒後の被写体Ｂと被写体Ａとが撮像範囲Ａ内に収まるように構図を決定する。同様にして接近予測時刻の１秒前の被写体Ｂの位置も予測して構図を決定することができる。
【００７２】
また、まず、被写体Ａの位置と被写体Ｂの予測位置間の距離が所定の閾値以下になる接近予測時刻を求める。次に、現在時刻から接近予測時刻までの間において所定の時間間隔をあけて（例えば、１秒間隔）で、それぞれの時点における被写体Ｂの位置を予測し、そのそれぞれの時点における被写体Ｂの位置に合わせて構図を決定して保持しておく。そして、各時点において保持していた構図を反映させて撮像を行うようにしてもよい。
【００７３】
接近予測時刻前のいつの時点で撮像を行うかのポイントはデフォルトとして設定しておいてもよいし、ユーザが任意に設定できるようにしてもよい。撮像ポイントの個数を増やすことにより、被写体Ｂが被写体Ａに接近する様子をより詳細に撮像することができる。
【００７４】
＜２．第２の実施の形態＞
以下、この発明の第２の実施の形態について図９乃至図１１を参照して説明を行う。なお、撮像システム１、撮像装置Ａおよび撮像装置Ｂの構成は第１の実施の形態と同様であるため、その説明を省略する。
【００７５】
［２−１．撮像システムの動作］
なお、第２の実施の形態においては、前提として、撮像装置Ａはあらかじめ設定された被写体Ａを自動追尾しており、所定のアルゴリズムに従い撮像を行うものとする。また、撮像装置Ｂもあらかじめ設定された被写体Ｂ（被写体Ａとは異なる。）を自動追尾しており、所定のアルゴリズムに従い撮像を行うものとする。所定のアルゴリズムは、第１の実施の形態で説明したのと同様に、追尾対象としている被写体の笑顔を検出したときに撮影を行う、一定の時間間隔を空けて定期的に撮像を行う、同一被写体は１０秒以上間隔を空けて撮像する、一回の撮像ごとにズーム倍率を変更して撮像を行う、などである。
【００７６】
撮像処理を開始すると、撮像装置Ａはまず、ステップＳ２１１であらかじめ設定された被写体である被写体Ａの自動追尾を開始する。また、同時に所定のアルゴリズムに従い被写体Ａの撮像も開始する。次に、ステップＳ２１２で撮像装置Ａは被写体ＡについてのメタデータＡの生成を行う。そして、撮像装置ＡはステップＳ２１３でそのメタデータＡを撮像装置Ｂに送信する。
【００７７】
一方、撮像装置Ｂは、ステップＳ２２１であらかじめ設定された被写体である被写体Ｂの自動追尾を開始する。また、同時に所定のアルゴリズムに従い被写体Ｂの撮像も開始する。次に、ステップＳ２２２で被写体ＢについてのメタデータＢの生成を行う。そして、撮像装置ＢはステップＳ２２３でそのメタデータＢを撮像装置Ａに送信する。
【００７８】
そして、撮像装置ＡはステップＳ２１４で撮像装置Ｂから送信されたメタデータＢを受信する。また、同様に撮像装置ＢはステップＳ２２４で撮像装置Ａから送信されたメタデータＡを受信する。
【００７９】
次に撮像装置ＡはステップＳ２１５で、接近判定部１１７により被写体Ａと被写体Ｂとが「接近している状態」であるか否かの判定を行う。「接近している状態」か否かの判定は第１の実施の形態と同様にして行う。そして、「接近している状態」ではないと判定した場合、処理はステップＳ２１２に戻る（ステップＳ２１５のＮｏ）。そして、「接近している状態」であると判定するまで、ステップＳ２１２乃至ステップＳ２１５を繰り返して、被写体Ａの追尾を行いながらメタデータＡの生成および送信、撮像装置ＢからのメタデータＢの受信を行う。
【００８０】
一方、被写体Ａと被写体Ｂとが「接近している状態」であると判定した場合、処理はステップＳ２１６に進む（ステップＳ２１５のＹｅｓ）。そして、ステップＳ２１６で撮像装置Ａはズーム倍率をあらかじめ設定してあるズーム倍率（設定ズーム倍率と称する。）に一致させることにより、撮像範囲のサイズの調整（構図の調整）を行う。設定ズーム倍率は、被写体間の距離、パン方向回転角度の差分、すなわち「接近している状態」か否かの判定に用いる情報に対応させてあらかじめ設定されて記録部１１２などに保持されているものとする。言い換えると、それらの情報に基づいて構図が決定される。ただし、ズーム倍率の調整は、撮像装置同士がお互いのメタデータに含まれるズーム倍率を参照してどちらか一方の撮像装置のその時点におけるズーム倍率に合わせるように調整してもよい。
【００８１】
撮像装置Ｂも同様に、ステップＳ２２５で被写体Ｂと被写体Ａとが「接近している状態」か否かの判定を行う。そして、「接近している状態」ではないと判定した場合、処理はステップＳ２２２に戻る（ステップＳ２２５のＮｏ）。そして、「接近している状態」と判定するまで、ステップＳ２２２乃至ステップＳ２２５を繰り返して、被写体Ｂの追尾を行いながらメタデータＢの生成および送信、撮像装置ＡからのメタデータＡの受信を行う。なお、撮像装置ＡにおけるステップＳ２１５の判定、および、撮像装置ＢにおけるステップＳ２２５の判定が特許請求の範囲における第１の接近判定に相当する。
【００８２】
一方、「接近している状態」と判定した場合、処理はステップＳ２２６に進み（ステップＳ２２５のＹｅｓ）、ズーム倍率を設定ズーム倍率に一致させて撮像範囲Ｂのサイズの調整（構図の調整）を行う。設定ズーム倍率は撮像装置Ａおよび撮像装置Ｂ共通のものとする。よって、撮像装置ＡのステップＳ２１６、撮像装置ＢのステップＳ２２６によって撮像装置Ａ、撮像装置Ｂのズーム倍率は同一となり、撮像範囲Ａと撮像範囲Ｂのサイズは同一となる。
【００８３】
次に、撮像装置ＡはステップＳ２１７で、被写体Ａと被写体Ｂとが「さらに接近した」か否かを判定する。「さらに接近した」か否かは、上述のステップＳ２１５と同様にして行うことができる。ただし、ステップＳ２１７はステップＳ２１５の状態に比べて「さらに接近した」か否かを判定するものである。したがって、「さらに接近した」かを判定するために顔位置間の距離と比較する閾値、またはパン方向回転角度の差分と比較する閾値はステップＳ２１５における判定に用いる閾値よりも小さい値とする。
【００８４】
撮像装置ＡはステップＳ２１７で、「さらに接近した」とは判定しなかった場合、処理はステップＳ２１２に戻り、「さらに接近した」と判定するまで、ステップＳ２１２乃至ステップＳ２１７を繰り返す（ステップＳ２１７のＮｏ）。一方、「さらに接近した」と判定した場合処理はステップＳ２１８に進む（ステップＳ２１７のＹｅｓ）。そして、ステップＳ２１８で撮像装置Ａの撮像トリガ生成部１２０は撮像トリガを生成してスイッチ１１０に出力する。これによりバッファメモリ１０９に蓄えられていた画像データがエンコード部１１を介して記録部１１２に送られて画像の記録が行われる。
【００８５】
撮像装置Ｂも同様に、ステップＳ２２７で、被写体Ｂと被写体Ａとが「さらに接近した」か否かを判定する。「さらに接近した」とは判定しなかった場合、処理はステップＳ２２２に戻り、「さらに接近した」と判定するまで、ステップＳ２２２乃至ステップＳ２２７を繰り返す（ステップＳ２２７のＮｏ）。一方、「さらに接近した」と判定した場合処理はステップＳ２２８に進み、（ステップＳ２２７のＹｅｓ）、撮像トリガを生成してスイッチ１１０に出力する。これにより画像の記録が行われる。なお、撮像装置ＡにおけるステップＳ２１７の判定、および、撮像装置ＢにおけるステップＳ２２７の判定が特許請求の範囲における第２の接近判定に相当する。
【００８６】
なお、上述のように撮像装置Ａ、撮像装置Ｂが別々に撮像トリガを生成するのではなく、例えば、撮像装置Ａは生成した撮像トリガを撮像装置Ｂに送信し、撮像装置Ｂはその受信した撮像トリガに基づき画像の記録を行ってもよい。これによっても、２台の撮像装置で同時に画像の記録を行うことができる。
【００８７】
撮像装置Ａ、撮像装置Ｂは上述の処理を繰り返しながら撮像を行う。そして、被写体が離れていき、ステップＳ２１７（ステップＳ２２７）で被写体が「さらに接近した」と判定しなかった場合、撮像トリガの生成を行わない。さらにステップＳ２１５（ステップＳ２２５）で被写体が「接近した」と判定しなかった場合はステップＳ２１６（ステップＳ２２６）におけるズーム倍率の調整は行わず、撮像装置Ａ、撮像装置Ｂは、所定のアルゴリズムにしたがって各々の被写体を自動追尾し撮像を行う状態に戻る。なお、説明はパン方向の動きを想定して行ったが、チルト方向についても同様にして行うことができる。
【００８８】
第２の実施の形態においても第１の実施の形態と同様に、記録された画像を撮像装置Ａ、Ｂ間で送受信し、それらを関連付けられて保存してもよいし、送受信は行わず、各々が保存してもよい。
【００８９】
上述の第２の実施の形態における撮像処理について図１０を参照して具体例で説明する。図１０Ａでは、撮像装置Ａは被写体Ａを追尾しており、撮像装置Ｂは被写体Ｂを追尾している。そして、被写体Ａ、被写体Ｂは互いの方向に進んで接近しようとしている。なお、この時点で、撮像装置Ａと撮像装置Ｂのズーム倍率は異なっており、撮像範囲のサイズも異なっている。そして、図１０Ｂに示すように被写体Ａと被写体Ｂが移動し、「接近した」と判定すると、図１０Ｃに示すように、撮像装置Ａ、撮像装置Ｂはズーム倍率を調整して、撮像範囲のサイズを一致させる。そして、この状態で引き続きそれぞれ被写体の追尾を続ける。そして、図１０Ｄに示すように被写体が近づき、「さらに接近した」と判定した場合、撮像装置Ａおよび撮像装置Ｂは被写体の画像の記録を行う。
【００９０】
第２の実施の形態においては被写体が接近したか否か、すなわち、被写体間の距離に応じて撮像が行われる。よって、「さらに接近した」か否かの判定の際に用いられる閾値を調整することにより、被写体がどのくらい接近したら撮像を行うかの調整を行うことができ、ユーザの嗜好に合わせた撮像が可能となる。
【００９１】
［２−２．応用例］
次に、図１１を参照して第２の実施の形態の応用例について説明する。図１１は応用例において撮像装置で行われる処理を示すフローチャートである。図１１のフローチャートは撮像装置Ａが行う処理についてのものである。撮像装置Ｂも撮像装置Ａと同様の処理を行うため、撮像装置Ｂについてのフローチャートは省略する。この応用例は、第２の実施の形態におけるステップＳ２１６およびステップＳ２２６のズーム倍率の調整は行わず、被写体の接近の度合いに応じて撮像の頻度のみを変更する、というものである。
【００９２】
撮像処理を開始すると、撮像装置Ａはまず、ステップＳ３１１乃至ステップＳ３１４を実行し、被写体Ａの追尾を開始し、メタデータＡの生成と送信、さらに撮像装置ＢからのメタデータＢの受信を行う。このステップＳ３１１乃至ステップＳ３１４は第２の実施の形態と同様であるため、詳細な説明は省略する。
【００９３】
次にステップＳ３１５で、被写体Ａと被写体Ｂとが第３の接近状態であるか否かを判定する。判定の結果、第３の接近状態である場合には、処理はステップＳ３１６に進み（ステップＳ３１５のＹｅｓ）、第３の接近状態に対応して設定してある頻度で撮像トリガを生成して出力する。一方、被写体Ａと被写体Ｂとが第３の接近状態ではない場合には、処理はステップＳ３１７に進み、被写体Ａと被写体Ｂとが第４の接近状態である否かを判定する。判定の結果、第４の接近状態であると判定した場合には、処理はステップＳ３１８に進み（ステップＳ３１７のＹｅｓ）、第４の接近状態に対応して設定してある頻度で撮像トリガを生成して出力する。被写体間の距離が第３の接近状態、第４の接近状態のいずれでもない場合には（ステップＳ３１５、３１７のいずれもＮｏ）処理はステップＳ３１２に戻る。
【００９４】
被写体Ａと被写体Ｂとが第３の接近状態にあるか、第４の接近状態にあるかの判定は、上述の「接近している」か否かの判定と同様に行うことができる。なお、この応用例において、第３の接近状態、第４の接近状態と称しているのは、第２の実施の形態における第１の接近判定、第２の接近判定との混同を避けるためである。
【００９５】
この応用例は、上述のように、被写体の接近の度合いに応じて撮像の頻度を変更するものである。よって、例えば、第３の接近状態に対応する閾値よりも第４の接近状態に対応する閾値を小さく設定し、さらに、第３の接近状態に応じた頻度よりも第４の接近状態に応じた頻度を高く設定すれば、被写体が接近していくにつれて撮像頻度を上げていく、ということが可能となる。なお、図１１のフローチャートにおいては、接近状態は２段階であるものとして説明を行ったが、それは一例に過ぎず、より多くの段階を設定して、その段階に応じて撮像トリガ生成頻度を設定することも可能である。
【００９６】
＜３．変形例＞
以上、この発明の一実施の形態について具体的に説明したが、この発明は、上述の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。第１および第２の実施の形態においては撮像装置は２つである場合を想定して説明を行ったが、撮像装置の数は２つに限られず、それ以上でもよい。また、被写体が接近した場合に構図の決定、撮像トリガの生成が行われる場合を想定して説明を行ったが、逆に被写体Ａと被写体Ｂとが離れていく場合に構図を決定し、撮像トリガを生成してもよい。
【００９７】
例えば、撮像装置Ａ、撮像装置Ｂ、撮像装置Ｃの合計を３つの撮像装置を用いて２つの被写体Ａ、被写体Ｂを撮像することもできる。この場合、撮像装置Ａは被写体Ａを自動追尾し、所定のアルゴリズムに従い撮像を行い、メタデータＡを撮像装置Ｃに送信する。また、撮像装置Ｂは被写体Ｂを自動追尾し、所定のアルゴリズムに従い撮像を行い、メタデータＢを撮像装置Ｃに送信する。そして、撮像装置ＣはメタデータＡおよびメタデータＢに基づいて、撮像範囲Ｃ内に被写体Ａおよび被写体Ｂが常に収まるようにズーム制御、パン・チルト制御を行いながら撮像を行う。この場合、いずれかの撮像装置が撮像トリガを生成したら、その撮像トリガを他の撮像装置に送信し、他の撮像装置はその受信した撮像トリガに基づいて撮像を行うとよい。これにより、同じタイミングで、被写体Ａの画像、被写体Ｂの画像、被写体Ａと被写体Ｂとが収まった画像を記録することができる。
【００９８】
また、上述の撮像装置の構成の説明においては、撮像装置は操作部と表示部を備えていない自動パン・チルトカメラとして説明を行った。しかし、撮像装置はそのようなものに限られず、操作部および表示部を備えるものであってもよい。操作部は、シャッタボタン、電源のオン／オフを切り換える電源キー、撮影条件の設定を切り換えるための撮影モード切り換えキー、画像再生のための再生キーなどの、ユーザによる入力の各種キーから構成されるものである。操作部は、これらキーの操作に対応する操作信号を生成し、後述する制御部１１３へ出力する。表示部は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro luminescence）ディスプレイなどから構成される電子ビューファインダーである。信号処理部１０４から出力された画像データは表示部に供給されて映像として表示されることによりユーザに提供される。
【００９９】
また、操作部、表示部は外部機器として構成し、撮像装置と接続することにより、撮像装置の操作、画像等の表示を行うようにしてもよい。
【０１００】
また、撮像装置は共に撮像部１００と駆動部２００からなり、それらが一体に構成されたものとして説明を行ったが、それに限られず、撮像装置と駆動部２００とを別々の構成としてもよい。例えば、駆動部２００をParty-shot（ソニー株式会社の登録商標）のような撮像装置を載置する雲台として構成し、その雲台にデジタルスチルカメラを取り付けて自動追尾可能な撮像装置を構成してもよい。なお、その場合も上述した画像解析処理、動作制御処理、メタデータ生成処理、構図決定処理などの一連の処理はデジタルカメラ側で行う。そして、雲台はデジタルカメラによる動作制御に従いパン・チルト動作を行う。
【０１０１】
第１の実施の形態および第２の実施の形態では、撮像部１００はデジタルスチルカメラとして構成され、静止画像を撮像する場合を例にして説明を行ったが、撮像部１００としてデジタルビデオカメラを用いて動画撮影についてこの発明を適用することができる。
【０１０２】
この発明に係る撮像システム１は、例えば、結婚式等に用いることができる。この場合、撮像装置Ａが新郎を追尾し、撮像装置Ｂが新婦を追尾し、新郎と新婦の撮像を常時別々に行いながら、二人が接近したシャッターチャンスにおいては、撮像装置Ａ、撮像装置Ｂともに新郎新婦を適切な構図で撮像することが可能となる。さらに、撮像装置Ｃも用いて、撮像装置Ｃは常に新郎と新婦の両方が撮像範囲Ｃ内に収まるように撮像する、ということも可能である。このように、より多彩な写真撮影が可能となる。
【０１０３】
また、撮像システム１は、監視カメラシステムとして用いられてもよい。この場合、侵入者が複数いる場合であっても、それぞれの侵入者を捉えつつ、侵入者がひとつの場所に集まった場合にはその状況を複数のアングルで捉えることができる。これにより、侵入者の特徴等をより正確に認識することができる。
【符号の説明】
【０１０４】
１・・・・・撮像システム
１００・・・撮像部
１０８・・・通信部
１１２・・・記録部
１１３・・・制御部
１１４・・・画像解析部
１１５・・・動作制御部
１１６・・・メタデータ生成部
１１７・・・接近判定部
１１８・・・動き予測部
１１９・・・構図決定部
１２０・・・撮像トリガ生成部
【特許請求の範囲】
【請求項１】
相互通信可能な複数の撮像装置からなり、複数の被写体を撮像する撮像システムにおいて、
前記複数の撮像装置に含まれる第１の撮像装置は、第１のメタデータを生成して前記複数の撮像装置に含まれる第２の撮像装置に送信し、
前記第２の撮像装置は、第２のメタデータを生成して前記第１の撮像装置に送信し、
前記第１の撮像装置および前記第２の撮像装置のうちいずれか一方または両方は、前記第１のメタデータおよび前記第２のメタデータに基づいて構図を決定する
撮像システム。
【請求項２】
前記第１の撮像装置は、前記複数の被写体に含まれる第１の被写体と前記複数の被写体に含まれる第２の被写体とが接近しているか否かを判定し、
前記第１の被写体と前記第２の被写体とが接近していると判定した場合に、前記第１の被写体と前記第２の被写体とが撮像範囲内に収まるように構図を決定する
請求項１に記載の撮像システム。
【請求項３】
前記第１の撮像装置は、パン・チルト動作可能な駆動部を備え、決定された前記構図に基づいて前記駆動部のパン・チルト動作を制御する
請求項２に記載の撮像システム。
【請求項４】
前記第１の撮像装置は、決定された前記構図に基づいてズーム倍率を調整する請求項２に記載の撮像システム。
【請求項５】
前記第１の撮像装置および第２の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記第１のメタデータは、前記第１の撮像装置の撮像範囲内における前記第１の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものであり、
前記第２のメタデータは、前記第２の撮像装置の撮像範囲内における前記第２の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものである
請求項１に記載の撮像システム。
【請求項６】
前記第１の撮像装置および／または前記第２の撮像装置は、前記複数の被写体に含まれる第１の被写体と前記複数の被写体に含まれる第２の被写体とが接近しているか否かを判定する第１の接近判定を行い、
該第１の接近判定により該第１の被写体と該第２の被写体とが接近していると判定した場合に、前記第１の撮像装置と前記第２の撮像装置の撮像範囲のサイズが一致するように構図を決定する
請求項１に記載の撮像システム。
【請求項７】
前記第１の撮像装置および／または前記第２の撮像装置は、前記第１の被写体と前記第２の被写体とが接近しているか否かを判定する第２の接近判定を行い、
該第２の接近判定により前記第１の被写体と前記第２の被写体とが接近していると判定した場合に、前記第１の被写体および前記第２の被写体の撮像を行う
請求項６に記載の撮像システム。
【請求項８】
前記第１の撮像装置および／または前記第２の撮像装置は、前記第１の被写体と前記第２の被写体間の距離に基づいて前記第１の接近判定および前記第２の接近判定を行い、
前記第２の接近判定は、前記第１の被写体と前記第２の被写体間の距離が、前記第１の接近判定において接近していると判定した場合における前記第１の被写体と前記第２の被写体間の距離よりも短い場合に前記第１の被写体と前記第２の被写体が接近していると判定する請求項７に記載の撮像システム。
【請求項９】
前記第１の撮像装置および第２の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記第１のメタデータは、前記第１の撮像装置の撮像範囲内における前記第１の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものであり、
前記第２のメタデータは、前記第２の撮像装置の撮像範囲内における前記第２の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものである
請求項６に記載の撮像システム。
【請求項１０】
複数の撮像装置からなり、複数の被写体を撮像する撮像システムを構成する撮像装置において、
該撮像装置は、
メタデータを生成するメタデータ生成部と、
該メタデータ生成部により生成された前記メタデータを前記撮像システムを構成する他の撮像装置に送信し、さらに、該他の撮像装置が生成した他のメタデータを受信する通信部と、
前記メタデータおよび前記他のメタデータに基づいて撮像の構図を決定する構図決定部と
を備える撮像装置。
【請求項１１】
前記撮像装置はさらに、
前記複数の被写体に含まれる第１の被写体と前記複数の被写体に含まれる第２の被写体とが接近しているか否かを判定する接近判定部を備え、
前記構図決定部は、該接近判定部により前記第１の被写体と前記第２の被写体とが接近していると判定された場合に前記第１の被写体と前記第２の被写体とが撮像範囲内に収まるように構図を決定する
請求項１０に記載の撮像装置。
【請求項１２】
前記撮像装置はさらに、
パン・チルト動作可能な駆動部を備え、決定された前記構図に基づいて前記駆動部のパン・チルト動作を制御する
請求項１１に記載の撮像装置。
【請求項１３】
前記撮像装置は、決定された前記構図に基づいてズーム倍率を調整する請求項１１に記載の撮像装置。
【請求項１４】
前記撮像装置はさらに、
前記複数の被写体に含まれる第１の被写体と第２の被写体とが接近しているか否かを判定する接近判定部と、
該接近判定部により前記第１の被写体と前記第２の被写体とが接近していると判定した場合に前記メタデータを前記他の撮像装置に送信する
請求項１０に記載の撮像装置。
【請求項１５】
前記撮像装置および前記他の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記メタデータは、前記撮像装置の撮像範囲内における前記第１の被写体の大きさおよび位置を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものであり、
前記他のメタデータは、前記他の撮像装置の撮像範囲内における前記第２の被写体の大きさおよび位置を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものである
請求項１０または１４に記載の撮像装置。
【請求項１６】
前記撮像装置はさらに、
前記第１の被写体と前記第２の被写体とが接近しているか否かを判定する接近判定部を備え、
前記構図決定部は、該接近判定部により行われる第１の接近判定により該第１の被写体と該第２の被写体とが接近していると判定された場合に、前記撮像装置と前記他の撮像装置の撮像範囲のサイズが一致するように構図を決定する
請求項１０に記載の撮像装置。
【請求項１７】
前記接近判定部はさらに、
前記第１の被写体と前記第２の被写体とが接近しているか否かを判定する第２の接近判定を行い、
該第２の接近判定により前記第１の被写体と前記第２の被写体とが接近していると判定した場合に、前記第１の被写体および前記第２の被写体の撮像を行う
請求項１６に記載の撮像装置。
【請求項１８】
前記第１の接近判定および前記第２の接近判定は、前記第１の被写体と前記第２の被写体間の距離に基づいて前記第１の被写体と前記第２の被写体とが接近しているか否かの判定を行い、
前記第２の接近判定は、前記第１の被写体と前記第２の被写体間の距離が、前記第１の接近判定において接近していると判定した場合の前記第１の被写体と前記第２の被写体間の距離よりも短い場合に前記第１の被写体と前記第２の被写体が接近していると判定する請求項１７に記載の撮像装置。
【請求項１９】
前記撮像装置および前記他の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記メタデータは、前記撮像装置の撮像範囲内における前記第１の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報からなり、
前記他のメタデータは、前記他の撮像装置の撮像範囲内における前記第２の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報からなる
請求項１６に記載の撮像装置。
【請求項１】
相互通信可能な複数の撮像装置からなり、複数の被写体を撮像する撮像システムにおいて、
前記複数の撮像装置に含まれる第１の撮像装置は、第１のメタデータを生成して前記複数の撮像装置に含まれる第２の撮像装置に送信し、
前記第２の撮像装置は、第２のメタデータを生成して前記第１の撮像装置に送信し、
前記第１の撮像装置および前記第２の撮像装置のうちいずれか一方または両方は、前記第１のメタデータおよび前記第２のメタデータに基づいて構図を決定する
撮像システム。
【請求項２】
前記第１の撮像装置は、前記複数の被写体に含まれる第１の被写体と前記複数の被写体に含まれる第２の被写体とが接近しているか否かを判定し、
前記第１の被写体と前記第２の被写体とが接近していると判定した場合に、前記第１の被写体と前記第２の被写体とが撮像範囲内に収まるように構図を決定する
請求項１に記載の撮像システム。
【請求項３】
前記第１の撮像装置は、パン・チルト動作可能な駆動部を備え、決定された前記構図に基づいて前記駆動部のパン・チルト動作を制御する
請求項２に記載の撮像システム。
【請求項４】
前記第１の撮像装置は、決定された前記構図に基づいてズーム倍率を調整する請求項２に記載の撮像システム。
【請求項５】
前記第１の撮像装置および第２の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記第１のメタデータは、前記第１の撮像装置の撮像範囲内における前記第１の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものであり、
前記第２のメタデータは、前記第２の撮像装置の撮像範囲内における前記第２の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものである
請求項１に記載の撮像システム。
【請求項６】
前記第１の撮像装置および／または前記第２の撮像装置は、前記複数の被写体に含まれる第１の被写体と前記複数の被写体に含まれる第２の被写体とが接近しているか否かを判定する第１の接近判定を行い、
該第１の接近判定により該第１の被写体と該第２の被写体とが接近していると判定した場合に、前記第１の撮像装置と前記第２の撮像装置の撮像範囲のサイズが一致するように構図を決定する
請求項１に記載の撮像システム。
【請求項７】
前記第１の撮像装置および／または前記第２の撮像装置は、前記第１の被写体と前記第２の被写体とが接近しているか否かを判定する第２の接近判定を行い、
該第２の接近判定により前記第１の被写体と前記第２の被写体とが接近していると判定した場合に、前記第１の被写体および前記第２の被写体の撮像を行う
請求項６に記載の撮像システム。
【請求項８】
前記第１の撮像装置および／または前記第２の撮像装置は、前記第１の被写体と前記第２の被写体間の距離に基づいて前記第１の接近判定および前記第２の接近判定を行い、
前記第２の接近判定は、前記第１の被写体と前記第２の被写体間の距離が、前記第１の接近判定において接近していると判定した場合における前記第１の被写体と前記第２の被写体間の距離よりも短い場合に前記第１の被写体と前記第２の被写体が接近していると判定する請求項７に記載の撮像システム。
【請求項９】
前記第１の撮像装置および第２の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記第１のメタデータは、前記第１の撮像装置の撮像範囲内における前記第１の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものであり、
前記第２のメタデータは、前記第２の撮像装置の撮像範囲内における前記第２の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものである
請求項６に記載の撮像システム。
【請求項１０】
複数の撮像装置からなり、複数の被写体を撮像する撮像システムを構成する撮像装置において、
該撮像装置は、
メタデータを生成するメタデータ生成部と、
該メタデータ生成部により生成された前記メタデータを前記撮像システムを構成する他の撮像装置に送信し、さらに、該他の撮像装置が生成した他のメタデータを受信する通信部と、
前記メタデータおよび前記他のメタデータに基づいて撮像の構図を決定する構図決定部と
を備える撮像装置。
【請求項１１】
前記撮像装置はさらに、
前記複数の被写体に含まれる第１の被写体と前記複数の被写体に含まれる第２の被写体とが接近しているか否かを判定する接近判定部を備え、
前記構図決定部は、該接近判定部により前記第１の被写体と前記第２の被写体とが接近していると判定された場合に前記第１の被写体と前記第２の被写体とが撮像範囲内に収まるように構図を決定する
請求項１０に記載の撮像装置。
【請求項１２】
前記撮像装置はさらに、
パン・チルト動作可能な駆動部を備え、決定された前記構図に基づいて前記駆動部のパン・チルト動作を制御する
請求項１１に記載の撮像装置。
【請求項１３】
前記撮像装置は、決定された前記構図に基づいてズーム倍率を調整する請求項１１に記載の撮像装置。
【請求項１４】
前記撮像装置はさらに、
前記複数の被写体に含まれる第１の被写体と第２の被写体とが接近しているか否かを判定する接近判定部と、
該接近判定部により前記第１の被写体と前記第２の被写体とが接近していると判定した場合に前記メタデータを前記他の撮像装置に送信する
請求項１０に記載の撮像装置。
【請求項１５】
前記撮像装置および前記他の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記メタデータは、前記撮像装置の撮像範囲内における前記第１の被写体の大きさおよび位置を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものであり、
前記他のメタデータは、前記他の撮像装置の撮像範囲内における前記第２の被写体の大きさおよび位置を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報を含むものである
請求項１０または１４に記載の撮像装置。
【請求項１６】
前記撮像装置はさらに、
前記第１の被写体と前記第２の被写体とが接近しているか否かを判定する接近判定部を備え、
前記構図決定部は、該接近判定部により行われる第１の接近判定により該第１の被写体と該第２の被写体とが接近していると判定された場合に、前記撮像装置と前記他の撮像装置の撮像範囲のサイズが一致するように構図を決定する
請求項１０に記載の撮像装置。
【請求項１７】
前記接近判定部はさらに、
前記第１の被写体と前記第２の被写体とが接近しているか否かを判定する第２の接近判定を行い、
該第２の接近判定により前記第１の被写体と前記第２の被写体とが接近していると判定した場合に、前記第１の被写体および前記第２の被写体の撮像を行う
請求項１６に記載の撮像装置。
【請求項１８】
前記第１の接近判定および前記第２の接近判定は、前記第１の被写体と前記第２の被写体間の距離に基づいて前記第１の被写体と前記第２の被写体とが接近しているか否かの判定を行い、
前記第２の接近判定は、前記第１の被写体と前記第２の被写体間の距離が、前記第１の接近判定において接近していると判定した場合の前記第１の被写体と前記第２の被写体間の距離よりも短い場合に前記第１の被写体と前記第２の被写体が接近していると判定する請求項１７に記載の撮像装置。
【請求項１９】
前記撮像装置および前記他の撮像装置は、パン・チルト動作可能な駆動部を備え、
前記メタデータは、前記撮像装置の撮像範囲内における前記第１の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報からなり、
前記他のメタデータは、前記他の撮像装置の撮像範囲内における前記第２の被写体の大きさ、位置および移動速度を示す被写体情報、ズーム倍率を示すズーム情報、前記駆動部のパン・チルト動作におけるパン・チルト回転角度を示すパン・チルト情報からなる
請求項１６に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２１１５９８（Ｐ２０１１−２１１５９８Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７８６７４（Ｐ２０１０−７８６７４）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]