画像処理装置、画像処理方法、プログラム
【課題】なるべく最大数の被写体（人）が含まれるような自動構図処理の実現。
【解決手段】パン・チルト・ズーム等の可変機構を駆動制御させながら、撮像画像データから撮像視野内に目的の被写体が入っているか否かを検出する。そして１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行う。例えば仮構図合わせとして、本構図合わせの際の撮像視野の変動幅よりも、撮像視野の変動幅が大きくなるように設定された目標範囲に被写体重心を位置させる処理を行う。
【解決手段】パン・チルト・ズーム等の可変機構を駆動制御させながら、撮像画像データから撮像視野内に目的の被写体が入っているか否かを検出する。そして１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行う。例えば仮構図合わせとして、本構図合わせの際の撮像視野の変動幅よりも、撮像視野の変動幅が大きくなるように設定された目標範囲に被写体重心を位置させる処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法に関し、例えば自動的に撮像視野を変化させて撮像を行う撮像装置、撮像システムについての構図処理を行う画像処理装置、画像処理方法に関する。また、当該画像処理装置、画像処理方法を実現するためのプログラムに関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００９−１００３００号公報
【背景技術】
【０００３】
上記特許文献１には、デジタルスチルカメラと、該デジタルスチルカメラのパン／チルト方向の向きを電動により変化させる雲台とを備えた撮像システムにより、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う技術が開示されている。
この特許文献１に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体（人物の顔）の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様（例えば被写体の数や位置やサイズなど）に応じた最適とされる構図の判定を行う（最適構図判定）。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う（構図合わせ）。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作（撮像画像自動記録）によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、構図合わせの処理は、被写体を検出した際に行われるが、一部の被写体のみを対象として構図合わせを行ってしまうことがあり得る。
例えば一人の人物が被写体として検出された際に、その人物の隣に他の人が居るとする。構図合わせは被写体の検出に伴って開始されるが、被写体を探索するパンニング、チルティング過程で撮像視野に一人の人物が入った時点で構図合わせが行われると、その一人の人物のみを対象として、最適な構図を判断し、構図合わせをしてしまう。
実際には、その人物の周囲を含めた複数人を対象として構図合わせを行った方が、写真として好ましいという場合は多々ある。
【０００５】
そこで本発明では、自動的な静止画撮像などの際に、なるべく多数の人等の被写体を含めて最適な構図処理が行われるようにする構図処理方式の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、画像データの画枠範囲を可変設定する画枠可変制御部と、上記画枠可変制御部により、画枠範囲を可変設定させながら、画枠内に目的画像が入っているか否かを検出するとともに、１以上の目的画像が検出されたときに、検出された目的画像の周囲の他の目的画像の確認を伴う構図決定処理を行う構図処理部とを備える。
また、上記画像データは、被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置における撮像画像データであり、上記目的画像は、目的の被写体の画像であるとした場合、上記画枠可変制御部として、上記撮像装置における撮像視野の可変機構を駆動制御する撮像視野可変制御部が設けられる。また上記構図処理部として、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、上記撮像装置の撮像画像データから上記撮像視野内に目的の被写体が入っているか否かを検出するとともに、１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行う撮像準備処理部が設けられる。
【０００７】
また、上記構図決定処理は、１以上の目的の被写体が検出されたときに、検出された被写体について周囲の他の被写体の確認ができるように撮像視野を変化させながら構図合わせを行う仮構図合わせの処理と、仮構図合わせ完了後に構図を最適化するために撮像視野を変化させる本構図合わせの処理とによって行われる。
構図合わせの処理は、検出された１又は複数の被写体についての重心を、画枠内で設定した目標範囲内となるように、上記可変機構を駆動制御する処理として行うと共に、上記仮構図合わせの処理と、上記本構図合わせの処理とでは、上記目標範囲の設定が異なる。
例えば上記仮構図合わせの処理の際の上記目標範囲は、上記本構図合わせの際の撮像視野の変動幅よりも、撮像視野の変動幅が大きくなるように設定される。
【０００８】
本発明の画像処理方法は、画像データに対する画像処理方法として、画像データの画枠範囲を可変設定するステップと、画枠範囲を可変設定させながら、画枠内に目的画像が入っているか否かを検出するステップと、１以上の目的画像が検出されたときに、検出された目的画像の周囲の他の目的画像の確認を伴う構図決定処理を行うステップとを備える。
本発明のプログラムは、画像処理装置に対する制御処理プログラムとして、上記各ステップを演算処理装置に実行させるプログラムである。
また、本発明の画像処理方法は、被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、上記静止画撮像部の撮像視野の可変機構とを有する撮像装置又は撮像システムについての画像処理方法である。そして、上記可変機構を駆動制御しながら、上記撮像装置の撮像画像データから上記撮像視野内に目的の被写体が入っているか否かを検出するステップと、１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行うステップとを備える。
本発明のプログラムは、上記の撮像装置又は撮像システムに対する制御処理プログラムとして、上記各ステップを演算処理装置に実行させるプログラムである。
【０００９】
このような本発明では、１以上の目的画像（目的の被写体）が検出されたときに、検出された目的画像（被写体）の周囲の他の目的画像（被写体）が存在するか否かを確認する処理を伴う構図決定処理が行われる。これにより局所的な目的画像（被写体）の検出に応じた構図合わせのみではなく、検出された周囲に他の目的画像（被写体）が存在する場合は、より広い範囲で目的画像（被写体）の検出を行って、それらの目的画像（被写体）を含めた上で最適な構図への調整が行われるようにすることができる。
【発明の効果】
【００１０】
本発明によれば、局所的な目的画像（被写体）の検出にとらわれた構図処理ではなく、周囲の他の目的画像（被写体）の確認のうえでの構図合わせが実行されることで、より好適な静止画としての構図合わせが可能となるという効果がある。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態の撮像システムの構成要素であるデジタルスチルカメラの正面図及び背面図である。
【図２】実施の形態の撮像システムの構成要素である雲台の斜視図である。
【図３】実施の形態の雲台にデジタルスチルカメラを取り付けた状態の正面図である。
【図４】実施の形態の雲台にデジタルスチルカメラを取り付けた状態でのパン方向の動きの説明図である。
【図５】実施の形態の雲台にデジタルスチルカメラを取り付けた状態でのチルト方向の動きの説明図である。
【図６】実施の形態の雲台の背面図である。
【図７】実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。
【図８】実施の形態の雲台の内部構成例を示すブロック図である。
【図９】実施の形態の制御機能構成の説明図である。
【図１０】実施の形態の自動撮像処理のフローチャートである。
【図１１】実施の形態の基本的な構図処理の説明図である。
【図１２】実施の形態の基本的な構図処理の説明図である。
【図１３】実施の形態の構図処理における目標範囲の説明図である。
【図１４】実施の形態の構図処理における目標範囲への重心配置の説明図である。
【図１５】構図処理における局所解と最良解の説明図である。
【図１６】構図処理における局所解と最良解の説明図である。
【図１７】実施の形態の仮構図合わせの説明図である。
【図１８】実施の形態の仮構図合わせ後の本構図合わせの説明図である。
【図１９】実施の形態の仮構図の目標範囲の説明図である。
【図２０】実施の形態の構図処理のフローチャートである。
【図２１】実施の形態の仮構図合わせと本構図合わせの処理のフローチャートである。
【図２２】実施の形態の他の制御機能構成の説明図である。
【図２３】実施の形態の画像処理装置としての制御機能構成の説明図である。
【図２４】実施の形態の画像処理装置の処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を次の順序で説明する。実施の形態では、デジタルスチルカメラと雲台より成る撮像装置（撮像システム）を例に挙げる。
＜１．撮像システムの構成＞
［１−１：全体構成］
［１−２：デジタルスチルカメラ］
［１−３：雲台］
＜２．機能構成例＞
＜３．自動撮像処理における構図処理＞
＜４．機能構成の変形例＞
＜５．他の実施の形態＞
＜６．プログラム＞
【００１３】
なお、本明細書では「画枠」「画角」「撮像視野」「構図」という語を用いるが、各語の定義は以下の通りである。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野」は、撮像光学系による視野を表す。即ち撮像装置の周囲光景のうちで撮像対象として画枠に収まる範囲である。これは上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まる。
「構図」は、ここでは、フレーミングともいわれるもので、例えば撮像視野によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
【００１４】
＜１．撮像システムの構成＞
［１−１：全体構成］
実施の形態の撮像システムは、デジタルスチルカメラ１と、このデジタルスチルカメラ１が着脱可能に取り付けられた雲台１０とを備えて成る。
図１にデジタルスチルカメラ１の外観例を示す。図１（ａ）、図１（ｂ）は、それぞれデジタルスチルカメラ１の正面図、背面図である。
このデジタルスチルカメラ１は、図１（ａ）に示すように、本体部２の前面側にレンズ部２１ａを備える。このレンズ部２１ａは、撮像のための光学系として本体部２の外側に表出している部位である。
【００１５】
また、本体部２の上面部には、レリーズボタン３１ａが設けられている。撮像モード時においてはレンズ部２１ａにより撮像された画像（撮像画像）が画像信号として生成される。撮像モード時には、後述するイメージセンサにより所定フレームレートで各フレーム毎の撮像画像データが得られる。
そして、レリーズボタン３１ａに対する操作（レリーズ操作／シャッタ操作）が行われると、そのタイミングでの撮像画像（フレーム画像）が、静止画の画像データとして記録媒体に記録される。つまり、一般に写真撮影といわれる静止画撮像が行われる。
【００１６】
また、デジタルスチルカメラ１は、図１（ｂ）に示すように、背面側に表示画面部３３ａを有する。
この表示画面部３３ａには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部２１ａにより撮像している画像が表示される。スルー画は、イメージセンサで得られる各フレーム画像に基づく動画像であり、そのときの被写体をそのまま表す画像となる。
また、再生モード時においては、記録媒体に記録されている画像データが再生表示される。
さらに、ユーザがデジタルスチルカメラ１に対して行った操作に応じて、ＧＵＩ(Graphical User Interface)としての操作画像が表示される。
また表示画面部３３ａに対してタッチパネルが組み合わされているようにすることで、ユーザは、表示画面部３３ａに対して指を当てることによって、必要な操作を行うことができる。
なお図示は省略しているが、デジタルスチルカメラ１には、レリーズボタン３１ａ以外の各種のキー、ダイヤル等の操作子が設けられる場合もある。
【００１７】
図２は雲台１０の外観を示す斜視図である。また、図３〜図５は、本実施の形態の撮像システムの外観として、雲台１０に対してデジタルスチルカメラ１が適切な状態で載置された状態を示している。図３は正面図、図４は平面図、図５は側面図（特に図５（ｂ）では側面図によりチルト機構の可動範囲を示している）である。
図２、及び図３，図４，図５に示すように、雲台１０は、大きくは接地台部１５の上に本体部１１が組み合わされたうえで、さらに本体部１１に対してカメラ台座部１２が取り付けられた構造を有する。
【００１８】
雲台１０にデジタルスチルカメラ１を取り付けるときには、デジタルスチルカメラ１の底面側を、カメラ台座部１２の上面側に置く。
図２に示すように、カメラ台座部１２の上面部には、突起部１３とコネクタ１４が設けられている。図示は省略するが、デジタルスチルカメラ１の本体部２の下面部には、突起部１３と係合する孔部が形成されている。デジタルスチルカメラ１がカメラ台座部１２に対して適正に置かれた状態では、この孔部と突起部１３とが係合した状態となる。この状態であれば、通常の雲台１０のパンニング・チルティングの動作であれば、デジタルスチルカメラ１が雲台１０からずれたり、外れてしまったりすることがないようにされている。
【００１９】
また、デジタルスチルカメラ１においては、その下面部の所定位置にもコネクタが設けられている。上記のようにカメラ台座部１２にデジタルスチルカメラ１が適正に取り付けられた状態では、デジタルスチルカメラ１のコネクタと雲台１０のコネクタ１４とが接続され、少なくとも、相互間の通信が可能な状態となる。
【００２０】
なお、例えばコネクタ１４と突起部１３は、実際においては、カメラ台座部１２においてその位置を或る範囲内で変更（移動）できるようになっている。そのうえで、例えばデジタルスチルカメラ１の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台１０と通信可能な状態で、カメラ台座部１２に取り付けできるようになっている。
【００２１】
次に、雲台１０によるデジタルスチルカメラ１のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
雲台１０を例えばテーブル上や床面上などに置いた状態では、接地台部１５の底面が接地する。この状態において、図４に示すように、回転軸１１ａを回転中心として、本体部１１側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台１０に取り付けられたデジタルスチルカメラ１の水平方向（左右方向）における撮像視野を変化させることができる（所謂パンニング）。
なお、この場合の雲台１０のパン機構は、時計回り方向及び反時計回り方向の何れについても、３６０°以上の回転が無制限で自在に行える構造を有している。
【００２２】
また、この雲台１０のパン機構においては、パン方向における基準位置が決められている。
ここでは、図４に示すように、パン基準位置を０°（３６０°）としたうえで、パン方向に沿った本体部１１の回転位置、すなわちパン位置（パン角度）を０°〜３６０°により表すものとする。
【００２３】
また、雲台１０のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図５（ａ）（ｂ）に示すようにして、カメラ台座部１２が回転軸１２ａを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
ここで、図５（ａ）は、カメラ台座部１２がチルト基準位置Ｙ０（０°）にある状態が示されている。この状態では、レンズ部２１ａ（光学系部）の撮像光軸と一致する撮像方向Ｆ１と、接地台部１５が接地する接地面部ＧＲとが平行となる。
そのうえで図５（ｂ）に示すように、先ず、仰角方向においては、カメラ台座部１２は、回転軸１２ａを回転中心として、チルト基準位置Ｙ０（０°）から所定の最大回転角度＋ｆ°の範囲で動くことができる。また俯角方向においても、回転軸１２ａを回転中心として、チルト基準位置Ｙ０（０°）から所定の最大回転角度−ｇ°の範囲で動くことができるようになっている。
このようにして、カメラ台座部１２がチルト基準位置Ｙ０（０°）を基点として、最大回転角度＋ｆ°〜最大回転角度−ｇ°の範囲で動くことで、雲台１０（カメラ台座部１２）に取り付けられたデジタルスチルカメラ１のチルト方向（上下方向）における撮像視野を変化させることができる。つまりチルティングの動作が得られる。
【００２４】
図６は、雲台１０の背面図を示している。
図示するように雲台１０には、その本体部１１の背面部において、電源ケーブルを着脱可能に接続する電源端子部ｔ−Ｖｉｎと、ビデオケーブルを着脱可能に接続するビデオ端子部ｔ−Ｖｉｄｅｏとが形成されている。
【００２５】
雲台１０は、上述したカメラ台座部１２にて取り付けられたデジタルスチルカメラ１に対して上記電源端子部ｔ−Ｖｉｎを介して入力された電力を供給することで、上記デジタルスチルカメラ１に対する充電を行うように構成されている。
つまり本例の雲台１０は、デジタルスチルカメラ１に対する充電を行うためのクレードル（ドック）としても機能する。
また、本例の場合、雲台１０は、デジタルスチルカメラ１側から例えば撮像画像に基づく映像信号が伝送されてきた場合に、該映像信号を上記ビデオ端子部ｔ−Ｖｉｄｅｏを介して外部出力するように構成されている。
また、この図６や先の図４にも示したように、雲台１０の本体部１１における背面部には、メニューボタン６０ａが設けられる。メニューボタンの操作により、雲台１０とデジタルスチルカメラ１の間の通信により、例えばデジタルスチルカメラ１側の表示画面部３３ａでメニュー表示が行われる。このメニュー表示により、ユーザが所要の操作を行うことが可能とされる。
【００２６】
また、図示しないが、雲台１０には、マイクロホン及び音声入力回路系を有する音声入力部（後述の音声入力部６２）が設けられる場合がある。
また雲台１０には、撮像レンズ、イメージセンサ、撮像信号処理系などを備えた撮像部（後述の撮像部６３）が設けられる場合もある。
【００２７】
［１−２：デジタルスチルカメラ］
図７は、デジタルスチルカメラ１の内部構成例を示したブロック図である。
光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部２７が実行するズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【００２８】
イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【００２９】
上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
【００３０】
信号処理部２４は、例えばＤＳＰ(Digital Signal Processor)で構成され、Ａ／Ｄコンバータ２３から出力されるデジタル撮像信号について、プログラムに従った所定の信号処理を施す。
信号処理部２４は、Ａ／Ｄコンバータ２３から出力されるデジタル撮像信号について、１つの静止画 (フレーム画像)に相当する単位で取り込みを行う。そして取り込んだ静止画単位の撮像信号について所定の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成する。
また信号処理部２４は、このようにして取得した撮像画像データを利用して、後述する被写体検出処理や構図処理のための画像解析処理を実行する場合もある。
【００３１】
ここで、上記のように信号処理部２４で生成した撮像画像データを画像情報として記録媒体であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力する。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ２６に転送する。
メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。
なお、画像データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。例えば光ディスク、ハードディスク、着脱不能に取り付けられたフラッシュメモリチップなどの半導体メモリチップ、ホログラムメモリ等、各種の記録媒体を採用することもできる。
【００３２】
また、デジタルスチルカメラ１は、上記信号処理部２４にて得られる撮像画像データを利用して表示部３３に画像表示を実行させることで、現在撮像中の画像である、いわゆるスルー画を表示させることができる。
例えば信号処理部２４は、上述のようＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。
【００３３】
表示ドライバ３２は、上記のように信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していく。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていく。
これをユーザが見れば、そのときに撮像している画像が表示部３３において動画的に表示されることになる。つまり、スルー画が表示される。
【００３４】
また、デジタルスチルカメラ１は、メモリカード４０に記録されている画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。
【００３５】
エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３において、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。
【００３６】
また表示部３３に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像（操作画像）も表示させることができる。
この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力する。これにより、表示部３３でユーザインターフェース画像が表示される。
なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【００３７】
制御部２７は、ＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。
ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。
ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。
なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。
【００３８】
本実施の形態の場合、制御部２７は、自動撮像のために各種の撮像準備処理を行う。
まず被写体検出処理として、撮像視野を変化させながら信号処理部２４で得られる各フレーム画像から被写体検出を実行し（又は信号処理部２４に実行させ）、デジタルスチルカメラ１の周囲の被写体を探索する処理を行う。
また構図処理として、被写体検出に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、及び最適構図判定により求まった最適とされる構図を目標構図とした構図合わせを行う。
これらの撮像準備処理の後、制御部２７は撮像画像の自動記録を実行せる制御・処理を行う。
これらの制御処理については後述する。
【００３９】
操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成して上記制御部２７に出力する操作情報信号出力部位とを一括して示している。
各種操作子としては、レリーズボタン３１ａや、図１では省略した電源ボタン、モードボタン、ズーム操作ボタン、操作ダイヤル等がある。
また表示部３３がタッチパネルとして形成される場合、そのタッチセンサ部も、この操作部３１の具体例の１つとなる。
さらに、リモートコントローラからのコマンド信号の受信部も、操作部３１の例の一つとなる。
制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
【００４０】
雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位である。
例えばデジタルスチルカメラ１が雲台１０に取り付けられた状態において、雲台１０側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、コネクタ１４と接続されるコネクタの部位が含まれる。
【００４１】
また雲台１０側からの充電を可能とすべく、上記の各コネクタには通信信号のやり取りを行うための端子のみでなく充電用電力の伝送のための端子も設けられる。図示は省略したが、デジタルスチルカメラ１には、バッテリーを着脱可能に装着するためのバッテリー装着部が設けられており、該装着部に装着されたバッテリーに対し、雲台１０側から伝送された電力に基づく充電が行われるようになっている。
【００４２】
またデジタルスチルカメラ１には、音声入力部３５が設けられる場合がある。後述するレリーズタイミングの判断として、例えば特定の言葉の声や特定の音（例えば手を叩く音など）の入力を検出する場合に用いられる。
音声入力部３５としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部２７が実行するものとしてもよい。
【００４３】
［１−３：雲台］
図８は、雲台１０の内部構成例を示している。
先の図６に示したように、雲台１０には電源端子部ｔ−Ｖｉｎとビデオ端子部ｔ−Ｖｉｄｅｏとが設けられている。
電源端子部ｔ−Ｖｉｎを介して入力された電力は、電源回路６１を介した後、雲台１０内の必要な各部の動作電力として供給される。また、電源回路６１においては、デジタルスチルカメラ１に対する充電用電力が生成され、該充電用電力は通信部５２（コネクタ）を介してデジタルスチルカメラ１側に供給される。
また、上記ビデオ端子部ｔ−Ｖｉｄｅｏには、デジタルスチルカメラ１側から伝送された映像信号が通信部５２→制御部５１を介して供給される。
【００４４】
なお、ここでは、雲台１０の各部の動作電力は上記電源入力端子ｔ−Ｖｉｎを介してのみ供給されるかのように示しているが、実際には雲台１０には、電池の装着部が設けられ、該装着部に装着された電池から各部の動作電力を供給することが可能に構成されている。
【００４５】
また、本実施の形態の雲台１０には、上記電源端子部ｔ−Ｖｉｎ、上記ビデオ端子部ｔ−Ｖｉｄｅｏへのケーブルの接続有無を検出するための接続検出部５９が設けられる。ケーブル接続有無の検出機構の具体的な構成については、例えばケーブルの接続／抜き取りに応じてスイッチがＯＮ／ＯＦＦする構成などを挙げることができる。但し本実施の形態においては、接続検出部５９としては、ケーブルの接続／抜き取りを識別するための検出信号を出力するように構成されたものであればよく、その具体的な構成については特に限定されない。
上記接続検出部５９による検出信号（電源端子部ｔ−Ｖｉｎについての検出信号とビデオ端子部ｔ−Ｖｉｄｅｏについての検出信号）は、制御部５１に対して供給される。
【００４６】
また雲台１０は、先に述べたようにパン・チルト機構を備えるものであり、これに対応する部位として、図８にパン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を示している。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図４に示したパン（横・左右）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。
同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図５に示したチルト（縦・上下）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。
【００４７】
制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータによって成り、パン機構部５３、チルト機構部５６の動きをコントロールする。
例えば制御部５１がパン機構部５３の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、ＰＷＭ制御に対応したパルス信号となる。
このモータ駆動信号により、パン用モータ５４が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部５３も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様に、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動方向、移動速度を指示する信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部５６も、これに対応した移動方向，速度により動くようにして駆動される。
【００４８】
ここで、パン機構部５３は、ロータリーエンコーダ（回転検出器）５３ａを備えている。ロータリーエンコーダ５３ａは、パン機構部５３の回転の動きに応じて、その回転角度量を示す検出信号を制御部５１に出力する。同様に、チルト機構部５６はロータリーエンコーダ５６ａを備える。このロータリーエンコーダ５６ａも、チルト機構部５６の回転の動きに応じて、その回転角度量を示す信号を制御部５１に出力する。
これにより制御部５１は、駆動中のパン機構部５３、チルト機構部５６の回転角度量の情報をリアルタイムに取得（モニタ）できるようにされている。
【００４９】
通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位である。
この通信部５２は、雲台対応通信部３４と同様に、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、カメラ台座部１２のコネクタ１４が含まれる。
【００５０】
操作部６０は、具体的には、先の図４や図６に示したメニューボタン６０ａとしての操作子と、この操作子に対して行われた操作に応じた操作情報信号を生成して制御部５１に出力する操作情報信号出力部位とを一括して示している。制御部５１は、操作部６０から入力される操作情報信号に応じて所定の処理を実行する。
なお、雲台１０についてリモートコントローラが用意される場合は、そのリモートコントローラからのコマンド信号の受信部も、操作部６０の例の一つとなる。
【００５１】
また雲台１０には、音声入力部６２が設けられる場合がある。デジタルスチルカメラ１でのレリーズタイミングの判断として、特定の言葉の声や特定の音（例えば手を叩く音など）の入力を雲台１０側で判別する場合である。
音声入力部６２としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部５１が実行するものとしてもよい。
【００５２】
また雲台１０には、撮像部６３が設けられる場合がある。撮像部６３は、レリーズタイミングの判断のために、特定の被写体状態、例えば被写体側のユーザの特定のポーズや目線などを検出するために設けられる。
撮像部６３は、光学系部、イメージセンサ、Ａ／Ｄコンバータ、信号処理部、画像解析部などを備える。なお画像解析は、制御部５１が実行するものとしてもよい。
【００５３】
＜２．機能構成例＞
次に、図９のブロック図により、本実施の形態の撮像システムを成すデジタルスチルカメラ１及び雲台１０についての、ハードウェア及びソフトウェア（プログラム）により実現される機能構成例を示す。
この機能構成例は、本例の撮像システムの撮像動作制御を行う撮像制御装置を実現する構成となり、主に、デジタルスチルカメラ１における制御部２７、雲台１０における制御部５１等のハードウエア構成と、それらで起動されたソフトウエアモジュールが連関して形成される制御処理機能である。図９では、本実施の形態の構図処理のために必要な制御機能を、機能毎にブロック化して示している。
なお、機能構成例は各種多様に考えられるが、図９では一例を示し、他の例は図２２を用いて後述する。
【００５４】
図９に示すように、デジタルスチルカメラ１（制御部２７）側は、撮像記録制御部８１、撮像準備処理部８２、撮像視野可変制御部８３、通信処理部８５を備える。
また雲台１０（制御部５１）側は、例えば通信処理部７１、パン・チルト制御部７２を有している。
【００５５】
まずデジタルスチルカメラ１側において、撮像記録制御部８１は、撮像により得られた画像を画像信号のデータ（撮像画像データ）として得て、この撮像画像データを記録媒体に記憶するための制御処理を実行する部位である。また撮像記録制御部８１は、記録した静止画データの再生、表示動作、或いは撮像時のスルー画の表示動作等のための制御も行う。
即ち撮像記録制御部８１は、図７の光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、シング処理部２４、エンコード／デコード部２５、メディアコントローラ２６、表示ドライバ３２等の制御を行う。即ち、光学系部２１のレンズ駆動制御、イメージセンサ２２の撮像動作、撮像信号処理、記録再生処理等を指示し、静止画撮像を実行させるなど、デジタルスチルカメラ１の基本動作を制御する機能部位である。
【００５６】
撮像準備処理部８２は、ユーザのレリーズ操作によらない自動的な静止画撮像を実行する際の撮像準備処理を行う機能部位である。
撮像準備処理の１つとしては被写体検出処理がある。これは、雲台１０によるパン、チルト動作を実行させながら、信号処理部２４で得られる各フレーム画像を確認し、撮像視野内に被写体（例えば人の顔）が入るようにする処理である。このために、撮像準備処理部８２は、必要な雲台１０のパン・チルト動作の判断や、フレーム画像データの画像解析による人物検出、顔検出等の処理を行う。
また撮像準備処理の１つとして構図処理がある。構図処理とは、撮像視野内における被写体画像の配置について最適状態か否かを判断し（構図判定）、またその構図を調整する処理（構図合わせ）である。この構図の調整のために撮像準備処理部８２は、必要な雲台１０のパン・チルト動作の判断や、光学系部２１におけるズームレンズ駆動の判断等を行う。
【００５７】
なお、上記の被写体検出処理や構図処理のための画像解析を行う処理機能は、制御部２７ではなく信号処理部２４としてのＤＳＰ(Digital signal Processor)に実行させることもできる。従って撮像準備処理部８２としての機能部は、制御部２７、信号処理部２４としてのＤＳＰの一方又は両方に与えるプログラム、インストラクションにより実現できる。
【００５８】
撮像視野可変制御部８３は、実際に撮像視野を変化させる動作を制御する機能部位である。撮像視野の変化は、雲台１０のパン・チルト、もしくは光学系部２１のズーム動作により行われる。従って撮像視野可変制御部８３は、パン・チルト制御、ズーム制御を行う機能部位となる。
デジタルスチルカメラ１を用いてカメラマンが手動で撮像を行う場合は、撮像視野可変制御部８３は、例えばカメラマンのズーム操作に応じてズームレンズ駆動を制御することとなる。
また自動的な静止画撮像を行う場合、撮像視野可変制御部８３は、撮像準備処理部８２での判断・指示に応じて、ズーム駆動制御、パン駆動制御、チルト駆動制御を行う。パン駆動制御、チルト駆動制御については、通信処理部８５を介して雲台１０側にパン・チルト制御信号を送信することになる。
特に構図合わせ等の実行時には、撮像準備処理部８２が判定するパン・チルトの移動量に応じて、雲台１０に当該移動量を指示するパン・チルト制御信号を出力する。
また、撮像準備処理部８２で判定されるズーム倍率に応じて、光学系部２１のズーム動作を駆動制御する。
【００５９】
通信処理部８５は、雲台１０側に備えられる通信処理部７１との間で所定の通信プロトコルに従って通信を実行するための部位となる。
上記の撮像視野可変制御部８３が生成したパン・チルト制御信号は、通信処理部６４の通信により、雲台１０の通信処理部７１に対して送信される。
【００６０】
次に雲台１０側において、通信処理部７１は、デジタルスチルカメラ１側の通信処理部８５との間での通信を実行するための部位である。
上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御部７２に出力する。
【００６１】
パン・チルト制御部７２は、例えば図８に示した雲台１０側の制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能となる。
このパン・チルト制御部７２は、入力したパン・チルト制御信号に応じて、図８に示したパン用駆動部５５、チルト用駆動部５８を制御する。これにより、例えば被写体検出処理のためのパンニング、チルティングや、構図処理による、最適な水平視野角と垂直視野角を得るためのパンニング、チルティング等が行われる。
【００６２】
＜３．自動撮像処理における構図処理＞
本実施の形態では、ユーザのレリーズ操作を伴わない自動的な静止画撮像の際の構図処理に特徴を有する。
まずここでは、自動的な静止画撮像処理の手順を図１０で説明する。
自動静止画撮像を行うモード（以下、自動静止画撮像モードという）では、本例の撮像システムが、撮像準備として、被写体検出（探索）、最適構図判定、構図合わせの各動作により、被写体検出で検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行う。そして所定の条件で自動的にレリーズ処理を行う。これにより、カメラマンの操作を不要として、適切な静止画撮像が行われるものである。
図１０は自動静止画撮像モード動作として、図９の各機能部位が所定の処理を行う手順を示している。
【００６３】
自動静止画撮像モードでの撮像動作が開始されると、図１０のステップＦ１として、撮像画像データの取り込みが開始される。
即ち撮像記録制御部８１が、イメージセンサ２２、信号処理部２４による撮像画像データの各フレーム毎の取り込みを開始させる。
【００６４】
ステップＦ２で被写体検出処理、ステップＦ３で構図処理を行う。
被写体検出処理、構図処理（最適構図判定、構図合わせ）は、撮像準備処理部８２の機能（具体的には制御部２７、及び／又は信号処理部２４の処理）により実行される。
【００６５】
ステップＦ１で撮像画像データの取り込みが開始された以降は、信号処理部２４は、イメージセンサ２２による撮像画像データとして、１枚の静止画に相当するフレーム画像データを順次取得する。
撮像準備処理部８２は、被写体検出処理として、各フレーム画像データから、人物の顔に相当する画像部分を検出する処理を行う。
なお、被写体検出処理は、全フレーム毎に実行しても良いし、予め定められた所定のフレーム数間隔ごとに実行してもよい。
【００６６】
本例の場合における被写体検出処理では、例えばいわゆる顔検出技術を利用して、画像内から検出した被写体ごとにその顔の画像部分の領域に対応して顔枠を設定する。その上で、当該顔枠の数、サイズ、位置など情報から、画枠内における被写体数、各被写体のサイズやそれぞれの画枠内での位置の情報を得る。
なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
【００６７】
ステップＦ２での被写体検出処理としては、先ずはデジタルスチルカメラ１の周囲に存在する被写体の探索を行う。
具体的に、この被写体の探索としては、デジタルスチルカメラ１における制御部２７（撮像準備処理部８２、撮像視野可変制御部８３）が、雲台１０に対するパン・チルト制御や光学系部２１に対するズーム制御を行うことによって、撮像視野を変化させながら、例えば信号処理部２４（又は制御部２７）での画像解析による被写体検出を実行させること行う。
このような被写体探索は、撮像画像データとしてのフレーム画像に被写体が検出されるまで実行される。そしてフレーム画像内、つまりその時点の撮像視野に被写体（人物の顔）が存在する状態が得られたことに応じて終了する。
【００６８】
被写体検出処理が終了した後、制御部２７（撮像準備処理部８２）は、ステップＦ３で構図処理を行う。
なお本例では、構図処理として仮構図処理、本構図処理が行われるが、これらは後述することとし、ここでは構図処理を概略的に述べる。
構図処理としては、まずその時点の構図が最適な状態か否かを判定する。この場合、被写体検出結果に基づく画構造の判定（この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など）を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。
ここで、この場合の構図は、パン・チルト・ズームの各撮像視野によって決定づけられるものであり、従って当該最適な構図か否かの判定処理によっては、その判定結果として、上記被写体検出結果（画枠内での被写体の態様）に応じた最適な撮像視野とするためのパン・チルト・ズームの制御量の情報が得られるものとなる。
【００６９】
そして構図が最適な状態でなければ、構図合わせとして、最適な構図状態とすべく、パン・チルト制御、ズーム制御を行うこととなる。
具体的に制御部２７（撮像準備処理部８２、撮像視野可変制御部８３）は、構図合わせ制御として、最適構図判定処理により求まったパン・チルトの各制御量の変更の情報を雲台１０側の制御部５１に指示する。
これに応じて雲台１０の制御部５１は、指示された制御量に応じたパン機構部５３・チルト機構部５６についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用駆動部５５、チルト用駆動部５８に対する制御信号の供給を行う。
また、制御部２７（撮像準備処理部８２、撮像視野可変制御部８３）は、最適構図判定処理により求まったズームについての画角の情報を、光学系部２１に指示することで、該指示した画角が得られるように光学系部２１によるズーム動作を実行させる。
【００７０】
なお、構図処理で最適構図の状態ではないと判断され、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップＦ３からステップＦ２の被写体検出処理からやり直す。パン・チルト、ズーム動作により、或いは人物の動きにより、被写体が撮像視野から外れることもあるためである。
【００７１】
制御部２７（撮像記録制御部８１）は、最適な構図が得られた場合は、ステップＦ４でレリーズタイミング判定処理を行う。
なお、ステップＳ４によるレリーズタイミング判定処理にてレリーズタイミングがＯＫとならない場合も有り得るが、その場合、ステップＳ１の被写体検出からやり直すことになる。被写体人物の動き等により被写体が撮像視野から外れたり、或いは構図が崩れる場合があるためである。
【００７２】
レリーズタイミング判定処理によってレリーズ条件が成立したとされた場合は、ステップＦ５のレリーズ処理として、撮像画像データの自動記録を行う。具体的に制御部２７（撮像記録制御部８１）は、エンコード／デコード部２５及びメディアコントローラ２６に対する制御を行って、その時点で得られている撮像画像データ（フレーム画像）のメモリカード４０への記録を実行させる。
【００７３】
ところで、ステップＦ４におけるレリーズタイミング判定処理とは、適切な静止画を得るため、所定の静止画撮像条件を満たしたか否かを判定する処理であるが、各種の例が考えられる。
例えば時間によるレリーズタイミング判定が考えられる。例えば構図処理がＯＫとなった時点から所定時間（例えば２，３秒）の経過を静止画撮像条件とする。その場合、制御部２７（撮像記録制御部８１）は、ステップＦ４では所定時間のカウントを行い、所定時間経過により、ステップＦ５でレリーズ処理を実行させる。
【００７４】
また特定の音声入力があったときに、静止画撮像条件を満たしたと判断してもよい。
例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを静止画撮像条件としての特定の音とする。
制御部２７（撮像記録制御部８１）は、ステップＦ４で、これらの特定の音の入力検出を行う。
そして図７に示した音声入力部３５からの入力音声信号解析結果から、これらの特定の音が確認されたら、レリーズタイミングとなったとして、ステップＦ５でレリーズ処理を実行させる。
【００７５】
なお、図８で述べたように雲台１０側に音声入力部６２や撮像部６３が設けられる場合がある。
雲台１０側に音声入力部６２が設けられる場合、音声入力部６２の入力音声信号についての入力音声信号解析結果から、特定の音が確認されたら、レリーズタイミングとなったとしてもよい。例えば雲台１０側の制御部５１が特定の音の検出を行い、それをデジタルスチルカメラ１の制御部２７に通知することが考えられる。
【００７６】
また撮像画像から特定の被写体状態が判定されたときに、静止画撮像条件を満たしたと判断してもよい。
制御部２７（撮像記録制御部８１）は、ステップＦ４で、撮像画像の解析により検出される特定の被写体状態の有無を監視する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動を行った状態が考えられる。或いは、被写体となっているユーザが撮像システムを注視するなども考えられる。
制御部２７はステップＦ４で、撮像画像の画像解析処理により、これらユーザの特定の状態を判定する。そして特定の被写体状態が検出されたら、レリーズタイミングとなったとして、ステップＦ５でレリーズ処理を実行させる。
【００７７】
なお、図８で述べたように雲台１０側に撮像部６３が設けられる場合がある。
雲台１０側に撮像部６３が設けられる場合、撮像部６３による撮像画像データの解析結果から、特定の被写体状態が確認されたら、レリーズタイミングとなったとしてもよい。例えば雲台１０側の制御部５１が特定の被写体状態の検出を行い、それをデジタルスチルカメラ１の制御部２７に通知することが考えられる。
【００７８】
以上の図１０のように本実施の形態の撮像システムでは、制御部２７による制御・処理に基づき、自動静止画撮像モードでの静止画撮像が実現される。
ここで本実施の形態では、被写体検出処理及び構図処理として、パン・チルト制御を行いながら、撮像画像データから撮像視野内に目的の被写体が入っているか否かを検出するとともに、１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理が行われる。
特に、この構図決定処理は、１以上の目的の被写体が検出されたときに、検出された被写体について周囲の他の被写体の確認が可能できるように撮像視野を変化させながら構図合わせを行う仮構図合わせの処理がまず行われる。そして、仮構図合わせ完了後に構図を最適化するために撮像視野を変化させる本構図合わせの処理が行われる。
以下、仮構図合わせ、本構図合わせの２段階で行われる構図処理について詳細に説明する。
【００７９】
まず本実施の形態の理解のため、基本的な構図処理（本例の本構図処理に該当）について説明する。
被写体検出処理の過程で、例えば図１１の画枠３００に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が１つ存在している。
【００８０】
この場合の画枠３００は、撮像画像データの１フレーム相当の画像領域に相当する。ここでは、画枠３００としてのフレーム画像について、水平画素数を（水平画サイズ）をＣｘ、垂直画素数（垂直画サイズ）をＣｙとして、Ｃｘ＝３２０，Ｃｙ＝２４０により形成されているものとしている。
また、この場合の画枠３００における位置は、座標（Ｘ，Ｙ）により表されるものとし、ここでは画枠３００の左上端を座標（０，０）として定義している。
また、この画枠３００に対して、垂直基準線Ｌｄ１及び水平基準線Ｌｄ２が仮想的に設定されている。
垂直基準線Ｌｄ１は、画枠３００の水平方向における中点を通過する直線で、水平基準線Ｌｄ２は、画枠３００の垂直方向における中点を通過する直線となる。これら垂直基準線Ｌｄ１及び水平基準線Ｌｄ２は、それぞれ、構図制御として、画枠３００における被写体の位置を水平／垂直方向で移動させる際の基準線となる。
また、垂直基準線Ｌｄ１と水平基準線Ｌｄ２の交点座標（１６０，−１２０）は、構図制御における基準点Ｐとして扱われる。
【００８１】
図１１に示す画内容の撮像画像データを対象に被写体検出（顔検出）を行うことによっては、検出被写体として、図示される１つの被写体ＳＢＪの顔が検出されることになる。即ち、顔検出処理によって１つの顔が検出されることを以て、ここでは１つの被写体が検出されることとしている。そして、このようにして被写体を検出した結果としては、例えば被写体の数、向き、位置、サイズの情報を得るようにされる。
また、被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図１１の場合には、検出される顔が１つであるから、被写体数は１との結果が得られる。
【００８２】
また、顔検出の手法を用いて被写体検出を行う場合、検出結果として、検出した被写体の顔部分に対して枠（顔枠ＦＲ）を設定する。
図１１では、顔枠ＦＲが、被写体ＳＢＪの画像の顔部分に対応して配置されるようにして示している。この場合の顔枠ＦＲは、検出された被写体における顔の画像部分に対応して方形により配置される。なお、ここでの顔枠ＦＲは正方形であるとする。
また、この顔枠ＦＲは、画枠３００における顔としての画像部分に対して設定されるものとなる。従って、そのときに顔検出処理により検出される画枠３００における被写体の顔の位置、大きさなどに応じて、顔枠ＦＲの画枠３００における位置、サイズも変更設定される。
【００８３】
また、被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における被写体ＳＢＪの重心である被写体重心Ｇ（Ｘ，Ｙ）を求めることとする。
また、この被写体重心Ｇをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。１つの例としては、被写体ＳＢＪに対応して検出された顔枠ＦＲとしての四角形の対角線の交点を、被写体重心とすることが考えられる。
【００８４】
また、被写体のサイズについては、ここでは、顔枠ＦＲの垂直又は水平方向の一辺のサイズ（画素数）により表すものとする。
図１１では、一例として、顔枠ＦＲの垂直サイズｓｉｚｅｙ＝３２として検出されている状態が示されている。
【００８５】
また、ここでの被写体ごとの顔方向に関しては、例えば左、正面、右の３段階での何れであるのかを検出することとする。
図１１の被写体ＳＢＪについては、顔方向については正面であると検出されているものとする。
【００８６】
ここで、この図１１に示すように検出された、被写体ＳＢＪについての被写体検出情報に基づき、構図判定処理により、図１２に示す構図とすべきであるとの判定結果を得たとする。
つまり、先ず、被写体サイズについては、ｓｉｚｅｙ＝６４とし、被写体重心Ｇについては、Ｇ（１６０，−１２０＋Δｙ）に位置させる、という構図である。
【００８７】
例えば、その検出された数に応じても異なってくるが、良い構図とするためには、画枠３００における被写体のサイズが小さすぎず、また、大きすぎず、適切であることが求められる。図１２に示されるｓｉｚｅｙ＝６４としての被写体サイズは、被写体ＳＢＪが画枠３００において最適サイズとなる値として判定されたものである。
【００８８】
また、上記の被写体重心Ｇの配置位置は、例えば次のような根拠により求められる。
被写体ＳＢＪが１つの場合、最も単純で基本的な被写体ＳＢＪの位置は、画枠３００の中央に配置するというものになる。つまり、被写体重心Ｇを基準点Ｐに位置させるというものである。
しかし、このような被写体を画面の中央に位置させた構図は、一般に良くない構図の典型とされている。例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。
【００８９】
そこで、この場合には、先ず、画枠３００の垂直方向における被写体ＳＢＪの位置（被写体重心Ｇ）について、水平基準線Ｌｄ２に対して一定量だけ移動させるようにする。
このように、水平基準線Ｌｄ２を基準とした垂直方向における被写体重心Ｇについての移動量を、垂直オフセット量Δｙとして規定している。この垂直オフセット量Δｙ，及び後述する水平オフセット量Δｘは、例えば画素数により表すことができる。この場合、図１２の被写体重心ＧのＹ座標は、（−１２０＋Δｙ）として表される。
なお、ここでは、垂直オフセット量Δｙとして正の値を与えることとしており、これにより、図示するように被写体重心Ｇは、画枠３００において、水平基準線Ｌｄ２より上側の領域に位置するようにされている。
【００９０】
また、水平方向における被写体の位置は、被写体について検出された顔方向に基づくこととする。
図１１で説明したように、この場合の被写体ＳＢＪの顔方向は、右、正面、左の３段階のうち、正面であるとして検出されている。
ここでは、１つの被写体ＳＢＪの顔方向が正面であるとして検出されている場合には、水平方向については中央に位置させることとしている。つまり、被写体重心ＧのＸ座標については水平方向における中点、つまり垂直基準線Ｌｄ１（基準点Ｐ）と同じＸ座標（１６０）とするものである。
この場合、垂直基準線Ｌｄ１を基準にした水平方向における被写体重心Ｇの移動量として規定される、水平オフセット量Δｘは０として設定されていることになる。
図１２は、このような構図判定の規則、アルゴリズムに従って、被写体重心Ｇ（１６０，−１２０＋Δｙ）を設定したものである。
【００９１】
結局、このように図１１の状態から図１２の状態に構図を調整する処理は、パン・チルト動作により、被写体の顔の重心を、所定の目標範囲に入れるとともに、ズーム動作により適切な被写体のサイズとする処理である。そして、目標範囲は、被写体ＳＢＪのサイズ、数、顔の向き等に応じて設定される。
例えば上記図１２の場合、顔が正面であることから、図２３（ａ）のように目標範囲ＴＡが設定されており、この目標範囲ＴＡ内に被写体重心Ｇが含まれるようにする。
目標範囲ＴＡの設定に応じて、水平オフセット量Δｘ、垂直オフセット量Δｙが決められて、最終的に被写体重心Ｇが目標範囲ＴＡ内となるように構図合わせをする。
【００９２】
また、図１３（ａ）は、被写体ＳＢＪの顔方向が正面であるときの例であるが、顔の向きによっては、目標範囲ＴＡの設定が異なるようにする。
例えば検出された被写体の顔方向が左であるとする。なお、ここでの左の顔方向とは、画枠３００の画内容を実際に見たとした場合、これを見る者からは、画枠３００において、個別被写体ＳＢＪの顔が左側を向いているようにして見える状態をいう。ちなみに、この個別被写体ＳＢＪとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
この場合には、被写体重心Ｇの水平方向における位置については、垂直基準線Ｌｄ１により２分割される左右の画像領域（分割領域）のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせる。これにより、画枠３００においては、被写体ＳＢＪの顔が向いている方向である左側において空間が得られるようする。
【００９３】
つまり、図１３（ｂ）のように、垂直基準線Ｌｄ１により右側の画像領域に目標範囲ＴＡを設定する。そして、この目標範囲ＴＡ内に被写体重心Ｇが入るようにする。
このような構図とすることで、例えば、顔方向が左であるとされる被写体ＳＢＪの重心Ｇを、左右方向における画面中央に対応させた（一致させた）被写体位置とする場合や、垂直基準線Ｌｄ１に対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
また、検出された被写体の顔方向が右である場合には、左の場合とは逆に、被写体重心Ｇを垂直基準線Ｌｄ１により２分割される左右の画像領域（分割領域）のうち、左側の画像領域に在るようにさせる。
【００９４】
また、複数の被写体が検出された場合には、これらの検出された複数の被写体から成る画像領域をひとまとまりの総合的な被写体（総合被写体）としてみることとし、この総合被写体を対象として１つの被写体重心（総合被写体重心）ＧＧを求める。
例えば図１４（ａ）は二人の被写体ＳＢＪ１，ＳＢＪ２が検出された例を示している。被写体ＳＢＪ１，ＳＢＪ２のそれぞれの重心Ｇ１，Ｇ２の重心が、総合被写体重心ＧＧ１２となる。
目標範囲ＴＡは、被写体数、顔の向き、サイズから、図示の位置に設定されたとする。
この場合、破線矢印で示すように、総合被写体重心ＧＧ１２が目標範囲ＴＡ内に入るように、構図合わせが行われるものとなる。
その結果、図１４（ｂ）のような構図となる。
【００９５】
総合被写体重心Ｇをどのようにして設定するのかについては、いくつか考えることができる。図１４は、最も簡易な例として、検出された複数の個々の被写体のうちで、画枠３００内で最も左側と最も右側に位置する被写体の重心（Ｇ１，Ｇ２）を結ぶ線分上の中間点を総合被写体重心ＧＧ１２として設定したものである。
また、被写体が複数のときには、個別の被写体ごとに検出される顔方向が異なる場合がある。この場合には、複数の個別の被写体ごとに検出される顔方向の関係性に基づいて、総合被写体としての１つの顔方向を決定することとすればよい。複数の個別の被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、個別の被写体の全体数における所定割合以上を占めるときに、この同一となる顔方向を、総合被写体の顔方向として決定し、これを構図判定、目標範囲ＴＡの設定に使用する。
【００９６】
これまでの説明から理解されるように、被写体サイズ、数、向きによって被写体重心（又は総合被写体重心）を配置する目標範囲ＴＡが決められる。そして最適な構図か否かは、その目標範囲ＴＡに被写体重心（又は総合被写体重心）が入っているか否かで判定される。また、画枠３００内における被写体サイズが適切であるか否かでも判定される。
そして最適な構図ではないと判定された場合は、構図合わせの処理として、被写体重心（又は総合被写体重心）が目標範囲ＴＡに入るように被写体重心Ｇの位置が変更され、或いは被写体サイズが適切となるようにサイズ変更される。
被写体重心Ｇ（又は総合被写体重心ＧＧ）の位置の変更は、水平方向については雲台１０のパン機構に対するパン制御により行うことになる。また、垂直方向については雲台１０のチルト機構に対するチルト制御により行うことになる。
被写体サイズの変更は、デジタルスチルカメラ１の光学系部２１におけるズームレンズを移動する制御（ズーム制御）で行う。若しくは撮像画像データに対する画像切り出しなどの画像信号処理によって行うこともできる。
【００９７】
以上が基本的な構図処理となる。このような基本的な構図処理は、本実施の形態においては、本構図合わせの処理として実行される。
【００９８】
ところが上記の目標範囲ＴＡへの被写体重心Ｇを移動させる制御を行う場合において、その時点の撮像視野内では、最適な構図が得られたとしても、実際には、さらに適切な構図が存在する場合がある。
例えば、近くに複数人数いるにも関わらず、少数の人数で構図を合わせてしまい、最大の人数での構図にならない可能性などがある。
【００９９】
図１５に例を示す。
図１５において画枠３００Ａで示す撮像視野は、局所解としての最適構図である。即ち、近い位置に３人居るにもかかわらず、被写体検出処理で二人の被写体ＳＢＪ１，ＳＢＪ２が検出された場合、その二人の被写体ＳＢＪ１，ＳＢＪ２の総合被写体重心ＧＧ１２を、目標範囲ＴＡ（３００Ａ）に入るようにした場合である。
ところが、この場合、最良の解としての撮像視野は、画枠３００Ｂとして示す状態である。つまり、被写体ＳＢＪ１，ＳＢＪ２，ＳＢＪ３の３人を含んだ上で、その総合被写体重心ＧＧ１２３を、画枠３００Ｂにおける目標範囲ＴＡ（３００Ｂ）に入るようにした状態である。
【０１００】
仮に、被写体検出処理の過程で、下方からチルトアップしていくような探索を行い、二人の被写体ＳＢＪ１，ＳＢＪ２が先に検出されたとすると、その二人の被写体ＳＢＪ１，ＳＢＪ２のみで構図処理が行われ、局所解としての構図で静止画撮像が行われる。
【０１０１】
また、図１６（ａ）も同様に、構図が局所解としての画枠３００Ａと、最良の解としての画枠３００Ｂを示している。
仮に、被写体検出処理の過程で、左方から右方にパンニングしていくような探索を行い、二人の被写体ＳＢＪ１，ＳＢＪ３が先に検出されたとすると、その二人の被写体ＳＢＪ１，ＳＢＪ３のみで構図処理が行われ、局所解としての構図で静止画撮像が行われてしまう。
【０１０２】
自動静止画撮像モードでの撮像において、局所解としての構図で静止画撮像が行われたとしても、さほどの重大な支障とはならない。自動静止画撮像モードの撮像は、カメラマンを不要とするとともに、それによってユーザがカメラを意識しない自然な画像を得るという目的もあるからである。
ところが、より多数の人物を的確に撮像したいという点を考えれば、さらに適切な構図が想定され、撮像結果としては、局所解としての構図では、ユーザの要望に添わない場合も生じ得る。
例えばパーティ等で、数人の人々が談笑している光景などは、その中の一人のみを捉えた構図よりも、集まっている人たちを捉えた構図の方が適切と考えられる。
できるだけ多くの人数を撮像視野に入れようとした場合、一度、検出した被写体の周りを見渡す必要がある。
【０１０３】
そこで、実施の形態として、自動静止画撮像モードでの構図処理として、１以上の被写体が撮像視野内に検出された際に、さらに撮像視野を移動させて撮像要求に応じた他の被写体の存在を確認する処理を含むようにする。
具体的には、構図合わせの処理として、以下に述べる仮構図合わせと本構図合わせの２段階の処理を行うようにする。
【０１０４】
仮構図合わせとは、構図合わせで、本構図としての目標とする構図にパン・チルトする前に、その他の被写体がないか探す処理である。例えば意図的にパン・チルト量を、本構図の目標範囲ＴＡからオーバーして行い、他の被写体がないかを探す処理である。
実際の処理としては、仮構図合わせと本構図合わせで、目標範囲ＴＡを変更することにより行う。
【０１０５】
図１７で仮構図合わせを説明する。
図１７（ａ）では、３人の被写体ＳＢＪ１，ＳＢＪ２，ＳＢＪ３が存在する例を示している。ここで、被写体検出処理において、下方から上方にチルティングする過程で、二人の被写体ＳＢＪ１，ＳＢＪ２が検出されたとする。
ここで、構図処理に入るわけであるが、まず仮構図合わせを行う。
この場合、図示するように、目標範囲ＴＡを、画枠３００内で、先に述べた通常の構図合わせの場合より下方に設定する。
まず、被写体ＳＢＪ１，ＳＢＪ２が検出されているのであるから、構図合わせは、被写体ＳＢＪ１，ＳＢＪ２の総合被写体重心ＧＧ１２を、目標範囲ＴＡに入れるように、パン・チルト制御を行うこととなる。この例の場合は、総合被写体重心ＧＧ１２を目標範囲ＴＡに入れるべく、チルトアップしていく。
ところがこの場合、目標範囲ＴＡが通常より下方に設定されているため、通常の構図合わせの場合よりチルトアップ量が多くなり、より上方へチルトアップされる。
すると、その過程で、新たに被写体ＳＢＪ３が検出される。
【０１０６】
この場合、被写体ＳＢＪ１，ＳＢＪ２，ＳＢＪ３の検出に応じて、再度構図処理が行われる。この場合も、まず仮構図合わせを行う。今度は、被写体ＳＢＪ１，ＳＢＪ２，ＳＪＢ３の総合被写体重心ＧＧ１２３を、目標範囲ＴＡに入れるようにチルトアップする。
そして被写体ＳＢＪ３より上方には他の被写体は存在しない場合は、結局、図１７（ｂ）のように仮構図合わせが完了することとなる。
【０１０７】
仮構図合わせが完了したら、次に本構図合わせを行う。上述のように本構図合わせとは、通常の構図合わせのことである。
図１８（ａ）は仮構図合わせが完了した状態の画枠３００を示している。本構図合わせに際して、目標範囲ＴＡを、図示する通常の位置に設定する。つまりこの場合は仮構図合わせで用いた目標範囲ＴＡを画枠３００内で上方に再設定することとなる。
そして、総合被写体重心ＧＧ１２３が目標範囲ＴＡに入るようにパン・チルト制御を行う。この場合は、チルトダウン制御を行うこととなる。
すると図１８（ｂ）の状態となり、総合被写体重心ＧＧ１２３が目標範囲ＴＡに入ったことで、本構図合わせが完了する。
結局、この本構図合わせ完了時で、３人の被写体ＳＢＪ１，ＳＢＪ２，ＳＪＢ３を含む最適な構図が得られたことになる。
【０１０８】
例えば以上のように、仮構図合わせでは、目標範囲ＴＡを構図合わせの際の探索方向に応じて、通常とは異なる位置、具体的には撮像視野の変化方向に対して画枠３００内で手前となる位置に設定する。これによって、多少、最終的に合わせようとする構図よりも一旦オーバーさせる。これによって、探索方向の範囲に他の被写体が存在するか否かを確認する。
上記図１７，図１８の例では、仮構図合わせのときにチルトアップしていくとした例であるため、仮構図合わせのときの目標範囲ＴＡを、通常より下方とした。
仮構図合わせのときに右から左へパンニングする場合であって、本構図での目標範囲ＴＡが垂直基準線Ｌｄ１上となる場合を想定すれば、図１９（ａ）のように、仮構図合わせのときの目標範囲ＴＡを、垂直基準線Ｌｄ１より右側とする。これにより、より左側に被写体が存在するか否かを確認できる。
また仮構図合わせのときに左から右へパンニングする場合であって、本構図での目標範囲ＴＡが垂直基準線Ｌｄ１上となる場合を想定すれば、図１９（ｂ）のように、仮構図合わせのときの目標範囲ＴＡを、垂直基準線Ｌｄ１より左側とする。これにより、より右側に被写体が存在するか否かを確認できる。
【０１０９】
このように本構図合わせとは異なる目標範囲ＴＡを設定して仮構図合わせを行う。仮構図合わせの処理の際の目標範囲ＴＡは、本構図合わせの際の撮像視野の変動幅よりも、撮像視野の変動幅が大きくなるように設定されるといえる。
そして、その仮構図合わせの後、本構図合わせを行う。
このようにすることで、被写体のもれのない静止画撮像が可能となる。つまり最大数の被写体を対象として静止画撮像することが可能となる。
なお、仮構図合わせでのパンニング・チルティングの過程において、検出されている或る被写体の顔が画枠の端領域にかかった場合は、それ以上パン・チルト制御をしないという処理も可能である。
また本構図合わせの際に顔の向きのよって重心が変わるとしても、仮構図合わせの際には、顔の向きは無視するということも考えられる。
また被写体の代表的な例に人の顔があるが、図１６（ｂ）の被写体ＳＪＢ４のように人の顔以外の注目領域が抽出できた場合、これを組み合わせて構図合わせが行われるようにすることも考えられる。
【０１１０】
図２０、図２１で、仮構図合わせを含む構図処理を説明する。
図２０は、図１０のステップＦ２，Ｆ３として行われる被写体検出処理、構図処理を示している。
【０１１１】
まず図１０で述べた、ステップＦ２の被写体検出処理として、図２０のステップＦ２０１で、制御部２７（撮像準備処理部８２）は、被写体が検出されたか否かを確認する。
被写体が検出されていなければ、制御部２７（撮像準備処理部８２）はステップＦ２０２で探索処理を実行する。そしてステップＦ２０１で被写体の検出有無を確認する。
このステップＦ２０１，Ｆ２０２の処理は、具体的には上述したとおり、制御部２７（撮像準備処理部８２、撮像視野可変制御部８３）が、雲台１０に対するパン・チルト制御や光学系部２１に対するズーム制御を行うことによって、撮像視野を変化させながら、信号処理部２４（又は制御部２７）での画像解析による被写体検出が為されたか否かを確認する処理となる。
【０１１２】
被写体が検出されたら、制御部２７（撮像準備処理部８２）は、図１０のステップＦ３の構図処理として、図２０のステップＦ２１０〜Ｆ２１３を行う。
まず制御部２７（撮像準備処理部８２）は、仮構図の処理を行う。
即ちステップＦ２１０で、仮構図として最適な構図状態であるか否かの確認と、ステップＦ２１１での仮構図合わせの処理を行う。これは例えば図１７、図１９で説明した処理である。
即ち、被写体検出結果に基づく画構造の判定（画枠内における被写体数、被写体サイズ、顔の向きなどの判定）を行った上で、仮構図としての目標範囲ＴＡを定める。そして仮構図として最適となっているか否かを判定し、最適な構図でなければ、仮構図合わせとして、パン・チルト・ズームの各制御によって撮像視野を可変する。
【０１１３】
なお、仮構図合わせとして、パン・チルト、ズーム制御を行った場合も、ステップＦ２０１に戻って被写体検出からやり直す。撮像視野の変動やユーザの動きで被写体が存在しなくなることもあるからである。
さらに、上述のように仮構図合わせは、撮像視野を通常の構図合わせよりも大きく振ることとなるため、新たな被写体が検出されることもあるからである。その場合は、再び新たな被写体を含めた被写体重心Ｇ（又は総合被写体重心ＧＧ）に基づき、仮構図合わせを行う。
【０１１４】
図２１（ｂ）にステップＦ２１１の仮構図合わせの手順の一例を示した。
制御部２７は、ステップＦ３１０で、仮構図を得るための目標範囲ＴＡを設定する。例えば図１７、図１９で説明したように、探索方向に応じて本来の目標範囲ＴＡとは異なる目標範囲ＴＡを設定する。
【０１１５】
次に制御部２７は、ステップＦ３１１で、設定した目標範囲ＴＡに応じて水平オフセット量Δｘを判定する。
次に、ステップＦ３１２で制御部２７は、判定された水平オフセット量Δｘに応じたＸ座標上に被写体重心Ｇ（又は総合被写体重心ＧＧ）が位置するようにパン制御を実行する。
【０１１６】
続いて制御部２７は、ステップＦ３１３で目標範囲ＴＡに対する垂直オフセット量Δｙを判定する。そしてステップＦ３１４で、判定された垂直オフセット量Δｙに応じたＹ座標上に被写体重心Ｇ（又は総合被写体重心ＧＧ）が位置するようにチルト制御を実行する。
【０１１７】
次に制御部２７はステップＦ３１５で、ズーム倍率Ｚを判定する。
上述のように、画枠３００における被写体ＳＢＪのサイズ変更は、ズーム制御によって画角を変更することによって行う。ここでいうズーム倍率は、被写体検出処理によって被写体が検出されたときの被写体サイズから、最適構図に対応して判定される被写体サイズを得るために必要な画角の倍率をいう。
このために制御部２７は、先ず、検出された被写体の条件に応じて、所定の規則に従って、最適構図として必要される目標被写体サイズ（ズーム制御目標値）を判定する。
そして、上記のようにして求めた目標被写体サイズｓｉｚｅ＿ｔｒｇと、被写体検出処理時に得られた被写体サイズｓｉｚｅ＿ｏｒｇ（顔枠ＦＲの垂直方向（又は水平方向）の一辺のサイズ（画素数））との比を求めて、これをズーム倍率Ｚとする。つまり、
Ｚ＝ｓｉｚｅ＿ｔｒｇ／ｓｉｚｅ＿ｏｒｇ
により、ズーム倍率Ｚを算出する。
そして制御部２７はステップＦ３１６で、ズーム倍率Ｚによるズーム制御を実行する。
【０１１８】
この図２１（ｂ）の仮構図合わせの手順はあくまで一例である、例えば先にズーム制御を行ってからパン・チルト制御を行ってもよい。また水平オフセット量Δｘ、垂直オフセット量Δｙは、ズーム倍率による被写体のサイズ変更を考慮して算出することもできる。
【０１１９】
このような仮構図合わせを行い、図２０のステップＦ２１０で仮構図がＯＫと成ったら、つまり仮構図用の目標範囲ＴＡ内に被写体重心Ｇ（又は総合被写体重心ＧＧ）が位置入ったら、続いてステップＦ２１２，Ｆ２１３の本構図の処理を行う。即ち通常の構図処理である。
このステップＦ２１２，Ｆ２１３の本構図の処理は、上述した通常の構図処理であり、例えば図１１〜図１４で説明した処理である。
即ちステップＦ２１２で、被写体検出結果に基づく画構造の判定（画枠内における被写体数、被写体サイズ、顔の向きなどの判定）を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図であるか否かを判定する。
そして最適な構図でなければ、ステップＦ２１３で本構図合わせとして、パン・チルト・ズームの各制御によって撮像視野を可変する。
なお、先に図１０の説明で述べたように、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップＦ３からステップＦ２の被写体検出処理からやり直す。図２０で言えば、ステップＦ２１３で構図合わせを行った場合、ステップＦ２０１からやり直す。
【０１２０】
このステップＦ２１３の本構図合わせは、例えば図２１（ａ）のような処理となる。
制御部２７は、ステップＦ３００で、最適な構図を得るための目標範囲ＴＡを設定する。例えば図１３のように目標範囲ＴＡを設定する。
以降のステップＦ３０１〜Ｆ３０６は、上述の仮構図合わせとしての図２１（ｂ）のステップＦ３１１〜Ｆ３１６と同様である。
この図２１（ａ）の本構図合わせの手順も、あくまで一例である、例えば先にズーム制御を行ってからパン・チルト制御を行ってもよい。また水平オフセット量Δｘ、垂直オフセット量Δｙは、ズーム倍率による被写体のサイズ変更を考慮して算出することもできる。
【０１２１】
ステップＦ２１２で本構図がＯＫとなったら、構図処理を終え、図１０のステップＦ４に進むこととなる。
【０１２２】
以上のように、構図処理が仮構図合わせと本構図合わせの２段階で行われる。
これにより、自動静止画撮像モードでの静止画撮像として、画角範囲内で最大人数を被写体とした画像を自動的に撮像できる。
なお、仮構図合わせの手法として、目標範囲ＴＡを、探索方向でみての手前側に設定する例を述べたが、具体的な手法は他にも考えられる。
例えば被写体が検出されたときに、その被写体で仮に構図合わせをし、次にその被写体を中心として、周囲を探索することで他の被写体の有無を確認するということも考えられる。或いは被写体が検出されたときに、単純にその周囲を探索するという例も考えられる。
【０１２３】
＜４．機能構成の変形例＞
以上、実施の形態の処理例を説明してきたが、上記処理は図９の機能構成に基づいた制御処理として述べてきた。
例えばデジタルスチルカメラ１と雲台１０から成る撮像システムでは、図９以外にも機能構成例が考えられる。以下、例を挙げる。
【０１２４】
図２２は、デジタルスチルカメラ１側は撮像記録制御部８１と通信処理部８５のみを有する例である。そして雲台１０側（制御部５１）に、通信処理部７１、撮像準備処理部７４、撮像視野可変制御部７５を設ける。
【０１２５】
各機能部が実行する制御処理は、基本的には図９で説明したものと同様であるが、次の点が異なる。
撮像準備処理部７４は、被写体検出処理や構図処理を行うために、各フレーム画像としての撮像画像データを、デジタルスチルカメラ１の信号処理部２４から供給を受けるようにする。即ち通信処理部８５，７１の通信で、撮像画像データをデジタルスチルカメラ１から雲台１０側に供給する。そして撮像準備処理部７４は、供給された撮像画像データについて画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
撮像視野可変制御部７５は、撮像準備処理部７４からの指示に応じて、パン用駆動部５５、チルト用駆動部５８を制御して、被写体検出や構図合わせのためのパン・チルト動作を実行させる。
また、ズーム制御のために、撮像準備処理部７４は、ズーム制御信号を通信処理部７１を介してデジタルスチルカメラ１側の制御部２７（撮像記録制御部８１）に出力する。撮像記録制御部８１は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
また、構図処理が完了した時点で、撮像準備処理部７４は、レリーズ制御信号を通信処理部７１を介してデジタルスチルカメラ１側の制御部２７（撮像記録制御部８１）に出力する。撮像記録制御部８１は、レリーズ制御信号に応じて、図１０のステップＦ４，Ｆ５の処理を行えばよい。
【０１２６】
つまりこの図２２の機能構成の場合、図１０のステップＦ２，Ｆ３は雲台１０の制御部５１で行い、ステップＦ１，Ｆ４，Ｆ５はデジタルスチルカメラ１の制御部２７で行うこととなる。
【０１２７】
この図２２の変形例として、これは図８で言及したように、雲台１０側に撮像部６３が設けられる場合に対応する例が考えられる。
その場合、図２２の撮像準備処理部７４は、デジタルスチルカメラ１側からではなく、撮像部６３から、フレーム画像データを入力する。そして画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
【０１２８】
以上、制御機能の構成例を例示したが、当然、さらに多様な制御機能構成が考えられる。
そしてこれらから理解されるように、本発明の撮像制御装置は、デジタルスチルカメラ１としての制御機能構成としても実現できるし、雲台１０の制御機能構成としても実現できる。さらにデジタルスチルカメラ１と雲台１０による撮像システムの制御機能構成としても実現できる。換言すれば、デジタルスチルカメラ１、雲台１０のそれぞれ、又はそれらのセットの撮像システムは、本発明の撮像制御装置、又は撮像制御方法の実施製品となり得る。
なお、図９、図２２では、各制御機能部位をブロック化して示しているが、これらがそれぞれ独立したプログラムモジュール、或いはハードウエアとして構成される必要はない。事実上、これらの制御機能部の総合的な処理として、実施の形態で述べた処理動作が実現されるものであればよい。
【０１２９】
＜５．他の実施の形態＞
ここまで、実施の形態として本発明をデジタルスチルカメラ１と雲台１０から成る撮像システムに適用した例を述べてきたが、本発明はさらに多様な実施の形態が考えられる。
ここでは本発明としてのより一般的な構成例としての画像処理装置５００の実施の形態を述べる。
【０１３０】
図２３に画像処理装置５００の機能構成例を示す。画像処理装置５００は、ＣＰＵ、ＤＳＰ等の演算処理により実現される。
そして機能構成として、画枠可変制御部５０１と、構図処理部５０２を備える。この画像処理装置５００は、入力された画像データについて構図処理を行うものである。上述した撮像システムの実施の形態では、撮像画像データを対象として構図処理を行うものとしたが、ここでは、撮像画像データに限らず、入力された各種の画像データを対象とする。
例えば記録媒体から再生されて入力された画像データ、通信により有線又は無線の伝送を介して受信された画像データ等である。
【０１３１】
画枠可変制御部５０１は、入力された画像データについて画枠の可変設定を行う。例えば画像データ内でトリミング（切り出し）を行う範囲としての画枠を設定する。上述の撮像システムの例では、画枠の可変設定を、パン・チルト・ズームによる撮像視野の変更として実行したが、この場合は、入力された画像データの全画素範囲のうちで、出力する画素範囲の設定を変更するという処理で実行すればよい。
構図処理部５０２は、画枠可変制御部５０１による画枠範囲の設定変更を行わせながら、目的の画像の検出及び構図処理を行う。特に構図処理としては、上述した仮構図合わせと本構図合わせの２段階の処理を行う。
そして、構図処理で決定された入力画像データの一部分を、処理後の画像データとして出力する。
【０１３２】
図２４に処理例を示す。
画像処理装置５００は、ステップＦ５００で画像データを入力する。
構図処理部５０２は、ステップＦ５０１で、例えば入力された画像データのうちの所定の画素範囲で、目的の画像被写体が検出されたか否かを確認する。
目的の画像が検出されていなければ、構図処理部５０２はステップＦ５０２で探索処理を実行する。そしてステップＦ５０１で目的の画像の検出有無を確認する。
このステップＦ５０１，Ｆ５０２の処理は、画枠可変制御部５０１が、対象とする画素範囲を可変しながら、構図処理部５０２が目的の画像の検出有無を確認する処理となる。
【０１３３】
目的の画像が検出されたら、構図処理部５０２は、まず仮構図の処理を行う。
即ちステップＦ５１０で、仮構図として最適な構図状態であるか否かの確認と、ステップＦ５１１での仮構図合わせの処理を行う。これは、撮像視野の可変設定が、画枠としての画素範囲の可変設定とされることが異なることとして考えた上で、図１７、図１９で説明した処理と同様と考えればよい。
【０１３４】
仮構図合わせを行い、ステップＦ５１０で仮構図がＯＫとなったら、続いてステップＦ５１２，Ｆ５１３の本構図の処理を行う。即ち通常の構図処理である。
このステップＦ５１２，Ｆ５１３の本構図の処理は、図１１〜図１４で説明した処理と同様に考えればよい。
そしてステップＦ２１２で本構図がＯＫとなったら、構図処理を終え、ステップＦ５１４に進む。ステップＦ５１４では、画像処理装置５００は、本構図として設定された画素範囲で画像データを切り出し、これを出力画像データとして出力する。
【０１３５】
このような画像処理装置５００では、一例として、人物の顔画像を目的の画像として、元の入力画像データの一部をトリミングする処理が可能となる。
これにより入力画像データから、任意の画素範囲を切り出して出力画像データとする処理において、例えば最大人数を含む画像データを自動的に生成し出力できる。
【０１３６】
なお、このような画像処理装置５００は、上述した撮像システムの実施の形態における構図処理を、一般的な画像データ処理に適用するものである。
そしてその画像処理（構図処理）としては、トリミングとしての画像処理だけでなく、画像データ内で画素範囲設定に広く応用できる。例えば入力画像データのうちで画像エフェクトを施す一部の画素範囲の設定、マスキングを行う画素範囲の設定などにも応用できる。
【０１３７】
＜６．プログラム＞
本実施の形態のプログラムは、上述した実施の形態の処理動作をＣＰＵ等の演算処理装置に実行させるプログラムである。特に制御部２７，５１によって起動されることで図１０、図２０、図２１、図２４等で説明した構図処理を実現させるプログラムである。
【０１３８】
本実施の形態のプログラムは、パーソナルコンピュータや、デジタルスチルカメラ１や雲台１０等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１３９】
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【０１４０】
そして本発明のプログラムによれば、上記各実施の形態の処理を実現する撮像装置、撮像システムの実現及び広範な提供に適している。
【符号の説明】
【０１４１】
１ デジタルスチルカメラ、２ 本体部、２１ａ レンズ部、３１ａ レリーズボタン、１０ 雲台、１１ 本体部、１２ カメラ台座部、１３ 突起部、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、３５ 音声入力部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、５９ 接続検出部、６２ 音声入力部、６３ 撮像部、８１ 撮像記録制御部、８２，７４ 撮像準備処理部、８３，７５ 撮像視野可変制御部、７２ パン・チルト制御部、５００ 画像処理装置、５０１ 画枠可変制御部、５０２ 構図処理部
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法に関し、例えば自動的に撮像視野を変化させて撮像を行う撮像装置、撮像システムについての構図処理を行う画像処理装置、画像処理方法に関する。また、当該画像処理装置、画像処理方法を実現するためのプログラムに関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００９−１００３００号公報
【背景技術】
【０００３】
上記特許文献１には、デジタルスチルカメラと、該デジタルスチルカメラのパン／チルト方向の向きを電動により変化させる雲台とを備えた撮像システムにより、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う技術が開示されている。
この特許文献１に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体（人物の顔）の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様（例えば被写体の数や位置やサイズなど）に応じた最適とされる構図の判定を行う（最適構図判定）。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う（構図合わせ）。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作（撮像画像自動記録）によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、構図合わせの処理は、被写体を検出した際に行われるが、一部の被写体のみを対象として構図合わせを行ってしまうことがあり得る。
例えば一人の人物が被写体として検出された際に、その人物の隣に他の人が居るとする。構図合わせは被写体の検出に伴って開始されるが、被写体を探索するパンニング、チルティング過程で撮像視野に一人の人物が入った時点で構図合わせが行われると、その一人の人物のみを対象として、最適な構図を判断し、構図合わせをしてしまう。
実際には、その人物の周囲を含めた複数人を対象として構図合わせを行った方が、写真として好ましいという場合は多々ある。
【０００５】
そこで本発明では、自動的な静止画撮像などの際に、なるべく多数の人等の被写体を含めて最適な構図処理が行われるようにする構図処理方式の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、画像データの画枠範囲を可変設定する画枠可変制御部と、上記画枠可変制御部により、画枠範囲を可変設定させながら、画枠内に目的画像が入っているか否かを検出するとともに、１以上の目的画像が検出されたときに、検出された目的画像の周囲の他の目的画像の確認を伴う構図決定処理を行う構図処理部とを備える。
また、上記画像データは、被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置における撮像画像データであり、上記目的画像は、目的の被写体の画像であるとした場合、上記画枠可変制御部として、上記撮像装置における撮像視野の可変機構を駆動制御する撮像視野可変制御部が設けられる。また上記構図処理部として、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、上記撮像装置の撮像画像データから上記撮像視野内に目的の被写体が入っているか否かを検出するとともに、１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行う撮像準備処理部が設けられる。
【０００７】
また、上記構図決定処理は、１以上の目的の被写体が検出されたときに、検出された被写体について周囲の他の被写体の確認ができるように撮像視野を変化させながら構図合わせを行う仮構図合わせの処理と、仮構図合わせ完了後に構図を最適化するために撮像視野を変化させる本構図合わせの処理とによって行われる。
構図合わせの処理は、検出された１又は複数の被写体についての重心を、画枠内で設定した目標範囲内となるように、上記可変機構を駆動制御する処理として行うと共に、上記仮構図合わせの処理と、上記本構図合わせの処理とでは、上記目標範囲の設定が異なる。
例えば上記仮構図合わせの処理の際の上記目標範囲は、上記本構図合わせの際の撮像視野の変動幅よりも、撮像視野の変動幅が大きくなるように設定される。
【０００８】
本発明の画像処理方法は、画像データに対する画像処理方法として、画像データの画枠範囲を可変設定するステップと、画枠範囲を可変設定させながら、画枠内に目的画像が入っているか否かを検出するステップと、１以上の目的画像が検出されたときに、検出された目的画像の周囲の他の目的画像の確認を伴う構図決定処理を行うステップとを備える。
本発明のプログラムは、画像処理装置に対する制御処理プログラムとして、上記各ステップを演算処理装置に実行させるプログラムである。
また、本発明の画像処理方法は、被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、上記静止画撮像部の撮像視野の可変機構とを有する撮像装置又は撮像システムについての画像処理方法である。そして、上記可変機構を駆動制御しながら、上記撮像装置の撮像画像データから上記撮像視野内に目的の被写体が入っているか否かを検出するステップと、１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行うステップとを備える。
本発明のプログラムは、上記の撮像装置又は撮像システムに対する制御処理プログラムとして、上記各ステップを演算処理装置に実行させるプログラムである。
【０００９】
このような本発明では、１以上の目的画像（目的の被写体）が検出されたときに、検出された目的画像（被写体）の周囲の他の目的画像（被写体）が存在するか否かを確認する処理を伴う構図決定処理が行われる。これにより局所的な目的画像（被写体）の検出に応じた構図合わせのみではなく、検出された周囲に他の目的画像（被写体）が存在する場合は、より広い範囲で目的画像（被写体）の検出を行って、それらの目的画像（被写体）を含めた上で最適な構図への調整が行われるようにすることができる。
【発明の効果】
【００１０】
本発明によれば、局所的な目的画像（被写体）の検出にとらわれた構図処理ではなく、周囲の他の目的画像（被写体）の確認のうえでの構図合わせが実行されることで、より好適な静止画としての構図合わせが可能となるという効果がある。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態の撮像システムの構成要素であるデジタルスチルカメラの正面図及び背面図である。
【図２】実施の形態の撮像システムの構成要素である雲台の斜視図である。
【図３】実施の形態の雲台にデジタルスチルカメラを取り付けた状態の正面図である。
【図４】実施の形態の雲台にデジタルスチルカメラを取り付けた状態でのパン方向の動きの説明図である。
【図５】実施の形態の雲台にデジタルスチルカメラを取り付けた状態でのチルト方向の動きの説明図である。
【図６】実施の形態の雲台の背面図である。
【図７】実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。
【図８】実施の形態の雲台の内部構成例を示すブロック図である。
【図９】実施の形態の制御機能構成の説明図である。
【図１０】実施の形態の自動撮像処理のフローチャートである。
【図１１】実施の形態の基本的な構図処理の説明図である。
【図１２】実施の形態の基本的な構図処理の説明図である。
【図１３】実施の形態の構図処理における目標範囲の説明図である。
【図１４】実施の形態の構図処理における目標範囲への重心配置の説明図である。
【図１５】構図処理における局所解と最良解の説明図である。
【図１６】構図処理における局所解と最良解の説明図である。
【図１７】実施の形態の仮構図合わせの説明図である。
【図１８】実施の形態の仮構図合わせ後の本構図合わせの説明図である。
【図１９】実施の形態の仮構図の目標範囲の説明図である。
【図２０】実施の形態の構図処理のフローチャートである。
【図２１】実施の形態の仮構図合わせと本構図合わせの処理のフローチャートである。
【図２２】実施の形態の他の制御機能構成の説明図である。
【図２３】実施の形態の画像処理装置としての制御機能構成の説明図である。
【図２４】実施の形態の画像処理装置の処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を次の順序で説明する。実施の形態では、デジタルスチルカメラと雲台より成る撮像装置（撮像システム）を例に挙げる。
＜１．撮像システムの構成＞
［１−１：全体構成］
［１−２：デジタルスチルカメラ］
［１−３：雲台］
＜２．機能構成例＞
＜３．自動撮像処理における構図処理＞
＜４．機能構成の変形例＞
＜５．他の実施の形態＞
＜６．プログラム＞
【００１３】
なお、本明細書では「画枠」「画角」「撮像視野」「構図」という語を用いるが、各語の定義は以下の通りである。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野」は、撮像光学系による視野を表す。即ち撮像装置の周囲光景のうちで撮像対象として画枠に収まる範囲である。これは上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まる。
「構図」は、ここでは、フレーミングともいわれるもので、例えば撮像視野によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
【００１４】
＜１．撮像システムの構成＞
［１−１：全体構成］
実施の形態の撮像システムは、デジタルスチルカメラ１と、このデジタルスチルカメラ１が着脱可能に取り付けられた雲台１０とを備えて成る。
図１にデジタルスチルカメラ１の外観例を示す。図１（ａ）、図１（ｂ）は、それぞれデジタルスチルカメラ１の正面図、背面図である。
このデジタルスチルカメラ１は、図１（ａ）に示すように、本体部２の前面側にレンズ部２１ａを備える。このレンズ部２１ａは、撮像のための光学系として本体部２の外側に表出している部位である。
【００１５】
また、本体部２の上面部には、レリーズボタン３１ａが設けられている。撮像モード時においてはレンズ部２１ａにより撮像された画像（撮像画像）が画像信号として生成される。撮像モード時には、後述するイメージセンサにより所定フレームレートで各フレーム毎の撮像画像データが得られる。
そして、レリーズボタン３１ａに対する操作（レリーズ操作／シャッタ操作）が行われると、そのタイミングでの撮像画像（フレーム画像）が、静止画の画像データとして記録媒体に記録される。つまり、一般に写真撮影といわれる静止画撮像が行われる。
【００１６】
また、デジタルスチルカメラ１は、図１（ｂ）に示すように、背面側に表示画面部３３ａを有する。
この表示画面部３３ａには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部２１ａにより撮像している画像が表示される。スルー画は、イメージセンサで得られる各フレーム画像に基づく動画像であり、そのときの被写体をそのまま表す画像となる。
また、再生モード時においては、記録媒体に記録されている画像データが再生表示される。
さらに、ユーザがデジタルスチルカメラ１に対して行った操作に応じて、ＧＵＩ(Graphical User Interface)としての操作画像が表示される。
また表示画面部３３ａに対してタッチパネルが組み合わされているようにすることで、ユーザは、表示画面部３３ａに対して指を当てることによって、必要な操作を行うことができる。
なお図示は省略しているが、デジタルスチルカメラ１には、レリーズボタン３１ａ以外の各種のキー、ダイヤル等の操作子が設けられる場合もある。
【００１７】
図２は雲台１０の外観を示す斜視図である。また、図３〜図５は、本実施の形態の撮像システムの外観として、雲台１０に対してデジタルスチルカメラ１が適切な状態で載置された状態を示している。図３は正面図、図４は平面図、図５は側面図（特に図５（ｂ）では側面図によりチルト機構の可動範囲を示している）である。
図２、及び図３，図４，図５に示すように、雲台１０は、大きくは接地台部１５の上に本体部１１が組み合わされたうえで、さらに本体部１１に対してカメラ台座部１２が取り付けられた構造を有する。
【００１８】
雲台１０にデジタルスチルカメラ１を取り付けるときには、デジタルスチルカメラ１の底面側を、カメラ台座部１２の上面側に置く。
図２に示すように、カメラ台座部１２の上面部には、突起部１３とコネクタ１４が設けられている。図示は省略するが、デジタルスチルカメラ１の本体部２の下面部には、突起部１３と係合する孔部が形成されている。デジタルスチルカメラ１がカメラ台座部１２に対して適正に置かれた状態では、この孔部と突起部１３とが係合した状態となる。この状態であれば、通常の雲台１０のパンニング・チルティングの動作であれば、デジタルスチルカメラ１が雲台１０からずれたり、外れてしまったりすることがないようにされている。
【００１９】
また、デジタルスチルカメラ１においては、その下面部の所定位置にもコネクタが設けられている。上記のようにカメラ台座部１２にデジタルスチルカメラ１が適正に取り付けられた状態では、デジタルスチルカメラ１のコネクタと雲台１０のコネクタ１４とが接続され、少なくとも、相互間の通信が可能な状態となる。
【００２０】
なお、例えばコネクタ１４と突起部１３は、実際においては、カメラ台座部１２においてその位置を或る範囲内で変更（移動）できるようになっている。そのうえで、例えばデジタルスチルカメラ１の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台１０と通信可能な状態で、カメラ台座部１２に取り付けできるようになっている。
【００２１】
次に、雲台１０によるデジタルスチルカメラ１のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
雲台１０を例えばテーブル上や床面上などに置いた状態では、接地台部１５の底面が接地する。この状態において、図４に示すように、回転軸１１ａを回転中心として、本体部１１側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台１０に取り付けられたデジタルスチルカメラ１の水平方向（左右方向）における撮像視野を変化させることができる（所謂パンニング）。
なお、この場合の雲台１０のパン機構は、時計回り方向及び反時計回り方向の何れについても、３６０°以上の回転が無制限で自在に行える構造を有している。
【００２２】
また、この雲台１０のパン機構においては、パン方向における基準位置が決められている。
ここでは、図４に示すように、パン基準位置を０°（３６０°）としたうえで、パン方向に沿った本体部１１の回転位置、すなわちパン位置（パン角度）を０°〜３６０°により表すものとする。
【００２３】
また、雲台１０のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図５（ａ）（ｂ）に示すようにして、カメラ台座部１２が回転軸１２ａを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
ここで、図５（ａ）は、カメラ台座部１２がチルト基準位置Ｙ０（０°）にある状態が示されている。この状態では、レンズ部２１ａ（光学系部）の撮像光軸と一致する撮像方向Ｆ１と、接地台部１５が接地する接地面部ＧＲとが平行となる。
そのうえで図５（ｂ）に示すように、先ず、仰角方向においては、カメラ台座部１２は、回転軸１２ａを回転中心として、チルト基準位置Ｙ０（０°）から所定の最大回転角度＋ｆ°の範囲で動くことができる。また俯角方向においても、回転軸１２ａを回転中心として、チルト基準位置Ｙ０（０°）から所定の最大回転角度−ｇ°の範囲で動くことができるようになっている。
このようにして、カメラ台座部１２がチルト基準位置Ｙ０（０°）を基点として、最大回転角度＋ｆ°〜最大回転角度−ｇ°の範囲で動くことで、雲台１０（カメラ台座部１２）に取り付けられたデジタルスチルカメラ１のチルト方向（上下方向）における撮像視野を変化させることができる。つまりチルティングの動作が得られる。
【００２４】
図６は、雲台１０の背面図を示している。
図示するように雲台１０には、その本体部１１の背面部において、電源ケーブルを着脱可能に接続する電源端子部ｔ−Ｖｉｎと、ビデオケーブルを着脱可能に接続するビデオ端子部ｔ−Ｖｉｄｅｏとが形成されている。
【００２５】
雲台１０は、上述したカメラ台座部１２にて取り付けられたデジタルスチルカメラ１に対して上記電源端子部ｔ−Ｖｉｎを介して入力された電力を供給することで、上記デジタルスチルカメラ１に対する充電を行うように構成されている。
つまり本例の雲台１０は、デジタルスチルカメラ１に対する充電を行うためのクレードル（ドック）としても機能する。
また、本例の場合、雲台１０は、デジタルスチルカメラ１側から例えば撮像画像に基づく映像信号が伝送されてきた場合に、該映像信号を上記ビデオ端子部ｔ−Ｖｉｄｅｏを介して外部出力するように構成されている。
また、この図６や先の図４にも示したように、雲台１０の本体部１１における背面部には、メニューボタン６０ａが設けられる。メニューボタンの操作により、雲台１０とデジタルスチルカメラ１の間の通信により、例えばデジタルスチルカメラ１側の表示画面部３３ａでメニュー表示が行われる。このメニュー表示により、ユーザが所要の操作を行うことが可能とされる。
【００２６】
また、図示しないが、雲台１０には、マイクロホン及び音声入力回路系を有する音声入力部（後述の音声入力部６２）が設けられる場合がある。
また雲台１０には、撮像レンズ、イメージセンサ、撮像信号処理系などを備えた撮像部（後述の撮像部６３）が設けられる場合もある。
【００２７】
［１−２：デジタルスチルカメラ］
図７は、デジタルスチルカメラ１の内部構成例を示したブロック図である。
光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部２７が実行するズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【００２８】
イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【００２９】
上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
【００３０】
信号処理部２４は、例えばＤＳＰ(Digital Signal Processor)で構成され、Ａ／Ｄコンバータ２３から出力されるデジタル撮像信号について、プログラムに従った所定の信号処理を施す。
信号処理部２４は、Ａ／Ｄコンバータ２３から出力されるデジタル撮像信号について、１つの静止画 (フレーム画像)に相当する単位で取り込みを行う。そして取り込んだ静止画単位の撮像信号について所定の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成する。
また信号処理部２４は、このようにして取得した撮像画像データを利用して、後述する被写体検出処理や構図処理のための画像解析処理を実行する場合もある。
【００３１】
ここで、上記のように信号処理部２４で生成した撮像画像データを画像情報として記録媒体であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力する。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ２６に転送する。
メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。
なお、画像データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。例えば光ディスク、ハードディスク、着脱不能に取り付けられたフラッシュメモリチップなどの半導体メモリチップ、ホログラムメモリ等、各種の記録媒体を採用することもできる。
【００３２】
また、デジタルスチルカメラ１は、上記信号処理部２４にて得られる撮像画像データを利用して表示部３３に画像表示を実行させることで、現在撮像中の画像である、いわゆるスルー画を表示させることができる。
例えば信号処理部２４は、上述のようＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。
【００３３】
表示ドライバ３２は、上記のように信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していく。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていく。
これをユーザが見れば、そのときに撮像している画像が表示部３３において動画的に表示されることになる。つまり、スルー画が表示される。
【００３４】
また、デジタルスチルカメラ１は、メモリカード４０に記録されている画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。
【００３５】
エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３において、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。
【００３６】
また表示部３３に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像（操作画像）も表示させることができる。
この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力する。これにより、表示部３３でユーザインターフェース画像が表示される。
なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【００３７】
制御部２７は、ＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。
ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。
ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。
なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。
【００３８】
本実施の形態の場合、制御部２７は、自動撮像のために各種の撮像準備処理を行う。
まず被写体検出処理として、撮像視野を変化させながら信号処理部２４で得られる各フレーム画像から被写体検出を実行し（又は信号処理部２４に実行させ）、デジタルスチルカメラ１の周囲の被写体を探索する処理を行う。
また構図処理として、被写体検出に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、及び最適構図判定により求まった最適とされる構図を目標構図とした構図合わせを行う。
これらの撮像準備処理の後、制御部２７は撮像画像の自動記録を実行せる制御・処理を行う。
これらの制御処理については後述する。
【００３９】
操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成して上記制御部２７に出力する操作情報信号出力部位とを一括して示している。
各種操作子としては、レリーズボタン３１ａや、図１では省略した電源ボタン、モードボタン、ズーム操作ボタン、操作ダイヤル等がある。
また表示部３３がタッチパネルとして形成される場合、そのタッチセンサ部も、この操作部３１の具体例の１つとなる。
さらに、リモートコントローラからのコマンド信号の受信部も、操作部３１の例の一つとなる。
制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
【００４０】
雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位である。
例えばデジタルスチルカメラ１が雲台１０に取り付けられた状態において、雲台１０側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、コネクタ１４と接続されるコネクタの部位が含まれる。
【００４１】
また雲台１０側からの充電を可能とすべく、上記の各コネクタには通信信号のやり取りを行うための端子のみでなく充電用電力の伝送のための端子も設けられる。図示は省略したが、デジタルスチルカメラ１には、バッテリーを着脱可能に装着するためのバッテリー装着部が設けられており、該装着部に装着されたバッテリーに対し、雲台１０側から伝送された電力に基づく充電が行われるようになっている。
【００４２】
またデジタルスチルカメラ１には、音声入力部３５が設けられる場合がある。後述するレリーズタイミングの判断として、例えば特定の言葉の声や特定の音（例えば手を叩く音など）の入力を検出する場合に用いられる。
音声入力部３５としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部２７が実行するものとしてもよい。
【００４３】
［１−３：雲台］
図８は、雲台１０の内部構成例を示している。
先の図６に示したように、雲台１０には電源端子部ｔ−Ｖｉｎとビデオ端子部ｔ−Ｖｉｄｅｏとが設けられている。
電源端子部ｔ−Ｖｉｎを介して入力された電力は、電源回路６１を介した後、雲台１０内の必要な各部の動作電力として供給される。また、電源回路６１においては、デジタルスチルカメラ１に対する充電用電力が生成され、該充電用電力は通信部５２（コネクタ）を介してデジタルスチルカメラ１側に供給される。
また、上記ビデオ端子部ｔ−Ｖｉｄｅｏには、デジタルスチルカメラ１側から伝送された映像信号が通信部５２→制御部５１を介して供給される。
【００４４】
なお、ここでは、雲台１０の各部の動作電力は上記電源入力端子ｔ−Ｖｉｎを介してのみ供給されるかのように示しているが、実際には雲台１０には、電池の装着部が設けられ、該装着部に装着された電池から各部の動作電力を供給することが可能に構成されている。
【００４５】
また、本実施の形態の雲台１０には、上記電源端子部ｔ−Ｖｉｎ、上記ビデオ端子部ｔ−Ｖｉｄｅｏへのケーブルの接続有無を検出するための接続検出部５９が設けられる。ケーブル接続有無の検出機構の具体的な構成については、例えばケーブルの接続／抜き取りに応じてスイッチがＯＮ／ＯＦＦする構成などを挙げることができる。但し本実施の形態においては、接続検出部５９としては、ケーブルの接続／抜き取りを識別するための検出信号を出力するように構成されたものであればよく、その具体的な構成については特に限定されない。
上記接続検出部５９による検出信号（電源端子部ｔ−Ｖｉｎについての検出信号とビデオ端子部ｔ−Ｖｉｄｅｏについての検出信号）は、制御部５１に対して供給される。
【００４６】
また雲台１０は、先に述べたようにパン・チルト機構を備えるものであり、これに対応する部位として、図８にパン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を示している。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図４に示したパン（横・左右）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。
同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図５に示したチルト（縦・上下）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。
【００４７】
制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータによって成り、パン機構部５３、チルト機構部５６の動きをコントロールする。
例えば制御部５１がパン機構部５３の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、ＰＷＭ制御に対応したパルス信号となる。
このモータ駆動信号により、パン用モータ５４が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部５３も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様に、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動方向、移動速度を指示する信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部５６も、これに対応した移動方向，速度により動くようにして駆動される。
【００４８】
ここで、パン機構部５３は、ロータリーエンコーダ（回転検出器）５３ａを備えている。ロータリーエンコーダ５３ａは、パン機構部５３の回転の動きに応じて、その回転角度量を示す検出信号を制御部５１に出力する。同様に、チルト機構部５６はロータリーエンコーダ５６ａを備える。このロータリーエンコーダ５６ａも、チルト機構部５６の回転の動きに応じて、その回転角度量を示す信号を制御部５１に出力する。
これにより制御部５１は、駆動中のパン機構部５３、チルト機構部５６の回転角度量の情報をリアルタイムに取得（モニタ）できるようにされている。
【００４９】
通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位である。
この通信部５２は、雲台対応通信部３４と同様に、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、カメラ台座部１２のコネクタ１４が含まれる。
【００５０】
操作部６０は、具体的には、先の図４や図６に示したメニューボタン６０ａとしての操作子と、この操作子に対して行われた操作に応じた操作情報信号を生成して制御部５１に出力する操作情報信号出力部位とを一括して示している。制御部５１は、操作部６０から入力される操作情報信号に応じて所定の処理を実行する。
なお、雲台１０についてリモートコントローラが用意される場合は、そのリモートコントローラからのコマンド信号の受信部も、操作部６０の例の一つとなる。
【００５１】
また雲台１０には、音声入力部６２が設けられる場合がある。デジタルスチルカメラ１でのレリーズタイミングの判断として、特定の言葉の声や特定の音（例えば手を叩く音など）の入力を雲台１０側で判別する場合である。
音声入力部６２としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部５１が実行するものとしてもよい。
【００５２】
また雲台１０には、撮像部６３が設けられる場合がある。撮像部６３は、レリーズタイミングの判断のために、特定の被写体状態、例えば被写体側のユーザの特定のポーズや目線などを検出するために設けられる。
撮像部６３は、光学系部、イメージセンサ、Ａ／Ｄコンバータ、信号処理部、画像解析部などを備える。なお画像解析は、制御部５１が実行するものとしてもよい。
【００５３】
＜２．機能構成例＞
次に、図９のブロック図により、本実施の形態の撮像システムを成すデジタルスチルカメラ１及び雲台１０についての、ハードウェア及びソフトウェア（プログラム）により実現される機能構成例を示す。
この機能構成例は、本例の撮像システムの撮像動作制御を行う撮像制御装置を実現する構成となり、主に、デジタルスチルカメラ１における制御部２７、雲台１０における制御部５１等のハードウエア構成と、それらで起動されたソフトウエアモジュールが連関して形成される制御処理機能である。図９では、本実施の形態の構図処理のために必要な制御機能を、機能毎にブロック化して示している。
なお、機能構成例は各種多様に考えられるが、図９では一例を示し、他の例は図２２を用いて後述する。
【００５４】
図９に示すように、デジタルスチルカメラ１（制御部２７）側は、撮像記録制御部８１、撮像準備処理部８２、撮像視野可変制御部８３、通信処理部８５を備える。
また雲台１０（制御部５１）側は、例えば通信処理部７１、パン・チルト制御部７２を有している。
【００５５】
まずデジタルスチルカメラ１側において、撮像記録制御部８１は、撮像により得られた画像を画像信号のデータ（撮像画像データ）として得て、この撮像画像データを記録媒体に記憶するための制御処理を実行する部位である。また撮像記録制御部８１は、記録した静止画データの再生、表示動作、或いは撮像時のスルー画の表示動作等のための制御も行う。
即ち撮像記録制御部８１は、図７の光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、シング処理部２４、エンコード／デコード部２５、メディアコントローラ２６、表示ドライバ３２等の制御を行う。即ち、光学系部２１のレンズ駆動制御、イメージセンサ２２の撮像動作、撮像信号処理、記録再生処理等を指示し、静止画撮像を実行させるなど、デジタルスチルカメラ１の基本動作を制御する機能部位である。
【００５６】
撮像準備処理部８２は、ユーザのレリーズ操作によらない自動的な静止画撮像を実行する際の撮像準備処理を行う機能部位である。
撮像準備処理の１つとしては被写体検出処理がある。これは、雲台１０によるパン、チルト動作を実行させながら、信号処理部２４で得られる各フレーム画像を確認し、撮像視野内に被写体（例えば人の顔）が入るようにする処理である。このために、撮像準備処理部８２は、必要な雲台１０のパン・チルト動作の判断や、フレーム画像データの画像解析による人物検出、顔検出等の処理を行う。
また撮像準備処理の１つとして構図処理がある。構図処理とは、撮像視野内における被写体画像の配置について最適状態か否かを判断し（構図判定）、またその構図を調整する処理（構図合わせ）である。この構図の調整のために撮像準備処理部８２は、必要な雲台１０のパン・チルト動作の判断や、光学系部２１におけるズームレンズ駆動の判断等を行う。
【００５７】
なお、上記の被写体検出処理や構図処理のための画像解析を行う処理機能は、制御部２７ではなく信号処理部２４としてのＤＳＰ(Digital signal Processor)に実行させることもできる。従って撮像準備処理部８２としての機能部は、制御部２７、信号処理部２４としてのＤＳＰの一方又は両方に与えるプログラム、インストラクションにより実現できる。
【００５８】
撮像視野可変制御部８３は、実際に撮像視野を変化させる動作を制御する機能部位である。撮像視野の変化は、雲台１０のパン・チルト、もしくは光学系部２１のズーム動作により行われる。従って撮像視野可変制御部８３は、パン・チルト制御、ズーム制御を行う機能部位となる。
デジタルスチルカメラ１を用いてカメラマンが手動で撮像を行う場合は、撮像視野可変制御部８３は、例えばカメラマンのズーム操作に応じてズームレンズ駆動を制御することとなる。
また自動的な静止画撮像を行う場合、撮像視野可変制御部８３は、撮像準備処理部８２での判断・指示に応じて、ズーム駆動制御、パン駆動制御、チルト駆動制御を行う。パン駆動制御、チルト駆動制御については、通信処理部８５を介して雲台１０側にパン・チルト制御信号を送信することになる。
特に構図合わせ等の実行時には、撮像準備処理部８２が判定するパン・チルトの移動量に応じて、雲台１０に当該移動量を指示するパン・チルト制御信号を出力する。
また、撮像準備処理部８２で判定されるズーム倍率に応じて、光学系部２１のズーム動作を駆動制御する。
【００５９】
通信処理部８５は、雲台１０側に備えられる通信処理部７１との間で所定の通信プロトコルに従って通信を実行するための部位となる。
上記の撮像視野可変制御部８３が生成したパン・チルト制御信号は、通信処理部６４の通信により、雲台１０の通信処理部７１に対して送信される。
【００６０】
次に雲台１０側において、通信処理部７１は、デジタルスチルカメラ１側の通信処理部８５との間での通信を実行するための部位である。
上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御部７２に出力する。
【００６１】
パン・チルト制御部７２は、例えば図８に示した雲台１０側の制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能となる。
このパン・チルト制御部７２は、入力したパン・チルト制御信号に応じて、図８に示したパン用駆動部５５、チルト用駆動部５８を制御する。これにより、例えば被写体検出処理のためのパンニング、チルティングや、構図処理による、最適な水平視野角と垂直視野角を得るためのパンニング、チルティング等が行われる。
【００６２】
＜３．自動撮像処理における構図処理＞
本実施の形態では、ユーザのレリーズ操作を伴わない自動的な静止画撮像の際の構図処理に特徴を有する。
まずここでは、自動的な静止画撮像処理の手順を図１０で説明する。
自動静止画撮像を行うモード（以下、自動静止画撮像モードという）では、本例の撮像システムが、撮像準備として、被写体検出（探索）、最適構図判定、構図合わせの各動作により、被写体検出で検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行う。そして所定の条件で自動的にレリーズ処理を行う。これにより、カメラマンの操作を不要として、適切な静止画撮像が行われるものである。
図１０は自動静止画撮像モード動作として、図９の各機能部位が所定の処理を行う手順を示している。
【００６３】
自動静止画撮像モードでの撮像動作が開始されると、図１０のステップＦ１として、撮像画像データの取り込みが開始される。
即ち撮像記録制御部８１が、イメージセンサ２２、信号処理部２４による撮像画像データの各フレーム毎の取り込みを開始させる。
【００６４】
ステップＦ２で被写体検出処理、ステップＦ３で構図処理を行う。
被写体検出処理、構図処理（最適構図判定、構図合わせ）は、撮像準備処理部８２の機能（具体的には制御部２７、及び／又は信号処理部２４の処理）により実行される。
【００６５】
ステップＦ１で撮像画像データの取り込みが開始された以降は、信号処理部２４は、イメージセンサ２２による撮像画像データとして、１枚の静止画に相当するフレーム画像データを順次取得する。
撮像準備処理部８２は、被写体検出処理として、各フレーム画像データから、人物の顔に相当する画像部分を検出する処理を行う。
なお、被写体検出処理は、全フレーム毎に実行しても良いし、予め定められた所定のフレーム数間隔ごとに実行してもよい。
【００６６】
本例の場合における被写体検出処理では、例えばいわゆる顔検出技術を利用して、画像内から検出した被写体ごとにその顔の画像部分の領域に対応して顔枠を設定する。その上で、当該顔枠の数、サイズ、位置など情報から、画枠内における被写体数、各被写体のサイズやそれぞれの画枠内での位置の情報を得る。
なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
【００６７】
ステップＦ２での被写体検出処理としては、先ずはデジタルスチルカメラ１の周囲に存在する被写体の探索を行う。
具体的に、この被写体の探索としては、デジタルスチルカメラ１における制御部２７（撮像準備処理部８２、撮像視野可変制御部８３）が、雲台１０に対するパン・チルト制御や光学系部２１に対するズーム制御を行うことによって、撮像視野を変化させながら、例えば信号処理部２４（又は制御部２７）での画像解析による被写体検出を実行させること行う。
このような被写体探索は、撮像画像データとしてのフレーム画像に被写体が検出されるまで実行される。そしてフレーム画像内、つまりその時点の撮像視野に被写体（人物の顔）が存在する状態が得られたことに応じて終了する。
【００６８】
被写体検出処理が終了した後、制御部２７（撮像準備処理部８２）は、ステップＦ３で構図処理を行う。
なお本例では、構図処理として仮構図処理、本構図処理が行われるが、これらは後述することとし、ここでは構図処理を概略的に述べる。
構図処理としては、まずその時点の構図が最適な状態か否かを判定する。この場合、被写体検出結果に基づく画構造の判定（この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など）を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。
ここで、この場合の構図は、パン・チルト・ズームの各撮像視野によって決定づけられるものであり、従って当該最適な構図か否かの判定処理によっては、その判定結果として、上記被写体検出結果（画枠内での被写体の態様）に応じた最適な撮像視野とするためのパン・チルト・ズームの制御量の情報が得られるものとなる。
【００６９】
そして構図が最適な状態でなければ、構図合わせとして、最適な構図状態とすべく、パン・チルト制御、ズーム制御を行うこととなる。
具体的に制御部２７（撮像準備処理部８２、撮像視野可変制御部８３）は、構図合わせ制御として、最適構図判定処理により求まったパン・チルトの各制御量の変更の情報を雲台１０側の制御部５１に指示する。
これに応じて雲台１０の制御部５１は、指示された制御量に応じたパン機構部５３・チルト機構部５６についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用駆動部５５、チルト用駆動部５８に対する制御信号の供給を行う。
また、制御部２７（撮像準備処理部８２、撮像視野可変制御部８３）は、最適構図判定処理により求まったズームについての画角の情報を、光学系部２１に指示することで、該指示した画角が得られるように光学系部２１によるズーム動作を実行させる。
【００７０】
なお、構図処理で最適構図の状態ではないと判断され、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップＦ３からステップＦ２の被写体検出処理からやり直す。パン・チルト、ズーム動作により、或いは人物の動きにより、被写体が撮像視野から外れることもあるためである。
【００７１】
制御部２７（撮像記録制御部８１）は、最適な構図が得られた場合は、ステップＦ４でレリーズタイミング判定処理を行う。
なお、ステップＳ４によるレリーズタイミング判定処理にてレリーズタイミングがＯＫとならない場合も有り得るが、その場合、ステップＳ１の被写体検出からやり直すことになる。被写体人物の動き等により被写体が撮像視野から外れたり、或いは構図が崩れる場合があるためである。
【００７２】
レリーズタイミング判定処理によってレリーズ条件が成立したとされた場合は、ステップＦ５のレリーズ処理として、撮像画像データの自動記録を行う。具体的に制御部２７（撮像記録制御部８１）は、エンコード／デコード部２５及びメディアコントローラ２６に対する制御を行って、その時点で得られている撮像画像データ（フレーム画像）のメモリカード４０への記録を実行させる。
【００７３】
ところで、ステップＦ４におけるレリーズタイミング判定処理とは、適切な静止画を得るため、所定の静止画撮像条件を満たしたか否かを判定する処理であるが、各種の例が考えられる。
例えば時間によるレリーズタイミング判定が考えられる。例えば構図処理がＯＫとなった時点から所定時間（例えば２，３秒）の経過を静止画撮像条件とする。その場合、制御部２７（撮像記録制御部８１）は、ステップＦ４では所定時間のカウントを行い、所定時間経過により、ステップＦ５でレリーズ処理を実行させる。
【００７４】
また特定の音声入力があったときに、静止画撮像条件を満たしたと判断してもよい。
例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを静止画撮像条件としての特定の音とする。
制御部２７（撮像記録制御部８１）は、ステップＦ４で、これらの特定の音の入力検出を行う。
そして図７に示した音声入力部３５からの入力音声信号解析結果から、これらの特定の音が確認されたら、レリーズタイミングとなったとして、ステップＦ５でレリーズ処理を実行させる。
【００７５】
なお、図８で述べたように雲台１０側に音声入力部６２や撮像部６３が設けられる場合がある。
雲台１０側に音声入力部６２が設けられる場合、音声入力部６２の入力音声信号についての入力音声信号解析結果から、特定の音が確認されたら、レリーズタイミングとなったとしてもよい。例えば雲台１０側の制御部５１が特定の音の検出を行い、それをデジタルスチルカメラ１の制御部２７に通知することが考えられる。
【００７６】
また撮像画像から特定の被写体状態が判定されたときに、静止画撮像条件を満たしたと判断してもよい。
制御部２７（撮像記録制御部８１）は、ステップＦ４で、撮像画像の解析により検出される特定の被写体状態の有無を監視する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動を行った状態が考えられる。或いは、被写体となっているユーザが撮像システムを注視するなども考えられる。
制御部２７はステップＦ４で、撮像画像の画像解析処理により、これらユーザの特定の状態を判定する。そして特定の被写体状態が検出されたら、レリーズタイミングとなったとして、ステップＦ５でレリーズ処理を実行させる。
【００７７】
なお、図８で述べたように雲台１０側に撮像部６３が設けられる場合がある。
雲台１０側に撮像部６３が設けられる場合、撮像部６３による撮像画像データの解析結果から、特定の被写体状態が確認されたら、レリーズタイミングとなったとしてもよい。例えば雲台１０側の制御部５１が特定の被写体状態の検出を行い、それをデジタルスチルカメラ１の制御部２７に通知することが考えられる。
【００７８】
以上の図１０のように本実施の形態の撮像システムでは、制御部２７による制御・処理に基づき、自動静止画撮像モードでの静止画撮像が実現される。
ここで本実施の形態では、被写体検出処理及び構図処理として、パン・チルト制御を行いながら、撮像画像データから撮像視野内に目的の被写体が入っているか否かを検出するとともに、１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理が行われる。
特に、この構図決定処理は、１以上の目的の被写体が検出されたときに、検出された被写体について周囲の他の被写体の確認が可能できるように撮像視野を変化させながら構図合わせを行う仮構図合わせの処理がまず行われる。そして、仮構図合わせ完了後に構図を最適化するために撮像視野を変化させる本構図合わせの処理が行われる。
以下、仮構図合わせ、本構図合わせの２段階で行われる構図処理について詳細に説明する。
【００７９】
まず本実施の形態の理解のため、基本的な構図処理（本例の本構図処理に該当）について説明する。
被写体検出処理の過程で、例えば図１１の画枠３００に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が１つ存在している。
【００８０】
この場合の画枠３００は、撮像画像データの１フレーム相当の画像領域に相当する。ここでは、画枠３００としてのフレーム画像について、水平画素数を（水平画サイズ）をＣｘ、垂直画素数（垂直画サイズ）をＣｙとして、Ｃｘ＝３２０，Ｃｙ＝２４０により形成されているものとしている。
また、この場合の画枠３００における位置は、座標（Ｘ，Ｙ）により表されるものとし、ここでは画枠３００の左上端を座標（０，０）として定義している。
また、この画枠３００に対して、垂直基準線Ｌｄ１及び水平基準線Ｌｄ２が仮想的に設定されている。
垂直基準線Ｌｄ１は、画枠３００の水平方向における中点を通過する直線で、水平基準線Ｌｄ２は、画枠３００の垂直方向における中点を通過する直線となる。これら垂直基準線Ｌｄ１及び水平基準線Ｌｄ２は、それぞれ、構図制御として、画枠３００における被写体の位置を水平／垂直方向で移動させる際の基準線となる。
また、垂直基準線Ｌｄ１と水平基準線Ｌｄ２の交点座標（１６０，−１２０）は、構図制御における基準点Ｐとして扱われる。
【００８１】
図１１に示す画内容の撮像画像データを対象に被写体検出（顔検出）を行うことによっては、検出被写体として、図示される１つの被写体ＳＢＪの顔が検出されることになる。即ち、顔検出処理によって１つの顔が検出されることを以て、ここでは１つの被写体が検出されることとしている。そして、このようにして被写体を検出した結果としては、例えば被写体の数、向き、位置、サイズの情報を得るようにされる。
また、被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図１１の場合には、検出される顔が１つであるから、被写体数は１との結果が得られる。
【００８２】
また、顔検出の手法を用いて被写体検出を行う場合、検出結果として、検出した被写体の顔部分に対して枠（顔枠ＦＲ）を設定する。
図１１では、顔枠ＦＲが、被写体ＳＢＪの画像の顔部分に対応して配置されるようにして示している。この場合の顔枠ＦＲは、検出された被写体における顔の画像部分に対応して方形により配置される。なお、ここでの顔枠ＦＲは正方形であるとする。
また、この顔枠ＦＲは、画枠３００における顔としての画像部分に対して設定されるものとなる。従って、そのときに顔検出処理により検出される画枠３００における被写体の顔の位置、大きさなどに応じて、顔枠ＦＲの画枠３００における位置、サイズも変更設定される。
【００８３】
また、被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における被写体ＳＢＪの重心である被写体重心Ｇ（Ｘ，Ｙ）を求めることとする。
また、この被写体重心Ｇをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。１つの例としては、被写体ＳＢＪに対応して検出された顔枠ＦＲとしての四角形の対角線の交点を、被写体重心とすることが考えられる。
【００８４】
また、被写体のサイズについては、ここでは、顔枠ＦＲの垂直又は水平方向の一辺のサイズ（画素数）により表すものとする。
図１１では、一例として、顔枠ＦＲの垂直サイズｓｉｚｅｙ＝３２として検出されている状態が示されている。
【００８５】
また、ここでの被写体ごとの顔方向に関しては、例えば左、正面、右の３段階での何れであるのかを検出することとする。
図１１の被写体ＳＢＪについては、顔方向については正面であると検出されているものとする。
【００８６】
ここで、この図１１に示すように検出された、被写体ＳＢＪについての被写体検出情報に基づき、構図判定処理により、図１２に示す構図とすべきであるとの判定結果を得たとする。
つまり、先ず、被写体サイズについては、ｓｉｚｅｙ＝６４とし、被写体重心Ｇについては、Ｇ（１６０，−１２０＋Δｙ）に位置させる、という構図である。
【００８７】
例えば、その検出された数に応じても異なってくるが、良い構図とするためには、画枠３００における被写体のサイズが小さすぎず、また、大きすぎず、適切であることが求められる。図１２に示されるｓｉｚｅｙ＝６４としての被写体サイズは、被写体ＳＢＪが画枠３００において最適サイズとなる値として判定されたものである。
【００８８】
また、上記の被写体重心Ｇの配置位置は、例えば次のような根拠により求められる。
被写体ＳＢＪが１つの場合、最も単純で基本的な被写体ＳＢＪの位置は、画枠３００の中央に配置するというものになる。つまり、被写体重心Ｇを基準点Ｐに位置させるというものである。
しかし、このような被写体を画面の中央に位置させた構図は、一般に良くない構図の典型とされている。例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。
【００８９】
そこで、この場合には、先ず、画枠３００の垂直方向における被写体ＳＢＪの位置（被写体重心Ｇ）について、水平基準線Ｌｄ２に対して一定量だけ移動させるようにする。
このように、水平基準線Ｌｄ２を基準とした垂直方向における被写体重心Ｇについての移動量を、垂直オフセット量Δｙとして規定している。この垂直オフセット量Δｙ，及び後述する水平オフセット量Δｘは、例えば画素数により表すことができる。この場合、図１２の被写体重心ＧのＹ座標は、（−１２０＋Δｙ）として表される。
なお、ここでは、垂直オフセット量Δｙとして正の値を与えることとしており、これにより、図示するように被写体重心Ｇは、画枠３００において、水平基準線Ｌｄ２より上側の領域に位置するようにされている。
【００９０】
また、水平方向における被写体の位置は、被写体について検出された顔方向に基づくこととする。
図１１で説明したように、この場合の被写体ＳＢＪの顔方向は、右、正面、左の３段階のうち、正面であるとして検出されている。
ここでは、１つの被写体ＳＢＪの顔方向が正面であるとして検出されている場合には、水平方向については中央に位置させることとしている。つまり、被写体重心ＧのＸ座標については水平方向における中点、つまり垂直基準線Ｌｄ１（基準点Ｐ）と同じＸ座標（１６０）とするものである。
この場合、垂直基準線Ｌｄ１を基準にした水平方向における被写体重心Ｇの移動量として規定される、水平オフセット量Δｘは０として設定されていることになる。
図１２は、このような構図判定の規則、アルゴリズムに従って、被写体重心Ｇ（１６０，−１２０＋Δｙ）を設定したものである。
【００９１】
結局、このように図１１の状態から図１２の状態に構図を調整する処理は、パン・チルト動作により、被写体の顔の重心を、所定の目標範囲に入れるとともに、ズーム動作により適切な被写体のサイズとする処理である。そして、目標範囲は、被写体ＳＢＪのサイズ、数、顔の向き等に応じて設定される。
例えば上記図１２の場合、顔が正面であることから、図２３（ａ）のように目標範囲ＴＡが設定されており、この目標範囲ＴＡ内に被写体重心Ｇが含まれるようにする。
目標範囲ＴＡの設定に応じて、水平オフセット量Δｘ、垂直オフセット量Δｙが決められて、最終的に被写体重心Ｇが目標範囲ＴＡ内となるように構図合わせをする。
【００９２】
また、図１３（ａ）は、被写体ＳＢＪの顔方向が正面であるときの例であるが、顔の向きによっては、目標範囲ＴＡの設定が異なるようにする。
例えば検出された被写体の顔方向が左であるとする。なお、ここでの左の顔方向とは、画枠３００の画内容を実際に見たとした場合、これを見る者からは、画枠３００において、個別被写体ＳＢＪの顔が左側を向いているようにして見える状態をいう。ちなみに、この個別被写体ＳＢＪとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
この場合には、被写体重心Ｇの水平方向における位置については、垂直基準線Ｌｄ１により２分割される左右の画像領域（分割領域）のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせる。これにより、画枠３００においては、被写体ＳＢＪの顔が向いている方向である左側において空間が得られるようする。
【００９３】
つまり、図１３（ｂ）のように、垂直基準線Ｌｄ１により右側の画像領域に目標範囲ＴＡを設定する。そして、この目標範囲ＴＡ内に被写体重心Ｇが入るようにする。
このような構図とすることで、例えば、顔方向が左であるとされる被写体ＳＢＪの重心Ｇを、左右方向における画面中央に対応させた（一致させた）被写体位置とする場合や、垂直基準線Ｌｄ１に対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
また、検出された被写体の顔方向が右である場合には、左の場合とは逆に、被写体重心Ｇを垂直基準線Ｌｄ１により２分割される左右の画像領域（分割領域）のうち、左側の画像領域に在るようにさせる。
【００９４】
また、複数の被写体が検出された場合には、これらの検出された複数の被写体から成る画像領域をひとまとまりの総合的な被写体（総合被写体）としてみることとし、この総合被写体を対象として１つの被写体重心（総合被写体重心）ＧＧを求める。
例えば図１４（ａ）は二人の被写体ＳＢＪ１，ＳＢＪ２が検出された例を示している。被写体ＳＢＪ１，ＳＢＪ２のそれぞれの重心Ｇ１，Ｇ２の重心が、総合被写体重心ＧＧ１２となる。
目標範囲ＴＡは、被写体数、顔の向き、サイズから、図示の位置に設定されたとする。
この場合、破線矢印で示すように、総合被写体重心ＧＧ１２が目標範囲ＴＡ内に入るように、構図合わせが行われるものとなる。
その結果、図１４（ｂ）のような構図となる。
【００９５】
総合被写体重心Ｇをどのようにして設定するのかについては、いくつか考えることができる。図１４は、最も簡易な例として、検出された複数の個々の被写体のうちで、画枠３００内で最も左側と最も右側に位置する被写体の重心（Ｇ１，Ｇ２）を結ぶ線分上の中間点を総合被写体重心ＧＧ１２として設定したものである。
また、被写体が複数のときには、個別の被写体ごとに検出される顔方向が異なる場合がある。この場合には、複数の個別の被写体ごとに検出される顔方向の関係性に基づいて、総合被写体としての１つの顔方向を決定することとすればよい。複数の個別の被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、個別の被写体の全体数における所定割合以上を占めるときに、この同一となる顔方向を、総合被写体の顔方向として決定し、これを構図判定、目標範囲ＴＡの設定に使用する。
【００９６】
これまでの説明から理解されるように、被写体サイズ、数、向きによって被写体重心（又は総合被写体重心）を配置する目標範囲ＴＡが決められる。そして最適な構図か否かは、その目標範囲ＴＡに被写体重心（又は総合被写体重心）が入っているか否かで判定される。また、画枠３００内における被写体サイズが適切であるか否かでも判定される。
そして最適な構図ではないと判定された場合は、構図合わせの処理として、被写体重心（又は総合被写体重心）が目標範囲ＴＡに入るように被写体重心Ｇの位置が変更され、或いは被写体サイズが適切となるようにサイズ変更される。
被写体重心Ｇ（又は総合被写体重心ＧＧ）の位置の変更は、水平方向については雲台１０のパン機構に対するパン制御により行うことになる。また、垂直方向については雲台１０のチルト機構に対するチルト制御により行うことになる。
被写体サイズの変更は、デジタルスチルカメラ１の光学系部２１におけるズームレンズを移動する制御（ズーム制御）で行う。若しくは撮像画像データに対する画像切り出しなどの画像信号処理によって行うこともできる。
【００９７】
以上が基本的な構図処理となる。このような基本的な構図処理は、本実施の形態においては、本構図合わせの処理として実行される。
【００９８】
ところが上記の目標範囲ＴＡへの被写体重心Ｇを移動させる制御を行う場合において、その時点の撮像視野内では、最適な構図が得られたとしても、実際には、さらに適切な構図が存在する場合がある。
例えば、近くに複数人数いるにも関わらず、少数の人数で構図を合わせてしまい、最大の人数での構図にならない可能性などがある。
【００９９】
図１５に例を示す。
図１５において画枠３００Ａで示す撮像視野は、局所解としての最適構図である。即ち、近い位置に３人居るにもかかわらず、被写体検出処理で二人の被写体ＳＢＪ１，ＳＢＪ２が検出された場合、その二人の被写体ＳＢＪ１，ＳＢＪ２の総合被写体重心ＧＧ１２を、目標範囲ＴＡ（３００Ａ）に入るようにした場合である。
ところが、この場合、最良の解としての撮像視野は、画枠３００Ｂとして示す状態である。つまり、被写体ＳＢＪ１，ＳＢＪ２，ＳＢＪ３の３人を含んだ上で、その総合被写体重心ＧＧ１２３を、画枠３００Ｂにおける目標範囲ＴＡ（３００Ｂ）に入るようにした状態である。
【０１００】
仮に、被写体検出処理の過程で、下方からチルトアップしていくような探索を行い、二人の被写体ＳＢＪ１，ＳＢＪ２が先に検出されたとすると、その二人の被写体ＳＢＪ１，ＳＢＪ２のみで構図処理が行われ、局所解としての構図で静止画撮像が行われる。
【０１０１】
また、図１６（ａ）も同様に、構図が局所解としての画枠３００Ａと、最良の解としての画枠３００Ｂを示している。
仮に、被写体検出処理の過程で、左方から右方にパンニングしていくような探索を行い、二人の被写体ＳＢＪ１，ＳＢＪ３が先に検出されたとすると、その二人の被写体ＳＢＪ１，ＳＢＪ３のみで構図処理が行われ、局所解としての構図で静止画撮像が行われてしまう。
【０１０２】
自動静止画撮像モードでの撮像において、局所解としての構図で静止画撮像が行われたとしても、さほどの重大な支障とはならない。自動静止画撮像モードの撮像は、カメラマンを不要とするとともに、それによってユーザがカメラを意識しない自然な画像を得るという目的もあるからである。
ところが、より多数の人物を的確に撮像したいという点を考えれば、さらに適切な構図が想定され、撮像結果としては、局所解としての構図では、ユーザの要望に添わない場合も生じ得る。
例えばパーティ等で、数人の人々が談笑している光景などは、その中の一人のみを捉えた構図よりも、集まっている人たちを捉えた構図の方が適切と考えられる。
できるだけ多くの人数を撮像視野に入れようとした場合、一度、検出した被写体の周りを見渡す必要がある。
【０１０３】
そこで、実施の形態として、自動静止画撮像モードでの構図処理として、１以上の被写体が撮像視野内に検出された際に、さらに撮像視野を移動させて撮像要求に応じた他の被写体の存在を確認する処理を含むようにする。
具体的には、構図合わせの処理として、以下に述べる仮構図合わせと本構図合わせの２段階の処理を行うようにする。
【０１０４】
仮構図合わせとは、構図合わせで、本構図としての目標とする構図にパン・チルトする前に、その他の被写体がないか探す処理である。例えば意図的にパン・チルト量を、本構図の目標範囲ＴＡからオーバーして行い、他の被写体がないかを探す処理である。
実際の処理としては、仮構図合わせと本構図合わせで、目標範囲ＴＡを変更することにより行う。
【０１０５】
図１７で仮構図合わせを説明する。
図１７（ａ）では、３人の被写体ＳＢＪ１，ＳＢＪ２，ＳＢＪ３が存在する例を示している。ここで、被写体検出処理において、下方から上方にチルティングする過程で、二人の被写体ＳＢＪ１，ＳＢＪ２が検出されたとする。
ここで、構図処理に入るわけであるが、まず仮構図合わせを行う。
この場合、図示するように、目標範囲ＴＡを、画枠３００内で、先に述べた通常の構図合わせの場合より下方に設定する。
まず、被写体ＳＢＪ１，ＳＢＪ２が検出されているのであるから、構図合わせは、被写体ＳＢＪ１，ＳＢＪ２の総合被写体重心ＧＧ１２を、目標範囲ＴＡに入れるように、パン・チルト制御を行うこととなる。この例の場合は、総合被写体重心ＧＧ１２を目標範囲ＴＡに入れるべく、チルトアップしていく。
ところがこの場合、目標範囲ＴＡが通常より下方に設定されているため、通常の構図合わせの場合よりチルトアップ量が多くなり、より上方へチルトアップされる。
すると、その過程で、新たに被写体ＳＢＪ３が検出される。
【０１０６】
この場合、被写体ＳＢＪ１，ＳＢＪ２，ＳＢＪ３の検出に応じて、再度構図処理が行われる。この場合も、まず仮構図合わせを行う。今度は、被写体ＳＢＪ１，ＳＢＪ２，ＳＪＢ３の総合被写体重心ＧＧ１２３を、目標範囲ＴＡに入れるようにチルトアップする。
そして被写体ＳＢＪ３より上方には他の被写体は存在しない場合は、結局、図１７（ｂ）のように仮構図合わせが完了することとなる。
【０１０７】
仮構図合わせが完了したら、次に本構図合わせを行う。上述のように本構図合わせとは、通常の構図合わせのことである。
図１８（ａ）は仮構図合わせが完了した状態の画枠３００を示している。本構図合わせに際して、目標範囲ＴＡを、図示する通常の位置に設定する。つまりこの場合は仮構図合わせで用いた目標範囲ＴＡを画枠３００内で上方に再設定することとなる。
そして、総合被写体重心ＧＧ１２３が目標範囲ＴＡに入るようにパン・チルト制御を行う。この場合は、チルトダウン制御を行うこととなる。
すると図１８（ｂ）の状態となり、総合被写体重心ＧＧ１２３が目標範囲ＴＡに入ったことで、本構図合わせが完了する。
結局、この本構図合わせ完了時で、３人の被写体ＳＢＪ１，ＳＢＪ２，ＳＪＢ３を含む最適な構図が得られたことになる。
【０１０８】
例えば以上のように、仮構図合わせでは、目標範囲ＴＡを構図合わせの際の探索方向に応じて、通常とは異なる位置、具体的には撮像視野の変化方向に対して画枠３００内で手前となる位置に設定する。これによって、多少、最終的に合わせようとする構図よりも一旦オーバーさせる。これによって、探索方向の範囲に他の被写体が存在するか否かを確認する。
上記図１７，図１８の例では、仮構図合わせのときにチルトアップしていくとした例であるため、仮構図合わせのときの目標範囲ＴＡを、通常より下方とした。
仮構図合わせのときに右から左へパンニングする場合であって、本構図での目標範囲ＴＡが垂直基準線Ｌｄ１上となる場合を想定すれば、図１９（ａ）のように、仮構図合わせのときの目標範囲ＴＡを、垂直基準線Ｌｄ１より右側とする。これにより、より左側に被写体が存在するか否かを確認できる。
また仮構図合わせのときに左から右へパンニングする場合であって、本構図での目標範囲ＴＡが垂直基準線Ｌｄ１上となる場合を想定すれば、図１９（ｂ）のように、仮構図合わせのときの目標範囲ＴＡを、垂直基準線Ｌｄ１より左側とする。これにより、より右側に被写体が存在するか否かを確認できる。
【０１０９】
このように本構図合わせとは異なる目標範囲ＴＡを設定して仮構図合わせを行う。仮構図合わせの処理の際の目標範囲ＴＡは、本構図合わせの際の撮像視野の変動幅よりも、撮像視野の変動幅が大きくなるように設定されるといえる。
そして、その仮構図合わせの後、本構図合わせを行う。
このようにすることで、被写体のもれのない静止画撮像が可能となる。つまり最大数の被写体を対象として静止画撮像することが可能となる。
なお、仮構図合わせでのパンニング・チルティングの過程において、検出されている或る被写体の顔が画枠の端領域にかかった場合は、それ以上パン・チルト制御をしないという処理も可能である。
また本構図合わせの際に顔の向きのよって重心が変わるとしても、仮構図合わせの際には、顔の向きは無視するということも考えられる。
また被写体の代表的な例に人の顔があるが、図１６（ｂ）の被写体ＳＪＢ４のように人の顔以外の注目領域が抽出できた場合、これを組み合わせて構図合わせが行われるようにすることも考えられる。
【０１１０】
図２０、図２１で、仮構図合わせを含む構図処理を説明する。
図２０は、図１０のステップＦ２，Ｆ３として行われる被写体検出処理、構図処理を示している。
【０１１１】
まず図１０で述べた、ステップＦ２の被写体検出処理として、図２０のステップＦ２０１で、制御部２７（撮像準備処理部８２）は、被写体が検出されたか否かを確認する。
被写体が検出されていなければ、制御部２７（撮像準備処理部８２）はステップＦ２０２で探索処理を実行する。そしてステップＦ２０１で被写体の検出有無を確認する。
このステップＦ２０１，Ｆ２０２の処理は、具体的には上述したとおり、制御部２７（撮像準備処理部８２、撮像視野可変制御部８３）が、雲台１０に対するパン・チルト制御や光学系部２１に対するズーム制御を行うことによって、撮像視野を変化させながら、信号処理部２４（又は制御部２７）での画像解析による被写体検出が為されたか否かを確認する処理となる。
【０１１２】
被写体が検出されたら、制御部２７（撮像準備処理部８２）は、図１０のステップＦ３の構図処理として、図２０のステップＦ２１０〜Ｆ２１３を行う。
まず制御部２７（撮像準備処理部８２）は、仮構図の処理を行う。
即ちステップＦ２１０で、仮構図として最適な構図状態であるか否かの確認と、ステップＦ２１１での仮構図合わせの処理を行う。これは例えば図１７、図１９で説明した処理である。
即ち、被写体検出結果に基づく画構造の判定（画枠内における被写体数、被写体サイズ、顔の向きなどの判定）を行った上で、仮構図としての目標範囲ＴＡを定める。そして仮構図として最適となっているか否かを判定し、最適な構図でなければ、仮構図合わせとして、パン・チルト・ズームの各制御によって撮像視野を可変する。
【０１１３】
なお、仮構図合わせとして、パン・チルト、ズーム制御を行った場合も、ステップＦ２０１に戻って被写体検出からやり直す。撮像視野の変動やユーザの動きで被写体が存在しなくなることもあるからである。
さらに、上述のように仮構図合わせは、撮像視野を通常の構図合わせよりも大きく振ることとなるため、新たな被写体が検出されることもあるからである。その場合は、再び新たな被写体を含めた被写体重心Ｇ（又は総合被写体重心ＧＧ）に基づき、仮構図合わせを行う。
【０１１４】
図２１（ｂ）にステップＦ２１１の仮構図合わせの手順の一例を示した。
制御部２７は、ステップＦ３１０で、仮構図を得るための目標範囲ＴＡを設定する。例えば図１７、図１９で説明したように、探索方向に応じて本来の目標範囲ＴＡとは異なる目標範囲ＴＡを設定する。
【０１１５】
次に制御部２７は、ステップＦ３１１で、設定した目標範囲ＴＡに応じて水平オフセット量Δｘを判定する。
次に、ステップＦ３１２で制御部２７は、判定された水平オフセット量Δｘに応じたＸ座標上に被写体重心Ｇ（又は総合被写体重心ＧＧ）が位置するようにパン制御を実行する。
【０１１６】
続いて制御部２７は、ステップＦ３１３で目標範囲ＴＡに対する垂直オフセット量Δｙを判定する。そしてステップＦ３１４で、判定された垂直オフセット量Δｙに応じたＹ座標上に被写体重心Ｇ（又は総合被写体重心ＧＧ）が位置するようにチルト制御を実行する。
【０１１７】
次に制御部２７はステップＦ３１５で、ズーム倍率Ｚを判定する。
上述のように、画枠３００における被写体ＳＢＪのサイズ変更は、ズーム制御によって画角を変更することによって行う。ここでいうズーム倍率は、被写体検出処理によって被写体が検出されたときの被写体サイズから、最適構図に対応して判定される被写体サイズを得るために必要な画角の倍率をいう。
このために制御部２７は、先ず、検出された被写体の条件に応じて、所定の規則に従って、最適構図として必要される目標被写体サイズ（ズーム制御目標値）を判定する。
そして、上記のようにして求めた目標被写体サイズｓｉｚｅ＿ｔｒｇと、被写体検出処理時に得られた被写体サイズｓｉｚｅ＿ｏｒｇ（顔枠ＦＲの垂直方向（又は水平方向）の一辺のサイズ（画素数））との比を求めて、これをズーム倍率Ｚとする。つまり、
Ｚ＝ｓｉｚｅ＿ｔｒｇ／ｓｉｚｅ＿ｏｒｇ
により、ズーム倍率Ｚを算出する。
そして制御部２７はステップＦ３１６で、ズーム倍率Ｚによるズーム制御を実行する。
【０１１８】
この図２１（ｂ）の仮構図合わせの手順はあくまで一例である、例えば先にズーム制御を行ってからパン・チルト制御を行ってもよい。また水平オフセット量Δｘ、垂直オフセット量Δｙは、ズーム倍率による被写体のサイズ変更を考慮して算出することもできる。
【０１１９】
このような仮構図合わせを行い、図２０のステップＦ２１０で仮構図がＯＫと成ったら、つまり仮構図用の目標範囲ＴＡ内に被写体重心Ｇ（又は総合被写体重心ＧＧ）が位置入ったら、続いてステップＦ２１２，Ｆ２１３の本構図の処理を行う。即ち通常の構図処理である。
このステップＦ２１２，Ｆ２１３の本構図の処理は、上述した通常の構図処理であり、例えば図１１〜図１４で説明した処理である。
即ちステップＦ２１２で、被写体検出結果に基づく画構造の判定（画枠内における被写体数、被写体サイズ、顔の向きなどの判定）を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図であるか否かを判定する。
そして最適な構図でなければ、ステップＦ２１３で本構図合わせとして、パン・チルト・ズームの各制御によって撮像視野を可変する。
なお、先に図１０の説明で述べたように、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップＦ３からステップＦ２の被写体検出処理からやり直す。図２０で言えば、ステップＦ２１３で構図合わせを行った場合、ステップＦ２０１からやり直す。
【０１２０】
このステップＦ２１３の本構図合わせは、例えば図２１（ａ）のような処理となる。
制御部２７は、ステップＦ３００で、最適な構図を得るための目標範囲ＴＡを設定する。例えば図１３のように目標範囲ＴＡを設定する。
以降のステップＦ３０１〜Ｆ３０６は、上述の仮構図合わせとしての図２１（ｂ）のステップＦ３１１〜Ｆ３１６と同様である。
この図２１（ａ）の本構図合わせの手順も、あくまで一例である、例えば先にズーム制御を行ってからパン・チルト制御を行ってもよい。また水平オフセット量Δｘ、垂直オフセット量Δｙは、ズーム倍率による被写体のサイズ変更を考慮して算出することもできる。
【０１２１】
ステップＦ２１２で本構図がＯＫとなったら、構図処理を終え、図１０のステップＦ４に進むこととなる。
【０１２２】
以上のように、構図処理が仮構図合わせと本構図合わせの２段階で行われる。
これにより、自動静止画撮像モードでの静止画撮像として、画角範囲内で最大人数を被写体とした画像を自動的に撮像できる。
なお、仮構図合わせの手法として、目標範囲ＴＡを、探索方向でみての手前側に設定する例を述べたが、具体的な手法は他にも考えられる。
例えば被写体が検出されたときに、その被写体で仮に構図合わせをし、次にその被写体を中心として、周囲を探索することで他の被写体の有無を確認するということも考えられる。或いは被写体が検出されたときに、単純にその周囲を探索するという例も考えられる。
【０１２３】
＜４．機能構成の変形例＞
以上、実施の形態の処理例を説明してきたが、上記処理は図９の機能構成に基づいた制御処理として述べてきた。
例えばデジタルスチルカメラ１と雲台１０から成る撮像システムでは、図９以外にも機能構成例が考えられる。以下、例を挙げる。
【０１２４】
図２２は、デジタルスチルカメラ１側は撮像記録制御部８１と通信処理部８５のみを有する例である。そして雲台１０側（制御部５１）に、通信処理部７１、撮像準備処理部７４、撮像視野可変制御部７５を設ける。
【０１２５】
各機能部が実行する制御処理は、基本的には図９で説明したものと同様であるが、次の点が異なる。
撮像準備処理部７４は、被写体検出処理や構図処理を行うために、各フレーム画像としての撮像画像データを、デジタルスチルカメラ１の信号処理部２４から供給を受けるようにする。即ち通信処理部８５，７１の通信で、撮像画像データをデジタルスチルカメラ１から雲台１０側に供給する。そして撮像準備処理部７４は、供給された撮像画像データについて画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
撮像視野可変制御部７５は、撮像準備処理部７４からの指示に応じて、パン用駆動部５５、チルト用駆動部５８を制御して、被写体検出や構図合わせのためのパン・チルト動作を実行させる。
また、ズーム制御のために、撮像準備処理部７４は、ズーム制御信号を通信処理部７１を介してデジタルスチルカメラ１側の制御部２７（撮像記録制御部８１）に出力する。撮像記録制御部８１は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
また、構図処理が完了した時点で、撮像準備処理部７４は、レリーズ制御信号を通信処理部７１を介してデジタルスチルカメラ１側の制御部２７（撮像記録制御部８１）に出力する。撮像記録制御部８１は、レリーズ制御信号に応じて、図１０のステップＦ４，Ｆ５の処理を行えばよい。
【０１２６】
つまりこの図２２の機能構成の場合、図１０のステップＦ２，Ｆ３は雲台１０の制御部５１で行い、ステップＦ１，Ｆ４，Ｆ５はデジタルスチルカメラ１の制御部２７で行うこととなる。
【０１２７】
この図２２の変形例として、これは図８で言及したように、雲台１０側に撮像部６３が設けられる場合に対応する例が考えられる。
その場合、図２２の撮像準備処理部７４は、デジタルスチルカメラ１側からではなく、撮像部６３から、フレーム画像データを入力する。そして画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
【０１２８】
以上、制御機能の構成例を例示したが、当然、さらに多様な制御機能構成が考えられる。
そしてこれらから理解されるように、本発明の撮像制御装置は、デジタルスチルカメラ１としての制御機能構成としても実現できるし、雲台１０の制御機能構成としても実現できる。さらにデジタルスチルカメラ１と雲台１０による撮像システムの制御機能構成としても実現できる。換言すれば、デジタルスチルカメラ１、雲台１０のそれぞれ、又はそれらのセットの撮像システムは、本発明の撮像制御装置、又は撮像制御方法の実施製品となり得る。
なお、図９、図２２では、各制御機能部位をブロック化して示しているが、これらがそれぞれ独立したプログラムモジュール、或いはハードウエアとして構成される必要はない。事実上、これらの制御機能部の総合的な処理として、実施の形態で述べた処理動作が実現されるものであればよい。
【０１２９】
＜５．他の実施の形態＞
ここまで、実施の形態として本発明をデジタルスチルカメラ１と雲台１０から成る撮像システムに適用した例を述べてきたが、本発明はさらに多様な実施の形態が考えられる。
ここでは本発明としてのより一般的な構成例としての画像処理装置５００の実施の形態を述べる。
【０１３０】
図２３に画像処理装置５００の機能構成例を示す。画像処理装置５００は、ＣＰＵ、ＤＳＰ等の演算処理により実現される。
そして機能構成として、画枠可変制御部５０１と、構図処理部５０２を備える。この画像処理装置５００は、入力された画像データについて構図処理を行うものである。上述した撮像システムの実施の形態では、撮像画像データを対象として構図処理を行うものとしたが、ここでは、撮像画像データに限らず、入力された各種の画像データを対象とする。
例えば記録媒体から再生されて入力された画像データ、通信により有線又は無線の伝送を介して受信された画像データ等である。
【０１３１】
画枠可変制御部５０１は、入力された画像データについて画枠の可変設定を行う。例えば画像データ内でトリミング（切り出し）を行う範囲としての画枠を設定する。上述の撮像システムの例では、画枠の可変設定を、パン・チルト・ズームによる撮像視野の変更として実行したが、この場合は、入力された画像データの全画素範囲のうちで、出力する画素範囲の設定を変更するという処理で実行すればよい。
構図処理部５０２は、画枠可変制御部５０１による画枠範囲の設定変更を行わせながら、目的の画像の検出及び構図処理を行う。特に構図処理としては、上述した仮構図合わせと本構図合わせの２段階の処理を行う。
そして、構図処理で決定された入力画像データの一部分を、処理後の画像データとして出力する。
【０１３２】
図２４に処理例を示す。
画像処理装置５００は、ステップＦ５００で画像データを入力する。
構図処理部５０２は、ステップＦ５０１で、例えば入力された画像データのうちの所定の画素範囲で、目的の画像被写体が検出されたか否かを確認する。
目的の画像が検出されていなければ、構図処理部５０２はステップＦ５０２で探索処理を実行する。そしてステップＦ５０１で目的の画像の検出有無を確認する。
このステップＦ５０１，Ｆ５０２の処理は、画枠可変制御部５０１が、対象とする画素範囲を可変しながら、構図処理部５０２が目的の画像の検出有無を確認する処理となる。
【０１３３】
目的の画像が検出されたら、構図処理部５０２は、まず仮構図の処理を行う。
即ちステップＦ５１０で、仮構図として最適な構図状態であるか否かの確認と、ステップＦ５１１での仮構図合わせの処理を行う。これは、撮像視野の可変設定が、画枠としての画素範囲の可変設定とされることが異なることとして考えた上で、図１７、図１９で説明した処理と同様と考えればよい。
【０１３４】
仮構図合わせを行い、ステップＦ５１０で仮構図がＯＫとなったら、続いてステップＦ５１２，Ｆ５１３の本構図の処理を行う。即ち通常の構図処理である。
このステップＦ５１２，Ｆ５１３の本構図の処理は、図１１〜図１４で説明した処理と同様に考えればよい。
そしてステップＦ２１２で本構図がＯＫとなったら、構図処理を終え、ステップＦ５１４に進む。ステップＦ５１４では、画像処理装置５００は、本構図として設定された画素範囲で画像データを切り出し、これを出力画像データとして出力する。
【０１３５】
このような画像処理装置５００では、一例として、人物の顔画像を目的の画像として、元の入力画像データの一部をトリミングする処理が可能となる。
これにより入力画像データから、任意の画素範囲を切り出して出力画像データとする処理において、例えば最大人数を含む画像データを自動的に生成し出力できる。
【０１３６】
なお、このような画像処理装置５００は、上述した撮像システムの実施の形態における構図処理を、一般的な画像データ処理に適用するものである。
そしてその画像処理（構図処理）としては、トリミングとしての画像処理だけでなく、画像データ内で画素範囲設定に広く応用できる。例えば入力画像データのうちで画像エフェクトを施す一部の画素範囲の設定、マスキングを行う画素範囲の設定などにも応用できる。
【０１３７】
＜６．プログラム＞
本実施の形態のプログラムは、上述した実施の形態の処理動作をＣＰＵ等の演算処理装置に実行させるプログラムである。特に制御部２７，５１によって起動されることで図１０、図２０、図２１、図２４等で説明した構図処理を実現させるプログラムである。
【０１３８】
本実施の形態のプログラムは、パーソナルコンピュータや、デジタルスチルカメラ１や雲台１０等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１３９】
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【０１４０】
そして本発明のプログラムによれば、上記各実施の形態の処理を実現する撮像装置、撮像システムの実現及び広範な提供に適している。
【符号の説明】
【０１４１】
１ デジタルスチルカメラ、２ 本体部、２１ａ レンズ部、３１ａ レリーズボタン、１０ 雲台、１１ 本体部、１２ カメラ台座部、１３ 突起部、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、３５ 音声入力部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、５９ 接続検出部、６２ 音声入力部、６３ 撮像部、８１ 撮像記録制御部、８２，７４ 撮像準備処理部、８３，７５ 撮像視野可変制御部、７２ パン・チルト制御部、５００ 画像処理装置、５０１ 画枠可変制御部、５０２ 構図処理部
【特許請求の範囲】
【請求項１】
画像データの画枠範囲を可変設定する画枠可変制御部と、
上記画枠可変制御部により、画枠範囲を可変設定させながら、画枠内に目的画像が入っているか否かを検出するとともに、１以上の目的画像が検出されたときに、検出された目的画像の周囲の他の目的画像の確認を伴う構図決定処理を行う構図処理部と、
を備えた画像処理装置。
【請求項２】
上記画像データは、被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置における撮像画像データであり、
上記目的画像は、目的の被写体の画像であり、
上記画枠可変制御部として、上記撮像装置における撮像視野の可変機構を駆動制御する撮像視野可変制御部が設けられ、
また上記構図処理部として、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、上記撮像装置の撮像画像データから上記撮像視野内に目的の被写体が入っているか否かを検出するとともに、１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行う撮像準備処理部が設けられた請求項１に記載の画像処理装置。
【請求項３】
上記構図決定処理は、
１以上の目的の被写体が検出されたときに、検出された被写体について周囲の他の被写体の確認ができるように撮像視野を変化させながら構図合わせを行う仮構図合わせの処理と、
仮構図合わせ完了後に構図を最適化するために撮像視野を変化させる本構図合わせの処理とによって行われる請求項２に記載の画像処理装置。
【請求項４】
構図合わせの処理は、検出された１又は複数の被写体についての重心を、画枠内で設定した目標範囲内となるように、上記可変機構を駆動制御する処理として行うと共に、
上記仮構図合わせの処理と、上記本構図合わせの処理とでは、上記目標範囲の設定が異なる請求項３に記載の画像処理装置。
【請求項５】
上記仮構図合わせの処理の際の上記目標範囲は、上記本構図合わせの際の撮像視野の変動幅よりも、撮像視野の変動幅が大きくなるように設定される請求項４に記載の画像処理装置。
【請求項６】
上記撮像視野可変制御部は、上記可変機構として、パン機構、チルト機構、又はズーム機構の駆動制御を行う請求項２に記載の画像処理装置。
【請求項７】
上記構図決定処理は、ユーザのレリーズ操作によらない自動的な静止画撮像動作が行われるときの処理として実行する請求項２に記載の画像処理装置。
【請求項８】
画像データに対する画像処理方法として、
画像データの画枠範囲を可変設定するステップと、
画枠範囲を可変設定させながら、画枠内に目的画像が入っているか否かを検出するステップと、
１以上の目的画像が検出されたときに、検出された目的画像の周囲の他の目的画像の確認を伴う構図決定処理を行うステップと、
を備えた画像処理方法。
【請求項９】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、
上記静止画撮像部の撮像視野の可変機構と、
を有する撮像装置又は撮像システムについての画像処理方法として、
上記可変機構を駆動制御しながら、上記撮像装置の撮像画像データから上記撮像視野内に目的の被写体が入っているか否かを検出するステップと、
１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行うステップと、
を備えた画像処理方法。
【請求項１０】
画像データに対する処理を行う画像処理装置についての制御処理プログラムであって、
画像データの画枠範囲を可変設定するステップと、
画枠範囲を可変設定させながら、画枠内に目的画像が入っているか否かを検出するステップと、
１以上の目的画像が検出されたときに、検出された目的画像の周囲の他の目的画像の確認を伴う構図決定処理を行うステップと、
を演算処理装置に実行させるプログラム。
【請求項１１】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、
上記静止画撮像部の撮像視野の可変機構と、
を有する撮像装置又は撮像システムについての制御処理プログラムであって、
上記可変機構を駆動制御しながら、上記撮像装置の撮像画像データから上記撮像視野内に目的の被写体が入っているか否かを検出するステップと、
１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行うステップと、
を演算処理装置に実行させるプログラム。
【請求項１】
画像データの画枠範囲を可変設定する画枠可変制御部と、
上記画枠可変制御部により、画枠範囲を可変設定させながら、画枠内に目的画像が入っているか否かを検出するとともに、１以上の目的画像が検出されたときに、検出された目的画像の周囲の他の目的画像の確認を伴う構図決定処理を行う構図処理部と、
を備えた画像処理装置。
【請求項２】
上記画像データは、被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置における撮像画像データであり、
上記目的画像は、目的の被写体の画像であり、
上記画枠可変制御部として、上記撮像装置における撮像視野の可変機構を駆動制御する撮像視野可変制御部が設けられ、
また上記構図処理部として、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、上記撮像装置の撮像画像データから上記撮像視野内に目的の被写体が入っているか否かを検出するとともに、１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行う撮像準備処理部が設けられた請求項１に記載の画像処理装置。
【請求項３】
上記構図決定処理は、
１以上の目的の被写体が検出されたときに、検出された被写体について周囲の他の被写体の確認ができるように撮像視野を変化させながら構図合わせを行う仮構図合わせの処理と、
仮構図合わせ完了後に構図を最適化するために撮像視野を変化させる本構図合わせの処理とによって行われる請求項２に記載の画像処理装置。
【請求項４】
構図合わせの処理は、検出された１又は複数の被写体についての重心を、画枠内で設定した目標範囲内となるように、上記可変機構を駆動制御する処理として行うと共に、
上記仮構図合わせの処理と、上記本構図合わせの処理とでは、上記目標範囲の設定が異なる請求項３に記載の画像処理装置。
【請求項５】
上記仮構図合わせの処理の際の上記目標範囲は、上記本構図合わせの際の撮像視野の変動幅よりも、撮像視野の変動幅が大きくなるように設定される請求項４に記載の画像処理装置。
【請求項６】
上記撮像視野可変制御部は、上記可変機構として、パン機構、チルト機構、又はズーム機構の駆動制御を行う請求項２に記載の画像処理装置。
【請求項７】
上記構図決定処理は、ユーザのレリーズ操作によらない自動的な静止画撮像動作が行われるときの処理として実行する請求項２に記載の画像処理装置。
【請求項８】
画像データに対する画像処理方法として、
画像データの画枠範囲を可変設定するステップと、
画枠範囲を可変設定させながら、画枠内に目的画像が入っているか否かを検出するステップと、
１以上の目的画像が検出されたときに、検出された目的画像の周囲の他の目的画像の確認を伴う構図決定処理を行うステップと、
を備えた画像処理方法。
【請求項９】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、
上記静止画撮像部の撮像視野の可変機構と、
を有する撮像装置又は撮像システムについての画像処理方法として、
上記可変機構を駆動制御しながら、上記撮像装置の撮像画像データから上記撮像視野内に目的の被写体が入っているか否かを検出するステップと、
１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行うステップと、
を備えた画像処理方法。
【請求項１０】
画像データに対する処理を行う画像処理装置についての制御処理プログラムであって、
画像データの画枠範囲を可変設定するステップと、
画枠範囲を可変設定させながら、画枠内に目的画像が入っているか否かを検出するステップと、
１以上の目的画像が検出されたときに、検出された目的画像の周囲の他の目的画像の確認を伴う構図決定処理を行うステップと、
を演算処理装置に実行させるプログラム。
【請求項１１】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、
上記静止画撮像部の撮像視野の可変機構と、
を有する撮像装置又は撮像システムについての制御処理プログラムであって、
上記可変機構を駆動制御しながら、上記撮像装置の撮像画像データから上記撮像視野内に目的の被写体が入っているか否かを検出するステップと、
１以上の目的の被写体が検出されたときに、検出された被写体の周囲の他の被写体の確認を伴う構図決定処理を行うステップと、
を演算処理装置に実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１１−１３９２３１（Ｐ２０１１−１３９２３１Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９７１７２（Ｐ２００９−２９７１７２）
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]