構図判定装置、構図判定方法、プログラム
【課題】画像撮影に関して、これまでよりも高度な構図制御が行えるようにする。
【解決手段】撮像画像から先ず人としての被写体を検出し、検出された被写体が複数である場合、この複数の被写体が向いている方向の関係性によって最適構図が得られるようにする。例えば、画面内の原点座標Ｐを通過する垂直線を基準線にして、検出された複数の被写体が向いているものとして判定した方向とは反対となる方向の画面領域に総合被写体重心が位置する構図を最適なものとして判定する。そして、判定された構図が得られるように、カメラのズーム制御、雲台のパン・チルト制御を適宜行う。
【解決手段】撮像画像から先ず人としての被写体を検出し、検出された被写体が複数である場合、この複数の被写体が向いている方向の関係性によって最適構図が得られるようにする。例えば、画面内の原点座標Ｐを通過する垂直線を基準線にして、検出された複数の被写体が向いているものとして判定した方向とは反対となる方向の画面領域に総合被写体重心が位置する構図を最適なものとして判定する。そして、判定された構図が得られるように、カメラのズーム制御、雲台のパン・チルト制御を適宜行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば静止画としての画像データを対象として、その画内容が有する構図に関する処理を行うようにされた装置である、構図判定装置とその方法に関する。また、このような装置が実行するプログラムに関する。
【背景技術】
【０００２】
例えば、良い印象を与えることのできる写真を撮影するためのテクニック的な一要素として、構図設定が挙げられる。ここでいう構図は、フレーミングともいわれるもので、例えば写真としての画面内における被写体の配置をいう。
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術構成が求められることになる。
【０００３】
例えば特許文献１には、自動追尾装置として、一定時間間隔の画像間の差を検出して、画像間の差の重心を算出し、この重心の移動量、移動方向から被写体画像の撮像画面に対する移動量、移動方向を検出して撮像装置を制御し、被写体画像を撮像画面の基準領域内に設定する技術構成が開示されている。
また、特許文献２には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物上の上側から２０％の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となっている。
【０００４】
【特許文献１】特開昭５９−２０８９８３号公報
【特許文献２】特開２００１−２６８４２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
例えば被写体に関する所定の状況、状態などに対応しては、最適構図も異なってくることがあると考えられる。しかし、上記特許文献による技術では、追尾した被写体をある固定的な構図で配置させることしかできない。従って、被写体の状況などに対応して構図を変更して撮影するようなことはできないことになる。
そこで、本願発明では、例えば写真などとしての画像について良好な構図が手軽に得られるようにするための技術を提案することを目指すこととしたうえで、その際において、被写体の状況・状態の変化にも適応してより高度で柔軟性のある構図の決定が行われるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
そこで本発明は上記した課題を考慮して、構図判定装置として次のように構成する。
つまり、画像データに基づく画像中における特定の被写体を検出する被写体検出手段と、この被写体検出手段により検出される被写体である検出被写体ごとに、検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手段と、被写体方向情報に基づいて構図を判定する構図判定手段とを備え、構図判定手段は、上記被写体検出手段によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて構図を判定するように構成することとした。
【０００７】
上記構成では、画像データの画面において検出される被写体である検出被写体について、その所定部位が向いているとされる方向を検出し、この検出した方向を示す被写体方向情報を得ることが可能とされている。
そのうえで、検出被写体が複数である場合には、これら複数の検出被写体ごとに対応する複数の被写体方向情報が示す方向の関係に基づいて構図判定を行う。
例えば、被写体が向いているとされる方向により、最適とされる構図は異なってくるとの考え方をとることができるが、本願発明によれば、複数の被写体が存在する場合の、これら被写体の向いている方向の関係性に応じて最適構図が得られることとなる。
【発明の効果】
【０００８】
被写体が複数である場合には、被写体ごとの向いている方向について何らかの関係性が生じてくることになるが、本願発明によっては、このような複数の被写体方向の関係性という、相応に複雑な条件に対応して構図が決定される。つまり、これまでよりも高度で柔軟性のある構図決定を自動的に行うことが可能となるものである。これにより、本願発明を適用した装置を利用するユーザは、面倒な手間を掛けることなく、最適構図の画像を得ることが可能になるものであり、例えばこれまでよりも高い利便性を提供できることになる。
【発明を実施するための最良の形態】
【０００９】
以下、本願発明を実施するための最良の形態（以下、実施の形態という）について説明を行う。本実施の形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。
【００１０】
図１は、本実施の形態としての撮像システムの外観構成例を、正面図により示している。
この図に示されるように、本実施の形態の撮像システムは、デジタルスチルカメラ１と雲台１０とから成る。
デジタルスチルカメラ１は、本体正面側のパネルに設けられているレンズ部３によって撮像して得られる撮像光に基づいて静止画像データを生成し、これを内部に装填されている記憶媒体に記憶させることが可能とされている。つまり、写真として撮影した画像を、静止画像データとして記憶媒体に記憶保存させる機能を有する。このような写真撮影を手動で行うときには、ユーザは、本体上面部に設けられているシャッター（レリーズ）ボタンを押し操作する。
【００１１】
雲台１０には、上記デジタルスチルカメラ１を固定するようにして取り付けることができる。つまり、雲台１０とデジタルスチルカメラ１は、相互の取り付けを可能とするための機構部位を備えている。
【００１２】
そして、雲台１０においては、取り付けられたデジタルスチルカメラ１を、パン方向（水平方向）とチルト方向との両方向により動かすためのパン・チルト機構を備える。
雲台１０のパン・チルト機構により与えられるデジタルスチルカメラ１のパン方向、チルト方向それぞれの動き方は例えば図２（ａ）（ｂ）に示されるものとなる。図２（ａ）（ｂ）は、雲台１０に取り付けられているとされるデジタルスチルカメラ１を抜き出して、それぞれ、平面方向、側面方向より見たものである。
先ずパン方向については、デジタルスチルカメラ１の本体横方向と図２（ａ）に示される直線Ｘ１とが同じ向きとなる位置状態を基準にして、例えば回転軸Ｃｔ１を回転中心として回転方向＋αに沿った回転が行われることで、右方向へのパンニングの動きが与えられる。また、回転方向−αに沿った回転が行われることで、左方向へのパンニングの動きが与えられる。
また、チルト方向については、デジタルスチルカメラ１の本体縦方向が垂直方向の直線Ｙ１と一致する一状態を基準にして、例えば回転軸Ｃｔ２を回転中心として回転方向＋βへの回転が行われることで、下方向へのパンニングの動きが与えられる。また、回転方向−βへの回転が行われることで、上方向へのパンニングの動きが与えられる。
なお、図２（ａ）（ｂ）に示される、±α方向、及び±β方向のそれぞれにおける最大可動回転角度については言及していないが、被写体の捕捉の機会をできるだけ多くするべきことを考慮するのであれば、できるだけ最大可動回転角度を大きく取ることが好ましいことになる。
【００１３】
図３のブロック図は、本実施の形態のデジタルスチルカメラ１の内部構成例を示している。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【００１４】
イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力するようにされる。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【００１５】
上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。
【００１６】
上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体（記憶媒体装置）であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力するようにされる。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画像データの形式に変換する。そして、このようにして生成した撮像画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる撮像画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
【００１７】
また、本実施の形態としての信号処理部２４は、先の説明のようにして取得される撮像画像データを利用して、被写体検出としての画像処理を実行することも可能とされている。本実施の形態における被写体検出処理がどのようなものであるのかについては後述する。
【００１８】
また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。これにより、スルー画の表示が行われる。
【００１９】
表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、モニタ画像が表示される。なお、先の図１で説明した表示画面部５が、ここでの表示部３３の画面部分に相当する。
【００２０】
また、デジタルスチルカメラ１は、メモリカード４０に記録されている撮像画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が撮像画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された撮像画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。
【００２１】
エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。
【００２２】
また表示部３３に対しては、上記のモニタ画像や撮像画像データの再生画像などとともに、ユーザインターフェイス画像も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェイス画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェイス画像が表示されることになる。なお、このユーザインターフェイス画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【００２３】
制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。
【００２４】
操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
【００２５】
雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。
【００２６】
図４は、雲台１０の構成例をブロック図により示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２（ａ）に示したパン（横）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２（ｂ）に示したチルト（縦）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。
【００２７】
制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部５３、チルト機構部５６の動きをコントロールする。例えば制御部５１がパン機構部５３の動きを制御するときには、パン機構部５３に必要な移動量と移動方向に対応した制御信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される制御信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号によりパン用モータ５４が、例えば所要の回転方向及び回転角度で回転し、この結果、パン機構部５３も、これに対応した移動量と移動方向により動くようにして駆動される。
同様にして、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動量と移動方向に対応した制御信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される制御信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転角度で回転し、この結果、チルト機構部５６も、これに対応した移動量と移動方向により動くようにして駆動される。
【００２８】
通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部３４と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。
【００２９】
上記した構成のデジタルスチルカメラ１と雲台１０から成る撮像システムでは、例えば、人を主体的な被写体（以降は単に被写体という）として扱うこととしたうえで、この被写体を探索するとともに、被写体の存在が検出されたのであれば、この被写体が写っている画像として最適とされる構図（最適構図）が得られるように（フレーミングが行われるように）して雲台１０のパン・チルト機構を駆動する。そして、最適構図が得られたタイミングで、そのときの撮像画像データを記憶媒体（メモリカード４０）に記録することが行われる。
つまり、本実施の形態の撮像システムでは、デジタルスチルカメラによる写真撮影を行うのにあたり、探索された被写体について最適構図を決定（判定）して撮影記録を行うという動作が自動的に実行される。これにより、ユーザ自身が構図を判断して撮影を行わなくとも、相応に良質な写真の画像を得ることが可能になる。また、このようなシステムでは、誰かがカメラを持って撮影する必要が無くなるので、その撮影が行われる場所に居る全員が被写体となることができる。また、被写体となるユーザが、カメラの視野角範囲に入ろうと特に意識しなくとも、被写体が収まった写真が得られることになる。つまり、その撮影場所に居る人の自然な様子を撮影する機会が増えるものであり、これまでにはあまりなかった雰囲気の写真を多く得ることができる。
また、被写体が向いているとされる方向により、最適とされる構図は異なってくるとの考え方をとることができるが、本実施の形態によれば、複数の被写体が存在する場合の、これら被写体の向いている方向の関係性に応じて、異なる最適構図が決定されるようにして構成される。これにより、本実施の形態に対応する構成の装置を利用するユーザは、面倒な手間を掛けることなく、最適構図の画像を得ることが可能になる
【００３０】
以降においては、本実施の形態における構図制御に関する説明を行っていく。
図５は、デジタルスチルカメラ１側が備える、本実施の形態の構図制御に対応した機能部位についての構成例を示している。
この図において被写体検出処理ブロック６１は、イメージセンサ２２にて得られる撮像信号に基づいて信号処理部２４にて得られる撮像画像データを利用して、被写体の探索制御を含む、被写体検出処理を実行する部位とされる。ここでの被写体検出処理は、先ず撮像画像データの画面の画内容から、人としての被写体を弁別して検出する処理をいうものであり、ここでの検出結果として得られる情報（検出情報）は、人としての被写体の数と、個々の被写体（個別被写体）ごとについての画面内での位置情報、及び個別被写体ごとについての画像内におけるサイズ（占有面積）などとなる。また、本実施の形態においては、検出情報として、個別被写体ごとの顔方向（被写体方向情報）も得る。ここでの顔方向とは、撮像画像データの画面内において、人としての個別被写体が向いているとされる方向を、顔が向いている方向により示したものとされる。
なお、説明を簡単で分かりやすいものとするために、顔方向については、左、右の２段階による検出結果を得るようにされていることを、以降の説明における前提とする。例えば被写体がほぼ正面を向いていると見ることができる場合であっても、この場合には、所定のアルゴリズムに従って、左か右のいずれかの検出結果となるように振り分けられる。
また、構図判定のアルゴリズムなどの構成によっては、被写体の数及び被写体方向情報のみが検出情報として得られるようにされれば、本実施の形態としての構図制御は実現可能である。
【００３１】
上記被写体検出処理の具体的手法としては、顔検出の技術を用いることができる。この顔検出の方式、手法はいくつか知られているが、本実施の形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適当とされる方式が採用されればよい。
また、顔検出の技術の応用で、上記の顔方向を検出することが可能とされている。例えば、顔検出処理を目、鼻などの特徴点を用いたパターン認識により行うこととすれば、検出された顔全体におけるこれらの特徴点の位置的、距離的な関係により顔方向を認識することが可能である。
なお、人としての個別被写体が向いているとされる方向を検出するのにあたり、例えば体部分の向きの検出であるとか目線の検出であるとか、上記した顔検出技術の応用以外であって、有用な手法があれば、このような手法を採用することについて特に問題はない。つまり、顔方向検出を含み、個別被写体が向いているとされる方向（被写体方向）を検出する手法、アルゴリズムなどは、これまでに知られているものを含め、適当とされるものを選択して採用することとすればよい。
また、この被写体検出処理ブロック６１が実行する被写体検出処理は、信号処理部２４における画像信号処理として実現することができる。先の説明のようにして信号処理部２４がＤＳＰにより構成される場合、この被写体検出処理は、信号処理部２４としてのＤＳＰに与えるプログラム、インストラクションにより実現されることになる。
また、被写体探索制御時においては、雲台１０のパン・チルト機構を制御するために、通信制御処理ブロック６３経由で、上記パン・チルト機構を駆動するための制御信号を出力する。
【００３２】
被写体検出処理ブロック６１の被写体検出処理結果である検出情報は、構図制御処理ブロック６２に対して入力される。
構図制御処理ブロック６２は、入力された被写体についての検出情報を利用して、最適であるとしてみなされる構図（最適構図）を決定する。そして、決定した最適構図を得るための制御（構図制御）を実行する。この場合の構図制御としては、画角（本実施の形態では、例えばズームレンズの制御に応じて変更可能な視野角をいう）の変更制御と、パン（左右）方向に沿った撮像方向の制御（パン制御）と、チルト（上下）方向に沿った撮像方向の制御（チルト制御）から成る。画角の変更のためには、デジタルスチルカメラ１の光学系部２１におけるズームレンズを移動する制御、若しくは撮像画像データに対する画像切り出しなどの画像信号処理の何れか一方を行う。また、パン制御、チルト制御は、雲台１０のパン・チルト機構を制御して動かすことにより行う。パン・チルト機構の制御を行うとき、構図制御処理ブロック６２は、パン・チルト機構をしかるべき位置状態とするための制御信号を、通信制御処理ブロック６３を経由して、雲台１０側に送信させる。
なお、上記構図制御処理ブロック６２が実行する構図決定と構図制御の処理は、例えば、制御部２７（ＣＰＵ）がプログラムに基づいて実行するように構成することができる。あるいは、これに信号処理部２４がプログラムに基づいて実行する処理を併用した構成とすることも考えられる。また、通信制御処理ブロック６３は、雲台１０側の通信部５２との通信処理を所定のプロトコルに従って実行するようにして構成される部位であり、雲台対応通信部３４に対応する機能部位となる。
【００３３】
次に、図６を参照して、被写体検出処理ブロック６１が実行するとされる被写体検出処理の事例を挙げておく。
ここで、被写体検出処理ブロック６１が、図６（ａ）に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が１つ存在した画を撮影して得られたものである。また、図６（ａ）（及び図６（ｂ））には、１画面をマトリクス状に区切った状態を示しているが、これは、撮像画像データとしての画面が、所定数による水平・垂直画素の集合から成るものであることを模式的に示している。
図６（ａ）に示す画内容の撮像画像データを対象に被写体検出（顔検出）を行うことによっては、図において示される１つの個別被写体ＳＢＪの顔が検出されることになる。即ち、顔検出処理によって１つの顔が検出されることを以て、ここでは１つの個別被写体が検出されることとしている。そして、このようにして個別被写体を検出した結果としては、先にも述べたように、個別被写体の数、向き、位置、サイズの情報を得るようにされる。
また、個別被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図６（ａ）の場合には、検出される顔が１つであるから、個別被写体数としても１であるとの結果が得られる。
また、個別被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における個別被写体ＳＢＪの重心Ｇ（X,Y）を求めることとする。なお、この場合の重心Ｇ（X,Y）の基準となる撮像画像データの画面上のX,Y原点座標Ｐ(0,0)は、例えば図７に示すようにして、画面サイズに対応したX軸方向(水平方向)の幅(水平画サイズ)Cxの中間点と、Y軸方向（垂直方向）の幅(垂直画サイズ)Cyの中間点との交点であることとしている。
また、この重心Ｇについての個別被写体の画像内における位置の定義であるとか、重心Ｇをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。
また、個別被写体ごとのサイズについては、例えば顔検出処理により顔部分であるとして特定、検出される領域の画素数を求めるようにすればよい。
また、個別被写体ごとの顔方向に関しては、先にも述べたように、顔検出処理に基づいて、例えば左、右の何れであるのかが検出されることになる。
【００３４】
また、図６（ｂ）に示す撮像画像データを取り込んで被写体検出処理ブロック６１が被写体検出処理を実行したとされると、先ずは、顔検出により２つの顔の存在することが特定されることになるので、個別被写体数については２であるとの結果が得られることになる。ここでは、２つの個別被写体のうち、左側を個別被写体ＳＢＪ０、右側を個別被写体ＳＢＪ１として識別性を持たせている。また、個別被写体ＳＢＪ０、ＳＢＪ１ごとに求めた重心の座標については、それぞれ、Ｇ0(X0，Y0)、Ｇ1(X1,Y1)として示されている。
また、このようにして、２以上の個別被写体が検出される場合には、これら複数の個別被写体をひとまとまりの被写体（総合被写体）としてみた場合の重心である、総合被写体重心Ｇｔ（Xg,Yg）を求めるようにされる。
この総合被写体重心Ｇｔをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個別被写体のうちで、画面の左端と右端の両端に位置する個別被写体の重心を結ぶ線分上の中間点を総合被写体重心Ｇｔとして設定した場合を示している。この総合被写体重心Ｇｔは、例えば後述するようにして構図制御において利用することができる情報であり、個別被写体の重心の情報が取得されれば演算により求められる情報である。従って、総合被写体重心Ｇｔについては、被写体検出処理ブロック６１により求め、これを検出情報として出力することとしてもよいが、構図制御処理ブロック６２が、検出情報として取得した個別被写体の重心の位置を示す情報のうちから、左右両端に位置する個別被写体の重心に関する情報を利用して求めるようにしてもよい。
なお、ほかには例えば、複数の個別被写体のサイズに応じて重み付け係数を与え、この重み付け係数を利用して、例えばサイズの大きな個別被写体に総合被写体重心Ｇｔの位置が近くなるように配慮した設定手法も考えることができる。
また、個別被写体のサイズについては、例えば個別被写体ＳＢＪ０、ＳＢＪ１ごとに、その検出された顔が占有するとされる画素数を求めることとすればよい。
【００３５】
続いては、図８〜図１０を参照して、本実施の形態における第１例としての構図制御により得られる構図についての説明を行う。
図８には、被写体探索の結果により被写体を検出したときの撮像画像データとして、１つの個別被写体ＳＢＪ０が撮像された画内容が得られた場合を示している。
なお、本実施の形態にあっては、デジタルスチルカメラ１を取り付けた雲台１０を通常に設置した場合には、横長の画像が撮像されるようにしてデジタルスチルカメラ１の向きが設定される。従って、第１例や後述する第２例にあっては、撮像により横長の画像が得られることを前提とする。
【００３６】
上記図８に示したようにして１つの個別被写体が検出された場合には、まず、この個別被写体ＳＢＪ０の撮像画像データの画面内における占有率が、最適とみなされる所定値となるように個別被写体のサイズを変更する。例えば、個別被写体が検出された段階において、この個別被写体の画面内における占有率が上記の所定値より小さい場合、個別被写体の占有率が所定値にまで大きくなるように画角を狭くしていくズーム制御を実行させる。また、個別被写体の画面内における占有率が所定値より大きい場合には、個別被写体の占有率が所定値にまで小さくなるように画角を広くしていくズーム制御を実行させる。このようなズーム制御により、構図として先ずは、検出された個別被写体被が１つの場合における被写体サイズが適正となるようにされる。
【００３７】
次に、検出された個別被写体被が１つの場合における画面上での被写体の位置(被写体位置)は、次のようにして調整される。
この被写体位置については、検出された顔方向の情報を利用する。この図８の場合の個別被写体ＳＢＪは、顔方向が左であるとして検出されているものとする。このとき、この図８に示される画内容の画面を実際に見たとした場合、これを見る者からは、画面において、個別被写体ＳＢＪの顔が左側を向いているようにして見えることになる。ちなみに、この個別被写体ＳＢＪとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
また、この被写体位置調整にあたっては、画像中の原点座標Ｐ(0,0)を通過する垂直線、即ちＹ軸線と一致する直線であって、被写体位置調整の基準線となる画像領域分割線Ｌｄを仮想的に設定する。
そして、この場合のようにして顔方向が左であると検出された場合には、個別被写体ＳＢＪ０の重心Ｇを、上記画像領域分割線Ｌｄに対応する位置（Ｘ＝０）から、水平オフセット量θｘで表される右方向への移動量に従って移動させた位置（水平シフト位置）に配置させる。このためには、重心Ｇが、上記水平シフト位置にくるようにして、雲台１０のパン機構を駆動させる制御を実行する。
【００３８】
一般に、被写体を画面の中央に位置させた構図は、良くない構図の典型とされている。そこで、例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。本実施の形態としては、このような構図決定の手法に従い、先ずは、画面水平方向における個別被写体ＳＢＪの位置(重心Ｇ)について、画面中央に対して一定量（水平オフセット量θｘ）だけ移動させるようにしているものである。
そのうえで、さらに、本実施の形態では、図８に例示するように、検出された個別被写体の顔方向が左であれば、その重心Ｇの水平方向における位置について、Ｙ軸線に沿った画像領域分割線Ｌｄにより２分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせることで、画面においては、検出被写体ＳＢＪの顔が向いている方向である左側において空間が得られるようにしている。このような構図とすることで、例えば、顔方向が左であるとされる個別被写体ＳＢＪの重心Ｇを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、画像領域分割線Ｌｄに対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
【００３９】
本実施の形態における水平オフセット量θｘとしての実値を決定するアルゴリズムについては多様に考えられるが、ここでは、三分割法に基づいて行うものとしている。三分割法は、最も基本的な構図設定手法の１つであり、方形の画面を垂直方向と水平方向のそれぞれに沿って三等分する仮想線上に被写体を位置させることにより良好な構図を得ようとするものである。
例えば、図８は、水平画サイズCxを三等分するようにされた画面縦方向に沿った２本の仮想線のうち、右側の仮想線上において重心Ｇが位置するようにして、水平オフセット量θｘが設定されているものである。これにより、個別被写体の顔方向に応じた水平方向における被写体位置として最適とされる構図の１つが得られることになるわけである。
【００４０】
また、図示による説明は省略するが、検出された１つの個別被写体ＳＢＪについて、顔方向について右であることが検出されている場合には、図８に示される位置に対して、画像領域分割線Ｌｄを基準にして線対称となる水平位置に個別被写体ＳＢＪの重心Ｇが位置するようにされる。つまり、この場合の水平オフセット量θｘとしては、図８の場合の実値の正／負を反転した値が設定され、この水平オフセット量θｘに基づいたパン制御が行われる。
【００４１】
また、図９（ａ）のように、２つの個別被写体ＳＢＪ０、ＳＢＪ１が検出された場合には、構図制御として、先ず、個別被写体ＳＢＪ０、ＳＢＪ１の画像部分の集合から成るとされる総合被写体画像部分のサイズ（例えば画面全体に対する被写体画像部分の占有率としても捉えることができる）について、例えば個別被写体数が２である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
なお、上記の総合被写体画像部分をどのようにして定義してそのサイズを求めるのかについてはいくつか考えられるが、例えば、検出された複数の個別被写体ごとの画像部分のサイズを足し合わせるようにして求めることができる。あるいは、検出された複数の個別被写体が全て含まれるようにして仮想的に描いた線により囲まれる画像部分のサイズとして求めることも考えられる。
【００４２】
また、これら２つの個別被写体ＳＢＪ０、ＳＢＪ１についての水平方向における被写体位置に関しては、これら２つの個別被写体ＳＢＪ０、ＳＢＪ１ごとの顔方向の情報を利用する。
この図９（ａ）に示される２つの個別被写体ＳＢＪ０、ＳＢＪ１の顔方向は、何れも左であると検出されているものとする。つまり、２つ在る個別被写体の全ての顔方向が同一とされており、これらの顔方向がこの場合には左とされているものである。
この場合には、図８に示した１つの個別被写体ＳＢＪの顔方向が左であった場合に準じて、画面左側に空間ができるように、個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分を、顔方向が示す「左」とは反対となる、画像領域分割線Ｌｄの右側に寄せて位置させるようにする。このためには、例えば図示しているように、右側に所定量ずらすための水平オフセット量θｘを設定した上で、２つの個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分の重心である、総合被写体重心Ｇｔについて、画像領域分割線Ｌｄである原点座標Ｐ(0,0)を通過する垂直線（Ｙ軸線）から水平オフセット量θｘだけ移動した位置にくるように、パン制御を行うようにされる。
また、図示はしていないが、２つの個別被写体ＳＢＪ０、ＳＢＪ１の顔方向が何れも右で同一である場合には、図９（ａ）の位置に対して、画像領域分割線Ｌｄを基準にして線対称となる位置（Ｙ軸線に対して左側の画面領域において同じ水平オフセット量θｘの絶対値分移動した位置）に総合被写体重心Ｇｔが在るようにしてパン制御を行うことになる。
【００４３】
ただし、このように個別被写体が複数である場合において、個別被写体数が１の場合のときに最適とされる水平オフセット量θｘを与えたとすると、右（あるいは左）に寄りすぎた印象の構図となりやすい。そこで、図９（ａ）に示されるように個別被写体数が２の場合においては、水平オフセット量θｘについて、図８に示した個別被写体数が１の場合よりも小さい値（絶対値）を所定規則によって設定することとしている。
【００４４】
また、図９（ｂ）には、２つの個別被写体ＳＢＪ０、ＳＢＪ１について検出された顔方向が、それぞれ左、右となっている場合の例を示している。なお、これは、個別被写体数が２である場合において、それぞれの顔方向が同一ではない場合の一例を示している。
この場合の水平方向における総合被写体画像部分の位置については、図示するようにして、２つの個別被写体ＳＢＪ０、ＳＢＪ１の総合被写体重心Ｇｔが、画像領域分割線Ｌｄ上に位置するようにして調整（パン制御）を行う。
これにより得られる構図では、２つの個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分は、水平方向において画面のほぼ中央に位置することとなる。しかし、被写体が複数とされて、かつ、これらの被写体が同一の方向を向いていないような画の場合、総合被写体画像部分が中央にきたとしても、その構図は相応に良好なものとなる。
【００４５】
また、図１０においては、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２が検出された場合を示している。
この場合の構図制御としても、先ず、個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２から成る総合被写体画像部分のサイズについて、個別被写体数が３である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
【００４６】
そのうえで、総合被写体画像部分の水平方向における位置については、この場合にも、各個別被写体ごとに検出された顔方向の情報を利用することになる。図１０においては、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て左で同一であるものとする。
この場合には、図９（ａ）の場合に準じて、個別被写体ＳＢＪ０、ＳＢＪ１から成る画像領域部分を画像領域分割線Ｌｄよりも右側の画像領域に寄せて位置させるようにして、水平オフセット量θｘの設定と、これによって決まる所要位置への総合被写体重心Ｇｔの移動のためのパン制御を行うようにされる。また、仮に３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て右で同一である場合には、総合被写体重心Ｇｔは、図１０の位置に対して、画像領域分割線Ｌｄを基準にして線対称となる水平位置に在るようにしてパン制御が行われることになる。
また、このときに設定される水平オフセット量θｘは、図９（ａ）の検出された個別被写体が２つの場合よりも、小さな絶対値を設定するようにされる。これにより、例えば個別被写体数が３とされる場合に応じて、水平方向における被写体位置はより最適となって、良好な構図が得られることになる。
【００４７】
また、この第１例の構図制御にあって、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て同一ではなかった場合には、図９（ｂ）に準じて、画像領域分割線Ｌｄ（Ｙ軸線）上に総合被写体重心Ｇｔが位置する構図が得られるようにする。
【００４８】
これまでの説明によると第１例の構図制御における水平方向の位置調整は、先ず、個別被写体ごとに検出される顔方向に対応させていることが分かる。つまり、最も基本的な制御として、個別被写体数が１の場合には、その個別被写体で検出された顔方向が左、右の何れであるのかに対応して、その重心Ｇ（総合被写体重心Ｇｔ）について、画像領域分割線Ｌｄ（Ｙ軸線）の右側領域、あるいは左側領域に対して所定量だけずらして位置させる（重心Ｇの水平オフセットを行う）ようにして、画面内では被写体の向いているほうに空間ができるようにしている。
そして、個別被写体数が複数（２以上）の場合には、個別被写体の顔方向が全て同一ならば、上記の位置調整に倣い、総合被写体重心Ｇｔの水平オフセットを行うようにされ、全て同一でないならば、水平オフセットを行うことなく、総合被写体重心Ｇｔには画像領域分割線Ｌｄに対応したX座標を与えて、総合被写体画像部分が画面内のほぼ中央に在るようにする。
【００４９】
そのうえで、総合被写体重心Ｇｔ（重心Ｇは個別被写体数が１の場合の総合被写体重心Ｇｔとみなす）の水平オフセットを行うのにあたっては、図８〜図１０により述べたようにして、水平オフセット量θｘを、個別被写体数に応じて変更するものとしている。これにより、画面における総合被写体画像部分の水平方向に沿った位置について、個別被写体数に応じた最適な位置が得られるように配慮している。
【００５０】
図１１は、上記図８〜図１０により説明した第１例としての構図制御に対応して、図５に示した被写体検出処理ブロック６１、構図制御処理ブロック６２、及び通信制御処理ブロック６３が実行するものとされる手順例を示している。また、この図に示す処理は、ＤＳＰとしての信号処理部２４、制御部２７におけるＣＰＵがプログラムを実行することで実現されるものとしてみることができる。このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
【００５１】
また、以降のフローチャートの説明においては、これまでに使用してきた「総合被写体重心（Ｇｔ）」、及び「総合被写体画像部分」の語句は、検出されている個別被写体数が２以上の場合のみに適用するのではなく、１の場合にも適用する。つまり、例えば図８に示した重心Ｇが、検出されている個別被写体数が１の場合の個別被写体重心Ｇｔとなるものであり、また、図８の個別被写体ＳＢＪのみからなる画像部分が、検出されている個別被写体数が１の場合の総合被写体画像部分となる。
【００５２】
先ず、ステップＳ１０１〜ステップＳ１０６までは、被写体を探索して検出するための手順となり、主に被写体検出処理ブロック６１が実行するものとされる。
ステップＳ１０１では、イメージセンサ２２からの撮像信号に基づいた撮像画像データを取り込んで取得する。ステップＳ１０２では、上記ステップＳ１０１により取得した撮像画像データを利用して被写体検出処理を実行する。ここでの被写体検出処理としては、例えば先ず、先に述べた顔検出などの手法により、撮像画像データとしての画面内容において個別被写体が存在するか否かについての検出を行う。そして、個別被写体が存在する場合には、個別被写体数、個別被写体ごとの位置（重心）、サイズ、及び個別被写体ごとの顔方向を、検出情報として得るようにされる。
【００５３】
ステップＳ１０３では、上記ステップＳ１０２による被写体検出処理の結果として、個別被写体の存在が検出されたか否かについての判別を行う。ここで個別被写体の存在が検出されなかった（検出される個別被写体数が０である）として否定の判別結果が得られた場合には、ステップＳ１０４に進み、画角を広くするためのズームレンズの移動制御（ズームアウト制御）を実行する。このようにして画角を広くすることで、より広い範囲が撮像されることになるので、それだけ個別被写体を補足しやすくなる。また、これとともに、ステップＳ１０５により、被写体探索のために雲台１０のパン・チルト機構を動かすための制御（パン・チルト制御）を実行する。このときには、被写体検出処理ブロック６１がパン・チルト制御のための制御信号を通信制御処理ブロック６３に渡し、雲台１０の通信部５２に対して送信されるようにして制御を行う。
なお、上記被写体探索のためのパン・チルト制御として、雲台１０のパン・チルト機構をどのようなパターンで動かすのかについては、例えば探索が効率的に行われることを配慮して決めることとすればよい。
また、ステップＳ１０６においては、モードフラグｆについて０を設定（ｆ＝０）し、ステップＳ１０１に戻るようにされる。
このようにして、撮像画像データの画内容において少なくとも１つの個別被写体が検出されるまでは、ステップＳ１０１〜ステップＳ１０６の手順が繰り返される。このとき、デジタルスチルカメラ１と雲台１０から成るシステムは、被写体探索のために、デジタルスチルカメラ１がパン方向及びチルト方向に動かされている状態となっている。
【００５４】
そして、ステップＳ１０３において個別被写体の存在が検出されたとして肯定の判別結果が得られたとされると、ステップＳ１０７以降の手順に進む。ステップＳ１０７以降の手順は、主に構図制御処理ブロック６２が実行するものとなる。
【００５５】
ステップＳ１０７においては、現在のモードフラグｆに設定されている値が何であるのかを判別する。
ｆ==0であると判別された場合には、構図制御として、最初のラフな被写体捕捉モードを実行すべき場合であることを示すものであり、図のようにしてステップＳ１０８から始まる手順を実行する。
ステップＳ１０８においては、総合被写体重心Ｇｔが、撮像画像データの画面（撮像画像データの画内容を表したとするときに得られる画面）における原点座標Ｐ(0,0)(図７参照)に位置しているか否かについての判別を行う。ここで、総合被写体重心Ｇｔは、未だ原点座標に位置していないとして否定の判別結果が得られた場合には、ステップＳ１０９により、総合被写体重心Ｇｔが原点座標に位置するようにして、雲台１０のパン・チルト機構を動かすための制御を実行し、ステップＳ１０１に戻る。このようにして、個別被写体の存在が検出されている状態での最初の構図制御の手順である捕捉モードは、総合被写体重心Ｇｔを、先ずは初期の基準位置である原点座標に対して位置させるようにして雲台１０のパン・チルト機構を制御することで、検出された個別被写体が写っているとされる画像領域を画面内の中央に位置させようとするものである。
【００５６】
なお、上記ステップＳ１０９としてのパン・チルト制御を実際に行うのにあたってのアルゴリズムの一例をここで示しておく。
モードフラグｆ==0の状態で個別被写体が検出される状態では、被写体検出処理ブロック６１は、下記の（数１）により示される演算を行って、パン方向における必要移動量Ｓpanとチルト方向における必要移動量Stiltを求めるようにされる。下記の（数１）において、ｎは検出された個別被写体数を示し、Ｐ（Xi，Yi）は０番からｎ−１番までの番号が与えられた個別被写体のうちのｉ番目の個別被写体の重心のX,Y座標を示す。確認のために、図７に示したように、この場合における原点座標(0,0)は、画面における水平方向における中点と垂直方向における中点との交点となる。
【数１】
【００５７】
例えばステップＳ１０８では、上記のようにして求められる必要移動量Span,Stiltの絶対値が所定値(厳密には０となるが、０より大きな値とされてもよい)以内であるか否かを判別することを以て、総合被写体重心Ｇｔが原点座標Ｐに在るか否かと同等の判別を行うことができる。そして、ステップＳ１０９においては、必要移動量Span,Stiltの絶対値が所定値以内となるようにしてパン・チルト制御を実行するようにされる。なお、このときのパン・チルト制御に際してのパン機構部５３、チルト機構部５６の速度は一定としても良いのであるが、例えば、必要移動量Span,Stiltが大きくなるのに応じて速度を高くしていくなどして可変させることが考えられる。このようにすれば、パンニングあるいはチルティングによる必要移動量が大きくなったときも、比較的短時間で総合被写体重心Ｇｔを原点座標に近づけることが可能になる。
そして、ステップＳ１０８において、総合被写体重心Ｇｔが原点座標に位置したとして肯定の判別結果が得られたとされると、ステップＳ１１０によりモードフラグｆについて１を設定（ｆ＝１）してステップＳ１０１に戻る。このステップＳ１１０によりモードフラグｆについて１が設定された状態は、構図制御における最初の手順である捕捉モードは完了し、次の第１の構図の調整制御(構図調整モード)を実行すべき状態であることを示す。
【００５８】
そして、モードフラグｆ==1とされて第１の構図調整モードを実行すべき場合には、ステップＳ１０７からステップＳ１１１に進むことになる。第１の構図調整モードは、検出された個別被写体数と個別被写体ごとの顔方向の組み合わせに応じた最適構図を得るためズーム(画角)調整とパン制御を行うものである。なお、画角調整とパン制御によっては画面内における個別被写体のサイズや個別被写体の位置が変化する結果を生じる。
【００５９】
ステップＳ１１１においては、現在検出されている個別被写体数がいくつであるかを判別し、１であればステップＳ１１２から始まる手順を実行する。
ステップＳ１１２においては、検出されている個別被写体数が１であることに対応した目標被写体サイズを設定する。ここでの目標被写体サイズとは、画面における総合被写体画像部分のサイズとして構図的に最適であるとみなされるものをいい、例えば図８との対応では、「（１つの）個別被写体ＳＢＪ０の撮像画像データの画面内における占有率が、最適とみなされる所定の範囲値」に相当する。
【００６０】
ステップＳ１１３においては、個別被写体のサイズがＯＫであるか否かについて判別する。個別被写体のサイズがＯＫである状態とは、そのときに検出されている個別被写体のサイズが、上記ステップＳ１１２により設定された目標被写体サイズとなっている状態である。ステップＳ１１３において否定の判別結果が得られた場合には、ステップＳ１１４に進み、個別被写体のサイズが目標被写体サイズとなるようにズームレンズの駆動制御（ズーム制御）を実行し、ステップＳ１０１に戻る。
なお、このときには、総合被写体重心Ｇｔの水平方向（左右方向）における位置に関しては、ステップＳ１０９にて設定されたＸ座標（X=０）に対応する位置を維持するようにしてズーム制御を行うようにされる。これにより、個別被写体を左右方向においてほぼ中央に位置させた状態を維持することができる。また、被写体探索動作の実行時においては、ステップＳ１０４によりズームアウト制御が行われるので、ステップＳ１１４としてのズーム制御に際してはズームイン制御となる場合が多いと考えられる。しかし、何らかの原因で、そのときに検出された個別被写体のサイズが、目標被写体サイズよりも大きくなっている状態に応じてステップＳ１１３にて否定の判別結果が得られた場合、ステップＳ１１４ではズームアウトを実行させて、実際の個別被写体のサイズが目標被写体サイズとなるように制御することになる。
そして、ステップＳ１１３において肯定の判別結果が得られたのであればステップＳ１１５以降の手順に進むようにされる。
【００６１】
ステップＳ１１５においては、水平オフセット量θｘを設定する。
ここで、本実施の形態における第１の構図制御にあっては、水平オフセット量θｘについては、下記の（式１）により求めるものとする。
θｘ＝Ｄ×（Ｃｘ／６）／ｎ・・・（式１）
上記（式１）において、Ｄは、顔方向若しくは複数の顔方向の組み合わせ（関係性）に基づいて、＋１、−１、０のいずれかが設定される係数である。Ｃｘは、水平画サイズを示す。Ｃｘ／６の項は、三分割法に基づいて得られる縦方向に沿った仮想線のX座標に対応したものである。ｎは、検出されている個別被写体数を示す。
【００６２】
ステップＳ１１５に至った場合、検出されている個別被写体数は１であるので、ｎ＝１とになる。また、顔方向は、左か右の何れか一方となる。係数Ｄは、顔方向が左である場合には＋１となり、右である場合には−１となる。
すると、検出されている１つの個別被写体の顔方向が左である場合には、θｘ＝−Ｃｘ／６となる。この水平オフセット量θｘは、原点座標P(0,0)を通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）から、Ｃｘ／６だけ右に移動した垂直線の位置を示すことになるが、この垂直線の位置は、ちょうど、三分割法に従った２本の仮想線のうち、右側にある仮想線と同じになる。
一方、検出されている１つの個別被写体の顔方向が右である場合には、水平オフセット量θｘ＝Ｃｘ／６となり、原点座標P(0,0)を通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）から、Ｃｘ／６だけ左に移動した垂直線の位置を示すことになる。そして、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、左側にある仮想線と同じになる。
【００６３】
ステップＳ１１６においては、総合被写体重心Ｇｔ（この場合には、個別被写体数が１なので、図８の重心Ｇと総合被写体重心Ｇｔは同じになる）が、上記ステップＳ１１５により設定された水平オフセット量θｘに対応するX座標上に位置しているか否かの判別処理を行う。ここで否定の判別結果が得られた場合には、ステップＳ１１７に進む。
ステップＳ１１７では、水平オフセット量θｘに対応するX座標上に総合被写体重心Ｇｔが位置する状態となるようにパン制御を実行し、ステップＳ１０１に戻る。
そして、上記ステップＳ１１７の制御により、水平オフセット量θｘに対応するX座標上に総合被写体重心Ｇｔが位置する状態に至ったとされると、ステップＳ１１６にて肯定の判別結果が得られることになる。このようにしてステップＳ１１６にて肯定の判別結果が得られたときには、個別被写体（ＳＢＪ）の重心は、図８により示したようにして、その顔方向に応じて、画像領域分割線Ｌｄから水平オフセット量θｘだけ左又は右に移動した位置にあることになる。
【００６４】
ステップＳ１１６において肯定の判別結果が得られた場合には、ステップＳ１１８に進み、モードフラグｆについて２を設定してステップＳ１０１に戻る。このモードフラグｆ==２となっている状態は、後の説明からも理解されるように、第１の構図調整が完了して、次の第２の構図調整モードを実行したうえでレリーズ動作を実行すべきであることを示す。
【００６５】
また、ステップＳ１１１において、検出されている個別被写体数が２以上であると判別した場合には、ステップＳ１１９から始まる手順を実行する。
ステップＳ１１９においては、目標被写体サイズを設定する処理を行う。個別被写体数が２以上とされる場合、最適構図を得るための目標被写体サイズは、例えば個別被写体数に応じて異なってくるものとされる。そこで、ステップＳ１１９においては、ステップＳ１０２において検出された個別被写体数に応じた所定の目標被写体サイズを設定する。また、確認のために述べておくと、個別被写体数が２以上の場合の目標被写体サイズは、検出されている全ての個別被写体から成る総合被写体画像部分を対象としたものとなる。
【００６６】
ステップＳ１２０においては、個別被写体のサイズがＯＫであるか否かについて判別する。つまり、このときの個別被写体についての検出情報から求められる総合被写体画像部分のサイズが、上記ステップＳ１２０により設定された目標被写体サイズとなっているか否かについて判別する。
ステップＳ１２０において否定の判別結果が得られた場合には、ステップＳ１２１に進む。ステップＳ１２１においては、ステップＳ１１４に準じて、このとき検出されている個別被写体の総合被写体画像部分のサイズが、ステップＳ１１９により設定された目標被写体サイズとなるようにズームレンズの駆動制御（ズーム制御）を実行し、ステップＳ１０１に戻る。
これに対して、ステップＳ１２０において肯定の判別結果が得られた場合には、ステップＳ１２２に進む。
【００６７】
ステップＳ１２２では、複数の個別被写体ごとに検出された顔方向について、これらが全て同一であるか否かの判別処理を行う。
先ず、ステップＳ１２２において肯定の判別結果が得られた場合には、ステップＳ１２３以降の手順を実行する。ステップＳ１２３においては、先に述べた(式１)により水平オフセット量θｘを設定する。
この場合には、(式１)における係数Ｄには、検出されている同一の顔方向が、左、右の何れを示しているのかに応じて、＋１と−１のいずれかが代入される。また、ｎには、検出されている個別被写体数に応じた２以上の数が代入されることになる。このことからも理解されるように、(式１)によっては、個別被写体数が多くなるのに応じて、求められるθｘの絶対値は小さくなる。つまり、図８、図９（ａ）、図１０によっても説明したように、個別被写体数が多くなるのに応じて、総合被写体画像部分の左右における画像領域分割線Ｌｄからのオフセット量は少なくなっていくようにされる。
【００６８】
これに対して、ステップＳ１２２において、否定の判別結果が得られた場合には、ステップＳ１２４により、水平オフセット量θｘ＝０を設定する。
なお、このステップＳ１２４の処理にあっても、（式１）による演算を行うことで、θｘ＝０を設定することができる。つまり、ステップＳ１２２にて否定の判別結果が得られた場合（即ち複数の顔方向が同一でない場合）には、ステップＳ１２４にて、係数Ｄについて０を代入して（式１）の演算を行うようにアルゴリズムを構成するものである。
ステップＳ１２３、又はステップＳ１２４の手順を実行した後は、ステップＳ１２５以降の手順に進む。
【００６９】
ステップＳ１２５、１２６、Ｓ１２７では、先に説明したステップＳ１１６、Ｓ１１７、Ｓ１１８と同様にして、総合被写体重心Ｇｔが、ステップＳ１２３又はステップＳ１２４により設定された水平オフセット量θｘに対応するX座標上に位置する状態に至るまでパン制御を実行する。この制御により、複数の個別被写体の顔方向が同一である場合には、その数に応じた水平オフセット量θｘ分だけ、左又は右方向に総合被写体画像部分（総合被写体重心Ｇｔ）が移動された状態が得られていることになる。この状態に至ると、ステップＳ１２５にて肯定の判別結果が得られることとなって、ステップＳ１２７によりモードフラグｆについて２を設定し、ステップＳ１０１に戻る。
【００７０】
このようにして、モードフラグｆについて２が設定された状態では、構図制御として、図８〜図１０により説明した、個別被写体数に応じたサイズ調整と、これらの個別被写体ごとの顔方向若しくはその組み合わせに応じた水平方向における位置調整までの手順が完了した状態であることになる。そこで、ステップＳ１０７にてモードフラグｆが２であると判別された場合には、ステップＳ１２８以降の手順により、第２の構図調整モードを実行する。
【００７１】
例えば、図８〜図１０での構図制御の説明にあっては、その説明を簡単なものとするために、画面上下方向における個別被写体の重心の位置をどのようにして設定するのかについては言及していないが、実際においては、画面の中央から例えば或る必要量だけ上方向に移動（オフセット）させたほうが、より良い構図となる場合がある。そこで、本実施の形態の構図制御の実際としては、最適構図としてより良好なものが得られるようにして総合被写体重心Ｇｔの縦（垂直）方向のオフセット量も設定することとしている。このための手順が、第２の構図調整モードとなるものであり、ステップＳ１２８及び次に説明するステップＳ１２９として実行される。
【００７２】
ステップＳ１２８では、総合被写体重心Ｇｔ（個別被写体が１つの場合はその個別被写体の重心Ｇとなる）の位置について、画面上の原点座標Pを通過する水平直線（Ｘ軸）から所定の垂直オフセット量θｙだけオフセットしている状態にあるか否か（重心オフセットがＯＫであるか否か）を判別する。
ステップＳ１２８にて否定の判別結果が得られた場合には、ステップＳ１２９により、設定された垂直オフセット量θyだけ重心がオフセットされるようにして、雲台１０のチルト機構が動くようにチルト制御を実行し、ステップＳ１０１に戻る。そして、ステップＳ１２８において肯定の判別結果が得られた段階では、総合被写体画像部分の水平方向における位置と、垂直方向における位置との双方について、最適構図に対応したものが得られている、さらに、総合被写体画像部分のサイズも最適構図に対応したものが得られていることになる。即ち、最適構図が得られている状態となる。
【００７３】
なお、このステップＳ１２８、Ｓ１２９に対応した垂直オフセット量θｙの実値をどのようにして設定するのかについては、いくつかの手法が考えられることから、ここでは特に限定されるべきものではない。最も簡単な設定の１つとしては、例えば三分割法に基づいて、縦方向における中心位置から、垂直画サイズCyの1/6に相当する長さの値を与えることが考えられる。もちろん、例えば個別被写体数であるとか、顔方向及びその組み合わせに応じた異なる値を所定の規則に従って設定するように構成することも考えられる。
【００７４】
そして、ステップＳ１２８により肯定の判別結果が得られた場合には、ステップＳ１３０から始まる、レリーズ動作に対応した処理手順を実行する。ここでのレリーズ動作とは、そのときに得られている撮像画像データを、静止画像データとして記憶媒体（メモリカード４０）に記憶させるための動作をいう。つまり、手動によるシャッター操作を行っている場合では、このシャッター操作に応答して、そのときに得られていた撮像画像データを静止画像データとして記憶媒体に対して記録する動作にあたる。
【００７５】
ステップＳ１３０においては、現在においてレリーズ動作を実行可能な条件を満たしているか否かを判別する。条件としては例えば、合焦状態にあること（オートフォーカス制御が有効に設定されている場合）、雲台１０のパン・チルト機構が停止状態にあること、などを挙げることができる。
上記ステップＳ１３０で否定の判別結果が得られた場合には、処理をステップＳ１０１へ戻す。これにより、レリーズ動作を実行できる条件が満たされる状態となるのを待機することができる。そして、ステップＳ１３０において肯定の判別結果が得られると、ステップＳ１３１によりレリーズ動作を実行する。このようにして、本実施の形態では、最適構図の撮像画像データを記録することができる。
レリーズ動作が終了したとされると、ステップＳ１３２により所要のパラメータについて初期設定を行う。この処理により、モードフラグｆについては初期値の０が設定される。また、ズームレンズの位置も、予め設定された初期位置に戻される。
そして、ステップＳ１３２の処理を実行した後は処理をステップＳ１０１へ戻す。このようにして処理をステップＳ１３２からステップＳ１０１へ戻すことにより、被写体を探索し、この探索により検出されることとなった個別被写体の向いている方向と個別被写体数に応じた最適構図を得て撮像記録（レリーズ動作）を行うという動作が、自動的に繰り返し実行されることになる。
【００７６】
なお、上記図１１の場合におけるレリーズ動作は、撮像画像から静止画像を記録媒体に記録する動作となるものであるが、本実施の形態におけるレリーズ動作は、より広義には、上記の静止画像を記録媒体に記録することを含め、例えば撮像画像から必要な静止画像データを取得することを指す。従って、例えば本実施の形態のデジタルスチルカメラ１により、データインターフェースなどを経由して他の記録装置などに伝送するために、撮像画像から静止画像データを取得するような動作も、レリーズ動作となるものである。
【００７７】
これまでに述べた図１１の手順では、先ず、ステップＳ１０８、Ｓ１０９により、先の（数１）で求められる必要移動量Span,Stiltに基づいて、検出された１以上の個別被写体の総合被写体重心Ｇｔを画面における原点座標Ｐに位置させるという、捕捉のためのパン・チルト制御を行うこととしている。そして、次の段階として、個別被写体数、及び個別被写体ごとに検出される顔方向の関係性（同一であるか否か）に基づき、水平オフセット量θｘを求め、総合被写体重心Ｇｔについて、原点座標Ｐを通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）を基準に、水平オフセット量θｘに対応する距離だけ、左若しくは右方向に移動させるためのパン制御を行う。さらに、設定された垂直オフセット量θｙが示す移動量に基づいて、総合被写体重心Ｇｔについて、原点座標Ｐを通過する水平直線（Ｘ軸）を基準に、垂直オフセット量θｙに対応する距離だけ、上方向（若しくは下方向）に移動させるためのチルト制御を行う。
このことからすると、図１１の手順におけるパン・チルト制御は、
【数２】
により必要移動量Span,Stiltを求めたうえで、必要移動量Spanに対応した画面内での移動量を得るためのパン機構の制御と、必要移動量Stiltに対応した画面内での移動量を得るためのチルト機構の制御とを行っているものである、ということがいえる。
【００７８】
続いては、本実施の形態における第２の構図制御について説明する。
第２の構図制御の例として、図１２には、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２が検出された状態を示している。これらの個別被写体のうち、個別被写体ＳＢＪ０、ＳＢＪ２について検出されている顔方向は左であるのに対して、個別被写体ＳＢＪ１について検出されている顔方向は右であるものとする。この場合、全ての個別被写体の顔方向が同一にはなっていないので、第１の構図制御の場合であれば、図９（ｂ）などで説明したように、総合被写体重心Ｇｔは、原点座標Ｐを通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）上に在るように構図が設定される。
【００７９】
しかし、３つの個別被写体のうちで、例えば過半数を占める２つの個別被写体ＳＢＪ０、ＳＢＪ２が同じ方向を向いている（顔方向が同一である）ということは、残る１つの個別被写体ＳＢＪ１の顔方向に対応して向いているとする反対方向よりも、これら２つの個別被写体ＳＢＪ０、ＳＢＪ２が向いているとする先に、何かしら重要性の高いものが存在している可能性が高いということがいえる。このような考え方に基づけば、これら２つの個別被写体ＳＢＪ０、ＳＢＪ２の顔方向が示す先の画面領域に空間を設けることのほうが良い構図となる可能性が高いといえる。この場合であれば、２つの個別被写体ＳＢＪ０、ＳＢＪ２の顔方向が左であるとして検出されているので、画面において、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２から成る総合被写体画像部分を画像領域分割線Ｌｄよりも右側の画像領域に寄せて良い構図を得ようとするものである。
【００８０】
そこで、第２の構図制御としては、複数の個別被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、個別被写体の全体数における所定割合以上を占めるときには、この同一となる顔方向を基準顔方向とする。この基準顔方向は、例えば複数の個別被写体群の総体を１つの個別被写体としてみた場合において、画面内にて向いているとする方向を指すものといえる。そして、この基準顔方向に基づいて、水平オフセット量θｘを求めて設定するようにされる。このような構図制御により、図１２の場合には、原点座標Ｐを通過する垂直線よりも右側に総合被写体重心Ｇｔが位置するようにして構図が設定されることになる。
【００８１】
また、ここでは図示しないが、上記の所定割合以上を占めるだけの、同一の顔方向数が得られていない状態、即ち上記の基準顔方向が決定できなかった場合、本実施の形態としては、総合被写体画像部分が左右方向においてほぼ中央に位置する構図を設定することのほうが好ましいとの考えにたつものとする。そこで、この場合には、水平オフセット量θｘについては０を設定することとする。
【００８２】
図１３は、上記した第２の構図制御に対応して図５に示した被写体検出処理ブロック６１、構図制御処理ブロック６２、及び通信制御処理ブロック６３が実行するものとされる手順例を示している。
この図１３に示される手順のうちで、ステップＳ２２１−１、Ｓ２２２−２を除くステップＳ２０１〜Ｓ２３２までの手順は、図１１におけるステップＳ１０１〜Ｓ１３２までの手順と、それぞれ同じとなる。
そして、ステップＳ２２１−１とこれに続くステップＳ２２２−２は、ステップＳ２２２において否定の判別結果が得られた場合において実行すべき手順として挿入されている。つまり、ステップＳ２２２−１、Ｓ２２２−２は、検出されている個別被写体数が複数の場合であって、先ずは、総合被写体画像部分のサイズ調整が完了した段階において、これらの個別被写体の顔方向の関係性として、全ての顔方向が同一ではなかった場合に実行されるものである。
【００８３】
ステップＳ２２２−１では、基準顔方向を決定するための処理を実行する。
このためには、例えば、先にも述べたように、検出されている複数の個別被写体ごとの顔方向の関係性として、同一の顔方向を持つ個別被写体の組のうちで、その組を成す個別被写体数が、全ての検出されている個別被写体数における所定割合以上を示すものがあるかどうかについて判断し、このような個別被写体の組があれば、この組の個別被写体の顔方向を、有効な基準顔方向として決定するようにされる。また、このような個別被写体の組が無ければ、基準顔方向も無いものとする決定を行うようにされる。
なお、上記の所定割合について、実際にどのような値を設定するのかについては、実際における個別被写体数及び個別被写体ごとの顔方向の関係性との対応で、どのような構図が適当となるのかを考慮したうえで、適宜決定されて良い。また、この所定割合としての値は、基本的には固定の１つの値が設定されればよいが、例えば、決定された個別被写体数などに応じて、異なる所定値が設定されるようにされてもよい。
【００８４】
さらに、基準顔方向決定処理のためのアルゴリズムとしては、上記以外にも考えることができる。例えば、全ての個別被写体数における割合は考慮せずに、単に、同一の顔方向を持つ個別被写体の組のうちで、個別被写体数が最多の組の顔方向を、有効な基準顔方向として決定するような処理も考えることができる。この場合には、例えば同一の顔方向を持つ各組を成す個別被写体数が同じであるようなときに、基準顔方向は無いものとしての決定が行われることになる。
【００８５】
ステップＳ２２２−２においては、上記ステップＳ２２２−１の顔方向決定処理の結果として、有効な基準顔方向が決定されたか否かについての判別を行う。
ここで、肯定の判別結果が得られた場合には、ステップＳ２２３に進む。この場合のステップＳ２２３においては、ステップＳ２２２−１にて決定された基準顔方向に基づいて係数Ｄを決定して、水平オフセット量θｘを求めて設定する。
一方、ステップＳ２２２−２において否定の判別結果が得られた場合には、先のステップＳ２２２−１にて、左若しくは右を示す有効な基準顔方向を決定することができなかったことになる。そこで、この場合には、ステップＳ２２４に進むことで、水平オフセット量θｘについては０を設定する。このようにして、ステップＳ２２２−１、Ｓ２２２−２を挿入することで、図１２により説明したような第２の構図制御が実現されることになるものである。
【００８６】
なお、先の図１１及び上記図１３に示される各構図制御の手順は、その全体の流れからしてみると、検出される個別被写体の数に応じて最適とみなされる構図を判定、決定し、この判定した構図の撮像画像データが実際に得られる（反映される）ようにして、ズーム制御、及びパン・チルト制御を適宜実行しているものであるとみることができる。
【００８７】
また、これまでの構図制御にあっては、顔方向の検出は、左、右の２段階による検出であることを前提としていたが、実際においては、例えば左、右に加えて、正面もあるようにして顔方向検出処理を構成する場合もあると考えられる。この場合にも、本願発明に基づいた構図制御は有効に適用できる。
例えば図８のようにして１つの個別被写体が検出された場合において、さらに顔方向については正面であることが検出された場合であるが、１つには、水平方向における被写体位置を、画面のほぼ中央に位置させる（重心Ｇがほぼ画像領域分割線Ｌｄ（Ｙ軸線）上に在るようにする）ことが考えられる。しかし、このような構図は、良くない構図の代表的なものとされることが多い。そこで、検出される個別被写体が１つである場合において、顔方向が正面の場合には、図８と同様の構図、若しくは、図８の構図に対して画像領域分割線Ｌｄを基準に線対称となるような構図とするようにして水平オフセット量θｘを決定することも考えられる。このようにすれば、三分割法に則った良好な構図が得られる。
また、２以上の個別被写体が検出されている場合に、例えば全ての個別被写体の顔方向が正面を示している、あるいは基準顔方向が正面である場合には、（式１）の係数Ｄを０に設定したうえでの水平オフセット量θを求めるようにして構成することが考えられる。
また、顔方向として上下方向についても検出可能とされている場合には、この上下方向における顔方向の検出結果に応じて、本願発明に基づいた構図制御を行うことも可能である。この場合には、水平方向に沿った画像領域分割線Ｌｄ（例えば原点座標を通過する水平方向の線（Ｘ軸線）とすることができる）を基準にして、上下方向での総合被写体重心Ｇｔの移動を行うことになる。
さらに、顔方向について、左右方向と上下方向とを合成した斜め方向の検出も可能とされているときには、この斜め方向が検出された顔方向に応じた構図制御も行うことが可能である。この場合には、検出された斜めの顔方向に直交して画面を横切る線（（例えば原点座標を通過する線）を画像領域分割線Ｌｄとして設定し、この画像領域分割線Ｌｄにより分割された画像領域の何れか一方の側に総合被写体重心Ｇｔを移動させるようにすることが考えられる。
さらに、例えば、顔方向について、左右方向（あるいは上下方向）において、例えば２段階、若しくは３段階よりも多い段階により、向きの検出を行えるようにされている場合には、このようにして検出された向きの段階（度合い）に応じて水平オフセット量θｘ（若しくは垂直オフセット量θｙ）を可変するようなアルゴリズムを採用することが考えられる。
また、基準線の通過する基準点は、この場合には、図７にて示したように、画面における原点座標としているが、この基準点の位置については、例えばより良好な構図を得ることなどを目的として、原点座標以外の位置が設定されても良いものである。
【００８８】
図１４は、本実施の形態の撮像システムの変形例としての構成例を示している。
この図では、先ず、デジタルスチルカメラ１から通信制御処理ブロック６３を経由して、撮像に基づいて信号処理部２４にて生成される撮像画像データを、雲台１０に対して送信するようにされている。
この図においては、雲台１０の構成として通信制御処理ブロック７１、パン・チルト制御処理ブロック７２、被写体検出処理ブロック７３、及び構図制御処理ブロック７４が示されている。
通信制御処理ブロック７１は、図４の通信部５２に対応する機能部位であって、デジタルスチルカメラ１側の通信制御処理ブロック部６３（雲台対応通信部３４）との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック７１により受信された撮像画像データは、被写体検出処理ブロック７３に渡される。この被写体検出ブロッ７３は、例えば図５に示した被写体検出処理ブロック６１と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック７４に出力する。
構図制御処理ブロック７４は、図５の構図制御処理ブロック６２と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック７２に対して出力する。
パン・チルト制御処理ブロック７２は、例えば図４における制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部５３、チルト機構部５６の動きをコントロールするための信号をパン用駆動部５５、チルト用駆動部５８に対して出力する。これにより、構図制御処理ブロック６２にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図１４に示す撮像システムは、デジタルスチルカメラ１から雲台１０に撮像画像データを送信させることとして、雲台１０側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
【００８９】
図１５は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図１４と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台１０側において撮像部７５が備えられる。この撮像部７５は、例えば撮像のための光学系と撮像素子（イメージャ）を備えて、撮像光に基づいた信号（撮像信号）を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図３に示した光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、及び信号処理部２４において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部７５により生成される撮像画像データは被写体検出処理ブロック７３に出力される。なお、撮像部７５が撮像光を取り込む方向（撮像方向）は、例えば雲台１０に載置されるデジタルスチルカメラ１の光学系部２１（レンズ部３）の撮像方向とできるだけ一致するようにして設定される。
【００９０】
この場合の被写体検出処理ブロック７３及び構図制御処理ブロック７４は、上記図１４と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック７４は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック７１からデジタルスチルカメラ１に対して送信させる。デジタルスチルカメラ１では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台１０側で完結して行うことができる。
【００９１】
また、図１１、図１３に示される構図制御において実行されるパン制御、チルト制御は、雲台１０のパン・チルト機構の動きを制御することにより行うこととしているが、雲台１０に代えて、例えば、デジタルスチルカメラ１のレンズ部３に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ１のイメージセンサ２２から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台１０若しくはこれに準ずる、デジタルスチルカメラ１以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ１単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部２１におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
【００９２】
また、本願発明に基づく構図判定のための構成は、これまでに実施の形態として説明してきた撮像システム以外にも適用することができる。そこで以降、本願発明による構図判定の適用例について述べる。
【００９３】
先ず、図１６は、本願発明による構図判定を、デジタルスチルカメラなどの撮像装置単体に対して適用したもので、例えば撮像モード時において撮像装置により撮像している画像が適正な構図になったときに、このことを表示によってユーザに通知しようとするものである。
このために撮像装置が備えるべき構成として、ここでは被写体検出・構図判定処理ブロック８１、通知制御処理ブロック８２、表示部８３を示している。
被写体検出・構図判定処理ブロック８１は、撮像画像データを取り込んで、例えば図５の被写体検出処理ブロック６１と同等の被写体検出処理と、この被写体検出処理の結果としての検出情報を利用して、例えば図５と同等の構図判定のための処理とを行うようにされた部位である。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作（シャッターボタン操作）を行えば撮像画像の記録が行える状況にあるものとする。
このような状態の下、被写体検出・構図判定処理ブロック８１では、そのときに撮像して得られる撮像画像データを取り込んで被写体検出を行う。すると構図制御処理によっては、先ず、検出された個別被写体の数等に応じて最適構図がどのようなものであるのかが特定されることになるが、この場合の構図判定処理としては、そのときに得られている撮像画像データの画内容の構図と、最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定するようにされる。なお、例えば実際においては、撮像画像データの画内容の構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては多様なアルゴリズムを考えることができるので、ここでは、その具体例については特に言及しない。
このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック８２に対して出力される。通知制御処理ブロック８２は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部８３にて行われるように表示制御を実行する。なお、通知制御処理ブロック８２は、撮像装置が備えるマイクロコンピュータ（ＣＰＵ）などによる表示制御機能と、表示部８３に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。
また、表示部８３は、例えば本実施の形態のデジタルスチルカメラ１の表示部３３に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部８３において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、良好な構図の写真撮影を簡単に行うことが可能になる。
【００９４】
また、図１７も、上記図１６と同様にデジタルスチルカメラなどの撮像装置単体に対して本願発明による構図判定を適用したものとなる。
先ず、この図に示す構成においては、図１６と同様に、被写体検出・構図判定処理ブロック８１により、そのときの撮像により得られる撮像画像データを取り込んで被写体検出処理を行うとともに、被写体検出情報に基づいて、上記の撮像画像データの画内容が最適構図であるか否かを判定するようにされる。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック８４に対して通知する。
レリーズ制御処理ブロック８４は、撮像画像データを記録するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック８４は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、例えば最適な構図の画像が撮像されたときには、自動的にその撮像画像の記録が行われるようにした撮像装置を得ることができる。
【００９５】
なお、上記図１６及び図１７の構成は、例えばスチルカメラの範疇であれば、例えば図１により示されるような構成のデジタルスチルカメラに適用できるほか、銀塩フィルムなどに撮像画像を記録するいわゆる銀塩カメラといわれるものにも、例えば光学系により得られた撮像光を分光して取り入れるイメージセンサと、このイメージセンサからの信号を入力して処理するデジタル画像信号処理部などを設けることで適用が可能である。
【００９６】
また、図１８は、既に存在する画像データに対して画像編集を行う編集装置に本願発明を適用した例である。
この図においては編集装置９０が示されている。ここでの編集装置９０は、既に存在する画像データとして、例えば記憶媒体に記憶されていたものを再生して得た画像データ（再生画像データ）を得るようにされている。なお、記憶媒体から再生したものの他に、例えばネットワーク経由でダウンロードしたものを取り込んでもよい。即ち、編集装置９０が取り込むべき撮像画像データをどのような経路で取得するのかについては、特に限定されるべきものではない。
【００９７】
編集装置９０が取り込んだとされる再生撮像画像データは、トリミング処理ブロック９１と被写体検出・構図判定処理ブロック９２のそれぞれに対して入力される。
先ず、被写体検出・構図判定処理ブロック９２は、例えば先ず、図１６、図１７と同様の被写体検出処理を実行して検出情報を出力する。そして、この検出情報を利用した構図判定処理として、この場合には、入力される再生撮像画像データとしての全画面において、最適構図が得られるとされる所定の縦横比による画像部分（最適構図の画像部分）がどこであるのかを特定する。そして、最適構図の画像部分が特定されると、例えばその画像部分の位置を示す情報（トリミング指示情報）をトリミング処理ブロック９１に対して出力する。
トリミング処理ブロック９１は、上記のようにしてトリミング指示情報が入力されたことに応答して、入力される再生撮像画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データとして出力する。これが編集撮像画像データとなる。
このような構成であれば、例えば画像データの編集処理として、元々ある画像データの画内容から最適構造となる部分を抜き出した内容の画像データを新規に得るというトリミングが自動的に行われることになる。このような編集機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
【００９８】
図１９は、本願発明の構図判定をデジタルスチルカメラなどの撮像装置に適用した構成の一例である。
ここでは図示していない撮像部により撮像して得られる撮像画像データは、撮像装置１００内の被写体検出・構図判定処理ブロック１０１、ファイル作成処理ブロック１０３とに対して入力することとしている。なお、この場合において、撮像装置１００内に入力された撮像画像データは、例えばレリーズ操作などに応じて記憶媒体に記憶されるべきこととなった撮像画像データであり、ここでは図示していない、撮像部での撮像により得られた撮像信号を基に生成されたものである。
先ず被写体検出・構図判定処理ブロック１０１では、入力された撮像画像データを対象に被写体検出を行い、その検出情報に基づいて最適構図がどのようなものであるのかを判定するようにされる。具体的には、例えば図１８の場合と同様にして、入力された撮像画像データの全画面において最適構図となる画像部分を特定した情報が得られるようにされればよい。そして、このようにして得た最適構図についての判定結果を表す情報を、メタデータ作成処理ブロック１０２に対して出力する。
メタデータ作成処理ブロック１０２では、入力された情報に基づいて、対応する撮像画像データから最適構図を得るために必要な情報から成るメタデータ（構図編集メタデータ）を作成し、ファイル作成処理ブロック１０３に対して出力する。この構図編集メタデータの内容としては、例えば、対応する撮像画像データとしての画面においてトリミングする画像領域部分がどこであるのかを示し得る位置情報などとなる。
この図に示す撮像装置１００では、撮像画像データについて、所定形式による静止画像ファイルとして管理されるようにして記憶媒体に記録するものとされる。これに対応して、ファイル作成処理ブロック１０３は、撮像画像データを、静止画像ファイル形式に変換（作成）する。
ファイル作成処理ブロック１０３は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック１０２から入力された構図編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ（構図編集メタデータ）が含まれる構造を有したものが得られることになる。
【００９９】
図２０は、上記図１９の装置により作成された静止画像ファイルについて編集を行う編集装置の構成例を示している。
図に示す編集装置１１０は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック１１１に入力する。メタデータ分離処理ブロック１１１は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１１２に対して出力し、撮像画像データについてはトリミング処理ブロック１１３に対して出力する。
【０１００】
メタデータ解析処理ブロック１１２は、取り込んだメタデータを解析する処理を実行する部位とされる。そして、解析処理として、構図編集メタデータについては、その内容である最適構図を得るための情報から、すくなくとも、対応の撮像画像データを対象としてトリミングを行う画像領域を特定する。そして、この特定された画像領域のトリミングを指示するトリミング指示情報をトリミング処理ブロック１１３に対して出力する。
トリミング処理ブロック１１３は、先の図１８のトリミング処理ブロック９１と同様に、メタデータ分離処理ブロック１１１側から入力した撮像画像データから、上記メタデータ分離処理ブロック１１２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データである、編集撮像画像データとして出力する。
【０１０１】
上記図１９、図２０に示される撮像装置と編集装置から成るシステムによれば、例えば撮影などにより得たオリジナルの静止画像データ（撮像画像データ）はそのまま無加工で保存しておけるようにしたうえで、このオリジナル静止画像データからメタデータを利用して、最適構図となる画像を抜き出す編集が行えることになる。また、このような最適構図に対応した抜き出し画像部分の決定は、自動的に行われるものとなる。
【０１０２】
図２１は、ビデオカメラなどとしての動画像の撮影記録が可能な撮像装置に本願発明を適用した例である。
この図に示す撮像装置１２０には、動画像データが入力される。この動画像データは、例えば同じ撮像装置１２０が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置１２０における被写体検出・構図判定処理ブロック１２２、及びファイル作成・記録処理ブロック１２４に対して入力される。
この場合の被写体検出・構図判定処理ブロック１２２は、入力されてくる動画像データについての構図の良否判定を行う。例えば、被写体検出・構図判定処理ブロック１２２では、予め良好とされる構図がどのようなものであるのかについてのパラメータ（良好構図対応パラメータ）を保持している。このパラメータとしては、検出される個別被写体数と、個別被写体ごとに検出して得た顔方向の情報に応じて適切であるとして設定された目標被写体サイズや水平オフセット量θなどとなる、そして、被写体検出・構図判定処理ブロック１２２は、入力されてくる動画像データについて、例えば継続的にどのような構図となっているかについての構図判定を行う（例えば動画像データにおける実際の個別被写体の占有率、被写体間距離Ｋなどの構図パラメータを求める）と共に、この判定結果として得られた動画像データの構図パラメータと、上記の良好構図パラメータとを比較する。そして、動画像データの構図パラメータが良好構図対応パラメータに対して一定以上の類似度を有していれば良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
被写体検出・構図判定処理ブロック１２２は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック１２３に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図画像区間)がどこであるのかを示す情報(良好構図画像区間指示情報)を出力する。良好構図画像区間指示情報)は、例えば動画像データにおける良好構図画像区間としての開始位置と終了位置を示す情報などとされる。
【０１０３】
この場合のメタデータ作成処理ブロック１２３は、次に説明する動画像記録処理ブロック１２４により記憶媒体にファイルとして記録される動画像データについての、各種所要のメタデータを生成するものとされる。そのうえで、上記のようにして被写体検出・構図判定処理ブロック１２２から良好構図画像区間指示情報を入力した場合には、入力された良好構図画像区間指示情報が示す画像区間が良好な構図であることを示すメタデータを生成し、動画像記録処理ブロック１２４に対して出力する。
動画像記録処理ブロック１２４は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック１２３からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ静止画像データ（或いは動画像ファイルと独立したファイル）として記録する構成も考えられる。
また、図２１に示されるようにして、撮像装置１２０に対して被写体検出・構図判定処理ブロック１２２を備える構成では、被写体検出・構図判定処理ブロック１２２により良好構図画像区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、被写体検出・構図判定処理ブロック１２２により良好構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。
【０１０４】
図２２は、印刷を行う印刷装置に本願発明を適用した例である。
この場合には、印刷装置１３０が、印刷すべき画像内容を有する画像データ（静止画）を取り込むこととされており、このようにして取り込んだデータは、トリミング処理ブロック１３１、及び被写体検出・構図判定処理ブロック１３２に対して入力される。
先ず、被写体検出・構図判定処理ブロック１３２は、図１８の被写体検出・構図判定処理ブロック９２と同様の被写体検出処理・構図判定処理を実行することで、入力される画像データの全画面における最適構図の画像部分を特定する処理を実行し、この処理結果に応じた内容のトリミング指示情報を生成してトリミング処理ブロック１３１に対して出力する。
トリミング処理ブロック１３１は、図１８のトリミング処理ブロック９１と同様にして、入力した画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行する。そして、この抜き出した画像部分のデータを、印刷用画像データとして印刷制御処理ブロック１３３に対して出力する。
印刷制御処理ブロック１３３は、入力された印刷用画像データを利用して、ここでは図示していない印刷機構を動作させるための制御を実行する。
このような動作により、印刷装置１３０によっては、入力した画像データの画内容から、最適構図が得られているとされる画像部分が自動的に抜き出されて、１枚の画として印刷されることになる。
【０１０５】
図２３に示される例は、例えば静止画像ファイルを多数記憶し、これらの静止画像ファイルを利用したサービスを提供するための装置、システムに適用して好適である。
記憶部１４１には、多数の静止画像ファイルが記憶される。
被写体検出・構図判定処理ブロック１４２は、所定のタイミングで、記憶部１４１に記憶されている静止画ファイルを取り込み、そのファイル本体部に格納される静止画像データを取り出す。そして、この静止画像データを対象として、例えば図１９の被写体検出・構図判定処理ブロック１０１と同様の処理を実行して最適構図についての判定結果を表す情報を得て、この情報をメタデータ作成処理ブロック１４３に対して出力する。
【０１０６】
メタデータ作成処理ブロック１４３は、入力された情報に基づいて、先の図１９のメタデータ作成処理ブロック１０２と同様に、メタデータ（構図編集メタデータ）を作成する。その上で、この場合には、作成したメタデータを、記憶部１４１に記憶されるメタデータテーブルに登録する。このメタデータテーブルは、同じ記憶部１４１に記憶される静止画像データとの対応関係が示されるようにしてメタデータを格納して成る情報単位とされる。つまり、メタデータテーブルによっては、メタデータ（構図編集メタデータ）と、このメタデータを作成するために被写体検出・構図判定処理ブロック１０１により被写体検出処理及び構図判定処理の対象となった静止画像ファイルとの対応が示される。
【０１０７】
そして、例えば外部からの静止画ファイルの要求に応じて、記憶部１４１に記憶されている静止画像ファイルを出力する（例えばサーバであれば、クライアントからのダウンロード要求に応じて静止画像ファイルをダウンロードする場合などとなる）際には、静止画ファイル出力処理ブロック１４４が、記憶部１４１から要求された静止画像ファイルを検索して取り込むとともに、この検索した静止画ファイルに対応するメタデータ（構図編集メタデータ）も、メタデータテーブルから検索して取り込むようにされる。
【０１０８】
そして、この静止画像ファイル出力処理ブロック１４４は、例えば図２０に示したメタデータ解析処理ブロック１１２、及びトリミング処理ブロック１１３に相当する機能ブロックを少なくとも有して成る。
静止画像ファイル出力処理ブロック１４４においては、内部のメタデータ作成処理ブロックにより、取り込んだメタデータを解析してトリミング指示情報を得る。そして、同じ内部のトリミング処理ブロックにより、取り込んだ静止画像ファイルに格納される静止画像データを対象として、上記トリミング指示情報に応じたトリミングを実行する。そして、トリミングにより得られた画像部分を改めて１つの静止画像データとして生成し、これを出力する。
【０１０９】
上記図２３のシステム構成は、多様なサービスへの適用を考えることができる。
例えば、１つにはネットワーク経由での写真のプリントサービスに適用できる。つまり、ユーザは、プリントサービスのサーバに、プリント（印刷）してもらいたい画像データ（静止画像ファイル）をネットワーク経由でアップロードする。サーバでは、このようしてアップロードされてきた静止画像ファイルを記憶部１４１に記憶しておき、このファイルに対応するメタデータも作成してメタデータテーブルに登録しておく。そして、実際に印刷出力するときには、静止画像ファイル出力処理ブロック１４４により、最適構図を抜き出した静止画像データを印刷用の画像データとして出力する。つまり、このサービスによっては、写真プリントを依頼すると、最適構図に補正されてプリントされたものが送られてくるものである。
【０１１０】
また１つには、例えばブログなどのサーバにも適用することができる。記憶部１４１には、ブログのテキストのデータと共にアップロードされた画像データを記憶させることとする。これにより、例えばブログのページには、ユーザがアップロードした画像データから最適構図を抜き出した画像を貼り付けさせることが可能になる。
【０１１１】
なお、上記図１４〜図２３により説明した例は一部であって、本願発明による構図判定を適用できる装置、システム、アプリケーションソフトウェアなどはほかにも考えられる。
【０１１２】
また、これまでの実施の形態の説明にあっては、被写体（個別被写体）は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの（撮像画像データ）のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図（最適構図）は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図（最適構図）としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施の形態としての撮像システム（デジタルスチルカメラ、雲台）の外観構成例を示す図である。
【図２】実施の形態の撮像システムの動作として、雲台に取り付けられたデジタルスチルカメラのパン方向及びチルト方向に沿った動きの例を模式的に示す図である。
【図３】実施の形態のデジタルスチルカメラの構成例を示す図である。
【図４】実施の形態の雲台の構成例を示す図である。
【図５】実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。
【図６】個別被写体の重心と、複数の個別被写体についての総合被写体重心とを説明する図である。
【図７】撮像画像データの画面に設定した原点座標を説明する図である。
【図８】第１の構図制御における、検出された個別被写体数が１である場合の構図制御例を模式的に示す図である。
【図９】第１の構図制御における、検出された個別被写体数が２である場合の構図制御例を模式的に示す図である。
【図１０】第１の構図制御における、検出された個別被写体数が３である場合の構図制御例を模式的に示す図である。
【図１１】第１の構図制御のための処理手順例を示すフローチャートである。
【図１２】第２の構図制御における、検出された個別被写体数が３である場合の構図制御例を模式的に示す図である。
【図１３】第２の構図制御のための処理手順例を示すフローチャートである。
【図１４】実施の形態の撮像システムの変形例としての構成例を示す図である。
【図１５】実施の形態の撮像システムの他の変形例としての構成例を示す図である。
【図１６】本願発明に基づく構図判定の適用例を示す図である。
【図１７】本願発明に基づく構図判定の適用例を示す図である。
【図１８】本願発明に基づく構図判定の適用例を示す図である。
【図１９】本願発明に基づく構図判定の適用例を示す図である。
【図２０】本願発明に基づく構図判定の適用例を示す図である。
【図２１】本願発明に基づく構図判定の適用例を示す図である。
【図２２】本願発明に基づく構図判定の適用例を示す図である。
【図２３】本願発明に基づく構図判定の適用例を示す図である。
【符号の説明】
【０１１４】
１ デジタルスチルカメラ、２ シャッターボタン、３ レンズ部、１０ 雲台、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、６１ 被写体検出処理ブロック、６２ 構図制御処理ブロック、６３ 通信制御処理ブロック、ＳＢＪ（ＳＢＪ０〜ｎ） 個別被写体、７１ 通信制御処理ブロック、７２ パン・チルト制御処理ブロック、７３ 被写体検出処理ブロック、７４ 構図制御処理ブロック、７５ 撮像部、８１・９２・１０１・１２２・１３２・１４２ 被写体検出・構図判定処理ブロック、８２ 通知制御処理ブロック、８３ 表示部、８４ レリーズ制御処理ブロック、９１・１３１ トリミング処理ブロック、１０２・１２３・１４３ メタデータ作成処理ブロック、１０３ ファイル作成処理ブロック、１１１ メタデータ分離処理ブロック、１１２ メタデータ解析処理ブロック、１１３ トリミング処理ブロック、１２４ ファイル作成・記録処理ブロック、１３３ 印刷制御処理ブロック、１４１ 記憶部、１４４ 静止画ファイル出力処理ブロック
【技術分野】
【０００１】
本発明は、例えば静止画としての画像データを対象として、その画内容が有する構図に関する処理を行うようにされた装置である、構図判定装置とその方法に関する。また、このような装置が実行するプログラムに関する。
【背景技術】
【０００２】
例えば、良い印象を与えることのできる写真を撮影するためのテクニック的な一要素として、構図設定が挙げられる。ここでいう構図は、フレーミングともいわれるもので、例えば写真としての画面内における被写体の配置をいう。
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術構成が求められることになる。
【０００３】
例えば特許文献１には、自動追尾装置として、一定時間間隔の画像間の差を検出して、画像間の差の重心を算出し、この重心の移動量、移動方向から被写体画像の撮像画面に対する移動量、移動方向を検出して撮像装置を制御し、被写体画像を撮像画面の基準領域内に設定する技術構成が開示されている。
また、特許文献２には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物上の上側から２０％の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となっている。
【０００４】
【特許文献１】特開昭５９−２０８９８３号公報
【特許文献２】特開２００１−２６８４２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
例えば被写体に関する所定の状況、状態などに対応しては、最適構図も異なってくることがあると考えられる。しかし、上記特許文献による技術では、追尾した被写体をある固定的な構図で配置させることしかできない。従って、被写体の状況などに対応して構図を変更して撮影するようなことはできないことになる。
そこで、本願発明では、例えば写真などとしての画像について良好な構図が手軽に得られるようにするための技術を提案することを目指すこととしたうえで、その際において、被写体の状況・状態の変化にも適応してより高度で柔軟性のある構図の決定が行われるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
そこで本発明は上記した課題を考慮して、構図判定装置として次のように構成する。
つまり、画像データに基づく画像中における特定の被写体を検出する被写体検出手段と、この被写体検出手段により検出される被写体である検出被写体ごとに、検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手段と、被写体方向情報に基づいて構図を判定する構図判定手段とを備え、構図判定手段は、上記被写体検出手段によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて構図を判定するように構成することとした。
【０００７】
上記構成では、画像データの画面において検出される被写体である検出被写体について、その所定部位が向いているとされる方向を検出し、この検出した方向を示す被写体方向情報を得ることが可能とされている。
そのうえで、検出被写体が複数である場合には、これら複数の検出被写体ごとに対応する複数の被写体方向情報が示す方向の関係に基づいて構図判定を行う。
例えば、被写体が向いているとされる方向により、最適とされる構図は異なってくるとの考え方をとることができるが、本願発明によれば、複数の被写体が存在する場合の、これら被写体の向いている方向の関係性に応じて最適構図が得られることとなる。
【発明の効果】
【０００８】
被写体が複数である場合には、被写体ごとの向いている方向について何らかの関係性が生じてくることになるが、本願発明によっては、このような複数の被写体方向の関係性という、相応に複雑な条件に対応して構図が決定される。つまり、これまでよりも高度で柔軟性のある構図決定を自動的に行うことが可能となるものである。これにより、本願発明を適用した装置を利用するユーザは、面倒な手間を掛けることなく、最適構図の画像を得ることが可能になるものであり、例えばこれまでよりも高い利便性を提供できることになる。
【発明を実施するための最良の形態】
【０００９】
以下、本願発明を実施するための最良の形態（以下、実施の形態という）について説明を行う。本実施の形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。
【００１０】
図１は、本実施の形態としての撮像システムの外観構成例を、正面図により示している。
この図に示されるように、本実施の形態の撮像システムは、デジタルスチルカメラ１と雲台１０とから成る。
デジタルスチルカメラ１は、本体正面側のパネルに設けられているレンズ部３によって撮像して得られる撮像光に基づいて静止画像データを生成し、これを内部に装填されている記憶媒体に記憶させることが可能とされている。つまり、写真として撮影した画像を、静止画像データとして記憶媒体に記憶保存させる機能を有する。このような写真撮影を手動で行うときには、ユーザは、本体上面部に設けられているシャッター（レリーズ）ボタンを押し操作する。
【００１１】
雲台１０には、上記デジタルスチルカメラ１を固定するようにして取り付けることができる。つまり、雲台１０とデジタルスチルカメラ１は、相互の取り付けを可能とするための機構部位を備えている。
【００１２】
そして、雲台１０においては、取り付けられたデジタルスチルカメラ１を、パン方向（水平方向）とチルト方向との両方向により動かすためのパン・チルト機構を備える。
雲台１０のパン・チルト機構により与えられるデジタルスチルカメラ１のパン方向、チルト方向それぞれの動き方は例えば図２（ａ）（ｂ）に示されるものとなる。図２（ａ）（ｂ）は、雲台１０に取り付けられているとされるデジタルスチルカメラ１を抜き出して、それぞれ、平面方向、側面方向より見たものである。
先ずパン方向については、デジタルスチルカメラ１の本体横方向と図２（ａ）に示される直線Ｘ１とが同じ向きとなる位置状態を基準にして、例えば回転軸Ｃｔ１を回転中心として回転方向＋αに沿った回転が行われることで、右方向へのパンニングの動きが与えられる。また、回転方向−αに沿った回転が行われることで、左方向へのパンニングの動きが与えられる。
また、チルト方向については、デジタルスチルカメラ１の本体縦方向が垂直方向の直線Ｙ１と一致する一状態を基準にして、例えば回転軸Ｃｔ２を回転中心として回転方向＋βへの回転が行われることで、下方向へのパンニングの動きが与えられる。また、回転方向−βへの回転が行われることで、上方向へのパンニングの動きが与えられる。
なお、図２（ａ）（ｂ）に示される、±α方向、及び±β方向のそれぞれにおける最大可動回転角度については言及していないが、被写体の捕捉の機会をできるだけ多くするべきことを考慮するのであれば、できるだけ最大可動回転角度を大きく取ることが好ましいことになる。
【００１３】
図３のブロック図は、本実施の形態のデジタルスチルカメラ１の内部構成例を示している。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【００１４】
イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力するようにされる。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【００１５】
上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。
【００１６】
上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体（記憶媒体装置）であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力するようにされる。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画像データの形式に変換する。そして、このようにして生成した撮像画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる撮像画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
【００１７】
また、本実施の形態としての信号処理部２４は、先の説明のようにして取得される撮像画像データを利用して、被写体検出としての画像処理を実行することも可能とされている。本実施の形態における被写体検出処理がどのようなものであるのかについては後述する。
【００１８】
また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。これにより、スルー画の表示が行われる。
【００１９】
表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、モニタ画像が表示される。なお、先の図１で説明した表示画面部５が、ここでの表示部３３の画面部分に相当する。
【００２０】
また、デジタルスチルカメラ１は、メモリカード４０に記録されている撮像画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が撮像画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された撮像画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。
【００２１】
エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。
【００２２】
また表示部３３に対しては、上記のモニタ画像や撮像画像データの再生画像などとともに、ユーザインターフェイス画像も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェイス画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェイス画像が表示されることになる。なお、このユーザインターフェイス画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【００２３】
制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。
【００２４】
操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
【００２５】
雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。
【００２６】
図４は、雲台１０の構成例をブロック図により示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２（ａ）に示したパン（横）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２（ｂ）に示したチルト（縦）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。
【００２７】
制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部５３、チルト機構部５６の動きをコントロールする。例えば制御部５１がパン機構部５３の動きを制御するときには、パン機構部５３に必要な移動量と移動方向に対応した制御信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される制御信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号によりパン用モータ５４が、例えば所要の回転方向及び回転角度で回転し、この結果、パン機構部５３も、これに対応した移動量と移動方向により動くようにして駆動される。
同様にして、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動量と移動方向に対応した制御信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される制御信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転角度で回転し、この結果、チルト機構部５６も、これに対応した移動量と移動方向により動くようにして駆動される。
【００２８】
通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部３４と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。
【００２９】
上記した構成のデジタルスチルカメラ１と雲台１０から成る撮像システムでは、例えば、人を主体的な被写体（以降は単に被写体という）として扱うこととしたうえで、この被写体を探索するとともに、被写体の存在が検出されたのであれば、この被写体が写っている画像として最適とされる構図（最適構図）が得られるように（フレーミングが行われるように）して雲台１０のパン・チルト機構を駆動する。そして、最適構図が得られたタイミングで、そのときの撮像画像データを記憶媒体（メモリカード４０）に記録することが行われる。
つまり、本実施の形態の撮像システムでは、デジタルスチルカメラによる写真撮影を行うのにあたり、探索された被写体について最適構図を決定（判定）して撮影記録を行うという動作が自動的に実行される。これにより、ユーザ自身が構図を判断して撮影を行わなくとも、相応に良質な写真の画像を得ることが可能になる。また、このようなシステムでは、誰かがカメラを持って撮影する必要が無くなるので、その撮影が行われる場所に居る全員が被写体となることができる。また、被写体となるユーザが、カメラの視野角範囲に入ろうと特に意識しなくとも、被写体が収まった写真が得られることになる。つまり、その撮影場所に居る人の自然な様子を撮影する機会が増えるものであり、これまでにはあまりなかった雰囲気の写真を多く得ることができる。
また、被写体が向いているとされる方向により、最適とされる構図は異なってくるとの考え方をとることができるが、本実施の形態によれば、複数の被写体が存在する場合の、これら被写体の向いている方向の関係性に応じて、異なる最適構図が決定されるようにして構成される。これにより、本実施の形態に対応する構成の装置を利用するユーザは、面倒な手間を掛けることなく、最適構図の画像を得ることが可能になる
【００３０】
以降においては、本実施の形態における構図制御に関する説明を行っていく。
図５は、デジタルスチルカメラ１側が備える、本実施の形態の構図制御に対応した機能部位についての構成例を示している。
この図において被写体検出処理ブロック６１は、イメージセンサ２２にて得られる撮像信号に基づいて信号処理部２４にて得られる撮像画像データを利用して、被写体の探索制御を含む、被写体検出処理を実行する部位とされる。ここでの被写体検出処理は、先ず撮像画像データの画面の画内容から、人としての被写体を弁別して検出する処理をいうものであり、ここでの検出結果として得られる情報（検出情報）は、人としての被写体の数と、個々の被写体（個別被写体）ごとについての画面内での位置情報、及び個別被写体ごとについての画像内におけるサイズ（占有面積）などとなる。また、本実施の形態においては、検出情報として、個別被写体ごとの顔方向（被写体方向情報）も得る。ここでの顔方向とは、撮像画像データの画面内において、人としての個別被写体が向いているとされる方向を、顔が向いている方向により示したものとされる。
なお、説明を簡単で分かりやすいものとするために、顔方向については、左、右の２段階による検出結果を得るようにされていることを、以降の説明における前提とする。例えば被写体がほぼ正面を向いていると見ることができる場合であっても、この場合には、所定のアルゴリズムに従って、左か右のいずれかの検出結果となるように振り分けられる。
また、構図判定のアルゴリズムなどの構成によっては、被写体の数及び被写体方向情報のみが検出情報として得られるようにされれば、本実施の形態としての構図制御は実現可能である。
【００３１】
上記被写体検出処理の具体的手法としては、顔検出の技術を用いることができる。この顔検出の方式、手法はいくつか知られているが、本実施の形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適当とされる方式が採用されればよい。
また、顔検出の技術の応用で、上記の顔方向を検出することが可能とされている。例えば、顔検出処理を目、鼻などの特徴点を用いたパターン認識により行うこととすれば、検出された顔全体におけるこれらの特徴点の位置的、距離的な関係により顔方向を認識することが可能である。
なお、人としての個別被写体が向いているとされる方向を検出するのにあたり、例えば体部分の向きの検出であるとか目線の検出であるとか、上記した顔検出技術の応用以外であって、有用な手法があれば、このような手法を採用することについて特に問題はない。つまり、顔方向検出を含み、個別被写体が向いているとされる方向（被写体方向）を検出する手法、アルゴリズムなどは、これまでに知られているものを含め、適当とされるものを選択して採用することとすればよい。
また、この被写体検出処理ブロック６１が実行する被写体検出処理は、信号処理部２４における画像信号処理として実現することができる。先の説明のようにして信号処理部２４がＤＳＰにより構成される場合、この被写体検出処理は、信号処理部２４としてのＤＳＰに与えるプログラム、インストラクションにより実現されることになる。
また、被写体探索制御時においては、雲台１０のパン・チルト機構を制御するために、通信制御処理ブロック６３経由で、上記パン・チルト機構を駆動するための制御信号を出力する。
【００３２】
被写体検出処理ブロック６１の被写体検出処理結果である検出情報は、構図制御処理ブロック６２に対して入力される。
構図制御処理ブロック６２は、入力された被写体についての検出情報を利用して、最適であるとしてみなされる構図（最適構図）を決定する。そして、決定した最適構図を得るための制御（構図制御）を実行する。この場合の構図制御としては、画角（本実施の形態では、例えばズームレンズの制御に応じて変更可能な視野角をいう）の変更制御と、パン（左右）方向に沿った撮像方向の制御（パン制御）と、チルト（上下）方向に沿った撮像方向の制御（チルト制御）から成る。画角の変更のためには、デジタルスチルカメラ１の光学系部２１におけるズームレンズを移動する制御、若しくは撮像画像データに対する画像切り出しなどの画像信号処理の何れか一方を行う。また、パン制御、チルト制御は、雲台１０のパン・チルト機構を制御して動かすことにより行う。パン・チルト機構の制御を行うとき、構図制御処理ブロック６２は、パン・チルト機構をしかるべき位置状態とするための制御信号を、通信制御処理ブロック６３を経由して、雲台１０側に送信させる。
なお、上記構図制御処理ブロック６２が実行する構図決定と構図制御の処理は、例えば、制御部２７（ＣＰＵ）がプログラムに基づいて実行するように構成することができる。あるいは、これに信号処理部２４がプログラムに基づいて実行する処理を併用した構成とすることも考えられる。また、通信制御処理ブロック６３は、雲台１０側の通信部５２との通信処理を所定のプロトコルに従って実行するようにして構成される部位であり、雲台対応通信部３４に対応する機能部位となる。
【００３３】
次に、図６を参照して、被写体検出処理ブロック６１が実行するとされる被写体検出処理の事例を挙げておく。
ここで、被写体検出処理ブロック６１が、図６（ａ）に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が１つ存在した画を撮影して得られたものである。また、図６（ａ）（及び図６（ｂ））には、１画面をマトリクス状に区切った状態を示しているが、これは、撮像画像データとしての画面が、所定数による水平・垂直画素の集合から成るものであることを模式的に示している。
図６（ａ）に示す画内容の撮像画像データを対象に被写体検出（顔検出）を行うことによっては、図において示される１つの個別被写体ＳＢＪの顔が検出されることになる。即ち、顔検出処理によって１つの顔が検出されることを以て、ここでは１つの個別被写体が検出されることとしている。そして、このようにして個別被写体を検出した結果としては、先にも述べたように、個別被写体の数、向き、位置、サイズの情報を得るようにされる。
また、個別被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図６（ａ）の場合には、検出される顔が１つであるから、個別被写体数としても１であるとの結果が得られる。
また、個別被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における個別被写体ＳＢＪの重心Ｇ（X,Y）を求めることとする。なお、この場合の重心Ｇ（X,Y）の基準となる撮像画像データの画面上のX,Y原点座標Ｐ(0,0)は、例えば図７に示すようにして、画面サイズに対応したX軸方向(水平方向)の幅(水平画サイズ)Cxの中間点と、Y軸方向（垂直方向）の幅(垂直画サイズ)Cyの中間点との交点であることとしている。
また、この重心Ｇについての個別被写体の画像内における位置の定義であるとか、重心Ｇをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。
また、個別被写体ごとのサイズについては、例えば顔検出処理により顔部分であるとして特定、検出される領域の画素数を求めるようにすればよい。
また、個別被写体ごとの顔方向に関しては、先にも述べたように、顔検出処理に基づいて、例えば左、右の何れであるのかが検出されることになる。
【００３４】
また、図６（ｂ）に示す撮像画像データを取り込んで被写体検出処理ブロック６１が被写体検出処理を実行したとされると、先ずは、顔検出により２つの顔の存在することが特定されることになるので、個別被写体数については２であるとの結果が得られることになる。ここでは、２つの個別被写体のうち、左側を個別被写体ＳＢＪ０、右側を個別被写体ＳＢＪ１として識別性を持たせている。また、個別被写体ＳＢＪ０、ＳＢＪ１ごとに求めた重心の座標については、それぞれ、Ｇ0(X0，Y0)、Ｇ1(X1,Y1)として示されている。
また、このようにして、２以上の個別被写体が検出される場合には、これら複数の個別被写体をひとまとまりの被写体（総合被写体）としてみた場合の重心である、総合被写体重心Ｇｔ（Xg,Yg）を求めるようにされる。
この総合被写体重心Ｇｔをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個別被写体のうちで、画面の左端と右端の両端に位置する個別被写体の重心を結ぶ線分上の中間点を総合被写体重心Ｇｔとして設定した場合を示している。この総合被写体重心Ｇｔは、例えば後述するようにして構図制御において利用することができる情報であり、個別被写体の重心の情報が取得されれば演算により求められる情報である。従って、総合被写体重心Ｇｔについては、被写体検出処理ブロック６１により求め、これを検出情報として出力することとしてもよいが、構図制御処理ブロック６２が、検出情報として取得した個別被写体の重心の位置を示す情報のうちから、左右両端に位置する個別被写体の重心に関する情報を利用して求めるようにしてもよい。
なお、ほかには例えば、複数の個別被写体のサイズに応じて重み付け係数を与え、この重み付け係数を利用して、例えばサイズの大きな個別被写体に総合被写体重心Ｇｔの位置が近くなるように配慮した設定手法も考えることができる。
また、個別被写体のサイズについては、例えば個別被写体ＳＢＪ０、ＳＢＪ１ごとに、その検出された顔が占有するとされる画素数を求めることとすればよい。
【００３５】
続いては、図８〜図１０を参照して、本実施の形態における第１例としての構図制御により得られる構図についての説明を行う。
図８には、被写体探索の結果により被写体を検出したときの撮像画像データとして、１つの個別被写体ＳＢＪ０が撮像された画内容が得られた場合を示している。
なお、本実施の形態にあっては、デジタルスチルカメラ１を取り付けた雲台１０を通常に設置した場合には、横長の画像が撮像されるようにしてデジタルスチルカメラ１の向きが設定される。従って、第１例や後述する第２例にあっては、撮像により横長の画像が得られることを前提とする。
【００３６】
上記図８に示したようにして１つの個別被写体が検出された場合には、まず、この個別被写体ＳＢＪ０の撮像画像データの画面内における占有率が、最適とみなされる所定値となるように個別被写体のサイズを変更する。例えば、個別被写体が検出された段階において、この個別被写体の画面内における占有率が上記の所定値より小さい場合、個別被写体の占有率が所定値にまで大きくなるように画角を狭くしていくズーム制御を実行させる。また、個別被写体の画面内における占有率が所定値より大きい場合には、個別被写体の占有率が所定値にまで小さくなるように画角を広くしていくズーム制御を実行させる。このようなズーム制御により、構図として先ずは、検出された個別被写体被が１つの場合における被写体サイズが適正となるようにされる。
【００３７】
次に、検出された個別被写体被が１つの場合における画面上での被写体の位置(被写体位置)は、次のようにして調整される。
この被写体位置については、検出された顔方向の情報を利用する。この図８の場合の個別被写体ＳＢＪは、顔方向が左であるとして検出されているものとする。このとき、この図８に示される画内容の画面を実際に見たとした場合、これを見る者からは、画面において、個別被写体ＳＢＪの顔が左側を向いているようにして見えることになる。ちなみに、この個別被写体ＳＢＪとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
また、この被写体位置調整にあたっては、画像中の原点座標Ｐ(0,0)を通過する垂直線、即ちＹ軸線と一致する直線であって、被写体位置調整の基準線となる画像領域分割線Ｌｄを仮想的に設定する。
そして、この場合のようにして顔方向が左であると検出された場合には、個別被写体ＳＢＪ０の重心Ｇを、上記画像領域分割線Ｌｄに対応する位置（Ｘ＝０）から、水平オフセット量θｘで表される右方向への移動量に従って移動させた位置（水平シフト位置）に配置させる。このためには、重心Ｇが、上記水平シフト位置にくるようにして、雲台１０のパン機構を駆動させる制御を実行する。
【００３８】
一般に、被写体を画面の中央に位置させた構図は、良くない構図の典型とされている。そこで、例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。本実施の形態としては、このような構図決定の手法に従い、先ずは、画面水平方向における個別被写体ＳＢＪの位置(重心Ｇ)について、画面中央に対して一定量（水平オフセット量θｘ）だけ移動させるようにしているものである。
そのうえで、さらに、本実施の形態では、図８に例示するように、検出された個別被写体の顔方向が左であれば、その重心Ｇの水平方向における位置について、Ｙ軸線に沿った画像領域分割線Ｌｄにより２分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせることで、画面においては、検出被写体ＳＢＪの顔が向いている方向である左側において空間が得られるようにしている。このような構図とすることで、例えば、顔方向が左であるとされる個別被写体ＳＢＪの重心Ｇを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、画像領域分割線Ｌｄに対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
【００３９】
本実施の形態における水平オフセット量θｘとしての実値を決定するアルゴリズムについては多様に考えられるが、ここでは、三分割法に基づいて行うものとしている。三分割法は、最も基本的な構図設定手法の１つであり、方形の画面を垂直方向と水平方向のそれぞれに沿って三等分する仮想線上に被写体を位置させることにより良好な構図を得ようとするものである。
例えば、図８は、水平画サイズCxを三等分するようにされた画面縦方向に沿った２本の仮想線のうち、右側の仮想線上において重心Ｇが位置するようにして、水平オフセット量θｘが設定されているものである。これにより、個別被写体の顔方向に応じた水平方向における被写体位置として最適とされる構図の１つが得られることになるわけである。
【００４０】
また、図示による説明は省略するが、検出された１つの個別被写体ＳＢＪについて、顔方向について右であることが検出されている場合には、図８に示される位置に対して、画像領域分割線Ｌｄを基準にして線対称となる水平位置に個別被写体ＳＢＪの重心Ｇが位置するようにされる。つまり、この場合の水平オフセット量θｘとしては、図８の場合の実値の正／負を反転した値が設定され、この水平オフセット量θｘに基づいたパン制御が行われる。
【００４１】
また、図９（ａ）のように、２つの個別被写体ＳＢＪ０、ＳＢＪ１が検出された場合には、構図制御として、先ず、個別被写体ＳＢＪ０、ＳＢＪ１の画像部分の集合から成るとされる総合被写体画像部分のサイズ（例えば画面全体に対する被写体画像部分の占有率としても捉えることができる）について、例えば個別被写体数が２である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
なお、上記の総合被写体画像部分をどのようにして定義してそのサイズを求めるのかについてはいくつか考えられるが、例えば、検出された複数の個別被写体ごとの画像部分のサイズを足し合わせるようにして求めることができる。あるいは、検出された複数の個別被写体が全て含まれるようにして仮想的に描いた線により囲まれる画像部分のサイズとして求めることも考えられる。
【００４２】
また、これら２つの個別被写体ＳＢＪ０、ＳＢＪ１についての水平方向における被写体位置に関しては、これら２つの個別被写体ＳＢＪ０、ＳＢＪ１ごとの顔方向の情報を利用する。
この図９（ａ）に示される２つの個別被写体ＳＢＪ０、ＳＢＪ１の顔方向は、何れも左であると検出されているものとする。つまり、２つ在る個別被写体の全ての顔方向が同一とされており、これらの顔方向がこの場合には左とされているものである。
この場合には、図８に示した１つの個別被写体ＳＢＪの顔方向が左であった場合に準じて、画面左側に空間ができるように、個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分を、顔方向が示す「左」とは反対となる、画像領域分割線Ｌｄの右側に寄せて位置させるようにする。このためには、例えば図示しているように、右側に所定量ずらすための水平オフセット量θｘを設定した上で、２つの個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分の重心である、総合被写体重心Ｇｔについて、画像領域分割線Ｌｄである原点座標Ｐ(0,0)を通過する垂直線（Ｙ軸線）から水平オフセット量θｘだけ移動した位置にくるように、パン制御を行うようにされる。
また、図示はしていないが、２つの個別被写体ＳＢＪ０、ＳＢＪ１の顔方向が何れも右で同一である場合には、図９（ａ）の位置に対して、画像領域分割線Ｌｄを基準にして線対称となる位置（Ｙ軸線に対して左側の画面領域において同じ水平オフセット量θｘの絶対値分移動した位置）に総合被写体重心Ｇｔが在るようにしてパン制御を行うことになる。
【００４３】
ただし、このように個別被写体が複数である場合において、個別被写体数が１の場合のときに最適とされる水平オフセット量θｘを与えたとすると、右（あるいは左）に寄りすぎた印象の構図となりやすい。そこで、図９（ａ）に示されるように個別被写体数が２の場合においては、水平オフセット量θｘについて、図８に示した個別被写体数が１の場合よりも小さい値（絶対値）を所定規則によって設定することとしている。
【００４４】
また、図９（ｂ）には、２つの個別被写体ＳＢＪ０、ＳＢＪ１について検出された顔方向が、それぞれ左、右となっている場合の例を示している。なお、これは、個別被写体数が２である場合において、それぞれの顔方向が同一ではない場合の一例を示している。
この場合の水平方向における総合被写体画像部分の位置については、図示するようにして、２つの個別被写体ＳＢＪ０、ＳＢＪ１の総合被写体重心Ｇｔが、画像領域分割線Ｌｄ上に位置するようにして調整（パン制御）を行う。
これにより得られる構図では、２つの個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分は、水平方向において画面のほぼ中央に位置することとなる。しかし、被写体が複数とされて、かつ、これらの被写体が同一の方向を向いていないような画の場合、総合被写体画像部分が中央にきたとしても、その構図は相応に良好なものとなる。
【００４５】
また、図１０においては、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２が検出された場合を示している。
この場合の構図制御としても、先ず、個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２から成る総合被写体画像部分のサイズについて、個別被写体数が３である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
【００４６】
そのうえで、総合被写体画像部分の水平方向における位置については、この場合にも、各個別被写体ごとに検出された顔方向の情報を利用することになる。図１０においては、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て左で同一であるものとする。
この場合には、図９（ａ）の場合に準じて、個別被写体ＳＢＪ０、ＳＢＪ１から成る画像領域部分を画像領域分割線Ｌｄよりも右側の画像領域に寄せて位置させるようにして、水平オフセット量θｘの設定と、これによって決まる所要位置への総合被写体重心Ｇｔの移動のためのパン制御を行うようにされる。また、仮に３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て右で同一である場合には、総合被写体重心Ｇｔは、図１０の位置に対して、画像領域分割線Ｌｄを基準にして線対称となる水平位置に在るようにしてパン制御が行われることになる。
また、このときに設定される水平オフセット量θｘは、図９（ａ）の検出された個別被写体が２つの場合よりも、小さな絶対値を設定するようにされる。これにより、例えば個別被写体数が３とされる場合に応じて、水平方向における被写体位置はより最適となって、良好な構図が得られることになる。
【００４７】
また、この第１例の構図制御にあって、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て同一ではなかった場合には、図９（ｂ）に準じて、画像領域分割線Ｌｄ（Ｙ軸線）上に総合被写体重心Ｇｔが位置する構図が得られるようにする。
【００４８】
これまでの説明によると第１例の構図制御における水平方向の位置調整は、先ず、個別被写体ごとに検出される顔方向に対応させていることが分かる。つまり、最も基本的な制御として、個別被写体数が１の場合には、その個別被写体で検出された顔方向が左、右の何れであるのかに対応して、その重心Ｇ（総合被写体重心Ｇｔ）について、画像領域分割線Ｌｄ（Ｙ軸線）の右側領域、あるいは左側領域に対して所定量だけずらして位置させる（重心Ｇの水平オフセットを行う）ようにして、画面内では被写体の向いているほうに空間ができるようにしている。
そして、個別被写体数が複数（２以上）の場合には、個別被写体の顔方向が全て同一ならば、上記の位置調整に倣い、総合被写体重心Ｇｔの水平オフセットを行うようにされ、全て同一でないならば、水平オフセットを行うことなく、総合被写体重心Ｇｔには画像領域分割線Ｌｄに対応したX座標を与えて、総合被写体画像部分が画面内のほぼ中央に在るようにする。
【００４９】
そのうえで、総合被写体重心Ｇｔ（重心Ｇは個別被写体数が１の場合の総合被写体重心Ｇｔとみなす）の水平オフセットを行うのにあたっては、図８〜図１０により述べたようにして、水平オフセット量θｘを、個別被写体数に応じて変更するものとしている。これにより、画面における総合被写体画像部分の水平方向に沿った位置について、個別被写体数に応じた最適な位置が得られるように配慮している。
【００５０】
図１１は、上記図８〜図１０により説明した第１例としての構図制御に対応して、図５に示した被写体検出処理ブロック６１、構図制御処理ブロック６２、及び通信制御処理ブロック６３が実行するものとされる手順例を示している。また、この図に示す処理は、ＤＳＰとしての信号処理部２４、制御部２７におけるＣＰＵがプログラムを実行することで実現されるものとしてみることができる。このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
【００５１】
また、以降のフローチャートの説明においては、これまでに使用してきた「総合被写体重心（Ｇｔ）」、及び「総合被写体画像部分」の語句は、検出されている個別被写体数が２以上の場合のみに適用するのではなく、１の場合にも適用する。つまり、例えば図８に示した重心Ｇが、検出されている個別被写体数が１の場合の個別被写体重心Ｇｔとなるものであり、また、図８の個別被写体ＳＢＪのみからなる画像部分が、検出されている個別被写体数が１の場合の総合被写体画像部分となる。
【００５２】
先ず、ステップＳ１０１〜ステップＳ１０６までは、被写体を探索して検出するための手順となり、主に被写体検出処理ブロック６１が実行するものとされる。
ステップＳ１０１では、イメージセンサ２２からの撮像信号に基づいた撮像画像データを取り込んで取得する。ステップＳ１０２では、上記ステップＳ１０１により取得した撮像画像データを利用して被写体検出処理を実行する。ここでの被写体検出処理としては、例えば先ず、先に述べた顔検出などの手法により、撮像画像データとしての画面内容において個別被写体が存在するか否かについての検出を行う。そして、個別被写体が存在する場合には、個別被写体数、個別被写体ごとの位置（重心）、サイズ、及び個別被写体ごとの顔方向を、検出情報として得るようにされる。
【００５３】
ステップＳ１０３では、上記ステップＳ１０２による被写体検出処理の結果として、個別被写体の存在が検出されたか否かについての判別を行う。ここで個別被写体の存在が検出されなかった（検出される個別被写体数が０である）として否定の判別結果が得られた場合には、ステップＳ１０４に進み、画角を広くするためのズームレンズの移動制御（ズームアウト制御）を実行する。このようにして画角を広くすることで、より広い範囲が撮像されることになるので、それだけ個別被写体を補足しやすくなる。また、これとともに、ステップＳ１０５により、被写体探索のために雲台１０のパン・チルト機構を動かすための制御（パン・チルト制御）を実行する。このときには、被写体検出処理ブロック６１がパン・チルト制御のための制御信号を通信制御処理ブロック６３に渡し、雲台１０の通信部５２に対して送信されるようにして制御を行う。
なお、上記被写体探索のためのパン・チルト制御として、雲台１０のパン・チルト機構をどのようなパターンで動かすのかについては、例えば探索が効率的に行われることを配慮して決めることとすればよい。
また、ステップＳ１０６においては、モードフラグｆについて０を設定（ｆ＝０）し、ステップＳ１０１に戻るようにされる。
このようにして、撮像画像データの画内容において少なくとも１つの個別被写体が検出されるまでは、ステップＳ１０１〜ステップＳ１０６の手順が繰り返される。このとき、デジタルスチルカメラ１と雲台１０から成るシステムは、被写体探索のために、デジタルスチルカメラ１がパン方向及びチルト方向に動かされている状態となっている。
【００５４】
そして、ステップＳ１０３において個別被写体の存在が検出されたとして肯定の判別結果が得られたとされると、ステップＳ１０７以降の手順に進む。ステップＳ１０７以降の手順は、主に構図制御処理ブロック６２が実行するものとなる。
【００５５】
ステップＳ１０７においては、現在のモードフラグｆに設定されている値が何であるのかを判別する。
ｆ==0であると判別された場合には、構図制御として、最初のラフな被写体捕捉モードを実行すべき場合であることを示すものであり、図のようにしてステップＳ１０８から始まる手順を実行する。
ステップＳ１０８においては、総合被写体重心Ｇｔが、撮像画像データの画面（撮像画像データの画内容を表したとするときに得られる画面）における原点座標Ｐ(0,0)(図７参照)に位置しているか否かについての判別を行う。ここで、総合被写体重心Ｇｔは、未だ原点座標に位置していないとして否定の判別結果が得られた場合には、ステップＳ１０９により、総合被写体重心Ｇｔが原点座標に位置するようにして、雲台１０のパン・チルト機構を動かすための制御を実行し、ステップＳ１０１に戻る。このようにして、個別被写体の存在が検出されている状態での最初の構図制御の手順である捕捉モードは、総合被写体重心Ｇｔを、先ずは初期の基準位置である原点座標に対して位置させるようにして雲台１０のパン・チルト機構を制御することで、検出された個別被写体が写っているとされる画像領域を画面内の中央に位置させようとするものである。
【００５６】
なお、上記ステップＳ１０９としてのパン・チルト制御を実際に行うのにあたってのアルゴリズムの一例をここで示しておく。
モードフラグｆ==0の状態で個別被写体が検出される状態では、被写体検出処理ブロック６１は、下記の（数１）により示される演算を行って、パン方向における必要移動量Ｓpanとチルト方向における必要移動量Stiltを求めるようにされる。下記の（数１）において、ｎは検出された個別被写体数を示し、Ｐ（Xi，Yi）は０番からｎ−１番までの番号が与えられた個別被写体のうちのｉ番目の個別被写体の重心のX,Y座標を示す。確認のために、図７に示したように、この場合における原点座標(0,0)は、画面における水平方向における中点と垂直方向における中点との交点となる。
【数１】
【００５７】
例えばステップＳ１０８では、上記のようにして求められる必要移動量Span,Stiltの絶対値が所定値(厳密には０となるが、０より大きな値とされてもよい)以内であるか否かを判別することを以て、総合被写体重心Ｇｔが原点座標Ｐに在るか否かと同等の判別を行うことができる。そして、ステップＳ１０９においては、必要移動量Span,Stiltの絶対値が所定値以内となるようにしてパン・チルト制御を実行するようにされる。なお、このときのパン・チルト制御に際してのパン機構部５３、チルト機構部５６の速度は一定としても良いのであるが、例えば、必要移動量Span,Stiltが大きくなるのに応じて速度を高くしていくなどして可変させることが考えられる。このようにすれば、パンニングあるいはチルティングによる必要移動量が大きくなったときも、比較的短時間で総合被写体重心Ｇｔを原点座標に近づけることが可能になる。
そして、ステップＳ１０８において、総合被写体重心Ｇｔが原点座標に位置したとして肯定の判別結果が得られたとされると、ステップＳ１１０によりモードフラグｆについて１を設定（ｆ＝１）してステップＳ１０１に戻る。このステップＳ１１０によりモードフラグｆについて１が設定された状態は、構図制御における最初の手順である捕捉モードは完了し、次の第１の構図の調整制御(構図調整モード)を実行すべき状態であることを示す。
【００５８】
そして、モードフラグｆ==1とされて第１の構図調整モードを実行すべき場合には、ステップＳ１０７からステップＳ１１１に進むことになる。第１の構図調整モードは、検出された個別被写体数と個別被写体ごとの顔方向の組み合わせに応じた最適構図を得るためズーム(画角)調整とパン制御を行うものである。なお、画角調整とパン制御によっては画面内における個別被写体のサイズや個別被写体の位置が変化する結果を生じる。
【００５９】
ステップＳ１１１においては、現在検出されている個別被写体数がいくつであるかを判別し、１であればステップＳ１１２から始まる手順を実行する。
ステップＳ１１２においては、検出されている個別被写体数が１であることに対応した目標被写体サイズを設定する。ここでの目標被写体サイズとは、画面における総合被写体画像部分のサイズとして構図的に最適であるとみなされるものをいい、例えば図８との対応では、「（１つの）個別被写体ＳＢＪ０の撮像画像データの画面内における占有率が、最適とみなされる所定の範囲値」に相当する。
【００６０】
ステップＳ１１３においては、個別被写体のサイズがＯＫであるか否かについて判別する。個別被写体のサイズがＯＫである状態とは、そのときに検出されている個別被写体のサイズが、上記ステップＳ１１２により設定された目標被写体サイズとなっている状態である。ステップＳ１１３において否定の判別結果が得られた場合には、ステップＳ１１４に進み、個別被写体のサイズが目標被写体サイズとなるようにズームレンズの駆動制御（ズーム制御）を実行し、ステップＳ１０１に戻る。
なお、このときには、総合被写体重心Ｇｔの水平方向（左右方向）における位置に関しては、ステップＳ１０９にて設定されたＸ座標（X=０）に対応する位置を維持するようにしてズーム制御を行うようにされる。これにより、個別被写体を左右方向においてほぼ中央に位置させた状態を維持することができる。また、被写体探索動作の実行時においては、ステップＳ１０４によりズームアウト制御が行われるので、ステップＳ１１４としてのズーム制御に際してはズームイン制御となる場合が多いと考えられる。しかし、何らかの原因で、そのときに検出された個別被写体のサイズが、目標被写体サイズよりも大きくなっている状態に応じてステップＳ１１３にて否定の判別結果が得られた場合、ステップＳ１１４ではズームアウトを実行させて、実際の個別被写体のサイズが目標被写体サイズとなるように制御することになる。
そして、ステップＳ１１３において肯定の判別結果が得られたのであればステップＳ１１５以降の手順に進むようにされる。
【００６１】
ステップＳ１１５においては、水平オフセット量θｘを設定する。
ここで、本実施の形態における第１の構図制御にあっては、水平オフセット量θｘについては、下記の（式１）により求めるものとする。
θｘ＝Ｄ×（Ｃｘ／６）／ｎ・・・（式１）
上記（式１）において、Ｄは、顔方向若しくは複数の顔方向の組み合わせ（関係性）に基づいて、＋１、−１、０のいずれかが設定される係数である。Ｃｘは、水平画サイズを示す。Ｃｘ／６の項は、三分割法に基づいて得られる縦方向に沿った仮想線のX座標に対応したものである。ｎは、検出されている個別被写体数を示す。
【００６２】
ステップＳ１１５に至った場合、検出されている個別被写体数は１であるので、ｎ＝１とになる。また、顔方向は、左か右の何れか一方となる。係数Ｄは、顔方向が左である場合には＋１となり、右である場合には−１となる。
すると、検出されている１つの個別被写体の顔方向が左である場合には、θｘ＝−Ｃｘ／６となる。この水平オフセット量θｘは、原点座標P(0,0)を通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）から、Ｃｘ／６だけ右に移動した垂直線の位置を示すことになるが、この垂直線の位置は、ちょうど、三分割法に従った２本の仮想線のうち、右側にある仮想線と同じになる。
一方、検出されている１つの個別被写体の顔方向が右である場合には、水平オフセット量θｘ＝Ｃｘ／６となり、原点座標P(0,0)を通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）から、Ｃｘ／６だけ左に移動した垂直線の位置を示すことになる。そして、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、左側にある仮想線と同じになる。
【００６３】
ステップＳ１１６においては、総合被写体重心Ｇｔ（この場合には、個別被写体数が１なので、図８の重心Ｇと総合被写体重心Ｇｔは同じになる）が、上記ステップＳ１１５により設定された水平オフセット量θｘに対応するX座標上に位置しているか否かの判別処理を行う。ここで否定の判別結果が得られた場合には、ステップＳ１１７に進む。
ステップＳ１１７では、水平オフセット量θｘに対応するX座標上に総合被写体重心Ｇｔが位置する状態となるようにパン制御を実行し、ステップＳ１０１に戻る。
そして、上記ステップＳ１１７の制御により、水平オフセット量θｘに対応するX座標上に総合被写体重心Ｇｔが位置する状態に至ったとされると、ステップＳ１１６にて肯定の判別結果が得られることになる。このようにしてステップＳ１１６にて肯定の判別結果が得られたときには、個別被写体（ＳＢＪ）の重心は、図８により示したようにして、その顔方向に応じて、画像領域分割線Ｌｄから水平オフセット量θｘだけ左又は右に移動した位置にあることになる。
【００６４】
ステップＳ１１６において肯定の判別結果が得られた場合には、ステップＳ１１８に進み、モードフラグｆについて２を設定してステップＳ１０１に戻る。このモードフラグｆ==２となっている状態は、後の説明からも理解されるように、第１の構図調整が完了して、次の第２の構図調整モードを実行したうえでレリーズ動作を実行すべきであることを示す。
【００６５】
また、ステップＳ１１１において、検出されている個別被写体数が２以上であると判別した場合には、ステップＳ１１９から始まる手順を実行する。
ステップＳ１１９においては、目標被写体サイズを設定する処理を行う。個別被写体数が２以上とされる場合、最適構図を得るための目標被写体サイズは、例えば個別被写体数に応じて異なってくるものとされる。そこで、ステップＳ１１９においては、ステップＳ１０２において検出された個別被写体数に応じた所定の目標被写体サイズを設定する。また、確認のために述べておくと、個別被写体数が２以上の場合の目標被写体サイズは、検出されている全ての個別被写体から成る総合被写体画像部分を対象としたものとなる。
【００６６】
ステップＳ１２０においては、個別被写体のサイズがＯＫであるか否かについて判別する。つまり、このときの個別被写体についての検出情報から求められる総合被写体画像部分のサイズが、上記ステップＳ１２０により設定された目標被写体サイズとなっているか否かについて判別する。
ステップＳ１２０において否定の判別結果が得られた場合には、ステップＳ１２１に進む。ステップＳ１２１においては、ステップＳ１１４に準じて、このとき検出されている個別被写体の総合被写体画像部分のサイズが、ステップＳ１１９により設定された目標被写体サイズとなるようにズームレンズの駆動制御（ズーム制御）を実行し、ステップＳ１０１に戻る。
これに対して、ステップＳ１２０において肯定の判別結果が得られた場合には、ステップＳ１２２に進む。
【００６７】
ステップＳ１２２では、複数の個別被写体ごとに検出された顔方向について、これらが全て同一であるか否かの判別処理を行う。
先ず、ステップＳ１２２において肯定の判別結果が得られた場合には、ステップＳ１２３以降の手順を実行する。ステップＳ１２３においては、先に述べた(式１)により水平オフセット量θｘを設定する。
この場合には、(式１)における係数Ｄには、検出されている同一の顔方向が、左、右の何れを示しているのかに応じて、＋１と−１のいずれかが代入される。また、ｎには、検出されている個別被写体数に応じた２以上の数が代入されることになる。このことからも理解されるように、(式１)によっては、個別被写体数が多くなるのに応じて、求められるθｘの絶対値は小さくなる。つまり、図８、図９（ａ）、図１０によっても説明したように、個別被写体数が多くなるのに応じて、総合被写体画像部分の左右における画像領域分割線Ｌｄからのオフセット量は少なくなっていくようにされる。
【００６８】
これに対して、ステップＳ１２２において、否定の判別結果が得られた場合には、ステップＳ１２４により、水平オフセット量θｘ＝０を設定する。
なお、このステップＳ１２４の処理にあっても、（式１）による演算を行うことで、θｘ＝０を設定することができる。つまり、ステップＳ１２２にて否定の判別結果が得られた場合（即ち複数の顔方向が同一でない場合）には、ステップＳ１２４にて、係数Ｄについて０を代入して（式１）の演算を行うようにアルゴリズムを構成するものである。
ステップＳ１２３、又はステップＳ１２４の手順を実行した後は、ステップＳ１２５以降の手順に進む。
【００６９】
ステップＳ１２５、１２６、Ｓ１２７では、先に説明したステップＳ１１６、Ｓ１１７、Ｓ１１８と同様にして、総合被写体重心Ｇｔが、ステップＳ１２３又はステップＳ１２４により設定された水平オフセット量θｘに対応するX座標上に位置する状態に至るまでパン制御を実行する。この制御により、複数の個別被写体の顔方向が同一である場合には、その数に応じた水平オフセット量θｘ分だけ、左又は右方向に総合被写体画像部分（総合被写体重心Ｇｔ）が移動された状態が得られていることになる。この状態に至ると、ステップＳ１２５にて肯定の判別結果が得られることとなって、ステップＳ１２７によりモードフラグｆについて２を設定し、ステップＳ１０１に戻る。
【００７０】
このようにして、モードフラグｆについて２が設定された状態では、構図制御として、図８〜図１０により説明した、個別被写体数に応じたサイズ調整と、これらの個別被写体ごとの顔方向若しくはその組み合わせに応じた水平方向における位置調整までの手順が完了した状態であることになる。そこで、ステップＳ１０７にてモードフラグｆが２であると判別された場合には、ステップＳ１２８以降の手順により、第２の構図調整モードを実行する。
【００７１】
例えば、図８〜図１０での構図制御の説明にあっては、その説明を簡単なものとするために、画面上下方向における個別被写体の重心の位置をどのようにして設定するのかについては言及していないが、実際においては、画面の中央から例えば或る必要量だけ上方向に移動（オフセット）させたほうが、より良い構図となる場合がある。そこで、本実施の形態の構図制御の実際としては、最適構図としてより良好なものが得られるようにして総合被写体重心Ｇｔの縦（垂直）方向のオフセット量も設定することとしている。このための手順が、第２の構図調整モードとなるものであり、ステップＳ１２８及び次に説明するステップＳ１２９として実行される。
【００７２】
ステップＳ１２８では、総合被写体重心Ｇｔ（個別被写体が１つの場合はその個別被写体の重心Ｇとなる）の位置について、画面上の原点座標Pを通過する水平直線（Ｘ軸）から所定の垂直オフセット量θｙだけオフセットしている状態にあるか否か（重心オフセットがＯＫであるか否か）を判別する。
ステップＳ１２８にて否定の判別結果が得られた場合には、ステップＳ１２９により、設定された垂直オフセット量θyだけ重心がオフセットされるようにして、雲台１０のチルト機構が動くようにチルト制御を実行し、ステップＳ１０１に戻る。そして、ステップＳ１２８において肯定の判別結果が得られた段階では、総合被写体画像部分の水平方向における位置と、垂直方向における位置との双方について、最適構図に対応したものが得られている、さらに、総合被写体画像部分のサイズも最適構図に対応したものが得られていることになる。即ち、最適構図が得られている状態となる。
【００７３】
なお、このステップＳ１２８、Ｓ１２９に対応した垂直オフセット量θｙの実値をどのようにして設定するのかについては、いくつかの手法が考えられることから、ここでは特に限定されるべきものではない。最も簡単な設定の１つとしては、例えば三分割法に基づいて、縦方向における中心位置から、垂直画サイズCyの1/6に相当する長さの値を与えることが考えられる。もちろん、例えば個別被写体数であるとか、顔方向及びその組み合わせに応じた異なる値を所定の規則に従って設定するように構成することも考えられる。
【００７４】
そして、ステップＳ１２８により肯定の判別結果が得られた場合には、ステップＳ１３０から始まる、レリーズ動作に対応した処理手順を実行する。ここでのレリーズ動作とは、そのときに得られている撮像画像データを、静止画像データとして記憶媒体（メモリカード４０）に記憶させるための動作をいう。つまり、手動によるシャッター操作を行っている場合では、このシャッター操作に応答して、そのときに得られていた撮像画像データを静止画像データとして記憶媒体に対して記録する動作にあたる。
【００７５】
ステップＳ１３０においては、現在においてレリーズ動作を実行可能な条件を満たしているか否かを判別する。条件としては例えば、合焦状態にあること（オートフォーカス制御が有効に設定されている場合）、雲台１０のパン・チルト機構が停止状態にあること、などを挙げることができる。
上記ステップＳ１３０で否定の判別結果が得られた場合には、処理をステップＳ１０１へ戻す。これにより、レリーズ動作を実行できる条件が満たされる状態となるのを待機することができる。そして、ステップＳ１３０において肯定の判別結果が得られると、ステップＳ１３１によりレリーズ動作を実行する。このようにして、本実施の形態では、最適構図の撮像画像データを記録することができる。
レリーズ動作が終了したとされると、ステップＳ１３２により所要のパラメータについて初期設定を行う。この処理により、モードフラグｆについては初期値の０が設定される。また、ズームレンズの位置も、予め設定された初期位置に戻される。
そして、ステップＳ１３２の処理を実行した後は処理をステップＳ１０１へ戻す。このようにして処理をステップＳ１３２からステップＳ１０１へ戻すことにより、被写体を探索し、この探索により検出されることとなった個別被写体の向いている方向と個別被写体数に応じた最適構図を得て撮像記録（レリーズ動作）を行うという動作が、自動的に繰り返し実行されることになる。
【００７６】
なお、上記図１１の場合におけるレリーズ動作は、撮像画像から静止画像を記録媒体に記録する動作となるものであるが、本実施の形態におけるレリーズ動作は、より広義には、上記の静止画像を記録媒体に記録することを含め、例えば撮像画像から必要な静止画像データを取得することを指す。従って、例えば本実施の形態のデジタルスチルカメラ１により、データインターフェースなどを経由して他の記録装置などに伝送するために、撮像画像から静止画像データを取得するような動作も、レリーズ動作となるものである。
【００７７】
これまでに述べた図１１の手順では、先ず、ステップＳ１０８、Ｓ１０９により、先の（数１）で求められる必要移動量Span,Stiltに基づいて、検出された１以上の個別被写体の総合被写体重心Ｇｔを画面における原点座標Ｐに位置させるという、捕捉のためのパン・チルト制御を行うこととしている。そして、次の段階として、個別被写体数、及び個別被写体ごとに検出される顔方向の関係性（同一であるか否か）に基づき、水平オフセット量θｘを求め、総合被写体重心Ｇｔについて、原点座標Ｐを通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）を基準に、水平オフセット量θｘに対応する距離だけ、左若しくは右方向に移動させるためのパン制御を行う。さらに、設定された垂直オフセット量θｙが示す移動量に基づいて、総合被写体重心Ｇｔについて、原点座標Ｐを通過する水平直線（Ｘ軸）を基準に、垂直オフセット量θｙに対応する距離だけ、上方向（若しくは下方向）に移動させるためのチルト制御を行う。
このことからすると、図１１の手順におけるパン・チルト制御は、
【数２】
により必要移動量Span,Stiltを求めたうえで、必要移動量Spanに対応した画面内での移動量を得るためのパン機構の制御と、必要移動量Stiltに対応した画面内での移動量を得るためのチルト機構の制御とを行っているものである、ということがいえる。
【００７８】
続いては、本実施の形態における第２の構図制御について説明する。
第２の構図制御の例として、図１２には、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２が検出された状態を示している。これらの個別被写体のうち、個別被写体ＳＢＪ０、ＳＢＪ２について検出されている顔方向は左であるのに対して、個別被写体ＳＢＪ１について検出されている顔方向は右であるものとする。この場合、全ての個別被写体の顔方向が同一にはなっていないので、第１の構図制御の場合であれば、図９（ｂ）などで説明したように、総合被写体重心Ｇｔは、原点座標Ｐを通過する垂直線（画像領域分割線Ｌｄ：Ｙ軸線）上に在るように構図が設定される。
【００７９】
しかし、３つの個別被写体のうちで、例えば過半数を占める２つの個別被写体ＳＢＪ０、ＳＢＪ２が同じ方向を向いている（顔方向が同一である）ということは、残る１つの個別被写体ＳＢＪ１の顔方向に対応して向いているとする反対方向よりも、これら２つの個別被写体ＳＢＪ０、ＳＢＪ２が向いているとする先に、何かしら重要性の高いものが存在している可能性が高いということがいえる。このような考え方に基づけば、これら２つの個別被写体ＳＢＪ０、ＳＢＪ２の顔方向が示す先の画面領域に空間を設けることのほうが良い構図となる可能性が高いといえる。この場合であれば、２つの個別被写体ＳＢＪ０、ＳＢＪ２の顔方向が左であるとして検出されているので、画面において、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２から成る総合被写体画像部分を画像領域分割線Ｌｄよりも右側の画像領域に寄せて良い構図を得ようとするものである。
【００８０】
そこで、第２の構図制御としては、複数の個別被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、個別被写体の全体数における所定割合以上を占めるときには、この同一となる顔方向を基準顔方向とする。この基準顔方向は、例えば複数の個別被写体群の総体を１つの個別被写体としてみた場合において、画面内にて向いているとする方向を指すものといえる。そして、この基準顔方向に基づいて、水平オフセット量θｘを求めて設定するようにされる。このような構図制御により、図１２の場合には、原点座標Ｐを通過する垂直線よりも右側に総合被写体重心Ｇｔが位置するようにして構図が設定されることになる。
【００８１】
また、ここでは図示しないが、上記の所定割合以上を占めるだけの、同一の顔方向数が得られていない状態、即ち上記の基準顔方向が決定できなかった場合、本実施の形態としては、総合被写体画像部分が左右方向においてほぼ中央に位置する構図を設定することのほうが好ましいとの考えにたつものとする。そこで、この場合には、水平オフセット量θｘについては０を設定することとする。
【００８２】
図１３は、上記した第２の構図制御に対応して図５に示した被写体検出処理ブロック６１、構図制御処理ブロック６２、及び通信制御処理ブロック６３が実行するものとされる手順例を示している。
この図１３に示される手順のうちで、ステップＳ２２１−１、Ｓ２２２−２を除くステップＳ２０１〜Ｓ２３２までの手順は、図１１におけるステップＳ１０１〜Ｓ１３２までの手順と、それぞれ同じとなる。
そして、ステップＳ２２１−１とこれに続くステップＳ２２２−２は、ステップＳ２２２において否定の判別結果が得られた場合において実行すべき手順として挿入されている。つまり、ステップＳ２２２−１、Ｓ２２２−２は、検出されている個別被写体数が複数の場合であって、先ずは、総合被写体画像部分のサイズ調整が完了した段階において、これらの個別被写体の顔方向の関係性として、全ての顔方向が同一ではなかった場合に実行されるものである。
【００８３】
ステップＳ２２２−１では、基準顔方向を決定するための処理を実行する。
このためには、例えば、先にも述べたように、検出されている複数の個別被写体ごとの顔方向の関係性として、同一の顔方向を持つ個別被写体の組のうちで、その組を成す個別被写体数が、全ての検出されている個別被写体数における所定割合以上を示すものがあるかどうかについて判断し、このような個別被写体の組があれば、この組の個別被写体の顔方向を、有効な基準顔方向として決定するようにされる。また、このような個別被写体の組が無ければ、基準顔方向も無いものとする決定を行うようにされる。
なお、上記の所定割合について、実際にどのような値を設定するのかについては、実際における個別被写体数及び個別被写体ごとの顔方向の関係性との対応で、どのような構図が適当となるのかを考慮したうえで、適宜決定されて良い。また、この所定割合としての値は、基本的には固定の１つの値が設定されればよいが、例えば、決定された個別被写体数などに応じて、異なる所定値が設定されるようにされてもよい。
【００８４】
さらに、基準顔方向決定処理のためのアルゴリズムとしては、上記以外にも考えることができる。例えば、全ての個別被写体数における割合は考慮せずに、単に、同一の顔方向を持つ個別被写体の組のうちで、個別被写体数が最多の組の顔方向を、有効な基準顔方向として決定するような処理も考えることができる。この場合には、例えば同一の顔方向を持つ各組を成す個別被写体数が同じであるようなときに、基準顔方向は無いものとしての決定が行われることになる。
【００８５】
ステップＳ２２２−２においては、上記ステップＳ２２２−１の顔方向決定処理の結果として、有効な基準顔方向が決定されたか否かについての判別を行う。
ここで、肯定の判別結果が得られた場合には、ステップＳ２２３に進む。この場合のステップＳ２２３においては、ステップＳ２２２−１にて決定された基準顔方向に基づいて係数Ｄを決定して、水平オフセット量θｘを求めて設定する。
一方、ステップＳ２２２−２において否定の判別結果が得られた場合には、先のステップＳ２２２−１にて、左若しくは右を示す有効な基準顔方向を決定することができなかったことになる。そこで、この場合には、ステップＳ２２４に進むことで、水平オフセット量θｘについては０を設定する。このようにして、ステップＳ２２２−１、Ｓ２２２−２を挿入することで、図１２により説明したような第２の構図制御が実現されることになるものである。
【００８６】
なお、先の図１１及び上記図１３に示される各構図制御の手順は、その全体の流れからしてみると、検出される個別被写体の数に応じて最適とみなされる構図を判定、決定し、この判定した構図の撮像画像データが実際に得られる（反映される）ようにして、ズーム制御、及びパン・チルト制御を適宜実行しているものであるとみることができる。
【００８７】
また、これまでの構図制御にあっては、顔方向の検出は、左、右の２段階による検出であることを前提としていたが、実際においては、例えば左、右に加えて、正面もあるようにして顔方向検出処理を構成する場合もあると考えられる。この場合にも、本願発明に基づいた構図制御は有効に適用できる。
例えば図８のようにして１つの個別被写体が検出された場合において、さらに顔方向については正面であることが検出された場合であるが、１つには、水平方向における被写体位置を、画面のほぼ中央に位置させる（重心Ｇがほぼ画像領域分割線Ｌｄ（Ｙ軸線）上に在るようにする）ことが考えられる。しかし、このような構図は、良くない構図の代表的なものとされることが多い。そこで、検出される個別被写体が１つである場合において、顔方向が正面の場合には、図８と同様の構図、若しくは、図８の構図に対して画像領域分割線Ｌｄを基準に線対称となるような構図とするようにして水平オフセット量θｘを決定することも考えられる。このようにすれば、三分割法に則った良好な構図が得られる。
また、２以上の個別被写体が検出されている場合に、例えば全ての個別被写体の顔方向が正面を示している、あるいは基準顔方向が正面である場合には、（式１）の係数Ｄを０に設定したうえでの水平オフセット量θを求めるようにして構成することが考えられる。
また、顔方向として上下方向についても検出可能とされている場合には、この上下方向における顔方向の検出結果に応じて、本願発明に基づいた構図制御を行うことも可能である。この場合には、水平方向に沿った画像領域分割線Ｌｄ（例えば原点座標を通過する水平方向の線（Ｘ軸線）とすることができる）を基準にして、上下方向での総合被写体重心Ｇｔの移動を行うことになる。
さらに、顔方向について、左右方向と上下方向とを合成した斜め方向の検出も可能とされているときには、この斜め方向が検出された顔方向に応じた構図制御も行うことが可能である。この場合には、検出された斜めの顔方向に直交して画面を横切る線（（例えば原点座標を通過する線）を画像領域分割線Ｌｄとして設定し、この画像領域分割線Ｌｄにより分割された画像領域の何れか一方の側に総合被写体重心Ｇｔを移動させるようにすることが考えられる。
さらに、例えば、顔方向について、左右方向（あるいは上下方向）において、例えば２段階、若しくは３段階よりも多い段階により、向きの検出を行えるようにされている場合には、このようにして検出された向きの段階（度合い）に応じて水平オフセット量θｘ（若しくは垂直オフセット量θｙ）を可変するようなアルゴリズムを採用することが考えられる。
また、基準線の通過する基準点は、この場合には、図７にて示したように、画面における原点座標としているが、この基準点の位置については、例えばより良好な構図を得ることなどを目的として、原点座標以外の位置が設定されても良いものである。
【００８８】
図１４は、本実施の形態の撮像システムの変形例としての構成例を示している。
この図では、先ず、デジタルスチルカメラ１から通信制御処理ブロック６３を経由して、撮像に基づいて信号処理部２４にて生成される撮像画像データを、雲台１０に対して送信するようにされている。
この図においては、雲台１０の構成として通信制御処理ブロック７１、パン・チルト制御処理ブロック７２、被写体検出処理ブロック７３、及び構図制御処理ブロック７４が示されている。
通信制御処理ブロック７１は、図４の通信部５２に対応する機能部位であって、デジタルスチルカメラ１側の通信制御処理ブロック部６３（雲台対応通信部３４）との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック７１により受信された撮像画像データは、被写体検出処理ブロック７３に渡される。この被写体検出ブロッ７３は、例えば図５に示した被写体検出処理ブロック６１と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック７４に出力する。
構図制御処理ブロック７４は、図５の構図制御処理ブロック６２と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック７２に対して出力する。
パン・チルト制御処理ブロック７２は、例えば図４における制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部５３、チルト機構部５６の動きをコントロールするための信号をパン用駆動部５５、チルト用駆動部５８に対して出力する。これにより、構図制御処理ブロック６２にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図１４に示す撮像システムは、デジタルスチルカメラ１から雲台１０に撮像画像データを送信させることとして、雲台１０側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
【００８９】
図１５は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図１４と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台１０側において撮像部７５が備えられる。この撮像部７５は、例えば撮像のための光学系と撮像素子（イメージャ）を備えて、撮像光に基づいた信号（撮像信号）を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図３に示した光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、及び信号処理部２４において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部７５により生成される撮像画像データは被写体検出処理ブロック７３に出力される。なお、撮像部７５が撮像光を取り込む方向（撮像方向）は、例えば雲台１０に載置されるデジタルスチルカメラ１の光学系部２１（レンズ部３）の撮像方向とできるだけ一致するようにして設定される。
【００９０】
この場合の被写体検出処理ブロック７３及び構図制御処理ブロック７４は、上記図１４と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック７４は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック７１からデジタルスチルカメラ１に対して送信させる。デジタルスチルカメラ１では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台１０側で完結して行うことができる。
【００９１】
また、図１１、図１３に示される構図制御において実行されるパン制御、チルト制御は、雲台１０のパン・チルト機構の動きを制御することにより行うこととしているが、雲台１０に代えて、例えば、デジタルスチルカメラ１のレンズ部３に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ１のイメージセンサ２２から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台１０若しくはこれに準ずる、デジタルスチルカメラ１以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ１単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部２１におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
【００９２】
また、本願発明に基づく構図判定のための構成は、これまでに実施の形態として説明してきた撮像システム以外にも適用することができる。そこで以降、本願発明による構図判定の適用例について述べる。
【００９３】
先ず、図１６は、本願発明による構図判定を、デジタルスチルカメラなどの撮像装置単体に対して適用したもので、例えば撮像モード時において撮像装置により撮像している画像が適正な構図になったときに、このことを表示によってユーザに通知しようとするものである。
このために撮像装置が備えるべき構成として、ここでは被写体検出・構図判定処理ブロック８１、通知制御処理ブロック８２、表示部８３を示している。
被写体検出・構図判定処理ブロック８１は、撮像画像データを取り込んで、例えば図５の被写体検出処理ブロック６１と同等の被写体検出処理と、この被写体検出処理の結果としての検出情報を利用して、例えば図５と同等の構図判定のための処理とを行うようにされた部位である。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作（シャッターボタン操作）を行えば撮像画像の記録が行える状況にあるものとする。
このような状態の下、被写体検出・構図判定処理ブロック８１では、そのときに撮像して得られる撮像画像データを取り込んで被写体検出を行う。すると構図制御処理によっては、先ず、検出された個別被写体の数等に応じて最適構図がどのようなものであるのかが特定されることになるが、この場合の構図判定処理としては、そのときに得られている撮像画像データの画内容の構図と、最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定するようにされる。なお、例えば実際においては、撮像画像データの画内容の構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては多様なアルゴリズムを考えることができるので、ここでは、その具体例については特に言及しない。
このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック８２に対して出力される。通知制御処理ブロック８２は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部８３にて行われるように表示制御を実行する。なお、通知制御処理ブロック８２は、撮像装置が備えるマイクロコンピュータ（ＣＰＵ）などによる表示制御機能と、表示部８３に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。
また、表示部８３は、例えば本実施の形態のデジタルスチルカメラ１の表示部３３に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部８３において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、良好な構図の写真撮影を簡単に行うことが可能になる。
【００９４】
また、図１７も、上記図１６と同様にデジタルスチルカメラなどの撮像装置単体に対して本願発明による構図判定を適用したものとなる。
先ず、この図に示す構成においては、図１６と同様に、被写体検出・構図判定処理ブロック８１により、そのときの撮像により得られる撮像画像データを取り込んで被写体検出処理を行うとともに、被写体検出情報に基づいて、上記の撮像画像データの画内容が最適構図であるか否かを判定するようにされる。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック８４に対して通知する。
レリーズ制御処理ブロック８４は、撮像画像データを記録するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック８４は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、例えば最適な構図の画像が撮像されたときには、自動的にその撮像画像の記録が行われるようにした撮像装置を得ることができる。
【００９５】
なお、上記図１６及び図１７の構成は、例えばスチルカメラの範疇であれば、例えば図１により示されるような構成のデジタルスチルカメラに適用できるほか、銀塩フィルムなどに撮像画像を記録するいわゆる銀塩カメラといわれるものにも、例えば光学系により得られた撮像光を分光して取り入れるイメージセンサと、このイメージセンサからの信号を入力して処理するデジタル画像信号処理部などを設けることで適用が可能である。
【００９６】
また、図１８は、既に存在する画像データに対して画像編集を行う編集装置に本願発明を適用した例である。
この図においては編集装置９０が示されている。ここでの編集装置９０は、既に存在する画像データとして、例えば記憶媒体に記憶されていたものを再生して得た画像データ（再生画像データ）を得るようにされている。なお、記憶媒体から再生したものの他に、例えばネットワーク経由でダウンロードしたものを取り込んでもよい。即ち、編集装置９０が取り込むべき撮像画像データをどのような経路で取得するのかについては、特に限定されるべきものではない。
【００９７】
編集装置９０が取り込んだとされる再生撮像画像データは、トリミング処理ブロック９１と被写体検出・構図判定処理ブロック９２のそれぞれに対して入力される。
先ず、被写体検出・構図判定処理ブロック９２は、例えば先ず、図１６、図１７と同様の被写体検出処理を実行して検出情報を出力する。そして、この検出情報を利用した構図判定処理として、この場合には、入力される再生撮像画像データとしての全画面において、最適構図が得られるとされる所定の縦横比による画像部分（最適構図の画像部分）がどこであるのかを特定する。そして、最適構図の画像部分が特定されると、例えばその画像部分の位置を示す情報（トリミング指示情報）をトリミング処理ブロック９１に対して出力する。
トリミング処理ブロック９１は、上記のようにしてトリミング指示情報が入力されたことに応答して、入力される再生撮像画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データとして出力する。これが編集撮像画像データとなる。
このような構成であれば、例えば画像データの編集処理として、元々ある画像データの画内容から最適構造となる部分を抜き出した内容の画像データを新規に得るというトリミングが自動的に行われることになる。このような編集機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
【００９８】
図１９は、本願発明の構図判定をデジタルスチルカメラなどの撮像装置に適用した構成の一例である。
ここでは図示していない撮像部により撮像して得られる撮像画像データは、撮像装置１００内の被写体検出・構図判定処理ブロック１０１、ファイル作成処理ブロック１０３とに対して入力することとしている。なお、この場合において、撮像装置１００内に入力された撮像画像データは、例えばレリーズ操作などに応じて記憶媒体に記憶されるべきこととなった撮像画像データであり、ここでは図示していない、撮像部での撮像により得られた撮像信号を基に生成されたものである。
先ず被写体検出・構図判定処理ブロック１０１では、入力された撮像画像データを対象に被写体検出を行い、その検出情報に基づいて最適構図がどのようなものであるのかを判定するようにされる。具体的には、例えば図１８の場合と同様にして、入力された撮像画像データの全画面において最適構図となる画像部分を特定した情報が得られるようにされればよい。そして、このようにして得た最適構図についての判定結果を表す情報を、メタデータ作成処理ブロック１０２に対して出力する。
メタデータ作成処理ブロック１０２では、入力された情報に基づいて、対応する撮像画像データから最適構図を得るために必要な情報から成るメタデータ（構図編集メタデータ）を作成し、ファイル作成処理ブロック１０３に対して出力する。この構図編集メタデータの内容としては、例えば、対応する撮像画像データとしての画面においてトリミングする画像領域部分がどこであるのかを示し得る位置情報などとなる。
この図に示す撮像装置１００では、撮像画像データについて、所定形式による静止画像ファイルとして管理されるようにして記憶媒体に記録するものとされる。これに対応して、ファイル作成処理ブロック１０３は、撮像画像データを、静止画像ファイル形式に変換（作成）する。
ファイル作成処理ブロック１０３は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック１０２から入力された構図編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ（構図編集メタデータ）が含まれる構造を有したものが得られることになる。
【００９９】
図２０は、上記図１９の装置により作成された静止画像ファイルについて編集を行う編集装置の構成例を示している。
図に示す編集装置１１０は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック１１１に入力する。メタデータ分離処理ブロック１１１は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック１１２に対して出力し、撮像画像データについてはトリミング処理ブロック１１３に対して出力する。
【０１００】
メタデータ解析処理ブロック１１２は、取り込んだメタデータを解析する処理を実行する部位とされる。そして、解析処理として、構図編集メタデータについては、その内容である最適構図を得るための情報から、すくなくとも、対応の撮像画像データを対象としてトリミングを行う画像領域を特定する。そして、この特定された画像領域のトリミングを指示するトリミング指示情報をトリミング処理ブロック１１３に対して出力する。
トリミング処理ブロック１１３は、先の図１８のトリミング処理ブロック９１と同様に、メタデータ分離処理ブロック１１１側から入力した撮像画像データから、上記メタデータ分離処理ブロック１１２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データである、編集撮像画像データとして出力する。
【０１０１】
上記図１９、図２０に示される撮像装置と編集装置から成るシステムによれば、例えば撮影などにより得たオリジナルの静止画像データ（撮像画像データ）はそのまま無加工で保存しておけるようにしたうえで、このオリジナル静止画像データからメタデータを利用して、最適構図となる画像を抜き出す編集が行えることになる。また、このような最適構図に対応した抜き出し画像部分の決定は、自動的に行われるものとなる。
【０１０２】
図２１は、ビデオカメラなどとしての動画像の撮影記録が可能な撮像装置に本願発明を適用した例である。
この図に示す撮像装置１２０には、動画像データが入力される。この動画像データは、例えば同じ撮像装置１２０が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置１２０における被写体検出・構図判定処理ブロック１２２、及びファイル作成・記録処理ブロック１２４に対して入力される。
この場合の被写体検出・構図判定処理ブロック１２２は、入力されてくる動画像データについての構図の良否判定を行う。例えば、被写体検出・構図判定処理ブロック１２２では、予め良好とされる構図がどのようなものであるのかについてのパラメータ（良好構図対応パラメータ）を保持している。このパラメータとしては、検出される個別被写体数と、個別被写体ごとに検出して得た顔方向の情報に応じて適切であるとして設定された目標被写体サイズや水平オフセット量θなどとなる、そして、被写体検出・構図判定処理ブロック１２２は、入力されてくる動画像データについて、例えば継続的にどのような構図となっているかについての構図判定を行う（例えば動画像データにおける実際の個別被写体の占有率、被写体間距離Ｋなどの構図パラメータを求める）と共に、この判定結果として得られた動画像データの構図パラメータと、上記の良好構図パラメータとを比較する。そして、動画像データの構図パラメータが良好構図対応パラメータに対して一定以上の類似度を有していれば良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
被写体検出・構図判定処理ブロック１２２は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック１２３に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図画像区間)がどこであるのかを示す情報(良好構図画像区間指示情報)を出力する。良好構図画像区間指示情報)は、例えば動画像データにおける良好構図画像区間としての開始位置と終了位置を示す情報などとされる。
【０１０３】
この場合のメタデータ作成処理ブロック１２３は、次に説明する動画像記録処理ブロック１２４により記憶媒体にファイルとして記録される動画像データについての、各種所要のメタデータを生成するものとされる。そのうえで、上記のようにして被写体検出・構図判定処理ブロック１２２から良好構図画像区間指示情報を入力した場合には、入力された良好構図画像区間指示情報が示す画像区間が良好な構図であることを示すメタデータを生成し、動画像記録処理ブロック１２４に対して出力する。
動画像記録処理ブロック１２４は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック１２３からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ静止画像データ（或いは動画像ファイルと独立したファイル）として記録する構成も考えられる。
また、図２１に示されるようにして、撮像装置１２０に対して被写体検出・構図判定処理ブロック１２２を備える構成では、被写体検出・構図判定処理ブロック１２２により良好構図画像区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、被写体検出・構図判定処理ブロック１２２により良好構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。
【０１０４】
図２２は、印刷を行う印刷装置に本願発明を適用した例である。
この場合には、印刷装置１３０が、印刷すべき画像内容を有する画像データ（静止画）を取り込むこととされており、このようにして取り込んだデータは、トリミング処理ブロック１３１、及び被写体検出・構図判定処理ブロック１３２に対して入力される。
先ず、被写体検出・構図判定処理ブロック１３２は、図１８の被写体検出・構図判定処理ブロック９２と同様の被写体検出処理・構図判定処理を実行することで、入力される画像データの全画面における最適構図の画像部分を特定する処理を実行し、この処理結果に応じた内容のトリミング指示情報を生成してトリミング処理ブロック１３１に対して出力する。
トリミング処理ブロック１３１は、図１８のトリミング処理ブロック９１と同様にして、入力した画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行する。そして、この抜き出した画像部分のデータを、印刷用画像データとして印刷制御処理ブロック１３３に対して出力する。
印刷制御処理ブロック１３３は、入力された印刷用画像データを利用して、ここでは図示していない印刷機構を動作させるための制御を実行する。
このような動作により、印刷装置１３０によっては、入力した画像データの画内容から、最適構図が得られているとされる画像部分が自動的に抜き出されて、１枚の画として印刷されることになる。
【０１０５】
図２３に示される例は、例えば静止画像ファイルを多数記憶し、これらの静止画像ファイルを利用したサービスを提供するための装置、システムに適用して好適である。
記憶部１４１には、多数の静止画像ファイルが記憶される。
被写体検出・構図判定処理ブロック１４２は、所定のタイミングで、記憶部１４１に記憶されている静止画ファイルを取り込み、そのファイル本体部に格納される静止画像データを取り出す。そして、この静止画像データを対象として、例えば図１９の被写体検出・構図判定処理ブロック１０１と同様の処理を実行して最適構図についての判定結果を表す情報を得て、この情報をメタデータ作成処理ブロック１４３に対して出力する。
【０１０６】
メタデータ作成処理ブロック１４３は、入力された情報に基づいて、先の図１９のメタデータ作成処理ブロック１０２と同様に、メタデータ（構図編集メタデータ）を作成する。その上で、この場合には、作成したメタデータを、記憶部１４１に記憶されるメタデータテーブルに登録する。このメタデータテーブルは、同じ記憶部１４１に記憶される静止画像データとの対応関係が示されるようにしてメタデータを格納して成る情報単位とされる。つまり、メタデータテーブルによっては、メタデータ（構図編集メタデータ）と、このメタデータを作成するために被写体検出・構図判定処理ブロック１０１により被写体検出処理及び構図判定処理の対象となった静止画像ファイルとの対応が示される。
【０１０７】
そして、例えば外部からの静止画ファイルの要求に応じて、記憶部１４１に記憶されている静止画像ファイルを出力する（例えばサーバであれば、クライアントからのダウンロード要求に応じて静止画像ファイルをダウンロードする場合などとなる）際には、静止画ファイル出力処理ブロック１４４が、記憶部１４１から要求された静止画像ファイルを検索して取り込むとともに、この検索した静止画ファイルに対応するメタデータ（構図編集メタデータ）も、メタデータテーブルから検索して取り込むようにされる。
【０１０８】
そして、この静止画像ファイル出力処理ブロック１４４は、例えば図２０に示したメタデータ解析処理ブロック１１２、及びトリミング処理ブロック１１３に相当する機能ブロックを少なくとも有して成る。
静止画像ファイル出力処理ブロック１４４においては、内部のメタデータ作成処理ブロックにより、取り込んだメタデータを解析してトリミング指示情報を得る。そして、同じ内部のトリミング処理ブロックにより、取り込んだ静止画像ファイルに格納される静止画像データを対象として、上記トリミング指示情報に応じたトリミングを実行する。そして、トリミングにより得られた画像部分を改めて１つの静止画像データとして生成し、これを出力する。
【０１０９】
上記図２３のシステム構成は、多様なサービスへの適用を考えることができる。
例えば、１つにはネットワーク経由での写真のプリントサービスに適用できる。つまり、ユーザは、プリントサービスのサーバに、プリント（印刷）してもらいたい画像データ（静止画像ファイル）をネットワーク経由でアップロードする。サーバでは、このようしてアップロードされてきた静止画像ファイルを記憶部１４１に記憶しておき、このファイルに対応するメタデータも作成してメタデータテーブルに登録しておく。そして、実際に印刷出力するときには、静止画像ファイル出力処理ブロック１４４により、最適構図を抜き出した静止画像データを印刷用の画像データとして出力する。つまり、このサービスによっては、写真プリントを依頼すると、最適構図に補正されてプリントされたものが送られてくるものである。
【０１１０】
また１つには、例えばブログなどのサーバにも適用することができる。記憶部１４１には、ブログのテキストのデータと共にアップロードされた画像データを記憶させることとする。これにより、例えばブログのページには、ユーザがアップロードした画像データから最適構図を抜き出した画像を貼り付けさせることが可能になる。
【０１１１】
なお、上記図１４〜図２３により説明した例は一部であって、本願発明による構図判定を適用できる装置、システム、アプリケーションソフトウェアなどはほかにも考えられる。
【０１１２】
また、これまでの実施の形態の説明にあっては、被写体（個別被写体）は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの（撮像画像データ）のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図（最適構図）は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図（最適構図）としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施の形態としての撮像システム（デジタルスチルカメラ、雲台）の外観構成例を示す図である。
【図２】実施の形態の撮像システムの動作として、雲台に取り付けられたデジタルスチルカメラのパン方向及びチルト方向に沿った動きの例を模式的に示す図である。
【図３】実施の形態のデジタルスチルカメラの構成例を示す図である。
【図４】実施の形態の雲台の構成例を示す図である。
【図５】実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。
【図６】個別被写体の重心と、複数の個別被写体についての総合被写体重心とを説明する図である。
【図７】撮像画像データの画面に設定した原点座標を説明する図である。
【図８】第１の構図制御における、検出された個別被写体数が１である場合の構図制御例を模式的に示す図である。
【図９】第１の構図制御における、検出された個別被写体数が２である場合の構図制御例を模式的に示す図である。
【図１０】第１の構図制御における、検出された個別被写体数が３である場合の構図制御例を模式的に示す図である。
【図１１】第１の構図制御のための処理手順例を示すフローチャートである。
【図１２】第２の構図制御における、検出された個別被写体数が３である場合の構図制御例を模式的に示す図である。
【図１３】第２の構図制御のための処理手順例を示すフローチャートである。
【図１４】実施の形態の撮像システムの変形例としての構成例を示す図である。
【図１５】実施の形態の撮像システムの他の変形例としての構成例を示す図である。
【図１６】本願発明に基づく構図判定の適用例を示す図である。
【図１７】本願発明に基づく構図判定の適用例を示す図である。
【図１８】本願発明に基づく構図判定の適用例を示す図である。
【図１９】本願発明に基づく構図判定の適用例を示す図である。
【図２０】本願発明に基づく構図判定の適用例を示す図である。
【図２１】本願発明に基づく構図判定の適用例を示す図である。
【図２２】本願発明に基づく構図判定の適用例を示す図である。
【図２３】本願発明に基づく構図判定の適用例を示す図である。
【符号の説明】
【０１１４】
１ デジタルスチルカメラ、２ シャッターボタン、３ レンズ部、１０ 雲台、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、６１ 被写体検出処理ブロック、６２ 構図制御処理ブロック、６３ 通信制御処理ブロック、ＳＢＪ（ＳＢＪ０〜ｎ） 個別被写体、７１ 通信制御処理ブロック、７２ パン・チルト制御処理ブロック、７３ 被写体検出処理ブロック、７４ 構図制御処理ブロック、７５ 撮像部、８１・９２・１０１・１２２・１３２・１４２ 被写体検出・構図判定処理ブロック、８２ 通知制御処理ブロック、８３ 表示部、８４ レリーズ制御処理ブロック、９１・１３１ トリミング処理ブロック、１０２・１２３・１４３ メタデータ作成処理ブロック、１０３ ファイル作成処理ブロック、１１１ メタデータ分離処理ブロック、１１２ メタデータ解析処理ブロック、１１３ トリミング処理ブロック、１２４ ファイル作成・記録処理ブロック、１３３ 印刷制御処理ブロック、１４１ 記憶部、１４４ 静止画ファイル出力処理ブロック
【特許請求の範囲】
【請求項１】
画像データに基づく画像中における特定の被写体を検出する被写体検出手段と、
上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手段と、
上記被写体方向情報に基づいて構図を判定する構図判定手段と、
を備え、
上記構図判定手段は、上記被写体検出手段によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて、構図を判定する、
ことを特徴とする構図判定装置。
【請求項２】
上記構図判定手段は、
被写体方向情報の示す方向の全てが同じとなる関係である場合には、上記画像中の領域における全ての検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線により分割される画像中の分割領域のうちで、上記複数の被写体方向情報の示す方向とは反対側の分割領域に位置するようにされた構図を判定結果として得る、
ことを特徴とする請求項１に記載の構図判定装置。
【請求項３】
上記構図判定手段は、
上記判定結果として得る構図において、上記画像領域分割線から上記重心までの距離については、上記検出被写体の数に基づいて設定するようにされている、
ことを特徴とする請求項２に記載の構図判定装置。
【請求項４】
上記構図判定手段は、
被写体方向情報の示す方向の全てが同じではないとされる関係である場合には、示す方向の異なる被写体方向情報の関係に基づいて、少なくとも、複数の検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線に対応して位置するようにされた構図を判定結果として得る場合があるようにされる、
ことを特徴とする請求項１に記載の構図判定装置。
【請求項５】
上記構図判定手段は、
上記示す方向の異なる被写体方向情報間の関係として、同じ方向を示す最多の被写体検出情報群について全被写体方向情報の一定割合以上を占めるものが存在しない場合には、上記画像中の全ての検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線に対応して位置するようにされた構図を上記最適構図であるとして判定する、
ことを特徴とする請求項４に記載の構図判定装置。
【請求項６】
上記構図判定手段は、
上記示す方向の異なる被写体方向情報間の関係として、同じ方向を示す最多の被写体検出情報群について全被写体方向情報の一定割合以上を占めるものが存在する場合には、上記画像中の全ての検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線により分割される画像中の分割領域のうちで、上記最多の被写体検出情報群が示す方向とは反対側の分割領域に位置するようにされた構図を判定結果として得るようにされる、
ことを特徴とする請求項４に記載の構図判定装置。
【請求項７】
上記構図判定手段は、
上記判定結果として得る構図において、上記画像領域分割線から上記重心までの距離については、上記検出被写体の数に基づいて設定するようにされている、
ことを特徴とする請求項６に記載の構図判定装置。
【請求項８】
画像データに基づく画像中における特定の被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手順と、
上記被写体方向情報に基づいて構図を判定する手順であって、上記被写体検出手順によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて構図を判定する構図判定手順と、
ことを特徴とする構図判定方法。
【請求項９】
画像データに基づく画像中における特定の被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手順と、
上記被写体方向情報に基づいて構図を判定する手順であって、上記被写体検出手順によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて構図を判定する構図判定手順と、
を構図判定装置に実行させるプログラム。
【請求項１】
画像データに基づく画像中における特定の被写体を検出する被写体検出手段と、
上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手段と、
上記被写体方向情報に基づいて構図を判定する構図判定手段と、
を備え、
上記構図判定手段は、上記被写体検出手段によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて、構図を判定する、
ことを特徴とする構図判定装置。
【請求項２】
上記構図判定手段は、
被写体方向情報の示す方向の全てが同じとなる関係である場合には、上記画像中の領域における全ての検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線により分割される画像中の分割領域のうちで、上記複数の被写体方向情報の示す方向とは反対側の分割領域に位置するようにされた構図を判定結果として得る、
ことを特徴とする請求項１に記載の構図判定装置。
【請求項３】
上記構図判定手段は、
上記判定結果として得る構図において、上記画像領域分割線から上記重心までの距離については、上記検出被写体の数に基づいて設定するようにされている、
ことを特徴とする請求項２に記載の構図判定装置。
【請求項４】
上記構図判定手段は、
被写体方向情報の示す方向の全てが同じではないとされる関係である場合には、示す方向の異なる被写体方向情報の関係に基づいて、少なくとも、複数の検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線に対応して位置するようにされた構図を判定結果として得る場合があるようにされる、
ことを特徴とする請求項１に記載の構図判定装置。
【請求項５】
上記構図判定手段は、
上記示す方向の異なる被写体方向情報間の関係として、同じ方向を示す最多の被写体検出情報群について全被写体方向情報の一定割合以上を占めるものが存在しない場合には、上記画像中の全ての検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線に対応して位置するようにされた構図を上記最適構図であるとして判定する、
ことを特徴とする請求項４に記載の構図判定装置。
【請求項６】
上記構図判定手段は、
上記示す方向の異なる被写体方向情報間の関係として、同じ方向を示す最多の被写体検出情報群について全被写体方向情報の一定割合以上を占めるものが存在する場合には、上記画像中の全ての検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線により分割される画像中の分割領域のうちで、上記最多の被写体検出情報群が示す方向とは反対側の分割領域に位置するようにされた構図を判定結果として得るようにされる、
ことを特徴とする請求項４に記載の構図判定装置。
【請求項７】
上記構図判定手段は、
上記判定結果として得る構図において、上記画像領域分割線から上記重心までの距離については、上記検出被写体の数に基づいて設定するようにされている、
ことを特徴とする請求項６に記載の構図判定装置。
【請求項８】
画像データに基づく画像中における特定の被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手順と、
上記被写体方向情報に基づいて構図を判定する手順であって、上記被写体検出手順によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて構図を判定する構図判定手順と、
ことを特徴とする構図判定方法。
【請求項９】
画像データに基づく画像中における特定の被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手順と、
上記被写体方向情報に基づいて構図を判定する手順であって、上記被写体検出手順によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて構図を判定する構図判定手順と、
を構図判定装置に実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００９−１００３００（Ｐ２００９−１００３００Ａ）
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願番号】特願２００７−２７０３９１（Ｐ２００７−２７０３９１）
【出願日】平成１９年１０月１７日（２００７．１０．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願日】平成１９年１０月１７日（２００７．１０．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]