画像対応装置、動作設定方法、プログラム
【課題】自動撮像記録機能の充実を図る。
【解決手段】撮像装置により得られる撮像画像から検出した被写体の構図を判定して、判定構図に応じた画像内被写体位置が得られるようにパン・チルト方向に雲台を駆動する。この際、パン・チルト方向における限界位置に至ったとしても、一定時間以上、判定構図が得られないときには、撮像記録を実行する。若しくは、他の被写体を探索する動作に移行させるなど、しかるべき動作を実行させる。
【解決手段】撮像装置により得られる撮像画像から検出した被写体の構図を判定して、判定構図に応じた画像内被写体位置が得られるようにパン・チルト方向に雲台を駆動する。この際、パン・チルト方向における限界位置に至ったとしても、一定時間以上、判定構図が得られないときには、撮像記録を実行する。若しくは、他の被写体を探索する動作に移行させるなど、しかるべき動作を実行させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば撮像により得られる画像の内容に基づいてしかるべき動作を実行するようにされた画像対応装置と、動作設定の方法に関する。また、このような画像対応装置に所要の手順を実行させるためのプログラムに関する。
【背景技術】
【0002】
先に本出願人は、特許文献1に示す自動撮像記録のための構成を提案している。つまり、撮像装置により得られる撮像画像データの画像中に存在する被写体を検出し、この検出された被写体を撮像記録しようというものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−100300号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願発明としては、上記のような自動撮像記録動作について、例えばユーザにとって有益な機能を提供してさらに充実を図ることを、その課題とする。
【課題を解決するための手段】
【0005】
そこで本発明は上記した課題を考慮して、画像対応装置として次のように構成する。
つまり、画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手段を備えることとした。
【0006】
上記構成によっては、所定の限界位置状態に対応して得られるとされる画像データの画像における被写体の位置に基づいて、画像データに関連した所要の動作を決定するようにされている。
【発明の効果】
【0007】
これにより、例えば本願発明によっては、画像対応装置について、画像内容に対応した適切な動作が自動的に実行されることになる。これを、例えば撮像システムなどの自動撮像記録に適用すれば、この自動撮像記録機能についてさらに充実が図られる。
【図面の簡単な説明】
【0008】
【図1】実施形態の撮像システムを成す撮像装置であるデジタルスチルカメラの外観を簡単に示す正面図及び背面図である。
【図2】実施形態の撮像システムを成す雲台の外観例を示す斜視図である。
【図3】実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す正面図である。
【図4】実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を、パン方向における動きの態様例とともに示す平面図である。
【図5】実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す側面図である。
【図6】デジタルスチルカメラの構成例を示すブロック図である。
【図7】雲台の構成例を示すブロック図である。
【図8】実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。
【図9】本実施形態の基本となる自動撮像記録のためのアルゴリズムの一例を示すフローチャートである。
【図10】判定された構図と、チルト角度の制限によって実際に得られる画内容の例とを比較して示す図である。
【図11】図10(b)の画内容に対応したデジタルスチルカメラと被写体との位置関係例を示す図である。
【図12】第1実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。
【図13】第2実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。
【図14】第3実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。
【図15】パン方向での限界位置において判定構図が得られないときの、デジタルスチルカメラと被写体との位置関係例を示す図である。
【図16】図15に示すデジタルスチルカメラと被写体の位置関係に応じて得られる撮像画像データの画内容例を示す図である。
【図17】第4実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。
【図18】被写体の絶対位置情報を検出するための手法例を説明するための図である。
【図19】実施の形態の撮像システムの変形例としての構成例を示す図である。
【図20】実施の形態の撮像システムの他の変形例としての構成例を示す図である。
【図21】実施の形態の応用例としての編集装置の構成例を示す図である。
【図22】図21の編集装置による画像データのトリミング処理例を説明するための図である。
【発明を実施するための形態】
【0009】
以下、本願発明を実施するための形態(以下、実施形態という)について、下記の順により説明する。
<1.撮像システムの構成>
[1−1.全体構成]
[1−2.デジタルスチルカメラ]
[1−3.雲台]
<2.実施形態の構図制御に対応する機能構成例>
<3.自動撮像記録の基本アルゴリズム例>
<4.第1実施形態>
<5.第2実施形態>
<6.第3実施形態>
<7.第4実施形態>
<8.本実施形態の撮像システムの変形例>
<9.本実施形態の応用:トリミング処理>
また、本明細書においては、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
【0010】
また、本実施形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。
【0011】
<1.撮像システムの構成>
[1−1.全体構成]
本実施形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が載置される雲台10から成る。
先ず、図1にデジタルスチルカメラ1の外観例を示す。図1(a)、(b)は、それぞれデジタルスチルカメラ1の正面図、背面図となる。
この図に示されるデジタルスチルカメラ1は、先ず、図1(a)に示すように、本体部2の前面側においてレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
【0012】
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モードにおいてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン31aに対する操作が行われると、この操作タイミングのときに得られていたとする撮像画像が、静止画の画像データとして記憶媒体に記録される。つまり、写真撮影が行われる。
【0013】
また、デジタルスチルカメラ1は、図1(b)に示すようにして、その背面側に表示画面部33aを有する。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
【0014】
なお、本実施形態のデジタルスチルカメラ1は、表示画面部33aに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部33aに対して指を当てることによって、しかるべき操作を行うことができる。
【0015】
また、本実施形態の撮像システム(撮像装置)は、このデジタルスチルカメラ1としての撮像部と、次に説明する雲台10としての可動機構部(可動装置部)から成るものとしているが、ユーザは、デジタルスチルカメラ1単体のみを使用しても、通常のデジタルスチルカメラと同じように、写真撮影を行うことができる。
【0016】
図2は、雲台10の外観を示す斜視図である。また、図3〜図5は、本実施形態の撮像システムの外観として、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5(a)は側面図であり、図5(b)は側面図によりチルト機構の可動範囲を示したものである。
【0017】
図2、及び図3,図4,図5(a)に示すように、雲台10は、大きくは接地台部13の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
【0018】
雲台10にデジタルスチルカメラ1を載置しようとするときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に対して置くようにようにする。
この場合のカメラ台座部12の上面部には、図2に示すようにして、突起部13とコネクタ14が設けられている。
その図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
【0019】
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部12にデジタルスチルカメラ1が適正に載置される状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
【0020】
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12において可動できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に載置できるようになっている。
また、デジタルスチルカメラ1とカメラ台座部12との通信は無線により行われるようにしてもよい。
【0021】
また、例えば雲台10に対してデジタルスチルカメラ1が載置された状態では、雲台10からデジタルスチルカメラ1に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ1にて再生している画像などの映像信号を雲台10側にも伝送し、雲台10からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台10について、単に、デジタルスチルカメラ1の撮像視野範囲を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。
【0022】
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
この雲台10を床面などに置いた状態では、接地台部13の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台10に載置されているデジタルスチルカメラ1の撮像視野範囲は、左右方向(水平方向)に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有しているものとする。
【0023】
また、この雲台のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すようにして、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、即ちパン位置を0°〜360°により表すものとする。
【0024】
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)及び図5(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部13が接地する接地面部GRとが平行となる。
そのうえで、図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また、俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に載置されたデジタルスチルカメラ1の撮像視野範囲は、上下方向(垂直方向)沿って変化することになる。つまりチルティングの動作が得られる。
【0025】
なお、図2〜図5に示した雲台10の外観構成はあくまでも一例であり、載置されたデジタルスチルカメラ1をパン方向及チルト方向に動かすことができるようにされていれば、他の物理的構成、構造が採られてもかまわない。
【0026】
[1−2.デジタルスチルカメラ]
先ず、図6のブロック図は、デジタルスチルカメラ1の実際的な内部構成例を示している。
この図において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【0027】
イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOSセンサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【0028】
上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
信号処理部24では、A/Dコンバータ23から出力されるデジタルの撮像信号について、例えば1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成することができる。
【0029】
上記のようにして信号処理部24にて生成した撮像画像データを画像情報として記憶媒体(記憶媒体装置)であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
【0030】
また、本実施の形態としての信号処理部24は、先の説明のようにして取得される撮像画像データを利用して、後述するように、被写体検出としての画像処理を実行させるように構成される。
【0031】
また、デジタルスチルカメラ1は信号処理部24にて得られる撮像画像データを利用して表示部33により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部24においては、先の説明のようにしてA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。これにより、スルー画の表示が行われる。
【0032】
表示ドライバ32では、上記のようにして信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していくようにされる。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
【0033】
また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
【0034】
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33においては、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
【0035】
また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力するようにされる。これにより、表示部33においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【0036】
制御部27は、例えば実際においてはCPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
【0037】
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してCPUに出力する操作情報信号出力部位とを一括して示している。制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
【0038】
音声出力部35は、制御部27の制御により、例えば所定内容の通知のために、所定の音色と発音パターンによる電子音を出力する部位である。
LED部36は、例えばデジタルスチルカメラ1の筐体前面部に表出して設けられるLED(Light Emitting Diode)と、このLEDを点灯駆動する回路部などから成り、制御部27の制御に応じて、LEDを点灯、消灯する。このLEDを点灯、消灯パターンにより、所定内容の通知が行われる。
【0039】
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ1が雲台10に対して取り付けられた状態において、雲台10側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
【0040】
[1−3.雲台]
図7のブロック図は、雲台10の内部構成例を示している。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5(b)に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
【0041】
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部53、チルト機構部56の動きをコントロールする。例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号によりパン用モータ54が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
また、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
【0042】
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部34と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
【0043】
<2.実施形態の構図制御に対応する機能構成例>
次に、図8のブロック図により、本実施形態に対応する撮像システムを成すデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウェア(プログラム)により実現される機能構成例を示す。
この図において、デジタルスチルカメラ1は、撮像記録ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、及び通信制御処理ブロック64を備えて成るものとされている。
【0044】
撮像記録ブロック61は、撮像により得られた画像を画像信号のデータ(撮像画像データ)として得て、この撮像画像データを記憶媒体に記憶するための制御処理を実行する部位である。この部位は、例えば撮像のための光学系、撮像素子(イメージセンサ)、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路、また、撮像画像データを記憶媒体に書き込んで記録(記憶)させるための記録制御・処理系などを有して成る部位である。
この場合の撮像記録ブロック61における撮像画像データの記録(撮像記録)は、構図判定ブロックの指示、制御により実行される。
【0045】
構図判定ブロック62は、撮像記録ブロック61から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして、先ず被写体検出を行い、最終的には構図判定のための処理を実行する。
本実施形態においては、この構図判定に際して、被写体検出により検出された被写体ごとに、後述する属性についての検出も行う。そして、構図判定処理に際しては、この検出された属性を利用して最適とされる構図を判定する。さらに、判定した構図による画内容の撮像画像データが得られるようにするための構図合わせ制御も実行する。
ここで、構図判定ブロック62が実行する被写体検出処理(初期顔枠の設定を含む)は、図6との対応では信号処理部24が実行するようにして構成できる。また、この信号処理部24による被写体検出処理は、DSP(Digital signal Processor)による画像信号処理として実現できる。つまり、DSPに与えるプログラム、インストラクションにより実現できる。
また、構図判定ブロック62が実行する顔枠の修正、及び構図判定、構図合わせ制御は、制御部27としてのCPUがプログラムに従って実行する処理として実現できる。
【0046】
パン・チルト・ズーム制御ブロック63は、構図判定ブロック62の指示に応じて、判定された最適構図に応じた構図、撮像視野範囲が得られるように、パン・チルト・ズーム制御を実行する。つまり、構図合わせ制御として、構図判定ブロック62は、例えば判定された最適構図に応じて得るべき上記構図、撮像視野範囲をパン・チルト・ズーム制御ブロック63に指示する。パン・チルト・ズーム制御ブロック63は、指示された構図、撮像視野範囲が得られる撮像方向にデジタルスチルカメラ1が向くための、雲台10のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、例えば判定された適切画角を得るためのズームレンズの位置(ズーム倍率)を求め、このズーム位置となるようにして、撮像記録ブロック61が備えるとされるズーム機構を制御する。
【0047】
通信制御処理ブロック64は、雲台10側に備えられる通信制御処理ブロック71との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック63が生成したパン・チルト制御信号は、通信制御処理ブロック64の通信により、雲台10の通信制御処理ブロック71に対して送信される。
【0048】
雲台10は、例えば図示するようにして、通信制御処理ブロック71、及びパン・チルト制御処理ブロック72を有している。
通信制御処理ブロック71は、デジタルスチルカメラ1側の通信制御処理ブロック64との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック72に対して出力する。
【0049】
パン・チルト制御処理ブロック72は、例えば図7に示した雲台10側の制御部51(マイクロコンピュータ)が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック72は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、最適構図に応じて必要な水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。
【0050】
また、パン・チルト・ズーム制御ブロック63は、例えば、構図判定ブロック62の指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。
【0051】
<3.自動撮像記録の基本アルゴリズム例>
上記のようにして構成される撮像システムでは、雲台10のパン・チルト機構を駆動してデジタルスチルカメラ1の撮像視野範囲を変更していくようにして撮像画像内に収まる被写体を検出する。そして、検出した被写体があれば、これをしかるべき構図で画枠内におさめて撮像記録することができる。つまり、自動撮像記録機能を有する。
【0052】
図9のフローチャートは、このような自動撮像記録のためのアルゴリズムの一例を示している。なお、この図に示すアルゴリズムは、後述する第1〜第4実施形態に対応するアルゴリズムの基本となる。
なお、この図に示す処理手順は、図8に示すデジタルスチルカメラ1における各機能ブロック(撮像記録ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、通信制御処理ブロック64)が適宜実行するものとしてみることができる。
【0053】
図9において、先ず、構図判定ブロック62は、ステップS101により撮像記録ブロック61にてそのときに得られる撮像画像データを取り込んで取得し、ステップS102により、この取得した撮像画像データについての被写体検出処理を実行する。
このステップS102の被写体検出処理としては、例えば先に述べたようにして顔検出技術を応用し、その検出結果として、被写体数であるとか、被写体サイズ、画像における被写体位置などを得ることができる。
【0054】
次に、ステップS103において構図判定ブロック62は、上記ステップS102による被写体検出処理によって被写体が検出されたか否かについて判別する。ここで否定の判別結果が得られた場合には、ステップS108により被写体探索処理を開始させたうえで、ステップS101に戻る。
この被写体探索処理は、例えば、パン・チルト・ズーム制御ブロック63が通信制御処理ブロック64を経由して、雲台10のパン/チルト方向への移動を指示するとともに、必要に応じてはズーム制御も行って撮像視野範囲を所定のパターンで時間経過に応じて変更していく制御となる。これにより、デジタルスチルカメラ1の周囲に存在している被写体を撮像視野範囲内に収まるようにして捕捉しようというものである。
これに対して、ステップS103において被写体が検出されたとして肯定の判別結果が得られた場合には、ステップS104に進む。
【0055】
ステップS104において構図判定ブロック62は、検出された被写体に応じて最適構図を判定する。
ここで判定される構図を形成する要素としては、例えば画枠における被写体のサイズ、画枠内の被写体の位置、などを挙げることができる。
撮像画像データの画枠内の画内容として、この判定した構図が得られるようにするための構図合わせ制御を実行する。
【0056】
そして、構図合わせ制御を実行したとされると、構図判定ブロック62は、ステップS105により、そのときに得られている構図について判定したとおりのものであり、撮像記録してよいタイミング(構図OK)であるか否かについて判別する。
例えば一定時間以上を経過したとしても構図OKとの判定が得られない場合には、ステップS105にて否定の判別結果が得られる。この場合には、ステップS107により撮像画像データの画枠内の画内容として、この判定した構図が得られるようにするための構図合わせ制御を実行する。つまり、例えば、判定された構図に応じた被写体位置が画像内で得られるようにするためのパン・チルト制御、また、判定された構図に応じた被写体サイズが得られるようにするためのズーム制御などを実行する。
これに対して、ステップS105にて肯定の判別結果が得られた場合にはステップS106に進む。
【0057】
ステップS106においては、撮像記録の実行を撮像記録ブロック61に対して指示する。これに応じて、撮像記録ブロック61は、そのときに得られている撮像画像データを、メモリカード40に対して静止画のファイルとして記録する動作を実行する。
【0058】
上記図9に示したアルゴリズムでは、被写体が検出されれば、その検出された被写体を含むしかるべき構図で撮影記録するという動作が自動的に実行されることになる。つまり、例えば人物を被写体として含む画像の撮像画像データを自動的に記録していくという、自動撮像記録動作が得られる。
【0059】
<4.第1実施形態>
ここで、例えば、上記図9に示したアルゴリズムに従って自動撮像記録を実行している過程において、例えば、1つの被写体SBJが検出されたとする。これに応じてステップS104により判定された構図が、例えば図10(a)に示すものであったとする。
図10(a)は、撮像画像データの画像に対応した画枠300において検出された被写体SBJを示している。図10(a)の画枠300に対応する画像は、水平画サイズ(水平画素数)Cx、垂直画サイズ(垂直画素数)Cyのサイズを有するものとしている。
また、この図においては、被写体位置の説明のために、垂直基準線Ld1、水平基準線Ld2、垂直分割線v1,v2、水平分割線h1,h2の各仮想線が示される。
垂直基準線Ld1は、水平画サイズCxに対して、その中点を通過して2等分する垂直な線である。水平基準線Ld2は、垂直画サイズCyに対して、その中点を通過して2等分する水平な線である。なお、この垂直基準線Ld1と水平基準線Ld2との交点が、例えば画枠300における基準座標Pとなる。この基準座標Pは、デジタルスチルカメラ1の撮像光軸に対応する。
水平分割線h1,h2は、水平画サイズCxを3等分する2本の直線であり、水平分割線h1が左側で、水平分割線h2が右側の線となる。
垂直分割線v1,v2は、垂直画サイズCyを3等分する2本の直線であり、垂直分割線v1が上側、垂直分割線v2が下側の線となる。
【0060】
また、被写体SBJの画像上には、被写体重心Gが示されている。この被写体重心Gは、被写体位置を示す情報であって、被写体検出処理に際して、所定のアルゴリズムによって、例えば被写体として検出された顔部分の画像領域における1点の座標として求められる。
【0061】
図10(a)に示される構図は、被写体の位置の点から見ると次のようになる。
つまり、被写体重心Gは、水平方向においては、水平基準線Ld1を通過する座標、つまり水平方向における中間に位置すべきとされ、垂直方向においては、水平分割線h1上、即ち、垂直画サイズCyに対して上から1/3の位置に在るべきものとされる。
【0062】
そして、例えば、最終的に構図合わせ制御も実行して、この構図が得られることとなれば、ステップS105において、構図OKの判定結果が得られることとなって、撮像画像が実行される。
【0063】
しかし、被写体SBJと撮像システムの位置関係によっては、判定された構図に合わせることが不可能な場合がある。
例えば、図11には、側面方向から見たデジタルスチルカメラ1が、最大回転角度−g°のチルト位置にある状態が示されている。なお、この図のデジタルスチルカメラ1は、実際には雲台10に取り付けられていることでこの図に示す状態が得られているのであるが、ここでは、
雲台10の図示は省略している。
また、この図においては、デジタルスチルカメラ1に設定されている画角として垂直方向における画角を、画角中央angC、画角上端angU、画角下端angDにより表現している。なお、画角中央angCは、デジタルスチルカメラ1の撮像光軸と一致するものであり、画角中央angCから画角上端angUまでの角度と、画角中央angCから画角下端angDまでの角度は同じになる。垂直方向における撮像視野範囲は、画角上端angUから画角下端angDに収まる範囲が相当する。なお、説明の便宜上、ここでは最も広い画角(ワイド端)に設定されているものと仮定する。
【0064】
上記のデジタルスチルカメラ1の状態は、俯角の限界位置に到達している状態である。つまり、デジタルスチルカメラ1の撮像視野範囲は、これ以上、下方に変化させることができない。
これに対して、被写体SBJは、図示するようにして、画角中央angCよりも下側に位置しているとする。
【0065】
この図11に示される状態に対応して、デジタルスチルカメラ1により撮像される画像が、図10(b)となる。
図10(b)では、被写体重心Gの位置は、水平方向においては判定された構図の通りになってはいるものの、垂直方向においては、あきらかに、水平基準線Ld2よりも下側の領域に位置している。上記したように、デジタルスチルカメラ1の撮像視野範囲は、この状態からさらに下側に向けることはできないために、画枠300における被写体の位置も、この図10(b)における位置よりも上に移動させることはできない。つまり、この場合には、垂直方向における被写体重心Gの位置が、判定された構図と一致しないことになる。
【0066】
このような状態になった場合、図9のアルゴリズムにそのまま従えば、ステップS105において構図がOKにならないとして否定の判別結果が得られることになり、ステップS107に進み、構図合わせ制御を実行したうえで、ステップS101に戻ることになる。
例えばこのときのステップS107の構図制御としては、構図判定ブロック62は、雲台10に対して、チルト機構を俯角の方向に回転させるように指示する。
しかし、この指示を受けても、雲台10は、これ以上、チルト機構部を俯角側に回転させることができない。
すると、この場合には、例えば図10(b)の状態のまま、次のなんらかの動作に以降できないことになってしまう。
【0067】
同じ問題は、パン方向の移動でも生じ得る。
基本的に本実施形態の雲台10は、パン方向においては、360°以上で自在に回転することができる。しかし、例えばユーザが回転角度を制限設定する操作を行ったり、雲台10の背面にケーブルが差し込まれるなどした場合には、雲台10の回転角度について、例えば180°、90°などのようにして制限される。このようにしてパン方向における可動角度が制限される場合には、その設定された可動回転角度まで回転した位置が限界位置となる。
そして、例えば検出された被写体に構図を合わせようとして、パン方向への回転を行ったところ限界位置に至ったとする。このとき、被写体が、さらに限界位置より先に回転させなければ、水平方向における被写体位置が判定構図とならないような状態になることは当然生じ得る。
【0068】
このようにして、撮像システムと被写体との位置との関係によっては、画像内において、判定した構図のとおりの被写体位置が得られない場合がある。このような状況が生じる可能性は避けられないので、自動撮像記録における動作シーケンスとして、この状況に対応した適切な動作が実行されるようにすることが必要になる。これにより、自動撮像記録動作としては、より効率的でインテリジェントなものとすることができる。
【0069】
そこで以降、自動撮像記録際して、判定構図を得ることができない位置に被写体が存在している場合に、これに対応した適切な動作が得られるようにするための構成について、第1〜第4実施形態により説明していく。
【0070】
図12は、第1実施形態としての自動撮像記録のアルゴリズム例を示している。
なお、この図において、ステップS201〜S206,S208,S209は、図9のステップS101〜S106、S107,S108と同様となる。
【0071】
図12においては、ステップS205により判定構図が得られないとして否定の判別結果が得られると、ステップS207に進む。
ステップS207は、例えばパン機構とチルト機構の少なくとも何れかが限界位置にあり、かつ、その限界位置の状態で時間Tを経過したか否かについて判別する。なお、限界位置にあるか否かについては、例えば、デジタルスチルカメラ1(構図判定ブロック62)は、雲台10側からの通知によって認識することができる。この場合の雲台10の制御部51は、例えば、パン・チルト機構のそれぞれについて、限界位置にある場合には、その旨をデジタルスチルカメラ1側に通知するようにされている。
【0072】
例えば、パン機構とチルト機構の何れも限界位置に至っていない、若しくは、パン機構とチルト機構の少なくとも一方が限界位置ではあるが、限界位置に至ったとするタイミングから時間Tを経過していない場合には、ステップS207にて否定の判別結果が得られることになる。
この場合には、ステップS208により構図合わせ制御としてのパン制御、チルト制御などを実行してステップS201に戻る。
これに対して、限界位置の状態で時間Tが経過したとしてステップS207にて否定の判別結果が得られた場合には、ステップS206に進んで、撮像記録を実行する。
【0073】
つまり、第1実施形態では、パン位置若しくはチルト位置が限界位置にまで至って所定時間Tが経過すると、この時点で、構図OKでなくとも、撮像記録を実行するという動作が得られるようにする。つまり、第1実施形態は、判定した構図が得られていなくとも、一定時間を経過したのであれば、そのときに得られている画像を記録しよう、というものである。
【0074】
<5.第2実施形態>
図13は、第2実施形態としての自動撮像記録のアルゴリズム例を示している。
第2実施形態により決定される動作は、判定構図が得られていない状態でパン位置若しくはチルト位置が限界位置にまで至って所定時間Tが経過したとすると、撮像記録は実行せずに、判定構図が得られる可能性のある他の被写体を探索する、というものである。
【0075】
この図において、ステップS301〜S308,S311は、図12のステップS201〜S208,S209と同様となる。
ただし、ステップS307にて判定される時間Tについては、第2実施形態に対応した適切な動作が得られるべきことを考慮して、図12のステップS207と異なる長さが設定されてよい。
【0076】
ステップS307において否定の判別結果が得られている状態では、ステップS308に進み、図12と同様に、構図合わせ制御を実行する。
これに対して、ステップS307により肯定の判別が得られた場合には、ステップS309により撮像視野範囲を変更するための制御(撮像視野範囲変更制御)を実行する。
【0077】
ここでの撮像視野範囲変更制御は、これまでに(最後に)構図合わせ制御を行っていた対象の被写体とは異なる被写体(1以上であればよい)が撮像画像データの画像内にて検出されるように、パンニング若しくはチルティングを行って、水平方向における撮像視野範囲を変えるようにするという制御である。
【0078】
この撮像視野範囲変更制御として、1つには、最後に構図判定対象となった被写体が撮像視野範囲から外れるようにして撮像視野範囲を変更することが考えられる。このためには、例えばパン位置若しくはチルト位置が限界位置のときの画枠300における被写体の位置に基づいて、例えばこの被写体が撮像視野範囲から外れるだけのパン回転角度、チルト回転角度を求めることができる。例えば、パン回転角度については、垂直基準線Ld1から被写体SBJの画像までの距離とそのときの画角値により求められる。同様に、チルト回転角度は、水平基準線Ld2から被写体SBJの画像までの距離とそのときの画角値により求められる。
そして、このようにして求められたパン回転角度若しくはチルト回転角度の分だけ、移動が行われるように、パン制御若しくはチルト制御を実行すればよい。そして、次に説明するステップS310を経て,ステップS301に戻る。
これにより、第2実施形態では、限界位置の状態で判定構図が得られないまま時間Tを経過した場合には、撮像記録を実行することなく、他の被写体を探しにいくという動作を行うことになる。
【0079】
ところで、このようにして撮像システムが、撮像記録を実行せずに他の被写体を探しに行く動作が行われる場合、これまで構図合わせの対象とされていた被写体としての実際のユーザからしてみれば、自分のことを撮ろうとしていたのに、いきなり、自分を撮らずに他の被写体を探す動作に移るようにして見えてしまう可能性がある。このとき、ユーザは、必ずしも自分が構図合わせできない位置にいたとは認識しているとは限らないので、この場合には、違和感を覚えることもあると考えられる。
そこで、図13においては、ステップS309による撮像視野範囲変更制御とともに、次のステップS310として示すようにして、アラートをユーザに通知するための処理を実行する。つまり、構図が得られなかったので、他の被写体を探す動作に移行する旨を通知するための処理を実行する。
このための処理としては、例えばデジタルスチルカメラ1のLED部36を形成する所定のLEDを、所定のパターンにより点灯、点滅させる、ということが考えられる。また、音声出力部35により、所定のアラート音声を出力させるということも考えられる。
【0080】
ここで、第1実施形態と第2実施形態の動作とを比較すると、先ず、第1実施形態は、検出できた被写体を含む画像を撮像記録していくべき、ということが重視されているといえる。これに対して、第2実施形態は、判定された構図のとおりの画像を撮像記録していくべき、ということを重視しているといえる。
この第1実施形態の動作と、第2実施形態の動作とをどのようにして使い分けるのについては、いくつか考えられるが、次の例を挙げておく。
【0081】
本実施形態の撮像システムは、所定操作によってセルフタイマによる撮像記録を実行させることができる。特に、本実施形態の場合、セルフタイマによる撮像記録の実行時においても、画像内の被写体を検出して構図判定を実行し、判定された構図が得られるようにして構図合わせも実行することができる。
このようなセルフタイマによる撮影のときには、ユーザが操作によって撮像記録を実行させたいことを明示しているといえる。この際には、構図よりも、とりあえず、撮像記録を実行させることが重視されるべきといえる。
そこで、セルフタイマ撮影のときには、第2実施形態のアルゴリズムを採用する。
これに対して、セルフタイマ撮影ではない通常時は、本実施形態の自動撮像記録における構図制御の特長を生かして、構図を重視し、第1実施形態を採用するというものである。
【0082】
<6.第3実施形態>
ここで、図12(第1実施形態)のステップS205、図13(第2実施形態)のステップS305としての、判定構図が得られているか否かの判別処理において、被写体位置が判定構図と同じか否かについての判別は、例えば実際には、次のようにして実行することができる。
先ず、構図判定処理によっては、被写体位置は、その被写体重心Gが位置すべき目標座標として求められる。この目標座標をここでは、(x,y)として表す。そして、構図合わせ制御によっては、この目標座標(x,y)に被写体重心Gが位置するようにして、パン制御、チルト制御を実行する。
そして、図12のステップS205、若しくは図13のステップS305の実際として、被写体位置が判定構図と同じであるか否かについて判別するのにあたっては、目標座標のx座標値、y座標値ごとに所定のマージンを与える。つまり、x座標値のマージンを±a、y座標値のマージンを±bとすると、被写体重心Gが、座標(x±a,y±b)の範囲内に位置しているか否かについて判別する。
【0083】
例えば、現実には、被写体としての人物が完全に静止した状態となることはほとんどなく、或る程度の動きが生じる。このような状況のもと、被写体位置が判定構図と同じであると判定されることはか否かについて判別するのにあたり、目標座標(x,y)に対して厳密に被写体重心Gが位置しているか否かを判別するアルゴリズムとしたとする。この場合、例えば、画内容としては判定構図通りの被写体位置であると捉えてよいのにもかかわらず、ステップS205、S305においては被写体位置がOKであるとの判定結果が得られない、という不具合を生じる。
そこで、実際においては、上記のようにしてマージンを設定し、このマージンが与えられた目標座標を判定に用いることとしている。
【0084】
また、上記した目標座標のマージンという観点から見ると、第1実施形態は、限界位置にて時間Tが経過したタイミングで、目標座標のマージンをほぼ無限大に拡大し、これにより、ステップS305において構図OKの判別結果が得られるようにしているアルゴリズムであると置き換えてみることもできる。
【0085】
第3実施形態は、この目標座標のマージン拡大というアルゴリズムと、第2実施形態のアルゴリズムとを組み合わせたものとなる。
つまり、第3実施形態においては、パン又はチルト方向の限界位置に至ると、目標座標に設定するマージンを拡大する。ただし、このときのマージンは第1実施形態の場合のように無限大とするのではなく有限の所定値を設定する。そして、この状態で判定構図が得られているか否かについての判別を実行するが、構図OKの判別結果が得られないまま、時間Tを経過した場合には、撮像視野範囲変更制御に移行する、というものである。
【0086】
図14は、第3実施形態としての自動撮像記録のアルゴリズム例を示している。
この図において、ステップS401〜S404、S407〜S413は、図13のステップS301〜S304、S305〜S311と同じになる。
【0087】
図14においては、ステップS404の構図判定処理の後において、ステップS405により、現在において、パン位置若しくはチルト位置が限界位置に達している状態にあるか否かについて判別する。
ステップS405において否定の判別結果が得られた場合には,ステップS406をパスして、ステップS407に進む。この場合のステップS407においては、被写体位置については、拡大されない通常のマージンが設定された目標座標を用いて判定を行うことになる。
【0088】
これに対して、ステップS405において肯定の判別結果が得られた場合には、ステップS406により目標座標に対するマージンを拡大する。なお、このステップS406としてのマージン拡大処理にあたっては、常にx座標とy座標の両者のマージンを拡大してもよいのであるが、限界位置に達している方向が、パン方向とチルト方向の何れであるのかに応じて、x座標とy座標の何れにマージンを設定するのかを選択するようにしてもよい。例えば、先に図10に示したようにして、チルト方向においては限界位置に至っているが、パン方向においては限界位置に至っていないようなときには、y座標についてのみマージンを拡大し、x座標についてはマージンを拡大せずに通常のままとすることが考えられる。このようにすれば、限界位置に至っていない方向に対応しては、本来判定された構図のとおりの座標が得られることになって好ましい。
【0089】
このようにしてステップS405,S406を経て、ステップS407以降の処理が実行されることで、限界位置に至った状態では、時間Tが経過するまでは、より緩い判断基準によって判定構図が得られたか否かについての判別が行われることになる。これにより、或る程度判定されたものに近い構図で撮影記録できる可能性が高くなる。そして、時間Tを経過しても判定構図が得られなかった場合に、撮像視野範囲が変更される。
【0090】
<7.第4実施形態>
本実施形態において問題となっている、被写体を検出しているのにかかわらず、パン又はチルト方向において限界位置に到達しているために目的の構図(画像内の被写体位置)を得ることができない、という事象は、雲台10における制限可動角度とデジタルスチルカメラ1の画角との関係が要因で起こるといえる。この点について、図15、図16により説明する。
【0091】
図15(a)においては、デジタルスチルカメラ1の平面図が示されている。なお、このデジタルスチルカメラ1は、実際においては、雲台10に取り付けられてその撮像視野範囲が変更されるようになっているが、ここでは、図示を簡単で見やすいものとすることの都合上、雲台10の図示は省略している。
【0092】
また、ここでは、デジタルスチルカメラ1に設定されている画角を、画角中央angC、画角左端angL、画角右端angRにより表現している。なお、画角中央angCは、デジタルスチルカメラ1の撮像光軸と一致するものであり、画角中央angCから画角左端angLまでの角度の大きさと、画角中央angCから画角右端angRまでの角度の大きさは同じになる。水平方向における撮像視野範囲は、画角左端angLから画角右端angRに収まる範囲が相当する。なお、説明の便宜上、ここでは最も広い画角(ワイド端)に設定されているものと仮定する。
そのうえで、この場合においては、雲台10は、パン方向における回転可動角度について、図15(a)における0°を基準として、±90°の範囲で制限されているものとする。
【0093】
図15(b)は、雲台10が、+90°のパン位置にある状態が示されている。つまり、パン位置としては時計回り方向における限界位置に至った状態である。
このとき、デジタルスチルカメラ1の画角中央angCが、+90°のパン位置と一致する。デジタルスチルカメラ1の水平方向における撮像視野範囲は、画角中央angCを中心として、画角左端angLから画角右端angRまでの範囲となる。つまり、デジタルスチルカメラ1の撮像視野範囲は、パン位置+90°に対応する限界位置を越えて、画角中央angCから画角右端angRまでの角度範囲を撮像できることになる。
【0094】
そして、この図15(b)に示す状態のもとで、パン位置+90°に対応する限界位置を越えた、画角中央angC(パン位置+90°)〜画角右端angRに対応する、右半分の画角範囲において被写体SBJとしての人物が存在していたとする。
【0095】
この被写体SBJは、撮像視野範囲に収まっているので、これまでの実施形態の場合であれば、被写体検出処理によって被写体であるとして検出されることになり、この被写体を対象にして構図判定が行われる。しかし、判定構図を得るためには、画像内の被写体SBJが水平方向においてさらに中央に寄らなければならない場合、撮像方向をこれ以上時計回り方向に動かすことができない。
【0096】
上記の説明から分かるように、雲台10によるパン・チルト方向における可動範囲について或る一定角度で制限が与えられているとしても、デジタルスチルカメラ1の画角は、可動範囲の限度位置を超えた領域まで撮像することができる。このために、撮像システムの可動範囲より外の領域であっても、撮像視野範囲に収まる位置に人物が存在していさえすれば、この人物は、問題なく被写体として検出される。これが、検出した被写体について判定通りの構図を得ることができない、ということにつながる。
このような問題は、デジタルスチルカメラの画角が広角になるほど顕著なものになる。
【0097】
そして、このような観点からすれば、例えばデジタルスチルカメラ1の画角が広いなどの理由で、本来想定していた撮像視野範囲より外の範囲で検出された被写体については、はじめから構図判定の対象から外すようにしてよい、という考え方を撮ることができる。
そこで、第4実施形態としては、この考え方に基づいた自動撮像記録のアルゴリズムを構成する。このようなアルゴリズムであれば、結果的に判定構図が得られない被写体について構図判定処理を実行し、さらに構図合わせ制御を実行して、構図OKか否かを判定する、という無駄な一連の処理を省くことが可能になり、自動撮像記録の動作がより効率的になる。
【0098】
そこで、第4実施形態としては、次のようにして自動撮像記録のアルゴリズムを構成する。
先ず、図16は、図15(b)の状態に対応して得られる撮像画像データの画像内容を示している。先にも述べたように、画角中央angCは水平方向において撮像光軸に対応するので、図16の画枠300における垂直基準線Ld1上に対応することになる。また、この場合には、図15(b)に示したように、画角中央angCがパン位置+90°と一致するので、垂直基準線Ld1は、パン位置+90°に対応する。
そして、被写体SBJは、図15(b)においては画角中央angC〜画角右端angRの範囲に位置している。これに応じて、図16の画像内の被写体SBJは、画枠300において垂直基準線Ld1より右側の領域に位置している。
第4実施形態においては、先ず、雲台10がパン方向における限界位置にあるとして、この限界位置において検出した被写体について判定された構図としての目標座標のx座標を通過する垂直な線を、垂直限度境界線LM1として設定する。
ここで、図16のようにして検出された被写体について判定した構図によって得られる目標座標におけるx座標は、基準座標Pと同じであるとする。つまり、目標座標は、垂直基準線Ld1上にあるべきことになる。これにより、図16における垂直限度境界線LM1は、垂直基準線Ld1と同じく、基準座標Pを通過する垂直な線となっている。
なお、この場合には、構図判定の結果として、目標座標のx座標が垂直基準線Ld1と同じになったために、垂直基準線Ld1と垂直限度境界線LM1とが結果的に一致しているに過ぎない。構図判定結果によっては、目標座標は、垂直基準線Ld1とは異なるx座標となる場合がある。垂直限度境界線LM1は、あくまでも判定構図における目標座標のx座標を通過する直線として設定される。
【0099】
図16において、このようにして設定した垂直限度境界線LM1と、被写体SBJの被写体重心Gとの関係について見た場合には、次のことがいえる。
この場合において、画枠300内の垂直限度境界線LM1より右側の領域に存在する被写体SBJについては、これ以上、限界位置を越えて撮像視野範囲を右に移動させることができない。従って、被写体重心Gを、目標座標としてのx座標、つまり垂直限度境界線LM1上にまで移動させることはできない。これに対して、被写体重心Gが画枠300内の垂直限度境界線LM1より左側の領域に存在していれば、限界位置を超えない範囲でパン歩行の移動を行って撮像視野範囲を左に移動させることができる。つまり、被写体重心Gを垂直限度境界線LM1上にまで移動させることができる。
このように、正のパン移動方向(時計回り方向)に対応しては、画枠300における垂直限度境界線LM1より右側の領域は、そこに被写体重心Gが位置していても目標のx座標を得ることができない領域となる。この領域は、限度境界外の領域としている。
これに対して、画枠300における垂直限度境界線LM1より左側の領域は、そこに被写体重心Gが位置していれば目標のx座標を得ることができる領域となる。つまり、限度境界内の領域としている。
【0100】
そして、第4実施形態としては、以降説明するようにして、例えば撮像システムを基準とした被写体の位置として、その被写体重心Gが、上記の限度境界外の領域に存在する結果となることが予め把握されていれば、この被写体については、はじめから構図判定対象の被写体から外すこととする。
【0101】
なお、上記図15、図16によっては、水平方向、つまりパン方向について言及したが、第4実施形態としては、チルト方向についても、同様にして、上記の構成を適用する。
つまり、上記図15、図16による説明に準じて、水平限度境界線LM2も設定し、画枠の上下についての限度境界外、限度境界内の領域を設定する。そして、被写体重心Gのy座標が限度境界外の領域に存在する結果となることが予め把握されていれば、この被写体については、はじめから構図判定対象の被写体から外すものである。
【0102】
図17のフローチャートは、第4実施形態としての自動撮像記録のアルゴリズム例を示している。
この図において、ステップS501〜S503、S505〜S509は、図9のステップS101〜S103、S104〜S108と同じになる。
【0103】
ただし、第4実施形態のステップS502としての被写体検出処理においては、そのときに撮像システムが設置されている状態での、実際の被写体の絶対的な位置を検出し、これを絶対位置情報として得るようにされている。
【0104】
この絶対位置情報の検出手法の一例について、図18を参照して説明する。
図18(a)は、デジタルスチルカメラ1が、基準線L(パン基準位置(0°)に相当する)対して時計回りの方向にパン角度αx°分回転した位置にあって、かつ、水平画角内において被写体SBJが撮像されている状態が示されている。この場合において、水平画角はθx°により表しており、また、被写体SBJは、中心画角angCから反時計回りの方向に角度βx°だけ回転した角度に対応する線上に、その水平方向における中心位置(重心)が対応するようにして位置している。
【0105】
また、図18(a)によると、被写体SBJは、基準線Lを基準とすると、ここから時計回りの方向に角度γx°だけ回転した位置に対応する線上に、その被写体重心Gのx座標が対応するようにして位置しているということがいえる。
ここで、基準線Lは、そのときの雲台10の配置の状態に応じて決まる絶対的なものとなる。従って、上記の角度γx°によって示される被写体SBJの位置は、基準線Lを基とする絶対的なものとなる。つまり、絶対位置情報として扱うことができる。なお、以降、この角度γx°のようにして、被写体の絶対的位置を示し得る角度については、絶対位置対応角度ということにする。また、角度βx°については、そのときのパン角度αx°のもとで、中心画角angCを基にして決まる被写体SBJの位置を示すものであるから、相対位置対応角度ということにする。
【0106】
そして、絶対位置対応角度は、下記のようにして求めることができる。
図18(b)は、上記図18(a)に示した位置状態のデジタルスチルカメラ1により撮像して得られる撮像画像を示している。
ここで、撮像画像の画枠300における水平画サイズ(例えば画素数により表現できる)をCxとし、この水平画サイズにおける中点を通過する垂直分割線をLd1として、この垂直分割線Ld1を撮像画像の画枠における水平方向の基準(X軸座標の基準:X=0)とする。水平方向に沿ったX軸座標としては、垂直線Mより右の領域が正となり、左の領域が負となる。そして、撮像画像の画枠300内において存在する被写体SBJについての、水平方向における座標値はX=aとして表している。なお、図18(b)の場合のX座標値aは、負の数となる。
【0107】
ここで、図18(b)における被写体SBJの重心までのX座標の座標値aと水平画枠サイズCxとの関係(比)は、図18(a)における相対位置対応角度βx°と水平画角θx°との関係(比)に相当する。
よって、相対位置角度βx°は、
βx°=(a/Cx)*θx・・・(式1)
により表される。
また、図18(b)によれば、パン角度αx°、相対位置対応角度βx°、及び絶対位置対応角度γx°の関係は、
αx°=γx°−βx°・・・(式2)
で表される。
よって、絶対位置対応角度γ°としては、下記のようにして求めることができる。
γx°=(a/Cx)*θx°+αx°・・・(式3)
【0108】
つまり、絶対位置対応角度γ°は、水平画枠サイズCx、撮像画像の画枠内における被写体SBJのX座標値a、水平画角θx°、及びパン角度αx°のパラメータにより求められることになる。
ここで、上記パラメータのうち、水平画枠サイズCxは既知であり、撮像画像の画枠内における被写体SBJのX座標値βは、撮像画像内にて検出される被写体についての水平方向における位置情報に他ならないから、本実施の形態の被写体検出処理により得ることできる。また、水平画角θx°の情報は、画角(ズーム)制御の情報に基づいて得ることができる。より具体的には、例えば光学系部21が備えるズームレンズのズーム倍率1倍を設定しているときの標準画角の情報を保持しておいたうえで、ズーム制御に応じて得られるズーム位置と、上記標準画角とを利用して求めることができる。また、パン角度αx°についてもパン制御の情報として得ることができる。
このようにして、本実施の形態の撮像システムでは、絶対位置対応角度γx°について、特に支障なく簡単に求めることができる。
【0109】
また、実際においては、同様にして、垂直方向における絶対位置対応角度(γy°)も求める。確認のために、垂直方向における絶対位置対応角度γy°は、垂直画枠サイズCy、撮像画像の画枠内における被写体SBJのY座標値b(垂直画枠サイズCyの中点をY=0とする)、垂直画角θy°、及びチルト角度αy°のパラメータにより、
γy°=(b/Cy)*θy°+αy°・・・(式4)
により求めることができる。
【0110】
次にステップS503にて被写体が検出されたとして肯定の判別が得られた場合には、ステップS504に示す処理を実行する。
ステップS504においては、今回検出された被写体の被写体重心Gについて、パン方向及びチルト方向のそれぞれにおいて、限度境界内に位置するものであるか否かについて判別する。
このためには、先ず、構図判定ブロック62は、今回検出された被写体について構図判定を行った場合において得られる目標座標から、垂直限度境界線LM1,水平限度境界線LM2を画枠300に対して設定する。
次に、今回検出した被写体の絶対位置情報から、撮像視野範囲が限界位置に対応しているときの画枠300における被写体重心Gの座標を求める。
そして、この被写体重心Gのx座標について、垂直限度境界線LM1により規定される限度境界内に位置しているか否かについて判別する。同様に、この被写体重心Gのy座標について、水平限度境界線LM2により規定される限度境界内に位置しているか否かについて判別する。
【0111】
そして、ステップS504において、例えば上記の被写体重心Gのx座標、y座標の何れについても、肯定の判別結果が得られたとする。この場合には、今回検出された被写体は、限界位置までの可動範囲でのパン・チルト移動によって、判定構図の通りに被写体重心Gを移動可能であることになる。そこで、この場合には、ステップS505以降の手順に進む。
これに対して、ステップS504において、例えば上記の被写体重心Gのx座標、y座標の少なくとも何れか一方について否定の判別結果が得られた場合には、判定構図の通りに被写体重心Gを移動させることはできない。そこで、この場合には、ステップS509に進んで被写体探索処理を実行したうえで、ステップS501に戻るようにする。
【0112】
なお、例えばステップS504の他の例として、上記の被写体重心Gのx座標、y座標の何れか一方のみについて否定の判別結果が得られた場合には、最終的に肯定の判別結果が得られたとして、ステップS505以降の手順に進むように構成することが考えられる。
被写体重心Gのx座標、y座標の何れか一方のみについて否定の判別結果が得られた場合には、肯定の判別結果が得られた方向に関しては判定された構図の通りの座標位置を得ることができるので、相応に許容範囲の構図が得られていると考えることができる。そこで、例えば構図については許容範囲を大きくして、その代わりに撮像記録すべきことを重視するような場合は、このようなアルゴリズムのほうが適切になる。
【0113】
そして、上記図17に示したアルゴリズムであれば、ステップS504にて限度境界外であるとして否定の判別結果が得られた場合には、ステップS505〜S507として示される、構図判定から構図合わせ制御に至るまでの実質的な構図制御は実行されない。つまり、先にも述べたように、構図を合わせられない位置の被写体については、構図制御対象から外されるものであり、これによって、より効率的な自動撮像記録の動作が得られるものとなる。
【0114】
<8.本実施形態の撮像システムの変形例>
図19は、先に図7,図8に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。
この図では、先ず、デジタルスチルカメラ1から通信制御処理ブロック63を経由して、撮像に基づいて信号処理部24にて生成される撮像画像データを、雲台10に対して送信するようにされている。
この図においては、雲台10の構成として通信制御処理ブロック71、パン・チルト制御処理ブロック72、被写体検出処理ブロック73、及び構図制御処理ブロック74が示されている。
通信制御処理ブロック71は、図7の通信部52に対応する機能部位であって、デジタルスチルカメラ1側の通信制御処理ブロック部63(雲台対応通信部34)との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック71により受信された撮像画像データは、被写体検出処理ブロック73に渡される。この被写体検出ブロッ73は、例えば図8に示した構図判定ブロック62と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック74に出力する。
構図制御処理ブロック74は、図8の構図制御処理ブロック62と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、例えば図7における制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部53、チルト機構部56の動きをコントロールするための信号をパン用駆動部55、チルト用駆動部58に対して出力する。これにより、構図制御処理ブロック62にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図19に示す撮像システムは、デジタルスチルカメラ1から雲台10に撮像画像データを送信させることとして、雲台10側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
なお、ズーム制御を可能とする場合については、例えば、構図制御ブロック74が、通信制御処理ブロック71経由で、デジタルスチルカメラ1側にズーム制御を指示するように構成すればよい。
【0115】
図20は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図19と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台10側において撮像部75が備えられる。この撮像部75は、例えば撮像のための光学系と撮像素子(イメージャ)を備えて、撮像光に基づいた信号(撮像信号)を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図6に示した光学系部21、イメージセンサ22、A/Dコンバータ23、及び信号処理部24において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部75により生成される撮像画像データは被写体検出処理ブロック73に出力される。なお、撮像部75が撮像光を取り込む方向(撮像方向)は、例えば雲台10に載置されるデジタルスチルカメラ1の光学系部21(レンズ部3)の撮像方向とできるだけ一致するようにして設定される。
【0116】
この場合の被写体検出処理ブロック73及び構図制御処理ブロック74は、上記図19と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック74は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック71からデジタルスチルカメラ1に対して送信させる。デジタルスチルカメラ1では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台10側で完結して行うことができる。
【0117】
なお、先に説明した本実施形態としての構図制御において実行されるパン制御、チルト制御は、雲台10のパン・チルト機構の動きを制御することにより行うこととしているが、雲台10に代えて、例えば、デジタルスチルカメラ1のレンズ部3に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ1のイメージセンサ22から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台10若しくはこれに準ずる、デジタルスチルカメラ1以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ1単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部21におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
【0118】
また、これまでの説明では、本実施形態の撮像システムを、互いに別体のデジタルスチルカメラ1と雲台10から成るものとしているが、例えば、デジタルスチルカメラ1に相当する撮像部と、雲台10に相当する可動機構部とが一体化された撮像装置などとされて構成されてもよい。
【0119】
<9.本実施形態の応用:トリミング処理>
次に、これまで説明してきた本実施形態としての構成を、トリミング処理に適用した例を説明しておく。
図21には編集装置90が示されている。ここでの編集装置90は既存の画像データに対して画像編集を行う。
ここでは、既存の画像データとして、例えば記憶媒体に記憶されていたものを再生して得た画像データ(再生画像データ)を得るようにされている。なお、記憶媒体から再生したものの他に、例えばネットワーク経由でダウンロードしたものを取り込んでもよい。即ち、編集装置90が取り込むべき撮像画像データをどのような経路で取得するのかについては、特に限定されるべきものではない。
【0120】
編集装置90が取り込んだとされる再生画像データは、トリミング処理ブロック91と被写体検出・構図判定処理ブロック92のそれぞれに対して入力される。
先ず、被写体検出・構図判定処理ブロック92は、例えば先ず、被写体検出処理を実行して検出情報を出力する。そして、この検出情報を利用した構図判定処理として、この場合には、入力される再生画像データとしての全画面において、最適構図が得られるとされる所定の縦横比による画像部分(最適構図の画像部分)がどこであるのかを特定する。そして、最適構図の画像部分が特定されると、例えばその画像部分の位置を示す情報(トリミング指示情報)をトリミング処理ブロック91に対して出力する。
トリミング処理ブロック91は、上記のようにしてトリミング指示情報が入力されたことに応答して、入力される再生画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を1つの独立した画像データとして出力する。これが編集画像データとなる。
このような構成であれば、例えば画像データの編集処理として、元々ある画像データの画内容から最適構造となる部分を抜き出した内容の画像データを新規に得るというトリミングが自動的に行われることになる。
このような編集機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
【0121】
そのうえで、例えば、編集装置90が入力した再生画像データの画像が、図22に示すものであったとする。この図において、再生画像データの画像は、再生画像94として示している。そして、この再生画像94において、図示するようにして、その画枠における上端において、被写体SBJが存在していたとする。被写体検出・構図判定処理ブロック92は、この被写体を検出して最適構図を判定することになる。
【0122】
ここで、例えば被写体検出・構図判定処理ブロック92が、図22に示される被写体SBJを対象として判定した最適構図が、先に図10(a)に示したものであるとする。
しかし、この場合には、再生画像94においては、既に、被写体SBJの上側において画像領域が存在していない。この場合、そのままでは、判定構図の通りの図10(a)に示した画内容でトリミングを行うことはできない。
【0123】
このような場合において、例えば先に説明した第1実施形態を適用すれば、同じ図22に示す編集画像データの画像(編集画像)95が得られるようにしてトリミング処理を実行させることができる。
つまり、この場合には、被写体検出・構図判定処理ブロック92は、例えば判定構図として必要な被写体サイズを求め、この被写体サイズを得ることのできるトリミング枠のサイズを決定する。ここでのトリミング枠のサイズとは、編集画像95の画枠サイズをいう。
そのうえで、例えば、目標座標におけるx座標に被写体重心Gのx座標が位置するように、水平方向におけるトリミング枠の位置を決定する。これは、例えば被写体重心Gのx座標が目標座標のx座標に一致するようにして、再生画像94上でトリミング枠を水平方向に移動させるようなイメージである。ただし、例えばこの水平方向の移動に際して、トリミング枠において再生画像94が切れて見えなくなるところまで移動したときには、これが限界位置であるとして、この段階で移動を停止する。
図22の場合には、水平方向の移動については、限界位置に到達することなく、被写体重心Gを、目標座標におけるx座標にまで移動させることができる。
【0124】
また、これとともに、被写体検出・構図判定処理ブロック92は、上記と同様に、目標座標のy座標に被写体重心Gのy座標が位置するように、垂直方向におけるトリミング枠の位置を決定する。
図22の例では、目標座標のy座標に被写体重心Gを位置させようとすると、トリミング枠の上側において再生画像94からはみ出す領域が現れてしまう。この場合には、図22において示される編集画像95の位置が垂直方向における限界位置になる。つまり、この場合の限界位置とは、トリミング枠(編集画像95)について、これが再生画像94からはみ出すことなく、かつ、トリミング枠の縁部と再生画像94の縁部とで、上下左右何れかの一辺が重なる位置にあることをいう。
【0125】
図22の場合、上記のトリミング枠の限界位置では、判定構図が得られていることにはならない。しかし、この場合には、第1実施形態に従って、このときのトリミング枠によりトリミングを実行させるものとする。
つまり、水平方向若しくは垂直方向でのトリミング枠の設定を行った結果、水平方向と垂直方向での少なくとも何れか一方の方向において上記の限界位置に至ったことで判定構図が得られなかった場合には、これまでの位置決定処理によって得られているトリミング枠で構図はOKであるとする。なお、この場合には、限界位置に至ったとするタイミングから時間Tが経過するのを待機する必要はない。そして、このトリミング枠に基づいたトリミン指示情報をトリミング処理ブロック91に対して出力する。これにより、図22に示した編集画像95としての画内容を有する編集画像データが得られる。
なお、このような編集装置90は、例えば独立した単体の装置として構成することもできるが、この編集装置90としてのプログラムを実行させたパーソナルコンピュータ装置としても構成できる。
【0126】
なお、これまでの実施の形態の説明にあっては、被写体(個別被写体)は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの(撮像画像データ)のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図(最適構図)は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図(最適構図)としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
【0127】
また、これまでにも述べてきたように、本願に基づく構成における少なくとも一部は、CPUやDSPにプログラムを実行させることで実現できる。
このようなプログラムは、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてDSP対応の不揮発性の記憶領域やフラッシュメモリ30などに記憶させることが考えられる。また、USBやIEEE1394などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
【符号の説明】
【0128】
1 デジタルスチルカメラ、2 シャッターボタン、3 レンズ部、10 雲台、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、61 撮像記録ブロック、62 構図判定ブロック、63 パン・チルト・ズーム制御ブロック、64 通信制御処理ブロック、SBJ(SBJ0〜n) 被写体、71 通信制御処理ブロック、72 パン・チルト制御処理ブロック、73 被写体検出処理ブロック、74 構図制御処理ブロック、75 撮像部
【技術分野】
【0001】
本発明は、例えば撮像により得られる画像の内容に基づいてしかるべき動作を実行するようにされた画像対応装置と、動作設定の方法に関する。また、このような画像対応装置に所要の手順を実行させるためのプログラムに関する。
【背景技術】
【0002】
先に本出願人は、特許文献1に示す自動撮像記録のための構成を提案している。つまり、撮像装置により得られる撮像画像データの画像中に存在する被写体を検出し、この検出された被写体を撮像記録しようというものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−100300号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願発明としては、上記のような自動撮像記録動作について、例えばユーザにとって有益な機能を提供してさらに充実を図ることを、その課題とする。
【課題を解決するための手段】
【0005】
そこで本発明は上記した課題を考慮して、画像対応装置として次のように構成する。
つまり、画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手段を備えることとした。
【0006】
上記構成によっては、所定の限界位置状態に対応して得られるとされる画像データの画像における被写体の位置に基づいて、画像データに関連した所要の動作を決定するようにされている。
【発明の効果】
【0007】
これにより、例えば本願発明によっては、画像対応装置について、画像内容に対応した適切な動作が自動的に実行されることになる。これを、例えば撮像システムなどの自動撮像記録に適用すれば、この自動撮像記録機能についてさらに充実が図られる。
【図面の簡単な説明】
【0008】
【図1】実施形態の撮像システムを成す撮像装置であるデジタルスチルカメラの外観を簡単に示す正面図及び背面図である。
【図2】実施形態の撮像システムを成す雲台の外観例を示す斜視図である。
【図3】実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す正面図である。
【図4】実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を、パン方向における動きの態様例とともに示す平面図である。
【図5】実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す側面図である。
【図6】デジタルスチルカメラの構成例を示すブロック図である。
【図7】雲台の構成例を示すブロック図である。
【図8】実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。
【図9】本実施形態の基本となる自動撮像記録のためのアルゴリズムの一例を示すフローチャートである。
【図10】判定された構図と、チルト角度の制限によって実際に得られる画内容の例とを比較して示す図である。
【図11】図10(b)の画内容に対応したデジタルスチルカメラと被写体との位置関係例を示す図である。
【図12】第1実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。
【図13】第2実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。
【図14】第3実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。
【図15】パン方向での限界位置において判定構図が得られないときの、デジタルスチルカメラと被写体との位置関係例を示す図である。
【図16】図15に示すデジタルスチルカメラと被写体の位置関係に応じて得られる撮像画像データの画内容例を示す図である。
【図17】第4実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。
【図18】被写体の絶対位置情報を検出するための手法例を説明するための図である。
【図19】実施の形態の撮像システムの変形例としての構成例を示す図である。
【図20】実施の形態の撮像システムの他の変形例としての構成例を示す図である。
【図21】実施の形態の応用例としての編集装置の構成例を示す図である。
【図22】図21の編集装置による画像データのトリミング処理例を説明するための図である。
【発明を実施するための形態】
【0009】
以下、本願発明を実施するための形態(以下、実施形態という)について、下記の順により説明する。
<1.撮像システムの構成>
[1−1.全体構成]
[1−2.デジタルスチルカメラ]
[1−3.雲台]
<2.実施形態の構図制御に対応する機能構成例>
<3.自動撮像記録の基本アルゴリズム例>
<4.第1実施形態>
<5.第2実施形態>
<6.第3実施形態>
<7.第4実施形態>
<8.本実施形態の撮像システムの変形例>
<9.本実施形態の応用:トリミング処理>
また、本明細書においては、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
【0010】
また、本実施形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。
【0011】
<1.撮像システムの構成>
[1−1.全体構成]
本実施形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が載置される雲台10から成る。
先ず、図1にデジタルスチルカメラ1の外観例を示す。図1(a)、(b)は、それぞれデジタルスチルカメラ1の正面図、背面図となる。
この図に示されるデジタルスチルカメラ1は、先ず、図1(a)に示すように、本体部2の前面側においてレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
【0012】
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モードにおいてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン31aに対する操作が行われると、この操作タイミングのときに得られていたとする撮像画像が、静止画の画像データとして記憶媒体に記録される。つまり、写真撮影が行われる。
【0013】
また、デジタルスチルカメラ1は、図1(b)に示すようにして、その背面側に表示画面部33aを有する。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
【0014】
なお、本実施形態のデジタルスチルカメラ1は、表示画面部33aに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部33aに対して指を当てることによって、しかるべき操作を行うことができる。
【0015】
また、本実施形態の撮像システム(撮像装置)は、このデジタルスチルカメラ1としての撮像部と、次に説明する雲台10としての可動機構部(可動装置部)から成るものとしているが、ユーザは、デジタルスチルカメラ1単体のみを使用しても、通常のデジタルスチルカメラと同じように、写真撮影を行うことができる。
【0016】
図2は、雲台10の外観を示す斜視図である。また、図3〜図5は、本実施形態の撮像システムの外観として、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5(a)は側面図であり、図5(b)は側面図によりチルト機構の可動範囲を示したものである。
【0017】
図2、及び図3,図4,図5(a)に示すように、雲台10は、大きくは接地台部13の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
【0018】
雲台10にデジタルスチルカメラ1を載置しようとするときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に対して置くようにようにする。
この場合のカメラ台座部12の上面部には、図2に示すようにして、突起部13とコネクタ14が設けられている。
その図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
【0019】
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部12にデジタルスチルカメラ1が適正に載置される状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
【0020】
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12において可動できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に載置できるようになっている。
また、デジタルスチルカメラ1とカメラ台座部12との通信は無線により行われるようにしてもよい。
【0021】
また、例えば雲台10に対してデジタルスチルカメラ1が載置された状態では、雲台10からデジタルスチルカメラ1に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ1にて再生している画像などの映像信号を雲台10側にも伝送し、雲台10からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台10について、単に、デジタルスチルカメラ1の撮像視野範囲を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。
【0022】
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
この雲台10を床面などに置いた状態では、接地台部13の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台10に載置されているデジタルスチルカメラ1の撮像視野範囲は、左右方向(水平方向)に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有しているものとする。
【0023】
また、この雲台のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すようにして、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、即ちパン位置を0°〜360°により表すものとする。
【0024】
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)及び図5(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部13が接地する接地面部GRとが平行となる。
そのうえで、図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また、俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に載置されたデジタルスチルカメラ1の撮像視野範囲は、上下方向(垂直方向)沿って変化することになる。つまりチルティングの動作が得られる。
【0025】
なお、図2〜図5に示した雲台10の外観構成はあくまでも一例であり、載置されたデジタルスチルカメラ1をパン方向及チルト方向に動かすことができるようにされていれば、他の物理的構成、構造が採られてもかまわない。
【0026】
[1−2.デジタルスチルカメラ]
先ず、図6のブロック図は、デジタルスチルカメラ1の実際的な内部構成例を示している。
この図において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【0027】
イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOSセンサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【0028】
上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
信号処理部24では、A/Dコンバータ23から出力されるデジタルの撮像信号について、例えば1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成することができる。
【0029】
上記のようにして信号処理部24にて生成した撮像画像データを画像情報として記憶媒体(記憶媒体装置)であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
【0030】
また、本実施の形態としての信号処理部24は、先の説明のようにして取得される撮像画像データを利用して、後述するように、被写体検出としての画像処理を実行させるように構成される。
【0031】
また、デジタルスチルカメラ1は信号処理部24にて得られる撮像画像データを利用して表示部33により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部24においては、先の説明のようにしてA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。これにより、スルー画の表示が行われる。
【0032】
表示ドライバ32では、上記のようにして信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していくようにされる。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
【0033】
また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
【0034】
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33においては、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
【0035】
また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力するようにされる。これにより、表示部33においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【0036】
制御部27は、例えば実際においてはCPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
【0037】
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してCPUに出力する操作情報信号出力部位とを一括して示している。制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
【0038】
音声出力部35は、制御部27の制御により、例えば所定内容の通知のために、所定の音色と発音パターンによる電子音を出力する部位である。
LED部36は、例えばデジタルスチルカメラ1の筐体前面部に表出して設けられるLED(Light Emitting Diode)と、このLEDを点灯駆動する回路部などから成り、制御部27の制御に応じて、LEDを点灯、消灯する。このLEDを点灯、消灯パターンにより、所定内容の通知が行われる。
【0039】
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ1が雲台10に対して取り付けられた状態において、雲台10側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
【0040】
[1−3.雲台]
図7のブロック図は、雲台10の内部構成例を示している。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5(b)に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
【0041】
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部53、チルト機構部56の動きをコントロールする。例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号によりパン用モータ54が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
また、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
【0042】
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部34と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
【0043】
<2.実施形態の構図制御に対応する機能構成例>
次に、図8のブロック図により、本実施形態に対応する撮像システムを成すデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウェア(プログラム)により実現される機能構成例を示す。
この図において、デジタルスチルカメラ1は、撮像記録ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、及び通信制御処理ブロック64を備えて成るものとされている。
【0044】
撮像記録ブロック61は、撮像により得られた画像を画像信号のデータ(撮像画像データ)として得て、この撮像画像データを記憶媒体に記憶するための制御処理を実行する部位である。この部位は、例えば撮像のための光学系、撮像素子(イメージセンサ)、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路、また、撮像画像データを記憶媒体に書き込んで記録(記憶)させるための記録制御・処理系などを有して成る部位である。
この場合の撮像記録ブロック61における撮像画像データの記録(撮像記録)は、構図判定ブロックの指示、制御により実行される。
【0045】
構図判定ブロック62は、撮像記録ブロック61から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして、先ず被写体検出を行い、最終的には構図判定のための処理を実行する。
本実施形態においては、この構図判定に際して、被写体検出により検出された被写体ごとに、後述する属性についての検出も行う。そして、構図判定処理に際しては、この検出された属性を利用して最適とされる構図を判定する。さらに、判定した構図による画内容の撮像画像データが得られるようにするための構図合わせ制御も実行する。
ここで、構図判定ブロック62が実行する被写体検出処理(初期顔枠の設定を含む)は、図6との対応では信号処理部24が実行するようにして構成できる。また、この信号処理部24による被写体検出処理は、DSP(Digital signal Processor)による画像信号処理として実現できる。つまり、DSPに与えるプログラム、インストラクションにより実現できる。
また、構図判定ブロック62が実行する顔枠の修正、及び構図判定、構図合わせ制御は、制御部27としてのCPUがプログラムに従って実行する処理として実現できる。
【0046】
パン・チルト・ズーム制御ブロック63は、構図判定ブロック62の指示に応じて、判定された最適構図に応じた構図、撮像視野範囲が得られるように、パン・チルト・ズーム制御を実行する。つまり、構図合わせ制御として、構図判定ブロック62は、例えば判定された最適構図に応じて得るべき上記構図、撮像視野範囲をパン・チルト・ズーム制御ブロック63に指示する。パン・チルト・ズーム制御ブロック63は、指示された構図、撮像視野範囲が得られる撮像方向にデジタルスチルカメラ1が向くための、雲台10のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、例えば判定された適切画角を得るためのズームレンズの位置(ズーム倍率)を求め、このズーム位置となるようにして、撮像記録ブロック61が備えるとされるズーム機構を制御する。
【0047】
通信制御処理ブロック64は、雲台10側に備えられる通信制御処理ブロック71との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック63が生成したパン・チルト制御信号は、通信制御処理ブロック64の通信により、雲台10の通信制御処理ブロック71に対して送信される。
【0048】
雲台10は、例えば図示するようにして、通信制御処理ブロック71、及びパン・チルト制御処理ブロック72を有している。
通信制御処理ブロック71は、デジタルスチルカメラ1側の通信制御処理ブロック64との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック72に対して出力する。
【0049】
パン・チルト制御処理ブロック72は、例えば図7に示した雲台10側の制御部51(マイクロコンピュータ)が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック72は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、最適構図に応じて必要な水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。
【0050】
また、パン・チルト・ズーム制御ブロック63は、例えば、構図判定ブロック62の指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。
【0051】
<3.自動撮像記録の基本アルゴリズム例>
上記のようにして構成される撮像システムでは、雲台10のパン・チルト機構を駆動してデジタルスチルカメラ1の撮像視野範囲を変更していくようにして撮像画像内に収まる被写体を検出する。そして、検出した被写体があれば、これをしかるべき構図で画枠内におさめて撮像記録することができる。つまり、自動撮像記録機能を有する。
【0052】
図9のフローチャートは、このような自動撮像記録のためのアルゴリズムの一例を示している。なお、この図に示すアルゴリズムは、後述する第1〜第4実施形態に対応するアルゴリズムの基本となる。
なお、この図に示す処理手順は、図8に示すデジタルスチルカメラ1における各機能ブロック(撮像記録ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、通信制御処理ブロック64)が適宜実行するものとしてみることができる。
【0053】
図9において、先ず、構図判定ブロック62は、ステップS101により撮像記録ブロック61にてそのときに得られる撮像画像データを取り込んで取得し、ステップS102により、この取得した撮像画像データについての被写体検出処理を実行する。
このステップS102の被写体検出処理としては、例えば先に述べたようにして顔検出技術を応用し、その検出結果として、被写体数であるとか、被写体サイズ、画像における被写体位置などを得ることができる。
【0054】
次に、ステップS103において構図判定ブロック62は、上記ステップS102による被写体検出処理によって被写体が検出されたか否かについて判別する。ここで否定の判別結果が得られた場合には、ステップS108により被写体探索処理を開始させたうえで、ステップS101に戻る。
この被写体探索処理は、例えば、パン・チルト・ズーム制御ブロック63が通信制御処理ブロック64を経由して、雲台10のパン/チルト方向への移動を指示するとともに、必要に応じてはズーム制御も行って撮像視野範囲を所定のパターンで時間経過に応じて変更していく制御となる。これにより、デジタルスチルカメラ1の周囲に存在している被写体を撮像視野範囲内に収まるようにして捕捉しようというものである。
これに対して、ステップS103において被写体が検出されたとして肯定の判別結果が得られた場合には、ステップS104に進む。
【0055】
ステップS104において構図判定ブロック62は、検出された被写体に応じて最適構図を判定する。
ここで判定される構図を形成する要素としては、例えば画枠における被写体のサイズ、画枠内の被写体の位置、などを挙げることができる。
撮像画像データの画枠内の画内容として、この判定した構図が得られるようにするための構図合わせ制御を実行する。
【0056】
そして、構図合わせ制御を実行したとされると、構図判定ブロック62は、ステップS105により、そのときに得られている構図について判定したとおりのものであり、撮像記録してよいタイミング(構図OK)であるか否かについて判別する。
例えば一定時間以上を経過したとしても構図OKとの判定が得られない場合には、ステップS105にて否定の判別結果が得られる。この場合には、ステップS107により撮像画像データの画枠内の画内容として、この判定した構図が得られるようにするための構図合わせ制御を実行する。つまり、例えば、判定された構図に応じた被写体位置が画像内で得られるようにするためのパン・チルト制御、また、判定された構図に応じた被写体サイズが得られるようにするためのズーム制御などを実行する。
これに対して、ステップS105にて肯定の判別結果が得られた場合にはステップS106に進む。
【0057】
ステップS106においては、撮像記録の実行を撮像記録ブロック61に対して指示する。これに応じて、撮像記録ブロック61は、そのときに得られている撮像画像データを、メモリカード40に対して静止画のファイルとして記録する動作を実行する。
【0058】
上記図9に示したアルゴリズムでは、被写体が検出されれば、その検出された被写体を含むしかるべき構図で撮影記録するという動作が自動的に実行されることになる。つまり、例えば人物を被写体として含む画像の撮像画像データを自動的に記録していくという、自動撮像記録動作が得られる。
【0059】
<4.第1実施形態>
ここで、例えば、上記図9に示したアルゴリズムに従って自動撮像記録を実行している過程において、例えば、1つの被写体SBJが検出されたとする。これに応じてステップS104により判定された構図が、例えば図10(a)に示すものであったとする。
図10(a)は、撮像画像データの画像に対応した画枠300において検出された被写体SBJを示している。図10(a)の画枠300に対応する画像は、水平画サイズ(水平画素数)Cx、垂直画サイズ(垂直画素数)Cyのサイズを有するものとしている。
また、この図においては、被写体位置の説明のために、垂直基準線Ld1、水平基準線Ld2、垂直分割線v1,v2、水平分割線h1,h2の各仮想線が示される。
垂直基準線Ld1は、水平画サイズCxに対して、その中点を通過して2等分する垂直な線である。水平基準線Ld2は、垂直画サイズCyに対して、その中点を通過して2等分する水平な線である。なお、この垂直基準線Ld1と水平基準線Ld2との交点が、例えば画枠300における基準座標Pとなる。この基準座標Pは、デジタルスチルカメラ1の撮像光軸に対応する。
水平分割線h1,h2は、水平画サイズCxを3等分する2本の直線であり、水平分割線h1が左側で、水平分割線h2が右側の線となる。
垂直分割線v1,v2は、垂直画サイズCyを3等分する2本の直線であり、垂直分割線v1が上側、垂直分割線v2が下側の線となる。
【0060】
また、被写体SBJの画像上には、被写体重心Gが示されている。この被写体重心Gは、被写体位置を示す情報であって、被写体検出処理に際して、所定のアルゴリズムによって、例えば被写体として検出された顔部分の画像領域における1点の座標として求められる。
【0061】
図10(a)に示される構図は、被写体の位置の点から見ると次のようになる。
つまり、被写体重心Gは、水平方向においては、水平基準線Ld1を通過する座標、つまり水平方向における中間に位置すべきとされ、垂直方向においては、水平分割線h1上、即ち、垂直画サイズCyに対して上から1/3の位置に在るべきものとされる。
【0062】
そして、例えば、最終的に構図合わせ制御も実行して、この構図が得られることとなれば、ステップS105において、構図OKの判定結果が得られることとなって、撮像画像が実行される。
【0063】
しかし、被写体SBJと撮像システムの位置関係によっては、判定された構図に合わせることが不可能な場合がある。
例えば、図11には、側面方向から見たデジタルスチルカメラ1が、最大回転角度−g°のチルト位置にある状態が示されている。なお、この図のデジタルスチルカメラ1は、実際には雲台10に取り付けられていることでこの図に示す状態が得られているのであるが、ここでは、
雲台10の図示は省略している。
また、この図においては、デジタルスチルカメラ1に設定されている画角として垂直方向における画角を、画角中央angC、画角上端angU、画角下端angDにより表現している。なお、画角中央angCは、デジタルスチルカメラ1の撮像光軸と一致するものであり、画角中央angCから画角上端angUまでの角度と、画角中央angCから画角下端angDまでの角度は同じになる。垂直方向における撮像視野範囲は、画角上端angUから画角下端angDに収まる範囲が相当する。なお、説明の便宜上、ここでは最も広い画角(ワイド端)に設定されているものと仮定する。
【0064】
上記のデジタルスチルカメラ1の状態は、俯角の限界位置に到達している状態である。つまり、デジタルスチルカメラ1の撮像視野範囲は、これ以上、下方に変化させることができない。
これに対して、被写体SBJは、図示するようにして、画角中央angCよりも下側に位置しているとする。
【0065】
この図11に示される状態に対応して、デジタルスチルカメラ1により撮像される画像が、図10(b)となる。
図10(b)では、被写体重心Gの位置は、水平方向においては判定された構図の通りになってはいるものの、垂直方向においては、あきらかに、水平基準線Ld2よりも下側の領域に位置している。上記したように、デジタルスチルカメラ1の撮像視野範囲は、この状態からさらに下側に向けることはできないために、画枠300における被写体の位置も、この図10(b)における位置よりも上に移動させることはできない。つまり、この場合には、垂直方向における被写体重心Gの位置が、判定された構図と一致しないことになる。
【0066】
このような状態になった場合、図9のアルゴリズムにそのまま従えば、ステップS105において構図がOKにならないとして否定の判別結果が得られることになり、ステップS107に進み、構図合わせ制御を実行したうえで、ステップS101に戻ることになる。
例えばこのときのステップS107の構図制御としては、構図判定ブロック62は、雲台10に対して、チルト機構を俯角の方向に回転させるように指示する。
しかし、この指示を受けても、雲台10は、これ以上、チルト機構部を俯角側に回転させることができない。
すると、この場合には、例えば図10(b)の状態のまま、次のなんらかの動作に以降できないことになってしまう。
【0067】
同じ問題は、パン方向の移動でも生じ得る。
基本的に本実施形態の雲台10は、パン方向においては、360°以上で自在に回転することができる。しかし、例えばユーザが回転角度を制限設定する操作を行ったり、雲台10の背面にケーブルが差し込まれるなどした場合には、雲台10の回転角度について、例えば180°、90°などのようにして制限される。このようにしてパン方向における可動角度が制限される場合には、その設定された可動回転角度まで回転した位置が限界位置となる。
そして、例えば検出された被写体に構図を合わせようとして、パン方向への回転を行ったところ限界位置に至ったとする。このとき、被写体が、さらに限界位置より先に回転させなければ、水平方向における被写体位置が判定構図とならないような状態になることは当然生じ得る。
【0068】
このようにして、撮像システムと被写体との位置との関係によっては、画像内において、判定した構図のとおりの被写体位置が得られない場合がある。このような状況が生じる可能性は避けられないので、自動撮像記録における動作シーケンスとして、この状況に対応した適切な動作が実行されるようにすることが必要になる。これにより、自動撮像記録動作としては、より効率的でインテリジェントなものとすることができる。
【0069】
そこで以降、自動撮像記録際して、判定構図を得ることができない位置に被写体が存在している場合に、これに対応した適切な動作が得られるようにするための構成について、第1〜第4実施形態により説明していく。
【0070】
図12は、第1実施形態としての自動撮像記録のアルゴリズム例を示している。
なお、この図において、ステップS201〜S206,S208,S209は、図9のステップS101〜S106、S107,S108と同様となる。
【0071】
図12においては、ステップS205により判定構図が得られないとして否定の判別結果が得られると、ステップS207に進む。
ステップS207は、例えばパン機構とチルト機構の少なくとも何れかが限界位置にあり、かつ、その限界位置の状態で時間Tを経過したか否かについて判別する。なお、限界位置にあるか否かについては、例えば、デジタルスチルカメラ1(構図判定ブロック62)は、雲台10側からの通知によって認識することができる。この場合の雲台10の制御部51は、例えば、パン・チルト機構のそれぞれについて、限界位置にある場合には、その旨をデジタルスチルカメラ1側に通知するようにされている。
【0072】
例えば、パン機構とチルト機構の何れも限界位置に至っていない、若しくは、パン機構とチルト機構の少なくとも一方が限界位置ではあるが、限界位置に至ったとするタイミングから時間Tを経過していない場合には、ステップS207にて否定の判別結果が得られることになる。
この場合には、ステップS208により構図合わせ制御としてのパン制御、チルト制御などを実行してステップS201に戻る。
これに対して、限界位置の状態で時間Tが経過したとしてステップS207にて否定の判別結果が得られた場合には、ステップS206に進んで、撮像記録を実行する。
【0073】
つまり、第1実施形態では、パン位置若しくはチルト位置が限界位置にまで至って所定時間Tが経過すると、この時点で、構図OKでなくとも、撮像記録を実行するという動作が得られるようにする。つまり、第1実施形態は、判定した構図が得られていなくとも、一定時間を経過したのであれば、そのときに得られている画像を記録しよう、というものである。
【0074】
<5.第2実施形態>
図13は、第2実施形態としての自動撮像記録のアルゴリズム例を示している。
第2実施形態により決定される動作は、判定構図が得られていない状態でパン位置若しくはチルト位置が限界位置にまで至って所定時間Tが経過したとすると、撮像記録は実行せずに、判定構図が得られる可能性のある他の被写体を探索する、というものである。
【0075】
この図において、ステップS301〜S308,S311は、図12のステップS201〜S208,S209と同様となる。
ただし、ステップS307にて判定される時間Tについては、第2実施形態に対応した適切な動作が得られるべきことを考慮して、図12のステップS207と異なる長さが設定されてよい。
【0076】
ステップS307において否定の判別結果が得られている状態では、ステップS308に進み、図12と同様に、構図合わせ制御を実行する。
これに対して、ステップS307により肯定の判別が得られた場合には、ステップS309により撮像視野範囲を変更するための制御(撮像視野範囲変更制御)を実行する。
【0077】
ここでの撮像視野範囲変更制御は、これまでに(最後に)構図合わせ制御を行っていた対象の被写体とは異なる被写体(1以上であればよい)が撮像画像データの画像内にて検出されるように、パンニング若しくはチルティングを行って、水平方向における撮像視野範囲を変えるようにするという制御である。
【0078】
この撮像視野範囲変更制御として、1つには、最後に構図判定対象となった被写体が撮像視野範囲から外れるようにして撮像視野範囲を変更することが考えられる。このためには、例えばパン位置若しくはチルト位置が限界位置のときの画枠300における被写体の位置に基づいて、例えばこの被写体が撮像視野範囲から外れるだけのパン回転角度、チルト回転角度を求めることができる。例えば、パン回転角度については、垂直基準線Ld1から被写体SBJの画像までの距離とそのときの画角値により求められる。同様に、チルト回転角度は、水平基準線Ld2から被写体SBJの画像までの距離とそのときの画角値により求められる。
そして、このようにして求められたパン回転角度若しくはチルト回転角度の分だけ、移動が行われるように、パン制御若しくはチルト制御を実行すればよい。そして、次に説明するステップS310を経て,ステップS301に戻る。
これにより、第2実施形態では、限界位置の状態で判定構図が得られないまま時間Tを経過した場合には、撮像記録を実行することなく、他の被写体を探しにいくという動作を行うことになる。
【0079】
ところで、このようにして撮像システムが、撮像記録を実行せずに他の被写体を探しに行く動作が行われる場合、これまで構図合わせの対象とされていた被写体としての実際のユーザからしてみれば、自分のことを撮ろうとしていたのに、いきなり、自分を撮らずに他の被写体を探す動作に移るようにして見えてしまう可能性がある。このとき、ユーザは、必ずしも自分が構図合わせできない位置にいたとは認識しているとは限らないので、この場合には、違和感を覚えることもあると考えられる。
そこで、図13においては、ステップS309による撮像視野範囲変更制御とともに、次のステップS310として示すようにして、アラートをユーザに通知するための処理を実行する。つまり、構図が得られなかったので、他の被写体を探す動作に移行する旨を通知するための処理を実行する。
このための処理としては、例えばデジタルスチルカメラ1のLED部36を形成する所定のLEDを、所定のパターンにより点灯、点滅させる、ということが考えられる。また、音声出力部35により、所定のアラート音声を出力させるということも考えられる。
【0080】
ここで、第1実施形態と第2実施形態の動作とを比較すると、先ず、第1実施形態は、検出できた被写体を含む画像を撮像記録していくべき、ということが重視されているといえる。これに対して、第2実施形態は、判定された構図のとおりの画像を撮像記録していくべき、ということを重視しているといえる。
この第1実施形態の動作と、第2実施形態の動作とをどのようにして使い分けるのについては、いくつか考えられるが、次の例を挙げておく。
【0081】
本実施形態の撮像システムは、所定操作によってセルフタイマによる撮像記録を実行させることができる。特に、本実施形態の場合、セルフタイマによる撮像記録の実行時においても、画像内の被写体を検出して構図判定を実行し、判定された構図が得られるようにして構図合わせも実行することができる。
このようなセルフタイマによる撮影のときには、ユーザが操作によって撮像記録を実行させたいことを明示しているといえる。この際には、構図よりも、とりあえず、撮像記録を実行させることが重視されるべきといえる。
そこで、セルフタイマ撮影のときには、第2実施形態のアルゴリズムを採用する。
これに対して、セルフタイマ撮影ではない通常時は、本実施形態の自動撮像記録における構図制御の特長を生かして、構図を重視し、第1実施形態を採用するというものである。
【0082】
<6.第3実施形態>
ここで、図12(第1実施形態)のステップS205、図13(第2実施形態)のステップS305としての、判定構図が得られているか否かの判別処理において、被写体位置が判定構図と同じか否かについての判別は、例えば実際には、次のようにして実行することができる。
先ず、構図判定処理によっては、被写体位置は、その被写体重心Gが位置すべき目標座標として求められる。この目標座標をここでは、(x,y)として表す。そして、構図合わせ制御によっては、この目標座標(x,y)に被写体重心Gが位置するようにして、パン制御、チルト制御を実行する。
そして、図12のステップS205、若しくは図13のステップS305の実際として、被写体位置が判定構図と同じであるか否かについて判別するのにあたっては、目標座標のx座標値、y座標値ごとに所定のマージンを与える。つまり、x座標値のマージンを±a、y座標値のマージンを±bとすると、被写体重心Gが、座標(x±a,y±b)の範囲内に位置しているか否かについて判別する。
【0083】
例えば、現実には、被写体としての人物が完全に静止した状態となることはほとんどなく、或る程度の動きが生じる。このような状況のもと、被写体位置が判定構図と同じであると判定されることはか否かについて判別するのにあたり、目標座標(x,y)に対して厳密に被写体重心Gが位置しているか否かを判別するアルゴリズムとしたとする。この場合、例えば、画内容としては判定構図通りの被写体位置であると捉えてよいのにもかかわらず、ステップS205、S305においては被写体位置がOKであるとの判定結果が得られない、という不具合を生じる。
そこで、実際においては、上記のようにしてマージンを設定し、このマージンが与えられた目標座標を判定に用いることとしている。
【0084】
また、上記した目標座標のマージンという観点から見ると、第1実施形態は、限界位置にて時間Tが経過したタイミングで、目標座標のマージンをほぼ無限大に拡大し、これにより、ステップS305において構図OKの判別結果が得られるようにしているアルゴリズムであると置き換えてみることもできる。
【0085】
第3実施形態は、この目標座標のマージン拡大というアルゴリズムと、第2実施形態のアルゴリズムとを組み合わせたものとなる。
つまり、第3実施形態においては、パン又はチルト方向の限界位置に至ると、目標座標に設定するマージンを拡大する。ただし、このときのマージンは第1実施形態の場合のように無限大とするのではなく有限の所定値を設定する。そして、この状態で判定構図が得られているか否かについての判別を実行するが、構図OKの判別結果が得られないまま、時間Tを経過した場合には、撮像視野範囲変更制御に移行する、というものである。
【0086】
図14は、第3実施形態としての自動撮像記録のアルゴリズム例を示している。
この図において、ステップS401〜S404、S407〜S413は、図13のステップS301〜S304、S305〜S311と同じになる。
【0087】
図14においては、ステップS404の構図判定処理の後において、ステップS405により、現在において、パン位置若しくはチルト位置が限界位置に達している状態にあるか否かについて判別する。
ステップS405において否定の判別結果が得られた場合には,ステップS406をパスして、ステップS407に進む。この場合のステップS407においては、被写体位置については、拡大されない通常のマージンが設定された目標座標を用いて判定を行うことになる。
【0088】
これに対して、ステップS405において肯定の判別結果が得られた場合には、ステップS406により目標座標に対するマージンを拡大する。なお、このステップS406としてのマージン拡大処理にあたっては、常にx座標とy座標の両者のマージンを拡大してもよいのであるが、限界位置に達している方向が、パン方向とチルト方向の何れであるのかに応じて、x座標とy座標の何れにマージンを設定するのかを選択するようにしてもよい。例えば、先に図10に示したようにして、チルト方向においては限界位置に至っているが、パン方向においては限界位置に至っていないようなときには、y座標についてのみマージンを拡大し、x座標についてはマージンを拡大せずに通常のままとすることが考えられる。このようにすれば、限界位置に至っていない方向に対応しては、本来判定された構図のとおりの座標が得られることになって好ましい。
【0089】
このようにしてステップS405,S406を経て、ステップS407以降の処理が実行されることで、限界位置に至った状態では、時間Tが経過するまでは、より緩い判断基準によって判定構図が得られたか否かについての判別が行われることになる。これにより、或る程度判定されたものに近い構図で撮影記録できる可能性が高くなる。そして、時間Tを経過しても判定構図が得られなかった場合に、撮像視野範囲が変更される。
【0090】
<7.第4実施形態>
本実施形態において問題となっている、被写体を検出しているのにかかわらず、パン又はチルト方向において限界位置に到達しているために目的の構図(画像内の被写体位置)を得ることができない、という事象は、雲台10における制限可動角度とデジタルスチルカメラ1の画角との関係が要因で起こるといえる。この点について、図15、図16により説明する。
【0091】
図15(a)においては、デジタルスチルカメラ1の平面図が示されている。なお、このデジタルスチルカメラ1は、実際においては、雲台10に取り付けられてその撮像視野範囲が変更されるようになっているが、ここでは、図示を簡単で見やすいものとすることの都合上、雲台10の図示は省略している。
【0092】
また、ここでは、デジタルスチルカメラ1に設定されている画角を、画角中央angC、画角左端angL、画角右端angRにより表現している。なお、画角中央angCは、デジタルスチルカメラ1の撮像光軸と一致するものであり、画角中央angCから画角左端angLまでの角度の大きさと、画角中央angCから画角右端angRまでの角度の大きさは同じになる。水平方向における撮像視野範囲は、画角左端angLから画角右端angRに収まる範囲が相当する。なお、説明の便宜上、ここでは最も広い画角(ワイド端)に設定されているものと仮定する。
そのうえで、この場合においては、雲台10は、パン方向における回転可動角度について、図15(a)における0°を基準として、±90°の範囲で制限されているものとする。
【0093】
図15(b)は、雲台10が、+90°のパン位置にある状態が示されている。つまり、パン位置としては時計回り方向における限界位置に至った状態である。
このとき、デジタルスチルカメラ1の画角中央angCが、+90°のパン位置と一致する。デジタルスチルカメラ1の水平方向における撮像視野範囲は、画角中央angCを中心として、画角左端angLから画角右端angRまでの範囲となる。つまり、デジタルスチルカメラ1の撮像視野範囲は、パン位置+90°に対応する限界位置を越えて、画角中央angCから画角右端angRまでの角度範囲を撮像できることになる。
【0094】
そして、この図15(b)に示す状態のもとで、パン位置+90°に対応する限界位置を越えた、画角中央angC(パン位置+90°)〜画角右端angRに対応する、右半分の画角範囲において被写体SBJとしての人物が存在していたとする。
【0095】
この被写体SBJは、撮像視野範囲に収まっているので、これまでの実施形態の場合であれば、被写体検出処理によって被写体であるとして検出されることになり、この被写体を対象にして構図判定が行われる。しかし、判定構図を得るためには、画像内の被写体SBJが水平方向においてさらに中央に寄らなければならない場合、撮像方向をこれ以上時計回り方向に動かすことができない。
【0096】
上記の説明から分かるように、雲台10によるパン・チルト方向における可動範囲について或る一定角度で制限が与えられているとしても、デジタルスチルカメラ1の画角は、可動範囲の限度位置を超えた領域まで撮像することができる。このために、撮像システムの可動範囲より外の領域であっても、撮像視野範囲に収まる位置に人物が存在していさえすれば、この人物は、問題なく被写体として検出される。これが、検出した被写体について判定通りの構図を得ることができない、ということにつながる。
このような問題は、デジタルスチルカメラの画角が広角になるほど顕著なものになる。
【0097】
そして、このような観点からすれば、例えばデジタルスチルカメラ1の画角が広いなどの理由で、本来想定していた撮像視野範囲より外の範囲で検出された被写体については、はじめから構図判定の対象から外すようにしてよい、という考え方を撮ることができる。
そこで、第4実施形態としては、この考え方に基づいた自動撮像記録のアルゴリズムを構成する。このようなアルゴリズムであれば、結果的に判定構図が得られない被写体について構図判定処理を実行し、さらに構図合わせ制御を実行して、構図OKか否かを判定する、という無駄な一連の処理を省くことが可能になり、自動撮像記録の動作がより効率的になる。
【0098】
そこで、第4実施形態としては、次のようにして自動撮像記録のアルゴリズムを構成する。
先ず、図16は、図15(b)の状態に対応して得られる撮像画像データの画像内容を示している。先にも述べたように、画角中央angCは水平方向において撮像光軸に対応するので、図16の画枠300における垂直基準線Ld1上に対応することになる。また、この場合には、図15(b)に示したように、画角中央angCがパン位置+90°と一致するので、垂直基準線Ld1は、パン位置+90°に対応する。
そして、被写体SBJは、図15(b)においては画角中央angC〜画角右端angRの範囲に位置している。これに応じて、図16の画像内の被写体SBJは、画枠300において垂直基準線Ld1より右側の領域に位置している。
第4実施形態においては、先ず、雲台10がパン方向における限界位置にあるとして、この限界位置において検出した被写体について判定された構図としての目標座標のx座標を通過する垂直な線を、垂直限度境界線LM1として設定する。
ここで、図16のようにして検出された被写体について判定した構図によって得られる目標座標におけるx座標は、基準座標Pと同じであるとする。つまり、目標座標は、垂直基準線Ld1上にあるべきことになる。これにより、図16における垂直限度境界線LM1は、垂直基準線Ld1と同じく、基準座標Pを通過する垂直な線となっている。
なお、この場合には、構図判定の結果として、目標座標のx座標が垂直基準線Ld1と同じになったために、垂直基準線Ld1と垂直限度境界線LM1とが結果的に一致しているに過ぎない。構図判定結果によっては、目標座標は、垂直基準線Ld1とは異なるx座標となる場合がある。垂直限度境界線LM1は、あくまでも判定構図における目標座標のx座標を通過する直線として設定される。
【0099】
図16において、このようにして設定した垂直限度境界線LM1と、被写体SBJの被写体重心Gとの関係について見た場合には、次のことがいえる。
この場合において、画枠300内の垂直限度境界線LM1より右側の領域に存在する被写体SBJについては、これ以上、限界位置を越えて撮像視野範囲を右に移動させることができない。従って、被写体重心Gを、目標座標としてのx座標、つまり垂直限度境界線LM1上にまで移動させることはできない。これに対して、被写体重心Gが画枠300内の垂直限度境界線LM1より左側の領域に存在していれば、限界位置を超えない範囲でパン歩行の移動を行って撮像視野範囲を左に移動させることができる。つまり、被写体重心Gを垂直限度境界線LM1上にまで移動させることができる。
このように、正のパン移動方向(時計回り方向)に対応しては、画枠300における垂直限度境界線LM1より右側の領域は、そこに被写体重心Gが位置していても目標のx座標を得ることができない領域となる。この領域は、限度境界外の領域としている。
これに対して、画枠300における垂直限度境界線LM1より左側の領域は、そこに被写体重心Gが位置していれば目標のx座標を得ることができる領域となる。つまり、限度境界内の領域としている。
【0100】
そして、第4実施形態としては、以降説明するようにして、例えば撮像システムを基準とした被写体の位置として、その被写体重心Gが、上記の限度境界外の領域に存在する結果となることが予め把握されていれば、この被写体については、はじめから構図判定対象の被写体から外すこととする。
【0101】
なお、上記図15、図16によっては、水平方向、つまりパン方向について言及したが、第4実施形態としては、チルト方向についても、同様にして、上記の構成を適用する。
つまり、上記図15、図16による説明に準じて、水平限度境界線LM2も設定し、画枠の上下についての限度境界外、限度境界内の領域を設定する。そして、被写体重心Gのy座標が限度境界外の領域に存在する結果となることが予め把握されていれば、この被写体については、はじめから構図判定対象の被写体から外すものである。
【0102】
図17のフローチャートは、第4実施形態としての自動撮像記録のアルゴリズム例を示している。
この図において、ステップS501〜S503、S505〜S509は、図9のステップS101〜S103、S104〜S108と同じになる。
【0103】
ただし、第4実施形態のステップS502としての被写体検出処理においては、そのときに撮像システムが設置されている状態での、実際の被写体の絶対的な位置を検出し、これを絶対位置情報として得るようにされている。
【0104】
この絶対位置情報の検出手法の一例について、図18を参照して説明する。
図18(a)は、デジタルスチルカメラ1が、基準線L(パン基準位置(0°)に相当する)対して時計回りの方向にパン角度αx°分回転した位置にあって、かつ、水平画角内において被写体SBJが撮像されている状態が示されている。この場合において、水平画角はθx°により表しており、また、被写体SBJは、中心画角angCから反時計回りの方向に角度βx°だけ回転した角度に対応する線上に、その水平方向における中心位置(重心)が対応するようにして位置している。
【0105】
また、図18(a)によると、被写体SBJは、基準線Lを基準とすると、ここから時計回りの方向に角度γx°だけ回転した位置に対応する線上に、その被写体重心Gのx座標が対応するようにして位置しているということがいえる。
ここで、基準線Lは、そのときの雲台10の配置の状態に応じて決まる絶対的なものとなる。従って、上記の角度γx°によって示される被写体SBJの位置は、基準線Lを基とする絶対的なものとなる。つまり、絶対位置情報として扱うことができる。なお、以降、この角度γx°のようにして、被写体の絶対的位置を示し得る角度については、絶対位置対応角度ということにする。また、角度βx°については、そのときのパン角度αx°のもとで、中心画角angCを基にして決まる被写体SBJの位置を示すものであるから、相対位置対応角度ということにする。
【0106】
そして、絶対位置対応角度は、下記のようにして求めることができる。
図18(b)は、上記図18(a)に示した位置状態のデジタルスチルカメラ1により撮像して得られる撮像画像を示している。
ここで、撮像画像の画枠300における水平画サイズ(例えば画素数により表現できる)をCxとし、この水平画サイズにおける中点を通過する垂直分割線をLd1として、この垂直分割線Ld1を撮像画像の画枠における水平方向の基準(X軸座標の基準:X=0)とする。水平方向に沿ったX軸座標としては、垂直線Mより右の領域が正となり、左の領域が負となる。そして、撮像画像の画枠300内において存在する被写体SBJについての、水平方向における座標値はX=aとして表している。なお、図18(b)の場合のX座標値aは、負の数となる。
【0107】
ここで、図18(b)における被写体SBJの重心までのX座標の座標値aと水平画枠サイズCxとの関係(比)は、図18(a)における相対位置対応角度βx°と水平画角θx°との関係(比)に相当する。
よって、相対位置角度βx°は、
βx°=(a/Cx)*θx・・・(式1)
により表される。
また、図18(b)によれば、パン角度αx°、相対位置対応角度βx°、及び絶対位置対応角度γx°の関係は、
αx°=γx°−βx°・・・(式2)
で表される。
よって、絶対位置対応角度γ°としては、下記のようにして求めることができる。
γx°=(a/Cx)*θx°+αx°・・・(式3)
【0108】
つまり、絶対位置対応角度γ°は、水平画枠サイズCx、撮像画像の画枠内における被写体SBJのX座標値a、水平画角θx°、及びパン角度αx°のパラメータにより求められることになる。
ここで、上記パラメータのうち、水平画枠サイズCxは既知であり、撮像画像の画枠内における被写体SBJのX座標値βは、撮像画像内にて検出される被写体についての水平方向における位置情報に他ならないから、本実施の形態の被写体検出処理により得ることできる。また、水平画角θx°の情報は、画角(ズーム)制御の情報に基づいて得ることができる。より具体的には、例えば光学系部21が備えるズームレンズのズーム倍率1倍を設定しているときの標準画角の情報を保持しておいたうえで、ズーム制御に応じて得られるズーム位置と、上記標準画角とを利用して求めることができる。また、パン角度αx°についてもパン制御の情報として得ることができる。
このようにして、本実施の形態の撮像システムでは、絶対位置対応角度γx°について、特に支障なく簡単に求めることができる。
【0109】
また、実際においては、同様にして、垂直方向における絶対位置対応角度(γy°)も求める。確認のために、垂直方向における絶対位置対応角度γy°は、垂直画枠サイズCy、撮像画像の画枠内における被写体SBJのY座標値b(垂直画枠サイズCyの中点をY=0とする)、垂直画角θy°、及びチルト角度αy°のパラメータにより、
γy°=(b/Cy)*θy°+αy°・・・(式4)
により求めることができる。
【0110】
次にステップS503にて被写体が検出されたとして肯定の判別が得られた場合には、ステップS504に示す処理を実行する。
ステップS504においては、今回検出された被写体の被写体重心Gについて、パン方向及びチルト方向のそれぞれにおいて、限度境界内に位置するものであるか否かについて判別する。
このためには、先ず、構図判定ブロック62は、今回検出された被写体について構図判定を行った場合において得られる目標座標から、垂直限度境界線LM1,水平限度境界線LM2を画枠300に対して設定する。
次に、今回検出した被写体の絶対位置情報から、撮像視野範囲が限界位置に対応しているときの画枠300における被写体重心Gの座標を求める。
そして、この被写体重心Gのx座標について、垂直限度境界線LM1により規定される限度境界内に位置しているか否かについて判別する。同様に、この被写体重心Gのy座標について、水平限度境界線LM2により規定される限度境界内に位置しているか否かについて判別する。
【0111】
そして、ステップS504において、例えば上記の被写体重心Gのx座標、y座標の何れについても、肯定の判別結果が得られたとする。この場合には、今回検出された被写体は、限界位置までの可動範囲でのパン・チルト移動によって、判定構図の通りに被写体重心Gを移動可能であることになる。そこで、この場合には、ステップS505以降の手順に進む。
これに対して、ステップS504において、例えば上記の被写体重心Gのx座標、y座標の少なくとも何れか一方について否定の判別結果が得られた場合には、判定構図の通りに被写体重心Gを移動させることはできない。そこで、この場合には、ステップS509に進んで被写体探索処理を実行したうえで、ステップS501に戻るようにする。
【0112】
なお、例えばステップS504の他の例として、上記の被写体重心Gのx座標、y座標の何れか一方のみについて否定の判別結果が得られた場合には、最終的に肯定の判別結果が得られたとして、ステップS505以降の手順に進むように構成することが考えられる。
被写体重心Gのx座標、y座標の何れか一方のみについて否定の判別結果が得られた場合には、肯定の判別結果が得られた方向に関しては判定された構図の通りの座標位置を得ることができるので、相応に許容範囲の構図が得られていると考えることができる。そこで、例えば構図については許容範囲を大きくして、その代わりに撮像記録すべきことを重視するような場合は、このようなアルゴリズムのほうが適切になる。
【0113】
そして、上記図17に示したアルゴリズムであれば、ステップS504にて限度境界外であるとして否定の判別結果が得られた場合には、ステップS505〜S507として示される、構図判定から構図合わせ制御に至るまでの実質的な構図制御は実行されない。つまり、先にも述べたように、構図を合わせられない位置の被写体については、構図制御対象から外されるものであり、これによって、より効率的な自動撮像記録の動作が得られるものとなる。
【0114】
<8.本実施形態の撮像システムの変形例>
図19は、先に図7,図8に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。
この図では、先ず、デジタルスチルカメラ1から通信制御処理ブロック63を経由して、撮像に基づいて信号処理部24にて生成される撮像画像データを、雲台10に対して送信するようにされている。
この図においては、雲台10の構成として通信制御処理ブロック71、パン・チルト制御処理ブロック72、被写体検出処理ブロック73、及び構図制御処理ブロック74が示されている。
通信制御処理ブロック71は、図7の通信部52に対応する機能部位であって、デジタルスチルカメラ1側の通信制御処理ブロック部63(雲台対応通信部34)との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック71により受信された撮像画像データは、被写体検出処理ブロック73に渡される。この被写体検出ブロッ73は、例えば図8に示した構図判定ブロック62と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック74に出力する。
構図制御処理ブロック74は、図8の構図制御処理ブロック62と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、例えば図7における制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部53、チルト機構部56の動きをコントロールするための信号をパン用駆動部55、チルト用駆動部58に対して出力する。これにより、構図制御処理ブロック62にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図19に示す撮像システムは、デジタルスチルカメラ1から雲台10に撮像画像データを送信させることとして、雲台10側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
なお、ズーム制御を可能とする場合については、例えば、構図制御ブロック74が、通信制御処理ブロック71経由で、デジタルスチルカメラ1側にズーム制御を指示するように構成すればよい。
【0115】
図20は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図19と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台10側において撮像部75が備えられる。この撮像部75は、例えば撮像のための光学系と撮像素子(イメージャ)を備えて、撮像光に基づいた信号(撮像信号)を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図6に示した光学系部21、イメージセンサ22、A/Dコンバータ23、及び信号処理部24において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部75により生成される撮像画像データは被写体検出処理ブロック73に出力される。なお、撮像部75が撮像光を取り込む方向(撮像方向)は、例えば雲台10に載置されるデジタルスチルカメラ1の光学系部21(レンズ部3)の撮像方向とできるだけ一致するようにして設定される。
【0116】
この場合の被写体検出処理ブロック73及び構図制御処理ブロック74は、上記図19と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック74は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック71からデジタルスチルカメラ1に対して送信させる。デジタルスチルカメラ1では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台10側で完結して行うことができる。
【0117】
なお、先に説明した本実施形態としての構図制御において実行されるパン制御、チルト制御は、雲台10のパン・チルト機構の動きを制御することにより行うこととしているが、雲台10に代えて、例えば、デジタルスチルカメラ1のレンズ部3に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ1のイメージセンサ22から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台10若しくはこれに準ずる、デジタルスチルカメラ1以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ1単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部21におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
【0118】
また、これまでの説明では、本実施形態の撮像システムを、互いに別体のデジタルスチルカメラ1と雲台10から成るものとしているが、例えば、デジタルスチルカメラ1に相当する撮像部と、雲台10に相当する可動機構部とが一体化された撮像装置などとされて構成されてもよい。
【0119】
<9.本実施形態の応用:トリミング処理>
次に、これまで説明してきた本実施形態としての構成を、トリミング処理に適用した例を説明しておく。
図21には編集装置90が示されている。ここでの編集装置90は既存の画像データに対して画像編集を行う。
ここでは、既存の画像データとして、例えば記憶媒体に記憶されていたものを再生して得た画像データ(再生画像データ)を得るようにされている。なお、記憶媒体から再生したものの他に、例えばネットワーク経由でダウンロードしたものを取り込んでもよい。即ち、編集装置90が取り込むべき撮像画像データをどのような経路で取得するのかについては、特に限定されるべきものではない。
【0120】
編集装置90が取り込んだとされる再生画像データは、トリミング処理ブロック91と被写体検出・構図判定処理ブロック92のそれぞれに対して入力される。
先ず、被写体検出・構図判定処理ブロック92は、例えば先ず、被写体検出処理を実行して検出情報を出力する。そして、この検出情報を利用した構図判定処理として、この場合には、入力される再生画像データとしての全画面において、最適構図が得られるとされる所定の縦横比による画像部分(最適構図の画像部分)がどこであるのかを特定する。そして、最適構図の画像部分が特定されると、例えばその画像部分の位置を示す情報(トリミング指示情報)をトリミング処理ブロック91に対して出力する。
トリミング処理ブロック91は、上記のようにしてトリミング指示情報が入力されたことに応答して、入力される再生画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を1つの独立した画像データとして出力する。これが編集画像データとなる。
このような構成であれば、例えば画像データの編集処理として、元々ある画像データの画内容から最適構造となる部分を抜き出した内容の画像データを新規に得るというトリミングが自動的に行われることになる。
このような編集機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
【0121】
そのうえで、例えば、編集装置90が入力した再生画像データの画像が、図22に示すものであったとする。この図において、再生画像データの画像は、再生画像94として示している。そして、この再生画像94において、図示するようにして、その画枠における上端において、被写体SBJが存在していたとする。被写体検出・構図判定処理ブロック92は、この被写体を検出して最適構図を判定することになる。
【0122】
ここで、例えば被写体検出・構図判定処理ブロック92が、図22に示される被写体SBJを対象として判定した最適構図が、先に図10(a)に示したものであるとする。
しかし、この場合には、再生画像94においては、既に、被写体SBJの上側において画像領域が存在していない。この場合、そのままでは、判定構図の通りの図10(a)に示した画内容でトリミングを行うことはできない。
【0123】
このような場合において、例えば先に説明した第1実施形態を適用すれば、同じ図22に示す編集画像データの画像(編集画像)95が得られるようにしてトリミング処理を実行させることができる。
つまり、この場合には、被写体検出・構図判定処理ブロック92は、例えば判定構図として必要な被写体サイズを求め、この被写体サイズを得ることのできるトリミング枠のサイズを決定する。ここでのトリミング枠のサイズとは、編集画像95の画枠サイズをいう。
そのうえで、例えば、目標座標におけるx座標に被写体重心Gのx座標が位置するように、水平方向におけるトリミング枠の位置を決定する。これは、例えば被写体重心Gのx座標が目標座標のx座標に一致するようにして、再生画像94上でトリミング枠を水平方向に移動させるようなイメージである。ただし、例えばこの水平方向の移動に際して、トリミング枠において再生画像94が切れて見えなくなるところまで移動したときには、これが限界位置であるとして、この段階で移動を停止する。
図22の場合には、水平方向の移動については、限界位置に到達することなく、被写体重心Gを、目標座標におけるx座標にまで移動させることができる。
【0124】
また、これとともに、被写体検出・構図判定処理ブロック92は、上記と同様に、目標座標のy座標に被写体重心Gのy座標が位置するように、垂直方向におけるトリミング枠の位置を決定する。
図22の例では、目標座標のy座標に被写体重心Gを位置させようとすると、トリミング枠の上側において再生画像94からはみ出す領域が現れてしまう。この場合には、図22において示される編集画像95の位置が垂直方向における限界位置になる。つまり、この場合の限界位置とは、トリミング枠(編集画像95)について、これが再生画像94からはみ出すことなく、かつ、トリミング枠の縁部と再生画像94の縁部とで、上下左右何れかの一辺が重なる位置にあることをいう。
【0125】
図22の場合、上記のトリミング枠の限界位置では、判定構図が得られていることにはならない。しかし、この場合には、第1実施形態に従って、このときのトリミング枠によりトリミングを実行させるものとする。
つまり、水平方向若しくは垂直方向でのトリミング枠の設定を行った結果、水平方向と垂直方向での少なくとも何れか一方の方向において上記の限界位置に至ったことで判定構図が得られなかった場合には、これまでの位置決定処理によって得られているトリミング枠で構図はOKであるとする。なお、この場合には、限界位置に至ったとするタイミングから時間Tが経過するのを待機する必要はない。そして、このトリミング枠に基づいたトリミン指示情報をトリミング処理ブロック91に対して出力する。これにより、図22に示した編集画像95としての画内容を有する編集画像データが得られる。
なお、このような編集装置90は、例えば独立した単体の装置として構成することもできるが、この編集装置90としてのプログラムを実行させたパーソナルコンピュータ装置としても構成できる。
【0126】
なお、これまでの実施の形態の説明にあっては、被写体(個別被写体)は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの(撮像画像データ)のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図(最適構図)は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図(最適構図)としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
【0127】
また、これまでにも述べてきたように、本願に基づく構成における少なくとも一部は、CPUやDSPにプログラムを実行させることで実現できる。
このようなプログラムは、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてDSP対応の不揮発性の記憶領域やフラッシュメモリ30などに記憶させることが考えられる。また、USBやIEEE1394などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
【符号の説明】
【0128】
1 デジタルスチルカメラ、2 シャッターボタン、3 レンズ部、10 雲台、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、61 撮像記録ブロック、62 構図判定ブロック、63 パン・チルト・ズーム制御ブロック、64 通信制御処理ブロック、SBJ(SBJ0〜n) 被写体、71 通信制御処理ブロック、72 パン・チルト制御処理ブロック、73 被写体検出処理ブロック、74 構図制御処理ブロック、75 撮像部
【特許請求の範囲】
【請求項1】
画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手段、
を備える画像対応装置。
【請求項2】
撮像に基づいて得られる上記画像データの画像において検出される被写体を含む上記画像の構図を判定する構図判定手段と、
判定された構図に応じた画像内被写体位置が得られるように、上記撮像部の撮像視野範囲を変更する可動機構部を駆動制御する、被写体位置制御手段とをさらに備え、
上記限界位置状態は、上記可動機構部が可動限界位置にある状態とされたうえで、
上記動作決定手段は、
上記画像データの画像における上記被写体の位置について、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないときに応じて実行すべき動作を決定する、
請求項1に記載の画像対応装置。
【請求項3】
上記動作決定手段は、
上記被写体位置制御手段による上記可動機構部の駆動制御の結果、上記可動限界位置に到達してから、所定時間を経過するまで、判定された構図に応じた上記画像内被写体位置が得られなかったことをもって、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別する、
請求項2に記載の画像対応装置。
【請求項4】
上記動作決定手段は、
上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別したことに応じて、そのときに得られている撮像画像データを記録媒体に記録するための制御を実行する、
請求項3に記載の画像対応装置。
【請求項5】
上記動作決定手段は、
上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別したことに応じて、これまで検出されていた被写体とは異なる被写体が上記画像データの画像にて存在するようにするために、上記可動機構部を駆動制御する撮像視野範囲変更制御手段をさらに備える、
請求項3に記載の画像対応装置。
【請求項6】
上記動作決定手段は、
上記判定された構図に応じた上記画像内被写体位置が得られたときには、そのときに得られている撮像画像データを記録媒体に記録するための制御を実行する、
請求項4又は請求項5に記載の画像対応装置。
【請求項7】
上記動作決定手段は、
上記可動機構部が可動限界位置にあるときには、判定された構図に応じた上記画像内被写体位置として扱うべき目標位置に対して拡大マージンを設定したうえで、この拡大マージンが設定された目標位置に被写体が含まれるか否かに基づいて、判定された構図に応じた上記画像内被写体位置が得られているか否かを判別する、
請求項請求項2乃至請求項6に記載の画像対応装置。
【請求項8】
上記構図判定手段は、
上記検出される被写体についての情報である、被写体位置情報により示される本画像対応装置に対する位置が、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られない位置であるときには、この検出された被写体を、構図判定の対象から除外する、
請求項2乃至請求項3に記載の画像対応装置。
【請求項9】
検出される被写体を含む上記画像の構図を判定する構図判定手段と、
判定された構図に応じた画像内容が得られるようにして、上記画像データの画像上において、この画像データの画像からトリミングする範囲を示すトリミング枠の水平・垂直方向における位置を決定するトリミング枠決定手段とをさらに備え、
上記限界位置状態は、上記トリミング枠について、上記画像データの画像からはみだしておらず、かつ、上記トリミング枠の縁の一部が上記画像データの画像の画枠の縁の一部と重なる位置にある状態とされたうえで、
上記動作決定手段は、
上記限界位置状態からさらに上記トリミング枠が上記画像データの画像の画枠をはみ出さなければ判定された構図に応じた画像内被写体位置が得られない場合において、上記限界位置状態に対応して設定される上記トリミング枠でのトリミングを実行させる、
請求項1に記載の画像対応装置。
【請求項10】
画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手順、
を実行する、画像装置の動作設定方法。
【請求項11】
画像対応装置に、
画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手順、
を実行させるためのプログラム。
【請求項1】
画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手段、
を備える画像対応装置。
【請求項2】
撮像に基づいて得られる上記画像データの画像において検出される被写体を含む上記画像の構図を判定する構図判定手段と、
判定された構図に応じた画像内被写体位置が得られるように、上記撮像部の撮像視野範囲を変更する可動機構部を駆動制御する、被写体位置制御手段とをさらに備え、
上記限界位置状態は、上記可動機構部が可動限界位置にある状態とされたうえで、
上記動作決定手段は、
上記画像データの画像における上記被写体の位置について、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないときに応じて実行すべき動作を決定する、
請求項1に記載の画像対応装置。
【請求項3】
上記動作決定手段は、
上記被写体位置制御手段による上記可動機構部の駆動制御の結果、上記可動限界位置に到達してから、所定時間を経過するまで、判定された構図に応じた上記画像内被写体位置が得られなかったことをもって、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別する、
請求項2に記載の画像対応装置。
【請求項4】
上記動作決定手段は、
上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別したことに応じて、そのときに得られている撮像画像データを記録媒体に記録するための制御を実行する、
請求項3に記載の画像対応装置。
【請求項5】
上記動作決定手段は、
上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別したことに応じて、これまで検出されていた被写体とは異なる被写体が上記画像データの画像にて存在するようにするために、上記可動機構部を駆動制御する撮像視野範囲変更制御手段をさらに備える、
請求項3に記載の画像対応装置。
【請求項6】
上記動作決定手段は、
上記判定された構図に応じた上記画像内被写体位置が得られたときには、そのときに得られている撮像画像データを記録媒体に記録するための制御を実行する、
請求項4又は請求項5に記載の画像対応装置。
【請求項7】
上記動作決定手段は、
上記可動機構部が可動限界位置にあるときには、判定された構図に応じた上記画像内被写体位置として扱うべき目標位置に対して拡大マージンを設定したうえで、この拡大マージンが設定された目標位置に被写体が含まれるか否かに基づいて、判定された構図に応じた上記画像内被写体位置が得られているか否かを判別する、
請求項請求項2乃至請求項6に記載の画像対応装置。
【請求項8】
上記構図判定手段は、
上記検出される被写体についての情報である、被写体位置情報により示される本画像対応装置に対する位置が、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られない位置であるときには、この検出された被写体を、構図判定の対象から除外する、
請求項2乃至請求項3に記載の画像対応装置。
【請求項9】
検出される被写体を含む上記画像の構図を判定する構図判定手段と、
判定された構図に応じた画像内容が得られるようにして、上記画像データの画像上において、この画像データの画像からトリミングする範囲を示すトリミング枠の水平・垂直方向における位置を決定するトリミング枠決定手段とをさらに備え、
上記限界位置状態は、上記トリミング枠について、上記画像データの画像からはみだしておらず、かつ、上記トリミング枠の縁の一部が上記画像データの画像の画枠の縁の一部と重なる位置にある状態とされたうえで、
上記動作決定手段は、
上記限界位置状態からさらに上記トリミング枠が上記画像データの画像の画枠をはみ出さなければ判定された構図に応じた画像内被写体位置が得られない場合において、上記限界位置状態に対応して設定される上記トリミング枠でのトリミングを実行させる、
請求項1に記載の画像対応装置。
【請求項10】
画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手順、
を実行する、画像装置の動作設定方法。
【請求項11】
画像対応装置に、
画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手順、
を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【公開番号】特開2011−30160(P2011−30160A)
【公開日】平成23年2月10日(2011.2.10)
【国際特許分類】
【出願番号】特願2009−176577(P2009−176577)
【出願日】平成21年7月29日(2009.7.29)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成23年2月10日(2011.2.10)
【国際特許分類】
【出願日】平成21年7月29日(2009.7.29)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]