撮像制御装置、撮像制御方法、プログラム
【課題】ユーザのレリーズ操作によらない静止画撮像動作として多様な静止画撮像を実現する。
【解決手段】ユーザのレリーズ操作によらない静止画撮像動作を行っている場合に、レリーズタイミングの直前に静止画撮像を行うことの予告動作を実行させる。これによって、ユーザは撮像装置のレリーズタイミングを知ることができる。また、自動撮像モードと要求対応撮像モードを設定する場合は、自動撮像モードとしては、自動的に可変機構を駆動して撮像視野を変化させながら、静止画撮像動作を実行する。自動撮像モードでの動作中に、ユーザは所定のトリガ入力を行うことによって、撮像を要求することができる。このトリガ入力に応じた撮像動作が要求対応撮像モードの動作となる。そして要求対応撮像モードでは、レリーズタイミングの直前に静止画撮像を行うことの予告動作を実行し、ユーザに撮像装置のレリーズタイミングを知らせる。
【解決手段】ユーザのレリーズ操作によらない静止画撮像動作を行っている場合に、レリーズタイミングの直前に静止画撮像を行うことの予告動作を実行させる。これによって、ユーザは撮像装置のレリーズタイミングを知ることができる。また、自動撮像モードと要求対応撮像モードを設定する場合は、自動撮像モードとしては、自動的に可変機構を駆動して撮像視野を変化させながら、静止画撮像動作を実行する。自動撮像モードでの動作中に、ユーザは所定のトリガ入力を行うことによって、撮像を要求することができる。このトリガ入力に応じた撮像動作が要求対応撮像モードの動作となる。そして要求対応撮像モードでは、レリーズタイミングの直前に静止画撮像を行うことの予告動作を実行し、ユーザに撮像装置のレリーズタイミングを知らせる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動的に撮像視野を変化させて撮像を行う撮像装置、撮像システムについての撮像制御装置及び撮像制御方法に関する。また、当該撮像制御装置及び撮像制御方法を実現するためのプログラムに関する。
【先行技術文献】
【特許文献】
【0002】
【特許文献1】特開2009−100300号公報
【背景技術】
【0003】
上記特許文献1には、デジタルスチルカメラと、該デジタルスチルカメラのパン/チルト方向の向きを電動により変化させる雲台とを備えた撮像システムにより、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う技術が開示されている。
この特許文献1に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作(撮像画像自動記録)によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところでカメラマンが不要な自動撮像によれば、例えばパーティ等においてユーザがカメラマンを意識しないことで、自然な表情、姿を撮像できるという利点がある。その一方で、ユーザによっては、意識した表情や姿を写してもらいたいという場合もある。例えば記念撮影であったり、カメラに向かってポーズをとっている姿や撮像を意識した表情などを写してもらいたい場合である。
通常、カメラマンがカメラを持って静止画撮像している場合では、写真を撮ってもらいたいユーザが、カメラマンを呼び、撮ってもらうように要望し、集合したり、ポーズをきめたりする。
ところが上記の自動撮像を行っているのみでは、このような写真撮影(静止画撮像)を行うことができない。自動的な撮像の場合、撮られるタイミング(いわゆるシャッタタイミング/レリーズタイミング)をユーザが知ることができないためである。
そこで本発明は、自動撮像を行う撮像システムにおいて、ユーザの要望に応じた静止画撮像が容易に実現できるようにすることを目的とする。
【課題を解決するための手段】
【0005】
本発明の撮像制御装置は、被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置についての撮像視野の可変機構を駆動制御する撮像視野可変制御部と、ユーザのレリーズ操作によらない静止画撮像動作として、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像装置が自動的に静止画撮像動作を行う際に、予告動作実行部に静止画撮像を行うことの予告動作を実行させる制御を行う撮像予告動作制御部とを備える。
また、被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置における静止画撮像動作を制御する撮像記録制御部をさらに備え、上記撮像予告動作制御部は、ユーザのレリーズ操作によらない静止画撮像動作として、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が自動的に静止画撮像動作を行う際に、予告動作実行部に静止画撮像を行うことの予告動作を実行させる制御を行う。
【0006】
また所定のトリガ入力を受け付けるトリガ受付部をさらに備え、上記撮像予告動作制御部は、上記トリガ受付部で上記トリガ入力が受け付けられた後の静止画撮像動作が実行される際に、上記予告動作の実行を制御する。
上記トリガ受付部は、ユーザによる特定の操作入力、例えばタッチセンサ部へのユーザによるタッチ操作や、特定の音声入力を上記トリガ入力として受け付けたり、撮像画像から特定の被写体状態が判定されたら上記トリガ入力として受け付ける。
また上記撮像予告動作制御部は、上記予告動作として、音声出力、又は表示出力を実行させる制御や、上記可変機構を駆動制御して上記撮像装置に所定の動作を実行させる制御を行う。
また上記撮像記録制御部は、上記予告動作の実行後又は実行開始後、所定の静止画撮像条件を満たしたときに、上記撮像装置に静止画撮像動作を実行させる。
【0007】
また、上記レリーズ操作によらない撮像動作の動作モードとして、自動撮像モードと要求対応撮像モードが設けられ、上記トリガ受付部が受け付ける上記トリガ入力は、上記自動撮像モードから上記要求対応撮像モードへの切換入力とされる。そして上記自動撮像モードとして、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行っている際に、上記トリガ受付部によって上記トリガ入力が受け付けられた場合、上記要求対応撮像モードとして、上記撮像記録制御部の制御による静止画撮像動作を実行させる要求対応撮像制御部をさらに備える。上記撮像予告動作制御部は、上記要求対応撮像制御部によって上記要求対応撮像モードでの静止画撮像動作が実行される際に、上記予告動作の実行を制御する。
また静止画撮像のための撮像視野を決定する処理を行う撮像準備処理部をさらに備え、上記要求対応撮像制御部は、上記要求対応撮像モードとして、上記撮像準備処理部に要求対応撮像動作のための撮像視野を決定する処理を実行させ、撮像視野決定後、上記撮像予告動作制御部の制御による上記予告動作を実行させてから上記撮像記録制御部の制御による静止画撮像動作を実行させる。
また上記要求対応撮像モードの際に、上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、撮像視野内に撮像要求に応じた被写体を入れるための被写体検出処理を行う。
また上記要求対応撮像モードの際に、上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、撮像視野内における被写体画像の配置を調整する構図処理を行う。
また上記トリガ受付部は、上記トリガ入力についての入力方向を検知可能とされ、上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を、上記入力方向に駆動制御させる。
【0008】
本発明の撮像制御方法は、被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、上記静止画撮像部の撮像視野の可変機構と、静止画撮像を行うことの予告動作を実行する予告動作実行部とを有する撮像装置又は撮像システムに対する撮像制御方法である。そして、ユーザのレリーズ操作によらない静止画撮像動作として、上記可変機構を駆動制御しながら上記静止画撮像部に自動的に静止画撮像動作を行わせる際に、上記予告動作実行部に静止画撮像を行うことの予告動作を実行させる。
本発明のプログラムは、上記の撮像装置又は撮像システムについての制御処理プログラムとして、上記撮像制御方法の処理を演算処理装置に実行させるプログラムである。
【0009】
このような本発明では、ユーザのレリーズ操作によらない静止画撮像動作を行っている場合において、静止画撮像を行うとき、つまりレリーズタイミングの直前に、静止画撮像を行うことの予告動作を実行させる。これによって、ユーザは撮像装置のレリーズタイミングを知ることができる。
また、自動撮像モードと要求対応撮像モードを設定する場合は次のようになる。自動撮像モードとしては、撮像装置(撮像システム)は、自動的に可変機構を駆動して撮像視野を変化させながら、静止画撮像動作を実行する。この自動撮像モードでの動作は、ユーザの意志、要望とは関係なく実行される。この自動撮像モードでの動作中に、ユーザは所定のトリガ入力を行うことによって、撮像を要求することができる。このトリガ入力に応じた撮像動作が要求対応撮像モードの動作となる。そして要求対応撮像モードでも、ユーザのレリーズ操作によらないで自動的に静止画撮像動作を実行するのであるが、このとき、静止画撮像を行うことの予告動作も行うようにする。すると、ユーザはトリガ入力を行った後、予告動作によってレリーズタイミングを知ることができ、表情やポーズをきめるなどすることも容易となる。つまり自動撮像モードと要求対応撮像モードによる撮像動作は、通常のカメラマンが撮像する場合の、「カメラマンの意志による撮像」と、「ユーザからの要望による撮像」を、それぞれで実行できるものとなる。
【発明の効果】
【0010】
本発明によれば、ユーザのレリーズ操作によらない自動的な静止画撮像動作が行われている際に、ユーザは静止画撮像の予告動作によって、レリーズタイミングを知ることができる。従って、ユーザは「カメラを意識した写真」を撮ってもらいたいときにレリーズタイミングでポーズをきめるなど対応ができる。
また自動撮像モードと要求対応撮像モードを設定する場合は、自動撮像モードでの撮像により、自然な表情、姿、光景等を撮像できることに加え、要求対応撮像モードでの撮像により、ユーザの要望に応じた撮像を行うこともできる。これによって、カメラマンが不要な自動的な撮像として、カメラマンが撮像する場合と同等の、多様な撮像を行うことができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態の撮像システムの構成要素であるデジタルスチルカメラの正面図及び背面図である。
【図2】実施の形態の撮像システムの構成要素である雲台の斜視図である。
【図3】実施の形態の雲台にデジタルスチルカメラを取り付けた状態の正面図である。
【図4】実施の形態の雲台にデジタルスチルカメラを取り付けた状態でのパン方向の動きの説明図である。
【図5】実施の形態の雲台にデジタルスチルカメラを取り付けた状態でのチルト方向の動きの説明図である。
【図6】実施の形態の雲台の背面図である。
【図7】実施の形態の雲台のタッチセンサ部の説明図である。
【図8】実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。
【図9】実施の形態の雲台の内部構成例を示すブロック図である。
【図10】実施の形態の制御機能構成の説明図である。
【図11】実施の形態の自動撮像処理のフローチャートである。
【図12】第1の実施の形態の撮像制御処理のフローチャートである。
【図13】実施の形態の変形例として要求方向へのパン・チルトを行う撮像制御処理のフローチャートである。
【図14】実施の形態の変形例として被写体検出を行わない撮像制御処理のフローチャートである。
【図15】実施の形態の変形例として構図処理を行わない撮像制御処理のフローチャートである。
【図16】実施の形態の変形例として構図処理を行わない他の撮像制御処理のフローチャートである。
【図17】実施の形態の変形例として撮像画像提示処理を行う撮像制御処理のフローチャートである。
【図18】実施の形態の基本的な構図処理の説明図である。
【図19】実施の形態の基本的な構図処理の説明図である。
【図20】実施の形態の構図処理における目標範囲の説明図である。
【図21】実施の形態の構図処理における目標範囲への重心配置の説明図である。
【図22】構図処理における局所解と最良解の説明図である。
【図23】構図処理における局所解と最良解の説明図である。
【図24】実施の形態の仮構図合わせの説明図である。
【図25】実施の形態の仮構図合わせ後の本構図合わせの説明図である。
【図26】実施の形態の仮構図の目標範囲の説明図である。
【図27】実施の形態の自動撮像モードと要求対応撮像モードでの構図処理のフローチャートである。
【図28】実施の形態の仮構図合わせと本構図合わせの処理のフローチャートである。
【図29】第2の実施の形態の撮像制御処理のフローチャートである。
【図30】第3の実施の形態の撮像制御処理のフローチャートである。
【図31】実施の形態の他の制御機能構成の説明図である。
【図32】実施の形態の他の制御機能構成の説明図である。
【図33】実施の形態の他の制御機能構成の説明図である。
【図34】実施の形態の他の制御機能構成の説明図である。
【図35】実施の形態の基本的な制御機能構成の説明図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態を次の順序で説明する。実施の形態では、デジタルスチルカメラと雲台より成る撮像装置(撮像システム)を例に挙げる。
<1.撮像システムの構成>
[1−1:全体構成]
[1−2:デジタルスチルカメラ]
[1−3:雲台]
<2.機能構成例>
<3.自動撮像処理>
<4.第1の実施の形態の撮像動作>
<5.第1実施の形態の変形例>
[5−1:要求対応撮像モードへのトリガ]
[5−2:要求方向へのパン・チルト]
[5−3:要求対応撮像モードで被写体検出を実行しない例]
[5−4:要求対応撮像モードで構図処理を実行しない例]
[5−5:要求対応撮像モードでの撮像画像提示]
[5−6:仮構図処理]
[5−7:その他の要求対応撮像モードでの制御方式]
<6.第2の実施の形態の撮像動作>
<7.第3の実施の形態の撮像動作>
<8.第4の実施の形態の撮像動作>
<9.機能構成の変形例>
<10.プログラム>
【0013】
なお、本明細書では「画枠」「画角」「撮像視野」「構図」という語を用いるが、各語の定義は以下の通りである。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野」は、撮像光学系による視野を表す。即ち撮像装置の周囲光景のうちで撮像対象として画枠に収まる範囲である。これは上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まる。
「構図」は、ここでは、フレーミングともいわれるもので、例えば撮像視野によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
【0014】
<1.撮像システムの構成>
[1−1:全体構成]
実施の形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が着脱可能に取り付けられた雲台10とを備えて成る。
図1にデジタルスチルカメラ1の外観例を示す。図1(a)、図1(b)は、それぞれデジタルスチルカメラ1の正面図、背面図である。
このデジタルスチルカメラ1は、図1(a)に示すように、本体部2の前面側にレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
【0015】
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モード時においてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。撮像モード時には、後述するイメージセンサにより所定フレームレートで各フレーム毎の撮像画像データが得られる。
そして、レリーズボタン31aに対する操作(レリーズ操作/シャッタ操作)が行われると、そのタイミングでの撮像画像(フレーム画像)が、静止画の画像データとして記録媒体に記録される。つまり、一般に写真撮影といわれる静止画撮像が行われる。
【0016】
また、デジタルスチルカメラ1は、図1(b)に示すように、背面側に表示画面部33aを有する。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。スルー画は、イメージセンサで得られる各フレーム画像に基づく動画像であり、そのときの被写体をそのまま表す画像となる。
また、再生モード時においては、記録媒体に記録されている画像データが再生表示される。
さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
また表示画面部33aに対してタッチパネルが組み合わされているようにすることで、ユーザは、表示画面部33aに対して指を当てることによって、必要な操作を行うことができる。
【0017】
なお図示は省略しているが、デジタルスチルカメラ1には、レリーズボタン31a以外の各種のキー、ダイヤル等の操作子が設けられる場合もある。
さらにデジタルスチルカメラ1には、後述する音声入力部35としての集音部分や、レリーズ予告実行部36としてのLED発行部やスピーカ部などが設けられる場合もある。
【0018】
図2は雲台10の外観を示す斜視図である。また、図3〜図5は、本実施の形態の撮像システムの外観として、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5は側面図(特に図5(b)では側面図によりチルト機構の可動範囲を示している)である。
図2、及び図3,図4,図5に示すように、雲台10は、大きくは接地台部15の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
【0019】
雲台10にデジタルスチルカメラ1を取り付けるときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に置く。
図2に示すように、カメラ台座部12の上面部には、突起部13とコネクタ14が設けられている。図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
【0020】
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにカメラ台座部12にデジタルスチルカメラ1が適正に取り付けられた状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
【0021】
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12においてその位置を或る範囲内で変更(移動)できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に取り付けできるようになっている。
【0022】
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
雲台10を例えばテーブル上や床面上などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台10に取り付けられたデジタルスチルカメラ1の水平方向(左右方向)における撮像視野を変化させることができる(所謂パンニング)。
なお、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有している。
【0023】
また、この雲台10のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すように、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、すなわちパン位置(パン角度)を0°〜360°により表すものとする。
【0024】
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面部GRとが平行となる。
そのうえで図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。
このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に取り付けられたデジタルスチルカメラ1のチルト方向(上下方向)における撮像視野を変化させることができる。つまりチルティングの動作が得られる。
【0025】
図6は、雲台10の背面図を示している。
図示するように雲台10には、その本体部11の背面部において、電源ケーブルを着脱可能に接続する電源端子部t−Vinと、ビデオケーブルを着脱可能に接続するビデオ端子部t−Videoとが形成されている。
【0026】
雲台10は、上述したカメラ台座部12にて取り付けられたデジタルスチルカメラ1に対して上記電源端子部t−Vinを介して入力された電力を供給することで、上記デジタルスチルカメラ1に対する充電を行うように構成されている。
つまり本例の雲台10は、デジタルスチルカメラ1に対する充電を行うためのクレードル(ドック)としても機能する。
また、本例の場合、雲台10は、デジタルスチルカメラ1側から例えば撮像画像に基づく映像信号が伝送されてきた場合に、該映像信号を上記ビデオ端子部t−Videoを介して外部出力するように構成されている。
また、この図6や先の図4にも示したように、雲台10の本体部11における背面部には、メニューボタン60aが設けられる。メニューボタンの操作により、雲台10とデジタルスチルカメラ1の間の通信により、例えばデジタルスチルカメラ1側の表示画面部33aでメニュー表示が行われる。このメニュー表示により、ユーザが所要の操作を行うことが可能とされる。
【0027】
ところで本実施の形態としての一例では、後述する要求対応撮像モードの動作を実行させるためのトリガの1つとしてユーザのタッチ操作が採用される。
具体的には、ユーザは雲台10にタッチするという操作を行う。このため、例えば図7(a)のように本体部11の上面にタッチ領域60bが形成されている。このタッチ領域60bにユーザがタッチすることで、雲台10に装備されたタッチセンサが当該タッチ操作を検出する。
なお、この図7では、破線で示す正面側の一部領域をタッチ領域60bとしているが、例えば本体部11の上面全面をタッチ領域60bとしてもよい。
【0028】
また、図7(b)には、雲台10の本体部11の上面において、正面方向側、右方側、左方側のそれぞれに、タッチ領域60b、60c、60dが形成されている例を示している。例えば雲台10内に3つのタッチセンサが装備され、各タッチ領域60b、60c、60dへのタッチ操作が、それぞれのタッチセンサにより検出される。
この場合、どのタッチセンサによりタッチ操作が検出されたかにより、デジタルスチルカメラ1及び雲台10による撮像システム側で、ユーザが、正面、右方、左方のうちのどの方向からタッチ操作を行ったかを判別できる。
ここでは、3つのタッチ領域60b〜60dを形成した場合を例示しているが、もちろん、より多数のタッチセンサを備え、多数のタッチ領域で、より細かくタッチ操作が行われた方向を判定できるようにしてもよい。
【0029】
また、図示しないが、雲台10には、マイクロホン及び音声入力回路系を有する音声入力部(後述の音声入力部62)が設けられる場合がある。
また雲台10には、撮像レンズ、イメージセンサ、撮像信号処理系などを備えた撮像部(後述の撮像部63)が設けられる場合もある。
さらに雲台10には、LED等の発光表示部、液晶パネル等による表示部、スピーカ及び音声出力回路等による音声出力部等が、後述するレリーズ予告実行部64として設けられる場合もある。
それらについては逐次後述する。
【0030】
[1−2:デジタルスチルカメラ]
図8は、デジタルスチルカメラ1の内部構成例を示したブロック図である。
光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部27が実行するズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【0031】
イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【0032】
上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
【0033】
信号処理部24は、例えばDSP(Digital Signal Processor)で構成され、A/Dコンバータ23から出力されるデジタル撮像信号について、プログラムに従った所定の信号処理を施す。
信号処理部24は、A/Dコンバータ23から出力されるデジタル撮像信号について、1つの静止画 (フレーム画像)に相当する単位で取り込みを行う。そして取り込んだ静止画単位の撮像信号について所定の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成する。
また信号処理部24は、このようにして取得した撮像画像データを利用して、後述する被写体検出処理や構図処理のための画像解析処理を実行する場合もある。
【0034】
ここで、上記のように信号処理部24で生成した撮像画像データを画像情報として記録媒体であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。
メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。
なお、画像データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。例えば光ディスク、ハードディスク、着脱不能に取り付けられたフラッシュメモリチップなどの半導体メモリチップ、ホログラムメモリ等、各種の記録媒体を採用することもできる。
【0035】
また、デジタルスチルカメラ1は、上記信号処理部24にて得られる撮像画像データを利用して表示部33に画像表示を実行させることで、現在撮像中の画像である、いわゆるスルー画を表示させることができる。
例えば信号処理部24は、上述のようA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。
【0036】
表示ドライバ32は、上記のように信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していく。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていく。
これをユーザが見れば、そのときに撮像している画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
【0037】
また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
【0038】
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33において、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
【0039】
また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。
この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力する。これにより、表示部33でユーザインターフェース画像が表示される。
なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【0040】
制御部27は、CPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。
ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。
RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。
なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
【0041】
本実施の形態の場合、制御部27は、自動撮像のために各種の撮像準備処理を行う。
まず被写体検出処理として、撮像視野を変化させながら信号処理部24で得られる各フレーム画像から被写体検出を実行し(又は信号処理部24に実行させ)、デジタルスチルカメラ1の周囲の被写体を探索する処理を行う。
また構図処理として、被写体検出に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、及び最適構図判定により求まった最適とされる構図を目標構図とした構図合わせを行う。
これらの撮像準備処理の後、制御部27は撮像画像の自動記録を実行せる制御・処理を行う。
また撮像実行(レリーズ)に先だって、静止画撮像を行うことをユーザに提示する予告動作のための制御も行う。
これらの制御処理については後述する。
【0042】
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成して上記制御部27に出力する操作情報信号出力部位とを一括して示している。
各種操作子としては、レリーズボタン31aや、図1では省略した電源ボタン、モードボタン、ズーム操作ボタン、操作ダイヤル等がある。
また表示部33がタッチパネルとして形成される場合、そのタッチセンサ部も、この操作部31の具体例の1つとなる。
さらに、リモートコントローラからのコマンド信号の受信部も、操作部31の例の一つとなる。
制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
なお、先に雲台10にタッチセンサが設けられると述べたが、一例としてデジタルスチルカメラ1の筐体にタッチセンサが設けられる場合も考えられる。その場合のタッチセンサも図示する操作部31の具体例の1つとなる。
【0043】
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位である。
例えばデジタルスチルカメラ1が雲台10に取り付けられた状態において、雲台10側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
【0044】
また雲台10側からの充電を可能とすべく、上記の各コネクタには通信信号のやり取りを行うための端子のみでなく充電用電力の伝送のための端子も設けられる。図示は省略したが、デジタルスチルカメラ1には、バッテリーを着脱可能に装着するためのバッテリー装着部が設けられており、該装着部に装着されたバッテリーに対し、上記雲台10側から伝送された電力に基づく充電が行われるようになっている。
【0045】
またデジタルスチルカメラ1には、音声入力部35が設けられる場合がある。後述する要求対応撮像モードへのトリガ入力として、例えば特定の言葉の声や特定の音(例えば手を叩く音など)の入力を検出する場合に用いられる。
音声入力部35としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部27が実行するものとしてもよい。
さらにレリーズタイミングの判断として、特定の言葉の声や特定の音の入力を判別する場合にも音声入力部35が設けられる。
【0046】
またデジタルスチルカメラ1には、レリーズ予告実行部36が設けられる場合がある。後述するレリーズ予告動作を実行する部位である。
レリーズ予告実行部36は、ユーザに表示や音声などで静止画撮像を行うことを提示できる装置部であればよい。
例えば所定の発光パターンにより予告を行うべく、LEDなどの発光素子及びその発光駆動回路による発光動作部とされる場合が考えられる。
或いはデジタルスチルカメラ1の筐体正面側に設けられる液晶表示部等として特定の文字表示、色表示、パターン表示等により予告を行う表示部とされてもよい。
また、電子音、ビープ音、メッセージ音声などで予告を行うものとして、音声信号発生部、アンプ、スピーカ等から成る音声出力部とされてもよい。
さらには、これらが併用されてもよい。
【0047】
[1−3:雲台]
図9は、雲台10の内部構成例を示している。
先の図6に示したように、雲台10には電源端子部t−Vinとビデオ端子部t−Videoとが設けられている。
電源端子部t−Vinを介して入力された電力は、電源回路61を介した後、雲台10内の必要な各部の動作電力として供給される。また、電源回路61においては、デジタルスチルカメラ1に対する充電用電力が生成され、該充電用電力は通信部52(コネクタ)を介してデジタルスチルカメラ1側に供給される。
また、上記ビデオ端子部t−Videoには、デジタルスチルカメラ1側から伝送された映像信号が通信部52→制御部51を介して供給される。
【0048】
なお、ここでは、雲台10の各部の動作電力は上記電源入力端子t−Vinを介してのみ供給されるかのように示しているが、実際には雲台10には、電池の装着部が設けられ、該装着部に装着された電池から各部の動作電力を供給することが可能に構成されている。
【0049】
また、本実施の形態の雲台10には、上記電源端子部t−Vin、上記ビデオ端子部t−Videoへのケーブルの接続有無を検出するための接続検出部59が設けられる。ケーブル接続有無の検出機構の具体的な構成については、例えばケーブルの接続/抜き取りに応じてスイッチがON/OFFする構成などを挙げることができる。但し本実施の形態においては、接続検出部59としては、ケーブルの接続/抜き取りを識別するための検出信号を出力するように構成されたものであればよく、その具体的な構成については特に限定されない。
上記接続検出部59による検出信号(電源端子部t−Vinについての検出信号とビデオ端子部t−Videoについての検出信号)は、制御部51に対して供給される。
【0050】
また雲台10は、先に述べたようにパン・チルト機構を備えるものであり、これに対応する部位として、図9にパン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を示している。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。
同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
【0051】
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータによって成り、パン機構部53、チルト機構部56の動きをコントロールする。
例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号により、パン用モータ54が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様に、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
【0052】
ここで、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
これにより制御部51は、駆動中のパン機構部53、チルト機構部56の回転角度量の情報をリアルタイムに取得(モニタ)できるようにされている。
【0053】
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位である。
この通信部52は、雲台対応通信部34と同様に、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
【0054】
操作部60は、具体的には、先の図4や図6に示したメニューボタン60aとしての操作子と、この操作子に対して行われた操作に応じた操作情報信号を生成して制御部51に出力する操作情報信号出力部位とを一括して示している。制御部51は、操作部60から入力される操作情報信号に応じて所定の処理を実行する。
なお、図7において雲台10にはタッチセンサが設けられる場合があると述べたが、そのタッチセンサも操作部60の一例となる。その場合、タッチセンサによるタッチ操作の検出信号は制御部51に供給される。
さらに、雲台10についてリモートコントローラが用意される場合は、そのリモートコントローラからのコマンド信号の受信部も、操作部60の例の一つとなる。
【0055】
また雲台10には、音声入力部62が設けられる場合がある。音声入力部62は、後述する要求対応撮像モードへのトリガ入力として、例えば特定の言葉の声や特定の音(例えば手を叩く音など)の入力を検出するために設けられる。
音声入力部62としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部51が実行するものとしてもよい。
さらにデジタルスチルカメラ1でのレリーズタイミングの判断として、特定の言葉の声や特定の音の入力を判別する場合に対応するために、雲台10側に音声入力部62が設けられる場合もある。
【0056】
また雲台10には、撮像部63が設けられる場合がある。撮像部63は、要求対応撮像モードへのトリガ入力として、特定の被写体状態、例えば被写体側のユーザの特定のポーズや目線などを検出するために設けられる。
撮像部63は、光学系部、イメージセンサ、A/Dコンバータ、信号処理部、画像解析部などを備える。なお画像解析は、制御部51が実行するものとしてもよい。
さらにデジタルスチルカメラ1でのレリーズタイミングの判断として、特定の被写体状態を判別する場合、雲台10側に撮像部63が設けられる場合もある。
【0057】
また雲台10には、レリーズ予告実行部64が設けられる場合がある。後述するレリーズ予告動作を実行する部位である。
レリーズ予告実行部64は、ユーザに表示や音声などで静止画撮像を行うことを提示できる装置部であればよい。
例えば所定の発光パターンや発光周期により予告を行うべく、発光部(例えばLED)及びその発光駆動回路による発光動作部とされる場合が考えられる。
或いはデジタルスチルカメラ1の筐体正面側に設けられる液晶表示部等として特定の文字表示、色表示、パターン表示等により予告を行う表示部とされてもよい。
また、電子音、ビープ音、メッセージ音声などで予告を行うものとして、音声信号発生部、アンプ、スピーカ等から成る音声出力部とされてもよい。
さらには、これらが併用されてもよい。
なお、レリーズ予告動作として、パン、チルトを組み合わせた所定の動作を行うことも考えられる。その場合は、パン機構部53、チルト機構部56がレリーズ予告実行部64として実際の動作を行うこととなる。
【0058】
<2.機能構成例>
次に、図10のブロック図により、本実施の形態の撮像システムを成すデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウェア(プログラム)により実現される機能構成例を示す。
この機能構成例は、本例の撮像システムの撮像動作制御を行う撮像制御装置を実現する構成となり、主に、デジタルスチルカメラ1における制御部27、雲台10における制御部51等のハードウエア構成と、それらで起動されたソフトウエアモジュールが連関して形成される制御処理機能である。図10では、後述する自動撮像モードと要求対応撮像モードの処理のために必要な制御機能を、機能毎にブロック化して示している。
なお、機能構成例は各種多様に考えられるが、図10では一例を示し、他の各種の例は図31以降で後述する。
【0059】
図10に示すように、デジタルスチルカメラ1(制御部27)側は、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、レリーズ予告動作制御部84、通信処理部85,モードシーケンス制御部86、トリガ受付部89を備える。
また雲台10(制御部51)側は、例えば通信処理部71、パン・チルト制御部72、トリガ検出部73を有している。
【0060】
まずデジタルスチルカメラ1側において、撮像記録制御部81は、撮像により得られた画像を画像信号のデータ(撮像画像データ)として得て、この撮像画像データを記録媒体に記憶するための制御処理を実行する部位である。また撮像記録制御部81は、記録した静止画データの再生、表示動作、或いは撮像時のスルー画の表示動作等のための制御も行う。
即ち撮像記録制御部81は、図8の光学系部21、イメージセンサ22、A/Dコンバータ23、シング処理部24、エンコード/デコード部25、メディアコントローラ26、表示ドライバ32等の制御を行う。即ち、光学系部21のレンズ駆動制御、イメージセンサ22の撮像動作、撮像信号処理、記録再生処理等を指示し、静止画撮像を実行させるなど、デジタルスチルカメラ1の基本動作を制御する機能部位である。
【0061】
撮像準備処理部82は、自動撮像モードと要求対応撮像モード、即ちユーザのレリーズ操作によらない静止画撮像を実行する際の撮像準備処理を行う機能部位である。
撮像準備処理の1つとしては被写体検出処理がある。これは、雲台10によるパン、チルト動作を実行させながら、信号処理部24で得られる各フレーム画像を確認し、撮像視野内に被写体(例えば人の顔)が入るようにする処理である。このために、撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、フレーム画像データの画像解析による人物検出、顔検出等の処理を行う。
また撮像準備処理の1つとして構図処理がある。構図処理とは、撮像視野内における被写体画像の配置について最適状態か否かを判断し(構図判定)、またその構図を調整する処理(構図合わせ)である。この構図の調整のために撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、光学系部21におけるズームレンズ駆動の判断等を行う。
【0062】
なお、上記の被写体検出処理や構図処理のための画像解析を行う処理機能は、制御部27ではなく信号処理部24としてのDSP(Digital signal Processor)に実行させることもできる。従って撮像準備処理部82としての機能部は、制御部27、信号処理部24としてのDSPの一方又は両方に与えるプログラム、インストラクションにより実現できる。
【0063】
撮像視野可変制御部83は、実際に撮像視野を変化させる動作を制御する機能部位である。撮像視野の変化は、雲台10のパン・チルト、もしくは光学系部21のズーム動作により行われる。従って撮像視野可変制御部83は、パン・チルト制御、ズーム制御を行う機能部位となる。
デジタルスチルカメラ1を用いてカメラマンが手動で撮像を行う場合は、撮像視野可変制御部83は、例えばカメラマンのズーム操作に応じてズームレンズ駆動を制御することとなる。
また後述する自動撮像モードや要求対応撮像モードの場合、撮像視野可変制御部83は、撮像準備処理部82での判断・指示に応じて、ズーム駆動制御、パン駆動制御、チルト駆動制御を行う。パン駆動制御、チルト駆動制御については、通信処理部85を介して雲台10側にパン・チルト制御信号を送信することになる。
特に構図合わせ等の実行時には、撮像準備処理部82が判定するパン・チルトの移動量に応じて、雲台10に当該移動量を指示するパン・チルト制御信号を出力する。
また、撮像準備処理部82で判定されるズーム倍率に応じて、光学系部21のズーム動作を駆動制御する。
【0064】
レリーズ予告動作制御部84は、後述するレリーズ予告の実行動作を制御する。
例えば図8、図9で説明したようにデジタルスチルカメラ1、雲台10の一方又は両方にレリーズ予告実行部36、64が設けられる場合がある。レリーズ予告動作制御部84は、これらのレリーズ予告実行部36,64において音声出力、発光出力、表示出力を実行させる制御を行う。
またレリーズ予告動作をデジタルスチルカメラ1の挙動で実行する場合は、その挙動を実現するために雲台10側にパン・チルト制御信号を供給する。
【0065】
通信処理部85は、雲台10側に備えられる通信処理部71との間で所定の通信プロトコルに従って通信を実行するための部位となる。
上記の撮像視野可変制御部83が生成したパン・チルト制御信号は、通信処理部64の通信により、雲台10の通信処理部71に対して送信される。
【0066】
モードシーケンス制御部86は、自動撮像モードと要求対応撮像モードとして、ユーザのレリーズ操作によらない自動的な静止画撮像を行う場合に、その各モード動作のシーケンスを制御する。
即ち、自動撮像モードと要求対応撮像モードのそれぞれにおいて、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、レリーズ予告動作制御部84による制御処理を所定の手順で適宜実行させ、各モードの静止画撮像動作を実現する。
このモードシーケンス制御部86は、本発明請求項にいう「要求対応撮像制御部」としての機能を含むものである。
トリガ受付部89は、例えば雲台10側のトリガ検出部73が検知したトリガ入力を、通信処理部71,85による通信を介して認識し、これを自動撮像モードから要求対応撮像モードへの切換入力として受け付ける機能部位である。トリガ受付部89は、トリガ受付をモードシーケンス制御部86に通知する。なお、トリガ受付部89の機能は、モードシーケンス制御部86の一機能としてとらえても良い。
【0067】
次に雲台10側において、通信処理部71は、デジタルスチルカメラ1側の通信処理部85との間での通信を実行するための部位である。
上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御部72に出力する。
【0068】
パン・チルト制御部72は、例えば図9に示した雲台10側の制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能となる。
このパン・チルト制御部72は、入力したパン・チルト制御信号に応じて、図9に示したパン用駆動部55、チルト用駆動部58を制御する。これにより、例えば被写体検出処理のためのパンニング、チルティングや、構図処理による、最適な水平視野角と垂直視野角を得るためのパンニング、チルティング等が行われる。
【0069】
トリガ検出部73は、自動撮像モードから要求対応撮像モードへ移行するためのトリガ入力を検出する機能部位である。
一例として、当該トリガ入力は、図7のように雲台10に設けられるタッチ領域60bへのタッチ操作であるとした場合、トリガ検出部73は、そのタッチセンサへの入力を検知する機能となる。
また、前述のように、タッチ入力以外に、図9の音声入力部62,撮像部63からトリガ入力を検出する構成とする場合は、それらのトリガ入力を監視・検知する処理を行う。
このトリガ検出部73は、トリガ入力を検知した場合、通信処理部71からデジタルスチルカメラ1のモードシーケンス制御部86に、トリガ検出信号を送信する。
【0070】
<3.自動撮像処理>
実施の形態としての動作シーケンスを説明する前に、自動撮像モードでの撮像処理について図11(a)で説明しておく。
自動撮像モードでは、本例の撮像システムが、撮像準備として、被写体検出(探索)、最適構図判定、構図合わせの各動作により、被写体検出で検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行う。そして所定の条件で自動的にレリーズ処理を行う。これにより、カメラマンの操作を不要として、適切な静止画撮像が行われるものである。
図11(a)は自動撮像モード動作として、図10のモードシーケンス制御部86の指示にしたがって、各機能部位が所定の処理を行う手順を示している。
【0071】
自動撮像モードでの撮像動作が開始されると、図11(a)のステップF1として、撮像画像データの取り込みが開始される。
即ち撮像記録制御部81が、イメージセンサ22、信号処理部24による撮像画像データの各フレーム毎の取り込みを開始させる。
【0072】
ステップF2で被写体検出処理、ステップF3で構図処理を行う。
被写体検出処理、構図処理(最適構図判定、構図合わせ)は、撮像準備処理部82の機能(具体的には制御部27、及び/又は信号処理部24の処理)により実行される。
【0073】
ステップF1で撮像画像データの取り込みが開始された以降は、信号処理部24は、イメージセンサ22による撮像画像データとして、1枚の静止画に相当するフレーム画像データを順次取得する。
撮像準備処理部82は、被写体検出処理として、各フレーム画像データから、人物の顔に相当する画像部分を検出する処理を行う。
なお、被写体検出処理は、全フレーム毎に実行しても良いし、予め定められた所定のフレーム数間隔ごとに実行してもよい。
【0074】
本例の場合における被写体検出処理では、例えばいわゆる顔検出技術を利用して、画像内から検出した被写体ごとにその顔の画像部分の領域に対応して顔枠を設定する。その上で、当該顔枠の数、サイズ、位置など情報から、画枠内における被写体数、各被写体のサイズやそれぞれの画枠内での位置の情報を得る。
なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
【0075】
ステップF2での被写体検出処理としては、先ずはデジタルスチルカメラ1の周囲に存在する被写体の探索を行う。
具体的に、この被写体の探索としては、デジタルスチルカメラ1における制御部27(撮像準備処理部82、撮像視野可変制御部83)が、雲台10に対するパン・チルト制御や光学系部21に対するズーム制御を行うことによって、撮像視野を変化させながら、例えば信号処理部24(又は制御部27)での画像解析による被写体検出を実行させること行う。
このような被写体探索は、撮像画像データとしてのフレーム画像に被写体が検出されるまで実行される。そしてフレーム画像内、つまりその時点の撮像視野に被写体(人物の顔)が存在する状態が得られたことに応じて終了する。
【0076】
被写体検出処理が終了した後、制御部27(撮像準備処理部82)は、ステップF3で構図処理を行う。
具体的には、構図処理としては、まずその時点の構図が最適な状態か否かを判定する。この場合、被写体検出結果に基づく画構造の判定(この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など)を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。
ここで、この場合の構図は、パン・チルト・ズームの各撮像視野によって決定づけられるものであり、従って当該最適な構図か否かの判定処理によっては、その判定結果として、上記被写体検出結果(画枠内での被写体の態様)に応じた最適な撮像視野とするためのパン・チルト・ズームの制御量の情報が得られるものとなる。
【0077】
そして構図が最適な状態でなければ、構図合わせとして、最適な構図状態とすべく、パン・チルト制御、ズーム制御を行うこととなる。
具体的に制御部27(撮像準備処理部82、撮像視野可変制御部83)は、構図合わせ制御として、最適構図判定処理により求まったパン・チルトの各制御量の変更の情報を雲台10側の制御部51に指示する。
これに応じて雲台10の制御部51は、指示された制御量に応じたパン機構部53・チルト機構部56についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用駆動部55、チルト用駆動部58に対する制御信号の供給を行う。
また、制御部27(撮像準備処理部82、撮像視野可変制御部83)は、最適構図判定処理により求まったズームについての画角の情報を、光学系部21に指示することで、該指示した画角が得られるように光学系部21によるズーム動作を実行させる。
【0078】
なお、構図処理で最適構図の状態ではないと判断され、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップF3からステップF2の被写体検出処理からやり直す。パン・チルト、ズーム動作により、或いは人物の動きにより、被写体が撮像視野から外れることもあるためである。
【0079】
制御部27(モードシーケンス制御部86)は、最適な構図が得られた場合は、ステップF4でレリーズタイミング判定処理を行う。
例えば、被写体が笑顔などの所定の状態となることを条件としてレリーズを行うものとすることが考えられる。
なお、ステップS4によるレリーズタイミング判定処理にてレリーズタイミングがOKとならない場合も有り得るが、その場合、ステップS1の被写体検出からやり直すことになる。被写体人物の動き等により被写体が撮像視野から外れたり、或いは構図が崩れる場合があるためである。
【0080】
レリーズタイミング判定処理によってレリーズ条件が成立したとされた場合は、ステップF5のレリーズ処理として、撮像画像データの自動記録を行う。具体的に制御部27(撮像記録制御部81)は、エンコード/デコード部25及びメディアコントローラ26に対する制御を行って、その時点で得られている撮像画像データ(フレーム画像)のメモリカード40への記録を実行させる。
【0081】
以上の図11(a)のようにして本実施の形態の撮像システムでは、制御部27による制御・処理に基づき、自動撮像モードでの静止画撮像が実現される。
なお、図11(b)の処理は、後に第4の実施の形態として説明する。
【0082】
<4.第1の実施の形態の撮像動作>
上記図8,図9のデジタルスチルカメラ1、雲台10の構成において、上記図10の機能構成に基づいて実現される第1の実施の形態としての動作を図12で説明する。
なお、図10の機能構成を前提とする場合、図12の処理はデジタルスチルカメラ1の制御部27の処理と考えることができる。
【0083】
ユーザによる操作、例えば電源オン操作、及び表示部33での操作メニュー画面に対する操作等により、自動撮像が指示されることで、本例のシステムによる自動撮像モードの動作が開始される。
ユーザによる自動撮像モードの開始操作に応じて、制御部27(モードシーケンス制御部86)は、図12のステップF101からF102に処理を進め、自動撮像モード処理を開始する。
即ち制御部27(モードシーケンス制御部86)は、上述した図11(a)の処理により、自動的な静止画撮像を実行させる。
【0084】
実際にユーザから見える撮像システムの挙動としては、雲台10によってデジタルスチルカメラ1が自動的にパン・チルト動作を行い、またズーム動作を行いながら、被写体を探索し、任意の時点で静止画撮像を行うものとなる。つまりカメラマンが存在せずに、撮像システムが勝手に被写体を決めて静止画撮像を行っているように見える。
この場合、カメラマンが存在しないことで、ユーザが撮影を意識しない自然な雰囲気の静止画撮像が行われやすいものとなる。
【0085】
ここで、制御部27(モードシーケンス制御部86)は、ステップF102での自動撮像モードの処理を実行している期間は、ステップF103で、要求対応撮像モードへのトリガ入力を監視している。
図11(a)には示していないが、図11(a)のステップF2〜F4までの期間内で、トリガ入力の有無を確認することになる。
この第1の実施の形態では、図7(a)のように雲台10にタッチ領域60bが形成され、ユーザのタッチ領域60bへのタッチ操作が、要求対応撮像モードへのトリガ入力であるとして説明する。
【0086】
また特にトリガ入力が検知されなければ、図12のステップF104で自動撮像終了と判断されるまで、ステップF102での自動撮像モードでの静止画撮像が継続される。図11(a)のステップF2〜F4までの期間内では、トリガ入力の有無を確認することに加え、ユーザの終了操作も監視していることになる。
ユーザが所定の操作を行って自動撮像終了を指示した場合は、制御部27(モードシーケンス制御部86)は、図12の処理をステップF104からF105に進め、所定の終了処理を行って一連の動作を終了させる。
【0087】
自動撮像モード中に、ユーザが雲台10のタッチ領域60bにタッチ操作を行うと、雲台10における制御部51(トリガ検出部73)がこれを検知し、トリガ検出信号を制御部27(トリガ受付部89、モードシーケンス制御部86)に送信する。
これによりトリガ入力があったことを認識し、受け付けると、制御部27(モードシーケンス制御部86)は、図12の処理をステップF103からF106に進め、要求対応撮像モードの動作制御を行う。
ステップF106〜F109が要求対応撮像モードの処理となる。
【0088】
ステップF106では、制御部27(撮像準備処理部82、撮像視野可変制御部83)は被写体検出処理を行う。
またステップF107では、制御部27(撮像準備処理部82、撮像視野可変制御部83)は、構図処理を行う。
この被写体検出処理、及び構図処理は、撮像要求に応じた撮像視野を決定する処理となる。
【0089】
一例として、ステップF106の被写体検出処理、ステップF107の構図処理は、自動撮像モードにおける図11(a)のステップF2の被写体検出処理、ステップF3の構図処理と、同一のアルゴリズムによる処理とすることが考えられる。
ここで、要求対応撮像モードとは、ユーザの要求に応じて静止画撮像を行うモードである。従って、そのためには、撮像要求(タッチ操作)を行ったユーザを被写体として捉えることが必要である。これが撮像要求に応じた撮像視野を決定する処理と言える。
図7(a)のように雲台10の本体部11の正面側にタッチ領域60bが設定されている場合、撮像要求(タッチ操作)を行ったユーザは、撮像システムの正面側に居ると想定される。
従って、被写体検出のアルゴリズムが、まず初期位置として正面方向(図4のパン基準位置)のパン状態とし、また図5のチルト基準位置とするアルゴリズムであれば、その状態から被写体検出・構図処理を行えば、殆どの場合、当該ユーザを撮像視野に捉えることができると考えられる。このことから、ステップF106の被写体検出処理、ステップF107の構図処理は、自動撮像モード時と同様のアルゴリズムによる処理を初期状態から開始するものとすればよい。
【0090】
但し、要求対応撮像モードとしての効果的な静止画撮像を行うためには、自動撮像モード時とは異なるアルゴリズムで被写体検出・構図処理を行うことが適切な場合もある。そのような各種の例については、変形例として後述する。
【0091】
ステップF106,F107での処理で、最適な構図が得られた場合は、ステップF108で制御部27(レリーズ予告動作制御部84)は、レリーズ予告処理を行う。
図8で述べたように、デジタルスチルカメラ1側にレリーズ予告実行部36が設けられている場合、制御部27(レリーズ予告動作制御部84)は、レリーズ予告実行部36に所定の動作を実行させる。
例えばレリーズ予告実行部36に、LED点滅表示を実行させたり、特定の点滅周期、点滅パターンでLEDを発光させたり、電子音を発生させたり、或いは「はいチーズ」等のメッセージ音声を発生させるなどの制御を行う。
また、レリーズ予告をパン・チルト動作による挙動、例えばデジタルスチルカメラ1が震えたり、うなずくような挙動を行うことで表現する場合は、レリーズ予告動作制御部84は撮像視野可変制御部83に指示して、そのような挙動を実現するパン・チルト制御信号を雲台10側に送信させる。
もちろんこれらを併用したレリーズ予告を行っても良い。
レリーズ予告によって、ユーザは、予測されるレリーズタイミングまでにポーズをしたり、表情をつくることなどが可能となる。
【0092】
そしてレリーズ予告の後、ステップF109で制御部27(撮像記録制御部81)は、レリーズ処理を行い、静止画データをメモリカード40に記録させる。
ここで制御部27(撮像記録制御部81)は、レリーズ予告動作の実行後又は実行開始後、所定の静止画撮像条件を満たしたときに、レリーズ処理を行って静止画撮像動作を実行させることが考えられる。
例えば特定の音声入力があったとき、撮像画像から特定の被写体状態が判定されたとき、或いはレリーズ予告動作の実行後又は実行開始後、所定の時間を経過したときなどに、上記の静止画撮像条件が満たされたと判断することが想定される。
特定の音声入力があったときとは、例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを検出する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクや注視をするなどの挙動を行った状態を検出する。
所定の時間の経過とは、例えばレリーズ予告動作の実行後又は実行開始の時点から所定時間(例えば数秒)の経過とする。
制御部27(モードシーケンス制御部86)は、これらを静止画撮像条件として必要な検出処理を行い、静止画撮像条件が整ったときに、撮像記録制御部81の制御でレリーズ処理(つまり静止画の記録)が行われるようにしてもよい。
制御部27(モードシーケンス制御部86)は、静止画撮像後、処理をステップF102に戻し、要求対応撮像モードを終了して、再び自動撮像モードとしての処理を行う。
【0093】
この図12の処理が行われることで、自動撮像モードで静止画撮像が行われている場合において、ユーザは、撮ってもらいたいと思ったときにタッチ操作をすればよい。すると、要求対応撮像モードの動作により、そのユーザの要求に応じて静止画撮像が行われる。このときレリーズ予告も行われることで、ユーザは、撮ってもらいたい表情、目線、姿等で撮影されることができる。
即ち本実施の形態によれば、自動撮像モードでの撮像により、自然な表情、姿、光景等を撮像できることに加え、要求対応撮像モードでの撮像により、ユーザの要望に応じた撮像を行うこともできる。即ちユーザが意図する静止画撮像や記念撮影などである。
これによって、カメラマンが不要な自動的な撮像として、カメラマンが撮像する場合と同等の、多様な静止画撮像を行うことができる。
【0094】
<5.第1実施の形態の変形例>
[5−1:要求対応撮像モードへのトリガ]
以下、上記第1の実施の形態の変形例を各種説明していく。まず、ここでは要求対応撮像モードへのトリガ入力について述べる。
上記説明では雲台10へのユーザのタッチ操作をトリガ操作と認識する例を述べた。タッチ操作としては、デジタルスチルカメラ1の筐体上にタッチ領域を設け、ユーザがデジタルスチルカメラ1のタッチ領域に触れることで、撮像システムがトリガ操作を認識するものとしても良い。その場合の機能構成については図31で後述する。
【0095】
また、ユーザのトリガ入力のための操作としては、雲台10又はデジタルスチルカメラ1に操作ボタンを設け、その操作ボタンの操作をトリガ入力としてもよい。
さらに、赤外線や電波を利用した無線方式、又は有線方式のリモートコントローラを用いた操作で、ユーザがトリガ操作を行うことができるようにしてもよい。
【0096】
また、トリガ検出部73は、特定の音声入力をトリガ入力として検知することも考えられる。例えば図9で説明したように雲台10に音声入力部62を備えるようにし、制御部51(トリガ検出部73)が、特定の音声入力を認識する。
特定の音声入力とは、或る言葉、例えばユーザが発する「撮って!」という言葉としてり、手を叩いた音などとする。
音声入力部35又はトリガ検出部73では、入力音声信号の解析処理を行い、これらの特定の音声入力があったか否かを判別する。そして特定の音声入力があったら、トリガ入力がなされたと認識するようにする。
例えば以上のような各種のトリガ検知に応じて、デジタルスチルカメラ1側の制御部27にトリガ受付部89が要求対応撮像モードへのトリガを受け付けることができる。
なお、デジタルスチルカメラ1側の制御部27にトリガ受付部89に加えてトリガ検出部としての機能を備えるようにした場合も、図8で述べた音声入力部35が設けられていることで、このような特定の音声入力によるトリガ入力の検知、要求対応撮像モードへのトリガとしての受け付けが可能となる。
【0097】
またトリガ検出部73は、撮像画像から特定の被写体状態が判定されたらトリガ入力があったと検知することも考えられる。
例えば図9で説明したように雲台10に撮像部63を備えるようにし、制御部51(トリガ検出部73)が、撮像画像から検出される特定の被写体状態をトリガ入力と認識する。
特定の被写体状態とは、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動が考えられる。或いは、ユーザが撮像システムを注視するなども考えられる。
撮像部63又はトリガ検出部73は、撮像画像の画像解析処理により、これらユーザの特定のジェスチャを判定したり、或いはユーザの目線を判定する。そして特定の被写体状態が検出されたら、トリガ入力がなされたと認識するようにする。
なお、デジタルスチルカメラ1側の制御部27にトリガ受付部89に加えてトリガ検出部としての機能を備えるようにした場合は、信号処理部24での画像解析、即ち被写体検出処理の過程で、このような特定の被写体状態としての挙動や目線等を認識できるため、特定の被写体状態によるトリガ入力の検知、及び要求対応撮像モードへのトリガとしての受け付けが可能となる。
【0098】
[5−2:要求方向へのパン・チルト]
次に、要求対応撮像モードとなった場合の撮像準備処理の例を述べる。
図13に処理例のフローチャートを示す。図12と同一の処理ステップは同一のステップ番号を付し、説明を省略する。
この図13の処理では、ステップF103で要求対応撮像モードへのトリガが検出されたときに、ステップF106の被写体検出処理の開始に先立って、ステップF120,F121の処理を行う。
【0099】
ステップF120では、制御部27は、要求方向を判定する。要求方向とは、撮像システムの位置を基準として、トリガ入力を行ったユーザの居る方向、つまりトリガ入力の方向である。
ステップF121では、制御部27は、要求方向へのパン・チルト制御を行い、デジタルスチルカメラ1の撮像方向が、上記の要求方向に向くようにする。
【0100】
具体例を述べる。
例えばタッチ操作をトリガ入力とする場合、図7(b)のように複数方向に向かってタッチ領域60b〜60dを形成する。
雲台10の制御部51(トリガ検出部73)は、タッチ操作を検知した場合、トリガ検出信号とともに、タッチ領域60b〜60dのうちのどれにユーザがタッチしたかの情報(又はトリガ入力方向の情報)もデジタルスチルカメラ1の制御部27(トリガ受付部89、モードシーケンス制御部86)に伝える。制御部27はこれによりステップF120の要求方向判定を行う。
制御部27(撮像準備処理部82、撮像視野可変制御部83)は、トリガ入力方向を判別したら、ステップF121で、デジタルスチルカメラ1の撮像方向がトリガ入力方向(要求方向)に向かうように、パン・チルト制御信号を出力する。これにより雲台10側でパン・チルト動作が行われ、ユーザの居る方向にデジタルスチルカメラ1が向く。
【0101】
つまり、撮像準備処理として、あたかもユーザの要求に答えるように、最初に要求方向にデジタルスチルカメラ1が向くようにする。
この状態から制御部27(撮像準備処理部82、撮像視野可変制御部83)は、ステップF106,F107の被写体検出・構図処理を行う。
これによって、撮像要求したユーザを捉えやすくなり、ユーザの望む静止画撮像が容易に可能となる。
【0102】
トリガ入力が音声入力による場合も、このような処理は可能である。
例えば音声入力部35(又は62)には、複数のマイクロホンを用意し、各マイクロホンによって得られた各音声信号の相互間の時間差から、上述した特定の音声入力が発せられた方向を判別する。
制御部27は、ステップF120で、このように音声入力から要求を行ったユーザの居る方向を判別することで、ステップF121での要求方向へのパン・チルト制御が可能となる。
実際の挙動としては、ユーザの呼びかけに撮像システムが反応して、ユーザに振り向くようなものとなり、その後、ステップF106〜F109の処理で、そのユーザを含む静止画撮像が行われるものとなる。
【0103】
[5−3:要求対応撮像モードで被写体検出を実行しない例]
要求対応撮像モードで被写体検出を実行しない処理例を図14、図15に示す。図12と同一の処理ステップは同一のステップ番号を付している。
まず図14の処理例は、ステップF103でトリガ入力が受け付けられたら、制御部27は、被写体検出を、行わず、そのときの撮像視野の状態で、ステップF107の構図処理を行う例である。
このステップF107の構図処理としては、例えばズーム制御のみを行う。そしてステップF108,F109の処理で静止画撮像を行う。
【0104】
これは自動撮像モード中で、デジタルスチルカメラ1がある方向を向いているときに、ユーザが、そちらを撮らせたいとしてトリガ入力を行うような場合を想定した処理例である。
例えば自動撮像モード中に、デジタルスチルカメラ1の背面の表示画面部33aでスルー画を見ていたユーザが、特に被写体検出処理によっては被写体とみなされないような対象が撮像視野に入ったときに、とっさにそれを撮像させたいとを思ったような場合に有用となる。なお、このような用途から考えた場合は、ステップF108のレリーズ予告処理を行わないことも好適である。
【0105】
次に図15の処理例は、図13で述べた要求方向へのパン・チルト制御を組み合わせた例である。
ステップF103でトリガ入力が受け付けられたら、制御部27は、ステップF120で要求方向を判定する。そしてステップF121で、要求方向へのパン・チルト制御を行い、デジタルスチルカメラ1の撮像方向が、要求方向に向くようにする。
その後、制御部27は、ステップF107で構図処理を行い、ステップF108,F109の処理で静止画撮像を行う。
この処理例の場合、要求方向にデジタルスチルカメラ1が向くことになるため、その状態で構図のみ(例えばズーム角のみ)を整えて撮像するという動作となる。
【0106】
[5−4:要求対応撮像モードで構図処理を実行しない例]
要求対応撮像モードで構図処理を実行しない処理例を図16に示す。図12と同一の処理ステップは同一のステップ番号を付している。
まず図16の処理例は、ステップF103でトリガ入力が受け付けられたら、制御部27は、被写体検出を行ない、例えばユーザの顔が撮像視野に入って被写体検出OKとなったら、構図処理を行わずに、ステップF108に進みレリーズ予告処理を行う。そしてステップF109で静止画撮像処理を行う。
【0107】
これは自動撮像モード中に、構図に構わない静止画撮像を行わせたいとユーザが思ったような場合を想定した処理である。
特に被写体検出がOKとなったら(例えば人を撮像視野に捉えたら)、即座に撮像させるようにしたいとユーザが望んだ場合の動作として適用できる。
なお、このような用途から考えた場合は、ステップF108のレリーズ予告処理を行わないことも好適である。
【0108】
[5−5:要求対応撮像モードでの撮像画像提示]
要求対応撮像モードで静止画撮像を行った場合に、ユーザに対して撮像画像の提示を行う処理例を図17に示す。図17において、ステップF101〜F109は図12と同様である。
この図17の処理例では、ステップF109でレリーズ処理を行い、静止画データをメモリカード40に記録した後、制御部27は、ステップF130で撮像画像提示処理を行うようにしている。
【0109】
このステップF130では、制御部27(モードシーケンス制御部86、撮像記録制御部81)は、レリーズ処理によって記録した静止画データを、表示部33に表示させる。
その上で、制御部27(撮像視野可変制御部83)は、パン・チルト制御信号を雲台10側に送信する。この場合、少なくとも雲台10に対し、パン方向に180度駆動する指示を出力することになる。また、同時に、仰角方向に所定角度、チルト駆動させる指示を有しても良い。
雲台10側では、制御部51(パン・チルト制御部72)は、パン・チルト制御信号に応じて、パン・チルト駆動制御を行う。
これによって、雲台10上のデジタルスチルカメラ1が180度回転する。
【0110】
この処理例によれば、要求対応撮像モードとして要求を行ったユーザの静止画撮像を行った直後に、表示部33(表示画面部33a)がユーザ側に向けられることになる。つまりレリーズ直後に、そのユーザに写した画像内容を提示するものとなる。
これによってユーザは、どのような静止画がとれたのかを、その場で容易に確認できる。
なお、上記図13、図14,図15,図16の処理に、この図17のステップF130を加えることも考えられる。
【0111】
[5−6:仮構図処理]
次に、図12〜図15、又は図17の各例の、要求対応撮像モードでのステップF107の構図処理において、仮構図処理を行う例を述べる。
【0112】
まず、自動撮像モード及び要求対応撮像モードで実行される、基本的な構図処理について説明する。
被写体検出処理の過程で、例えば図18の画枠300に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が1つ存在している。
【0113】
この場合の画枠300は、撮像画像データの1フレーム相当の画像領域に相当する。ここでは、画枠300としてのフレーム画像について、水平画素数を(水平画サイズ)をCx、垂直画素数(垂直画サイズ)をCyとして、Cx=320,Cy=240により形成されているものとしている。
また、この場合の画枠300における位置は、座標(X,Y)により表されるものとし、ここでは画枠300の左上端を座標(0,0)として定義している。
また、この画枠300に対して、垂直基準線Ld1及び水平基準線Ld2が仮想的に設定されている。
垂直基準線Ld1は、画枠300の水平方向における中点を通過する直線で、水平基準線Ld2は、画枠300の垂直方向における中点を通過する直線となる。これら垂直基準線Ld1及び水平基準線Ld2は、それぞれ、構図制御として、画枠300における被写体の位置を水平/垂直方向で移動させる際の基準線となる。
また、垂直基準線Ld1と水平基準線Ld2の交点座標(160,−120)は、構図制御における基準点Pとして扱われる。
【0114】
図18に示す画内容の撮像画像データを対象に被写体検出(顔検出)を行うことによっては、検出被写体として、図示される1つの被写体SBJの顔が検出されることになる。即ち、顔検出処理によって1つの顔が検出されることを以て、ここでは1つの被写体が検出されることとしている。そして、このようにして被写体を検出した結果としては、例えば被写体の数、向き、位置、サイズの情報を得るようにされる。
また、被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図18の場合には、検出される顔が1つであるから、被写体数は1との結果が得られる。
【0115】
また、顔検出の手法を用いて被写体検出を行う場合、検出結果として、検出した被写体の顔部分に対して枠(顔枠FR)を設定する。
図18では、顔枠FRが、被写体SBJの画像の顔部分に対応して配置されるようにして示している。この場合の顔枠FRは、検出された被写体における顔の画像部分に対応して方形により配置される。なお、ここでの顔枠FRは正方形であるとする。
また、この顔枠FRは、画枠300における顔としての画像部分に対して設定されるものとなる。従って、そのときに顔検出処理により検出される画枠300における被写体の顔の位置、大きさなどに応じて、顔枠FRの画枠300における位置、サイズも変更設定される。
【0116】
また、被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における被写体SBJの重心である被写体重心G(X,Y)を求めることとする。
また、この被写体重心Gをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。1つの例としては、被写体SBJに対応して検出された顔枠FRとしての四角形の対角線の交点を、被写体重心とすることが考えられる。
【0117】
また、被写体のサイズについては、ここでは、顔枠FRの垂直又は水平方向の一辺のサイズ(画素数)により表すものとする。
図18では、一例として、顔枠FRの垂直サイズsizey=32として検出されている状態が示されている。
【0118】
また、ここでの被写体ごとの顔方向に関しては、例えば左、正面、右の3段階での何れであるのかを検出することとする。
図18の被写体SBJについては、顔方向については正面であると検出されているものとする。
【0119】
ここで、この図18に示すように検出された、被写体SBJについての被写体検出情報に基づき、構図判定処理により、図19に示す構図とすべきであるとの判定結果を得たとする。
つまり、先ず、被写体サイズについては、sizey=64とし、被写体重心Gについては、G(160,−120+Δy)に位置させる、という構図である。
【0120】
例えば、その検出された数に応じても異なってくるが、良い構図とするためには、画枠300における被写体のサイズが小さすぎず、また、大きすぎず、適切であることが求められる。図19に示されるsizey=64としての被写体サイズは、被写体SBJが画枠300において最適サイズとなる値として判定されたものである。
【0121】
また、上記の被写体重心Gの配置位置は、例えば次のような根拠により求められる。
被写体SBJが1つの場合、最も単純で基本的な被写体SBJの位置は、画枠300の中央に配置するというものになる。つまり、被写体重心Gを基準点Pに位置させるというものである。
しかし、このような被写体を画面の中央に位置させた構図は、一般に良くない構図の典型とされている。例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。
【0122】
そこで、この場合には、先ず、画枠300の垂直方向における被写体SBJの位置(被写体重心G)について、水平基準線Ld2に対して一定量だけ移動させるようにする。
このように、水平基準線Ld2を基準とした垂直方向における被写体重心Gについての移動量を、垂直オフセット量Δyとして規定している。この垂直オフセット量Δy,及び後述する水平オフセット量Δxは、例えば画素数により表すことができる。この場合、図19の被写体重心GのY座標は、(−120+Δy)として表される。
なお、ここでは、垂直オフセット量Δyとして正の値を与えることとしており、これにより、図示するように被写体重心Gは、画枠300において、水平基準線Ld2より上側の領域に位置するようにされている。
【0123】
また、水平方向における被写体の位置は、被写体について検出された顔方向に基づくこととする。
図18で説明したように、この場合の被写体SBJの顔方向は、右、正面、左の3段階のうち、正面であるとして検出されている。
ここでは、1つの被写体SBJの顔方向が正面であるとして検出されている場合には、水平方向については中央に位置させることとしている。つまり、被写体重心GのX座標については水平方向における中点、つまり垂直基準線Ld1(基準点P)と同じX座標(160)とするものである。
この場合、垂直基準線Ld1を基準にした水平方向における被写体重心Gの移動量として規定される、水平オフセット量Δxは0として設定されていることになる。
図19は、このような構図判定の規則、アルゴリズムに従って、被写体重心G(160,−120+Δy)を設定したものである。
【0124】
結局、このように図18の状態から図19の状態に構図を調整する処理は、パン・チルト動作により、被写体の顔の重心を、所定の目標範囲に入れるとともに、ズーム動作により適切な被写体のサイズとする処理である。そして、目標範囲は、被写体SBJのサイズ、数、顔の向き等に応じて設定される。
例えば上記図19の場合、顔が正面であることから、図20(a)のように目標範囲TAが設定されており、この目標範囲TA内に被写体重心Gが含まれるようにする。
目標範囲TAの設定に応じて、水平オフセット量Δx、垂直オフセット量Δyが決められて、最終的に被写体重心Gが目標範囲TA内となるように構図合わせをする。
【0125】
また、図20(a)は、被写体SBJの顔方向が正面であるときの例であるが、顔の向きによっては、目標範囲TAの設定が異なるようにする。
例えば検出された被写体の顔方向が左であるとする。なお、ここでの左の顔方向とは、画枠300の画内容を実際に見たとした場合、これを見る者からは、画枠300において、個別被写体SBJの顔が左側を向いているようにして見える状態をいう。ちなみに、この個別被写体SBJとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
この場合には、被写体重心Gの水平方向における位置については、垂直基準線Ld1により2分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせる。これにより、画枠300においては、被写体SBJの顔が向いている方向である左側において空間が得られるようする。
【0126】
つまり、図20(b)のように、垂直基準線Ld1により右側の画像領域に目標範囲TAを設定する。そして、この目標範囲TA内に被写体重心Gが入るようにする。
このような構図とすることで、例えば、顔方向が左であるとされる被写体SBJの重心Gを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、垂直基準線Ld1に対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
また、検出された被写体の顔方向が右である場合には、左の場合とは逆に、被写体重心Gを垂直基準線Ld1により2分割される左右の画像領域(分割領域)のうち、左側の画像領域に在るようにさせる。
【0127】
また、複数の被写体が検出された場合には、これらの検出された複数の被写体から成る画像領域をひとまとまりの総合的な被写体(総合被写体)としてみることとし、この総合被写体を対象として1つの被写体重心(総合被写体重心)GGを求める。
例えば図21(a)は二人の被写体SBJ1,SBJ2が検出された例を示している。被写体SBJ1,SBJ2のそれぞれの重心G1,G2の重心が、総合被写体重心GG12となる。
目標範囲TAは、被写体数、顔の向き、サイズから、図示の位置に設定されたとする。
この場合、破線矢印で示すように、総合被写体重心GG12が目標範囲TA内に入るように、構図合わせが行われるものとなる。
その結果、図21(b)のような構図となる。
【0128】
総合被写体重心Gをどのようにして設定するのかについては、いくつか考えることができる。図21は、最も簡易な例として、検出された複数の個々の被写体のうちで、画枠300内で最も左側と最も右側に位置する被写体の重心(G1,G2)を結ぶ線分上の中間点を総合被写体重心GG12として設定したものである。
また、被写体が複数のときには、個別の被写体ごとに検出される顔方向が異なる場合がある。この場合には、複数の個別の被写体ごとに検出される顔方向の関係性に基づいて、総合被写体としての1つの顔方向を決定することとすればよい。複数の個別の被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、個別の被写体の全体数における所定割合以上を占めるときに、この同一となる顔方向を、総合被写体の顔方向として決定し、これを構図判定、目標範囲TAの設定に使用する。
【0129】
これまでの説明から理解されるように、被写体サイズ、数、向きによって被写体重心(又は総合被写体重心)を配置する目標範囲TAが決められる。そして最適な構図か否かは、その目標範囲TAに被写体重心(又は総合被写体重心)が入っているか否かで判定される。また、画枠300内における被写体サイズが適切であるか否かでも判定される。
そして最適な構図ではないと判定された場合は、構図合わせの処理として、被写体重心(又は総合被写体重心)が目標範囲TAに入るように被写体重心Gの位置が変更され、或いは被写体サイズが適切となるようにサイズ変更される。
被写体重心G(又は総合被写体重心GG)の位置の変更は、水平方向については雲台10のパン機構に対するパン制御により行うことになる。また、垂直方向については雲台10のチルト機構に対するチルト制御により行うことになる。
被写体サイズの変更は、デジタルスチルカメラ1の光学系部21におけるズームレンズを移動する制御(ズーム制御)で行う。若しくは撮像画像データに対する画像切り出しなどの画像信号処理によって行うこともできる。
【0130】
以上が基本的な構図処理となる。例えば図12の処理の場合、ステップF102の自動撮像モードにおける構図処理(図11(a)のステップF3)では、以上のような処理を行うこととなる。
【0131】
ところが上記の目標範囲TAへの被写体重心Gを移動させる制御を行う場合において、その時点の撮像視野内では、最適な構図が得られたとしても、実際には、さらに適切な構図が存在する場合がある。
例えば、近くに複数人数いるにも関わらず、少数の人数で構図を合わせてしまい、最大の人数での構図にならない可能性などがある。
【0132】
図22に例を示す。
図22において画枠300Aで示す撮像視野は、局所解としての最適構図である。即ち、近い位置に3人居るにもかかわらず、被写体検出処理で二人の被写体SBJ1,SBJ2が検出された場合、その二人の被写体SBJ1,SBJ2の総合被写体重心GG12を、目標範囲TA(300A)に入るようにした場合である。
ところが、この場合、最良の解としての撮像視野は、画枠300Bとして示す状態である。つまり、被写体SBJ1,SBJ2,SBJ3の3人を含んだ上で、その総合被写体重心GG123を、画枠300Bにおける目標範囲TA(300B)に入るようにした状態である。
【0133】
仮に、被写体検出処理の過程で、下方からチルトアップしていくような探索を行い、二人の被写体SBJ1,SBJ2が先に検出されたとすると、その二人の被写体SBJ1,SBJ2のみで構図処理が行われ、局所解としての構図で静止画撮像が行われる。
【0134】
また、図23(a)も同様に、構図が局所解としての画枠300Aと、最良の解としての画枠300Bを示している。
仮に、被写体検出処理の過程で、左方から右方にパンニングしていくような探索を行い、二人の被写体SBJ1,SBJ3が先に検出されたとすると、その二人の被写体SBJ1,SBJ3のみで構図処理が行われ、局所解としての構図で静止画撮像が行われてしまう。
【0135】
例えば自動撮像モードでの撮像であれば、局所解としての構図で静止画撮像が行われたとしても、さほどの支障はない。もともとユーザが意識しないで撮像が行われているものだからである。
ところが要求対応撮像モードでは、局所解としての構図では、ユーザの要望に添わない場合が生じやすい。
例えば図22、図23(a)のように3人のユーザが写真を撮ってもらいたいと思って集まって、トリガ入力を行った場合である。その場合、3人での記念撮影を求めたが、局所解の状態では、一人が写されなかったという事態となってしまう。できるだけ多くの人数を入れようとした場合、一度その周りを見渡す必要がある。
【0136】
そこで、実施の形態の一例として、要求対応撮像モードでの構図処理では、撮像要求に応じた1以上の被写体が撮像視野内に検出された際に、さらに撮像視野を移動させて撮像要求に応じた他の被写体の存在を確認する処理を含むようにする。
具体的な例としては、構図合わせの処理として、以下に述べる仮構図合わせと本構図合わせの2段階の処理を行うようにする。
【0137】
仮構図合わせとは、構図合わせで、本構図としての目標とする構図にパン・チルトする前に、その他の被写体がないか探す処理である。例えば意図的にパン・チルト量を、本構図の目標範囲TAからオーバーして行い、他の被写体がないかを探す処理である。
実際の処理としては、仮構図合わせと本構図合わせで、目標範囲TAを変更することにより行う。
【0138】
図24で仮構図合わせを説明する。
図24(a)では、3人の被写体SBJ1,SBJ2,SBJ3が存在する例を示している。ここで、被写体検出処理において、下方から上方にチルティングする過程で、二人の被写体SBJ1,SBJ2が検出されたとする。
ここで、構図処理に入るわけであるが、まず仮構図合わせを行う。
この場合、図示するように、目標範囲TAを、画枠300内で先に述べた通常の構図合わせの場合より下方に設定する。
まず、被写体SBJ1,SBJ2が検出されているのであるから、構図合わせは、被写体SBJ1,SBJ2の総合被写体重心GG12を、目標範囲TAに入れるように、パン・チルト制御を行うこととなる。この例の場合は、総合被写体重心GG12を目標範囲TAに入れるべく、チルトアップしていく。
ところがこの場合、目標範囲TAが通常より下方に設定されているため、通常の構図合わせの場合よりチルトアップ量が多くなり、より上方へチルトアップされる。
すると、その過程で、新たに被写体SBJ3が検出される。
【0139】
この場合、被写体SBJ1,SBJ2,SBJ3の検出に応じて、再度構図処理が行われる。この場合も、まず仮構図合わせを行う。今度は、被写体SBJ1,SBJ2,SJB3の総合被写体重心GG123を、目標範囲TAに入れるようにチルトアップする。
そして被写体SBJ3より上方には他の被写体は存在しない場合は、結局、図24(b)のように仮構図合わせが完了することとなる。
【0140】
仮構図合わせが完了したら、次に本構図合わせを行う。ここでいう本構図合わせとは、上述した通常の構図合わせのことである。
図25(a)は仮構図合わせが完了した状態の画枠300を示している。本構図合わせに際して、目標範囲TAを、図示する通常の位置に設定する。つまりこの場合は仮構図合わせで用いた目標範囲TAを画枠300内で上方に再設定することとなる。
そして、総合被写体重心GG123が目標範囲TAに入るようにパン・チルト制御を行う。この場合は、チルトダウン制御を行うこととなる。
すると図25(b)の状態となり、総合被写体重心GG123が目標範囲TAに入ったことで、本構図合わせが完了する。
結局、この本構図合わせ完了時で、3人の被写体SBJ1,SBJ2,SJB3を含む最適な構図が得られたことになる。
【0141】
例えば以上のように、仮構図合わせでは、目標範囲TAを構図合わせの際の探索方向に応じて、通常とは異なる位置、具体的には撮像視野の変化方向に対して画枠300内で手前となる位置に設定する。これによって、多少、最終的に合わせようとする構図よりも一旦オーバーさせる。これによって、探索方向の範囲に他の被写体が存在するか否かを確認する。
上記図24,図25の例では、仮構図合わせのときに、チルトアップしていくとした例であるため、仮構図合わせのときの目標範囲TAを、通常より下方とした。
仮構図合わせのときに右から左へパンニングする場合であって、本構図での目標範囲TAが垂直基準線Ld1上となる場合を想定すれば、図26(a)のように、仮構図合わせのときの目標範囲TAを、垂直基準線Ld1より右側とする。これにより、より左側に被写体が存在するか否かを確認できる。
また仮構図合わせのときに左から右へパンニングする場合であって、本構図での目標範囲TAが垂直基準線Ld1上となる場合を想定すれば、図26(b)のように、仮構図合わせのときの目標範囲TAを、垂直基準線Ld1より左側とする。これにより、より右側に被写体が存在するか否かを確認できる。
【0142】
このように本構図合わせとは異なる目標範囲TAを設定して仮構図合わせを行い、その後本構図合わせを行うことで、被写体のもれのない静止画撮像が可能となる。つまり最大数の被写体を対象として静止画撮像することが可能となる。
なお、仮構図合わせでのパンニング・チルティングの過程において、検出されている或る被写体の顔が画枠の端領域にかかった場合は、それ以上パン・チルト制御をしないという処理も可能である。
また本構図合わせの際に顔の向きのよって重心が変わるとしても、仮構図合わせの際には、顔の向きは無視するということも考えられる。
また被写体の代表的な例に人の顔があるが、図23(b)の被写体SJB4のように人の顔以外の注目領域が抽出できた場合、これを組み合わせて構図合わせが行われるようにすることも考えられる。
【0143】
図27、図28で、仮構図合わせを図12の処理に適用する場合の処理を説明する。
図27(a)は、図12のステップF102として自動撮像モードの動作が行われている際の、図11(a)のステップF2,F3として行われる被写体検出処理、構図処理を示している。
ここでは、自動撮像モードの構図処理では、仮構図合わせは行われないが、要求対応撮像モードでは、自動撮像モードの構図処理とは異なるアルゴリズムが採用される例として、仮構図合わせが行われる処理例を述べる。
【0144】
まず図11(a)で述べた、自動撮像モードでのステップF2の被写体検出処理として、図27(a)のステップF201で、制御部27(撮像準備処理部82)は、被写体が検出されたか否かを確認する。
被写体が検出されていなければ、制御部27(撮像準備処理部82)はステップF202で探索処理を実行する。そしてステップF201で被写体の検出有無を確認する。
このステップF201,F202の処理は、具体的には上述したとおり、制御部27(撮像準備処理部82、撮像視野可変制御部83)が、雲台10に対するパン・チルト制御や光学系部21に対するズーム制御を行うことによって、撮像視野を変化させながら、信号処理部24(又は制御部27)での画像解析による被写体検出が為されたか否かを確認する処理となる。
【0145】
被写体が検出されたら、制御部27(撮像準備処理部82)は、図11のステップF3の構図処理として、図27(a)のステップF203の最適な構図であるか否かの確認と、ステップF204での構図合わせの処理を行う。
これは上述した通常の構図処理であり、例えば図18〜図21で説明した処理である。
即ち、被写体検出結果に基づく画構造の判定(画枠内における被写体数、被写体サイズ、顔の向きなどの判定)を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図であるか否かを判定する。そして最適な構図でなければ、構図合わせとして、パン・チルト・ズームの各制御によって撮像視野を可変する。
なお、先に図11の説明で述べたように、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップF3からステップF2の被写体検出処理からやり直す。図27(a)で言えば、ステップF204で構図合わせを行った場合、ステップF201からやり直す。
【0146】
このステップF204の構図合わせは、通常の構図合わせの処理となる。
図28(a)に通常の構図合わせの手順の一例を示した。
制御部27は、ステップF300で、最適な構図を得るための目標範囲TAを設定する。例えば図20のように目標範囲TAを設定する。
次に制御部27は、ステップF301で、設定した目標範囲TAに応じて水平オフセット量Δxを判定する。
次に、ステップF302で制御部27は、判定された水平オフセット量Δxに応じたX座標上に被写体重心G(又は総合被写体重心GG)が位置するようにパン制御を実行する。
【0147】
続いて制御部27は、ステップF303で目標範囲TAに対する垂直オフセット量Δyを判定する。そしてステップF304で、判定された垂直オフセット量Δyに応じたY座標上に被写体重心G(又は総合被写体重心GG)が位置するようにチルト制御を実行する。
【0148】
次に制御部27はステップF305で、ズーム倍率Zを判定する。
上述のように、画枠300における被写体SBJのサイズ変更は、ズーム制御によって画角を変更することによって行う。ここでいうズーム倍率は、被写体検出処理によって被写体が検出されたときの被写体サイズから、最適構図に対応して判定される被写体サイズを得るために必要な画角の倍率をいう。
このために制御部27は、先ず、検出された被写体の条件に応じて、所定の規則に従って、最適構図として必要される目標被写体サイズ(ズーム制御目標値)を判定する。
そして、上記のようにして求めた目標被写体サイズsize_trgと、被写体検出処理時に得られた被写体サイズsize_org(顔枠FRの垂直方向(又は水平方向)の一辺のサイズ(画素数))との比を求めて、これをズーム倍率Zとする。つまり、
Z=size_trg/size_org
により、ズーム倍率Zを算出する。
そして制御部27はステップF306で、ズーム倍率Zによるズーム制御を実行する。
【0149】
この図28(a)の構図合わせの手順はあくまで一例である、例えば先にズーム制御を行ってからパン・チルト制御を行ってもよい。また水平オフセット量Δx、垂直オフセット量Δyは、ズーム倍率による被写体のサイズ変更を考慮して算出することもできる。
【0150】
自動撮像モードの際には,構図処理は以上の図27(a)、図28(a)で説明したように行われる。
一方、要求対応撮像モードとなって図12のステップF107で実行される構図処理は以下のようになる。
【0151】
図27(b)は、要求対応撮像モードとして図12のステップF106,F107として行われる被写体検出処理、構図処理を示している。
まずステップF106の被写体検出処理として、ステップF201で、制御部27(撮像準備処理部82)は、被写体が検出されたか否かを確認する。
被写体が検出されていなければ、制御部27(撮像準備処理部82)はステップF202で探索処理を実行する。そしてステップF201で被写体の検出有無を確認する。
このステップF201,F202の処理は、図27(a)のステップF201,F202と同様である。
【0152】
被写体が検出されたら、制御部27(撮像準備処理部82)は、図12のステップF107の構図処理として、まず仮構図の処理を行う。即ちステップF210で、仮構図として最適な構図状態であるか否かの確認と、ステップF211での仮構図合わせの処理を行う。これは例えば図24〜図26で説明した処理である。
即ち、被写体検出結果に基づく画構造の判定(画枠内における被写体数、被写体サイズ、顔の向きなどの判定)を行った上で、仮構図としての目標範囲TAを定める。そして仮構図として最適となっているか否かを判定し、最適な構図でなければ、仮構図合わせとして、パン・チルト・ズームの各制御によって撮像視野を可変する。
【0153】
なお、仮構図合わせとして、パン・チルト、ズーム制御を行った場合も、ステップF201に戻って被写体検出からやり直す。撮像視野の変動やユーザの動きで被写体が存在しなくなることもあるからである。
さらに、上述のように仮構図合わせは、撮像視野を通常の構図合わせよりも大きく振ることとなるため、新たな被写体が検出されることもあるからである。その場合は、再び新たな被写体を含めた被写体重心G(又は総合被写体重心GG)に基づき、仮構図合わせを行う。
【0154】
図28(b)にステップF211の仮構図合わせの手順の一例を示した。
制御部27は、ステップF310で、仮構図を得るための目標範囲TAを設定する。例えば図24、図26で説明したように、探索方向に応じて本来の目標範囲TAとは異なる目標範囲TAを設定する。
以降のステップF311〜F316は、通常の構図合わせとしての図28(a)のステップF301〜F306と同様である。
【0155】
即ちステップF311で、設定した仮構図用の目標範囲TAに応じて水平オフセット量Δxを判定する。
次に、ステップF312で制御部27は、水平オフセット量Δxに応じたX座標上に被写体重心G(又は総合被写体重心GG)が位置するようにパン制御を実行する。
続いて制御部27は、ステップF313で仮構図用の目標範囲TAに対する垂直オフセット量Δyを判定する。そしてステップF314で、垂直オフセット量Δyに応じたY座標上に被写体重心G(又は総合被写体重心GG)が位置するようにチルト制御を実行する。
次に制御部27はステップF315で、ズーム倍率Zを判定する。
そして制御部27はステップF316で、ズーム倍率Zによるズーム制御を実行する。
【0156】
この図28(b)の仮構図合わせの手順も、あくまで一例である、例えば先にズーム制御を行ってからパン・チルト制御を行ってもよい。また水平オフセット量Δx、垂直オフセット量Δyは、ズーム倍率による被写体のサイズ変更を考慮して算出することもできる。
【0157】
このような仮構図合わせを行い、図27(b)のステップF210で仮構図がOKと成ったら、つまり仮構図用の目標範囲TA内に被写体重心G(又は総合被写体重心GG)が位置入ったら、続いてステップF212,F213の本構図の処理を行う。即ち通常の構図処理である。
このステップF212,F213の本構図の処理は、図27(a)のステップF203,F204と同様である。また、ステップF213の本構図合わせの手順は、例えば図28(a)のようになる。
【0158】
以上のように、要求対応撮像モードにおいては、構図処理が、仮構図合わせと本構図合わせの2段階で行われる。
これにより、ユーザの要求に応じた静止画撮像として、画角範囲内で最大人数を被写体としたユーザの望む画像を自動的に撮像できる。
なお、仮構図合わせの手法として、目標範囲TAを、探索方向でみての手前側に設定する例を述べたが、具体的な手法は他にも考えられる。
例えば被写体が検出されたときに、その被写体で仮に構図合わせをし、次にその被写体を中心として、周囲を探索することで他の被写体の有無を確認するということも考えられる。或いは被写体が検出されたときに、単純にその周囲を探索するという例も考えられる。
【0159】
[5−7:その他の要求対応撮像モードでの制御方式]
ここまで、第1の実施の形態の変形例として各例を述べてきたが、これらは特に要求対応撮像モードでは、自動撮像モードの場合と異なる制御方式で行われる、撮像準備処理、或いは撮像準備処理における被写体検出処理、構図処理の例などを挙げたものである。
上記各例以外にも、要求対応撮像モードでは自動撮像モードとは異なる処理手順、アルゴリズム、或いは制御パラメータの設定等による、各種の制御方式が考えられる。
【0160】
要求対応撮像モードでは、例えば複数のユーザが集まって静止画撮像を求めるといったシチュエーションも想定される。この場合、なるべく多くのユーザを写すという意味で、構図処理過程でのズーム制御範囲を制限するということが考えられる。具体的には、ズーム制御の上限パラメータを変更する。
【0161】
また、最適な構図の判定条件を甘くすることも考えられる。例えば要求対応撮像モードでは、目標範囲TAとしての枠の範囲を広くする。
或いは、目標範囲TA内に被写体重心Gが存在している時間を短くてもよい。例えば図27のステップF203,F210,F212では、目標範囲TA内に所定時間以上、被写体重心Gが存在することで、構図OKと判断するものとするが、要求対応撮像モードとされてステップF210,F212を行うときは、その所定時間を短い時間とする。
これらは、ユーザの要求に応じた撮像となるため、ユーザ側の動きが少ないと期待されることによる。
【0162】
また、要求対応撮像モードにおいての図12のステップF106での被写体検出処理では、要求したユーザを見つけやすくするために、パンニング範囲、チルティング範囲を制限することも考えられる。これは要求したユーザの居る位置がある程度分かっている場合(例えば上述の要求方向が認識できる場合)に、その要求を行ったユーザ以外のユーザを被写体として捉えてしまうことを回避する手法である。
【0163】
<6.第2の実施の形態の撮像動作>
第2の実施の形態の撮像動作制御を図29に示す。
ステップF101〜F107は図12と同様であり、説明を省略する。
この第2の実施の形態では、要求対応撮像モードとなった場合に、制御部27は、ステップF106での被写体検出処理、ステップF107での構図処理を行った後、レリーズ予告を行わずに、レリーズを行う例である。
【0164】
例えばフローチャート中で実線で示すように、ステップF107での構図処理がOKとなったら、ステップF108Aとして制御部27(モードシーケンス制御部86)はレリーズタイミング判定処理を行う。
そして、レリーズタイミングと判定したら、ステップF109に進み、レリーズ処理を行う。レリーズ処理後、ステップF102で自動撮像モードに復帰する。
【0165】
レリーズタイミング判定処理とは、所定の静止画撮像条件を満たしたか否かを判定する処理であり、各種の例が考えられる。
例えば時間によるレリーズタイミング判定が考えられる。例えば構図処理がOKとなった時点から所定時間(例えば2,3秒)の経過を静止画撮像条件とする。その場合、制御部27(モードシーケンス制御部86)は、ステップF108Aでは所定時間のカウントを行い、所定時間経過により、ステップF109で、撮像記録制御部81の制御によるレリーズ処理を実行させる。
【0166】
また特定の音声入力があったときに、静止画撮像条件を満たしたと判断してもよい。
例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを静止画撮像条件としての特定の音とする。
制御部27(モードシーケンス制御部86)は、ステップF108Aで、これらの特定の音の入力検出を行う。
そして音声入力部35からの入力音声信号解析結果から、これらの特定の音が確認されたら、レリーズタイミングとなったとして、ステップF109で、撮像記録制御部81の制御によるレリーズ処理を実行させる。
【0167】
また撮像画像から特定の被写体状態が判定されたときに、静止画撮像条件を満たしたと判断してもよい。
制御部27(モードシーケンス制御部86)は、ステップF108Aで、撮像画像の解析により検出される特定の被写体状態の有無を監視する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動を行った状態が考えられる。或いは、被写体となっているユーザが撮像システムを注視するなども考えられる。
制御部27は、撮像画像の画像解析処理により、これらユーザの特定の状態を判定する。そして特定の被写体状態が検出されたら、レリーズタイミングとなったとして、ステップF109で、撮像記録制御部81の制御によるレリーズ処理を実行させる。
【0168】
なお、この第2の実施の形態では、レリーズ予告処理を行わないとしたが、ステップF108Aでレリーズタイミング判定を行う場合、レリーズ予告動作を実行させることで、ユーザによる静止画撮像条件に相当する行動(例えば笑顔、発声など)を促すことも好適である。
【0169】
また、処理例として、図29に破線で示すように、構図処理後、すぐにステップF109に進んで、レリーズ処理を行うことも考えられる。
【0170】
なお、この第2の実施の形態においても、第1の実施の形態の変形例として述べた各種の例を、変形例として適用することができる。
【0171】
<7.第3の実施の形態の撮像動作>
第3の実施の形態の処理例を図30に示す。
ステップF101〜F105は図12と同様であり、説明を省略する。
この第3の実施の形態では、トリガ入力により要求対応撮像モードとなった場合、撮像準備処理としての被写体検出処理、構図処理を行わずに、すぐにステップF108でレリーズ予告を行ない、その後ステップF109でレリーズを行う例である。
ステップF108、F109の処理は図12と同様である。
【0172】
例えば要求対応撮像モードとする場合として、そのときのデジタルスチルカメラ1の撮像視野の状態で、静止画撮像を行わせたいという場合が考えられる。
このような場合に応じては、特に被写体検出処理、構図処理が不要となる場合もある。
例えば自動撮像モードでデジタルスチルカメラ1の撮像視野が自動的に変化しているときに、ユーザが、自分の方にデジタルスチルカメラ1が向いたときを見計らってトリガ入力を行う。すると、その状態でレリーズ予告動作が行われ、静止画撮像が行われるものとなる。
このような処理であっても、ユーザの要求に応じた静止画撮像が実現される。
【0173】
なお、この第3の実施の形態においても、第1の実施の形態の変形例として述べた各種の例(被写体検出処理、構図処理以外の例えばトリガ入力などの例)を、変形例として適用することができる。
特にこの第3の実施の形態の場合、第1の実施の形態の変形例として図13で述べた動作、つまり図13のステップF120の要求方向判定、ステップF121の要求方向へのパン・チルト制御を組み合わせることも好適である。
その場合、ユーザがトリガ入力を行うことで、まずそのユーザの方向にデジタルスチルカメラ1が振り向き、その状態でレリーズ予告、レリーズ処理が行われるものとなる。
【0174】
<8.第4の実施の形態の撮像動作>
第4の実施の形態は、自動撮像モードでの処理例として述べる。
図11(b)が第4の実施の形態の処理例である。
【0175】
図11(b)のステップF1〜F3は図11(a)と同様である。この場合制御部27は、ステップF3で構図処理がOKとなったら、ステップF4Aとして、レリーズ予告処理を行う。レリーズ予告処理については、図12のステップF108において述べた処理と同様である。
つまり、この第4の実施の形態は、自動撮像モードでの静止画撮像時にも、レリーズ予告処理を行って、ユーザに静止画撮像を行うことを知らせる処理例である。
この処理は、要求対応撮像モードを設けない撮像システムにも適用できるし、図12のステップF102の自動撮像モード処理として図11(b)の処理を適用できる。
【0176】
自動撮像モードであっても、レリーズ予告処理を行うことで、それに気づいたユーザは、静止画撮像を意識してポーズを撮ることなども可能となる。
【0177】
<9.機能構成の変形例>
以上、各種の実施の形態の処理例を説明してきたが、ここまでは基本的には図10の機能構成に基づいた制御処理として述べてきた。
例えばデジタルスチルカメラ1と雲台10から成る撮像システムでは、図10以外にも機能構成例が考えられる。以下、例を挙げる。
【0178】
図31は、図10と比較してわかるように、デジタルスチルカメラ1の制御部27側にトリガ検出/受付部87としての機能を与えた例である。つまり制御部27側でトリガ入力の検知も行い、トリガ検知があったら、要求対応撮像モードへのトリガとして受け付ける例である。
第1の実施の形態の変形例として、トリガ入力の各種例を説明した。例えばデジタルスチルカメラ1の筐体にタッチセンサが設けられる場合、デジタルスチルカメラ1への操作としてトリガ入力が行われる場合などは、図31のように制御部27のトリガ検出/受付部87が機能して、トリガ入力を認識することになる。
また、図8に示した音声入力部35が設けられ、特定の音声入力をトリガ入力と認識する場合も、図31のトリガ検出/受付部87が、その認識処理を行う。
さらに、デジタルスチルカメラ1側の制御部27にトリガ検出/受付部87としての機能を備えるようにした場合は、信号処理部24での画像解析、即ち被写体検出処理の過程で、上述した特定の被写体状態としての挙動や目線等を認識し、トリガ入力の検知を行う。
【0179】
これらのことから、図31のような機能構成が採用されることもある。
もちろん、図10の雲台10側のトリガ検出部73と、図31のデジタルスチルカメラ1側のトリガ検出/受付部87の両方が機能構成として設けられ、多様なトリガ入力に対応できるようにしてもよい。
【0180】
また機能構成の他の例として、図示は省略するが、図10又は図31におけるレリーズ予告動作制御部84が、雲台10側に設けられてもよい。
即ち図9で示したように雲台10側にレリーズ予告実行部64が設けられたり、雲台のパン・チルト動作でレリーズ予告としての動作を実行する場合である。
この場合、モードシーケンス制御部86が通信によってレリーズ予告動作の指示を雲台10側のレリーズ予告動作制御部に与える。これに応じてレリーズ予告動作制御部が、レリーズ予告実行部64の動作の実行制御を行い、又はパン・チルト動作による所定の挙動を実行制御する。
【0181】
図32は、デジタルスチルカメラ1側は撮像記録制御部81と通信処理部85のみを有する例である。そして雲台10側(制御部51)に、通信処理部71、トリガ検出部73、撮像準備処理部74、撮像視野可変制御部75、レリーズ予告動作制御部76、モードシーケンス制御部77、トリガ検出/受付部79を設ける。
【0182】
各機能部が実行する制御処理は、基本的には図10で説明したものと同様であるが、次の点が異なる。
撮像準備処理部74は、被写体検出処理や構図処理を行うために、各フレーム画像としての撮像画像データを、デジタルスチルカメラ1の信号処理部24から供給を受けるようにする。そして画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
撮像視野可変制御部75は、撮像準備処理部74からの指示に応じて、パン用駆動部55、チルト用駆動部58を制御して、被写体検出や構図合わせのためのパン・チルト動作を実行させる。
また、ズーム制御のために、撮像準備処理部74は、ズーム制御信号を通信処理部71を介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)に出力する。撮像記録制御部81は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
【0183】
また、モードシーケンス制御部77は、例えば図12等の自動撮像モード、要求対応撮像モードの動作を実現するために各機能部位に指示を与える。
モードシーケンス制御部77は、図12のステップF109等のレリーズ処理を行う際には、通信処理部71介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)にレリーズ制御信号を出力する。撮像記録制御部81は、レリーズ制御信号に応じて、静止画記録動作を実行制御する。
トリガ検出/受付部79は、トリガ入力を検知する。そして検知した場合に要求対応撮像モードへのトリガとして受け付ける。
【0184】
また、レリーズ予告処理を行う場合は、モードシーケンス制御部86がレリーズ予告動作の指示をレリーズ予告動作制御部76に与える。これに応じてレリーズ予告動作制御部76が、雲台10側のレリーズ予告実行部64の動作の実行制御を行い、又はパン・チルト動作による所定の挙動を実行制御する。
【0185】
なお、この図32の変形例として、図示は省略するが、トリガ検出部や、レリーズ予告動作制御部がデジタルスチルカメラ1に設けられる場合、或いは両方に設けられる場合が考えられる。
即ちトリガ入力や、レリーズ予告動作の実行を、デジタルスチルカメラ1側で行うか、雲台10側で行うか、或いは両方で行うかによるものとなる。
【0186】
図33は、図32の更なる変形例である。これは図9で言及したように、雲台10側に撮像部63が設けられる場合に対応する例である。
撮像準備処理部74は、デジタルスチルカメラ1側からではなく、撮像部63から、フレーム画像データを入力する。そして画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
この場合も図32の場合と同様に、撮像視野可変制御部75は、撮像準備処理部74からの指示に応じて、パン用駆動部55、チルト用駆動部58を制御して、被写体検出や構図合わせのためのパン・チルト動作を実行させる。また、ズーム制御のために、撮像準備処理部74は、ズーム制御信号を通信処理部71を介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)に出力する。撮像記録制御部81は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
【0187】
また撮像部63が雲台10側に設けられていることで、特定の被写体状態、つまりユーザの特定の挙動や目線等によるトリガ入力も、雲台10側で対応できる。
このためトリガ検出/受付部79は、撮像部63からの撮像画像データを解析し、トリガ入力を検知する。そして検知した場合に要求対応撮像モードへのトリガとして受け付ける。
なお、この図33の変形例としても、トリガ検出部や、レリーズ予告動作制御部がデジタルスチルカメラ1に設けられる場合、或いは両方に設けられる場合が考えられる。
【0188】
また、デジタルスチルカメラ1側のみにトリガ検出部が設けられ、雲台10側にトリガ受付部が設けられる場合もある。
図34に例を示す。図34は、デジタルスチルカメラ1(制御部27)側は撮像記録制御部81と通信処理部85とトリガ検出部88を有する例である。そして雲台10側(制御部51)に、通信処理部71、トリガ受付部78、撮像準備処理部74、撮像視野可変制御部75、レリーズ予告動作制御部76、モードシーケンス制御部77を設ける。
例えばデジタルスチルカメラ1の筐体にタッチセンサが設けられたり、音声入力部35が設けらる場合など、デジタルスチルカメラ1側でのユーザ操作や特定の音声入力をトリガ検出部88が検知する。そして通信処理部85,71を介して雲台10側のトリガ受付部78に、トリガ検知を通知する。トリガ受付部78は、その通信によりトリガ入力の受付を行い、モードシーケンス制御部77にトリガ入力があったことを通知する。モードシーケンス制御部77は、例えば図12等の自動撮像モード、要求対応撮像モードの動作を実現するために各機能部位に指示を与える。
【0189】
以上、制御機能の構成例を例示したが、当然、さらに多様な制御機能構成が考えられる。
本発明の実施の形態としての最も基本的な機能構成は図35(a)又は図35(b)のようになる。
図35(a)はデジタルスチルカメラ1側にモードシーケンス制御部86とトリガ受付部89(又はトリガ検出/受付部87)が、少なくとも設けられる場合を示している。他の各機能部位はデジタルスチルカメラ1側又は雲台10側のいずれかに設けられるものとして、多様な例が想定される。例えば図10、図31のような構成がこれに該当する。
また図35(b)は雲台10側にモードシーケンス制御部86とトリガ受付部78(又はトリガ検出/受付部79)が、少なくとも設けられる場合を示している。他の各機能部位はデジタルスチルカメラ1側又は雲台10側のいずれかに設けられるものとして、多様な例が想定される。例えば図32、図33、図34のような構成がこれに該当する。
そしてこれらから理解されるように、本発明の撮像制御装置は、デジタルスチルカメラ1としての制御機能構成としても実現できるし、雲台10の制御機能構成としても実現できる。さらにデジタルスチルカメラ1と雲台10による撮像システムの制御機能構成としても実現できる。換言すれば、デジタルスチルカメラ1、雲台10のそれぞれ、又はそれらのセットの撮像システムは、本発明の撮像制御装置、又は撮像制御方法の実施製品となり得る。
なお、図10、図31〜図34、及び図35では、各制御機能部位をブロック化して示しているが、これらがそれぞれ独立したプログラムモジュール、或いはハードウエアとして構成される必要はない。事実上、これらの制御機能部の総合的な処理として、図12等の処理動作が実現されるものであればよい。
【0190】
<10.プログラム>
本実施の形態のプログラムは、上述した各実施の形態、或いは変形例の処理動作として自動撮像モード、要求対応撮像モードの処理をCPU等の演算処理装置に実行させるプログラムである。特に制御部27,51によって起動されることで図12等の上述した処理を実現させる。
【0191】
本実施の形態のプログラムは、パーソナルコンピュータや、デジタルスチルカメラ1や雲台10等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0192】
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0193】
そして本発明のプログラムによれば、上記各実施の形態の処理を実現する撮像装置、撮像システムの実現及び広範な提供に適している。
【符号の説明】
【0194】
1 デジタルスチルカメラ、2 本体部、21a レンズ部、31a レリーズボタン、10 雲台、11 本体部、12 カメラ台座部、13 突起部、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、35 音声入力部、36 レリーズ予告実行部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、59 接続検出部、60 操作部、60b〜60d タッチ領域、62 音声入力部、63 撮像部、64 レリーズ予告実行部、81 撮像記録制御部、82,74 撮像準備処理部、83,75 撮像視野可変制御部、84,76 レリーズ予告動作制御部、86,77 モードシーケンス制御部、72 パン・チルト制御部、73,87 トリガ検出部、78,89 トリガ受付部、79,87 トリガ検出/受付部
【技術分野】
【0001】
本発明は、自動的に撮像視野を変化させて撮像を行う撮像装置、撮像システムについての撮像制御装置及び撮像制御方法に関する。また、当該撮像制御装置及び撮像制御方法を実現するためのプログラムに関する。
【先行技術文献】
【特許文献】
【0002】
【特許文献1】特開2009−100300号公報
【背景技術】
【0003】
上記特許文献1には、デジタルスチルカメラと、該デジタルスチルカメラのパン/チルト方向の向きを電動により変化させる雲台とを備えた撮像システムにより、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う技術が開示されている。
この特許文献1に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作(撮像画像自動記録)によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところでカメラマンが不要な自動撮像によれば、例えばパーティ等においてユーザがカメラマンを意識しないことで、自然な表情、姿を撮像できるという利点がある。その一方で、ユーザによっては、意識した表情や姿を写してもらいたいという場合もある。例えば記念撮影であったり、カメラに向かってポーズをとっている姿や撮像を意識した表情などを写してもらいたい場合である。
通常、カメラマンがカメラを持って静止画撮像している場合では、写真を撮ってもらいたいユーザが、カメラマンを呼び、撮ってもらうように要望し、集合したり、ポーズをきめたりする。
ところが上記の自動撮像を行っているのみでは、このような写真撮影(静止画撮像)を行うことができない。自動的な撮像の場合、撮られるタイミング(いわゆるシャッタタイミング/レリーズタイミング)をユーザが知ることができないためである。
そこで本発明は、自動撮像を行う撮像システムにおいて、ユーザの要望に応じた静止画撮像が容易に実現できるようにすることを目的とする。
【課題を解決するための手段】
【0005】
本発明の撮像制御装置は、被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置についての撮像視野の可変機構を駆動制御する撮像視野可変制御部と、ユーザのレリーズ操作によらない静止画撮像動作として、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像装置が自動的に静止画撮像動作を行う際に、予告動作実行部に静止画撮像を行うことの予告動作を実行させる制御を行う撮像予告動作制御部とを備える。
また、被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置における静止画撮像動作を制御する撮像記録制御部をさらに備え、上記撮像予告動作制御部は、ユーザのレリーズ操作によらない静止画撮像動作として、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が自動的に静止画撮像動作を行う際に、予告動作実行部に静止画撮像を行うことの予告動作を実行させる制御を行う。
【0006】
また所定のトリガ入力を受け付けるトリガ受付部をさらに備え、上記撮像予告動作制御部は、上記トリガ受付部で上記トリガ入力が受け付けられた後の静止画撮像動作が実行される際に、上記予告動作の実行を制御する。
上記トリガ受付部は、ユーザによる特定の操作入力、例えばタッチセンサ部へのユーザによるタッチ操作や、特定の音声入力を上記トリガ入力として受け付けたり、撮像画像から特定の被写体状態が判定されたら上記トリガ入力として受け付ける。
また上記撮像予告動作制御部は、上記予告動作として、音声出力、又は表示出力を実行させる制御や、上記可変機構を駆動制御して上記撮像装置に所定の動作を実行させる制御を行う。
また上記撮像記録制御部は、上記予告動作の実行後又は実行開始後、所定の静止画撮像条件を満たしたときに、上記撮像装置に静止画撮像動作を実行させる。
【0007】
また、上記レリーズ操作によらない撮像動作の動作モードとして、自動撮像モードと要求対応撮像モードが設けられ、上記トリガ受付部が受け付ける上記トリガ入力は、上記自動撮像モードから上記要求対応撮像モードへの切換入力とされる。そして上記自動撮像モードとして、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行っている際に、上記トリガ受付部によって上記トリガ入力が受け付けられた場合、上記要求対応撮像モードとして、上記撮像記録制御部の制御による静止画撮像動作を実行させる要求対応撮像制御部をさらに備える。上記撮像予告動作制御部は、上記要求対応撮像制御部によって上記要求対応撮像モードでの静止画撮像動作が実行される際に、上記予告動作の実行を制御する。
また静止画撮像のための撮像視野を決定する処理を行う撮像準備処理部をさらに備え、上記要求対応撮像制御部は、上記要求対応撮像モードとして、上記撮像準備処理部に要求対応撮像動作のための撮像視野を決定する処理を実行させ、撮像視野決定後、上記撮像予告動作制御部の制御による上記予告動作を実行させてから上記撮像記録制御部の制御による静止画撮像動作を実行させる。
また上記要求対応撮像モードの際に、上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、撮像視野内に撮像要求に応じた被写体を入れるための被写体検出処理を行う。
また上記要求対応撮像モードの際に、上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、撮像視野内における被写体画像の配置を調整する構図処理を行う。
また上記トリガ受付部は、上記トリガ入力についての入力方向を検知可能とされ、上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を、上記入力方向に駆動制御させる。
【0008】
本発明の撮像制御方法は、被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、上記静止画撮像部の撮像視野の可変機構と、静止画撮像を行うことの予告動作を実行する予告動作実行部とを有する撮像装置又は撮像システムに対する撮像制御方法である。そして、ユーザのレリーズ操作によらない静止画撮像動作として、上記可変機構を駆動制御しながら上記静止画撮像部に自動的に静止画撮像動作を行わせる際に、上記予告動作実行部に静止画撮像を行うことの予告動作を実行させる。
本発明のプログラムは、上記の撮像装置又は撮像システムについての制御処理プログラムとして、上記撮像制御方法の処理を演算処理装置に実行させるプログラムである。
【0009】
このような本発明では、ユーザのレリーズ操作によらない静止画撮像動作を行っている場合において、静止画撮像を行うとき、つまりレリーズタイミングの直前に、静止画撮像を行うことの予告動作を実行させる。これによって、ユーザは撮像装置のレリーズタイミングを知ることができる。
また、自動撮像モードと要求対応撮像モードを設定する場合は次のようになる。自動撮像モードとしては、撮像装置(撮像システム)は、自動的に可変機構を駆動して撮像視野を変化させながら、静止画撮像動作を実行する。この自動撮像モードでの動作は、ユーザの意志、要望とは関係なく実行される。この自動撮像モードでの動作中に、ユーザは所定のトリガ入力を行うことによって、撮像を要求することができる。このトリガ入力に応じた撮像動作が要求対応撮像モードの動作となる。そして要求対応撮像モードでも、ユーザのレリーズ操作によらないで自動的に静止画撮像動作を実行するのであるが、このとき、静止画撮像を行うことの予告動作も行うようにする。すると、ユーザはトリガ入力を行った後、予告動作によってレリーズタイミングを知ることができ、表情やポーズをきめるなどすることも容易となる。つまり自動撮像モードと要求対応撮像モードによる撮像動作は、通常のカメラマンが撮像する場合の、「カメラマンの意志による撮像」と、「ユーザからの要望による撮像」を、それぞれで実行できるものとなる。
【発明の効果】
【0010】
本発明によれば、ユーザのレリーズ操作によらない自動的な静止画撮像動作が行われている際に、ユーザは静止画撮像の予告動作によって、レリーズタイミングを知ることができる。従って、ユーザは「カメラを意識した写真」を撮ってもらいたいときにレリーズタイミングでポーズをきめるなど対応ができる。
また自動撮像モードと要求対応撮像モードを設定する場合は、自動撮像モードでの撮像により、自然な表情、姿、光景等を撮像できることに加え、要求対応撮像モードでの撮像により、ユーザの要望に応じた撮像を行うこともできる。これによって、カメラマンが不要な自動的な撮像として、カメラマンが撮像する場合と同等の、多様な撮像を行うことができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態の撮像システムの構成要素であるデジタルスチルカメラの正面図及び背面図である。
【図2】実施の形態の撮像システムの構成要素である雲台の斜視図である。
【図3】実施の形態の雲台にデジタルスチルカメラを取り付けた状態の正面図である。
【図4】実施の形態の雲台にデジタルスチルカメラを取り付けた状態でのパン方向の動きの説明図である。
【図5】実施の形態の雲台にデジタルスチルカメラを取り付けた状態でのチルト方向の動きの説明図である。
【図6】実施の形態の雲台の背面図である。
【図7】実施の形態の雲台のタッチセンサ部の説明図である。
【図8】実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。
【図9】実施の形態の雲台の内部構成例を示すブロック図である。
【図10】実施の形態の制御機能構成の説明図である。
【図11】実施の形態の自動撮像処理のフローチャートである。
【図12】第1の実施の形態の撮像制御処理のフローチャートである。
【図13】実施の形態の変形例として要求方向へのパン・チルトを行う撮像制御処理のフローチャートである。
【図14】実施の形態の変形例として被写体検出を行わない撮像制御処理のフローチャートである。
【図15】実施の形態の変形例として構図処理を行わない撮像制御処理のフローチャートである。
【図16】実施の形態の変形例として構図処理を行わない他の撮像制御処理のフローチャートである。
【図17】実施の形態の変形例として撮像画像提示処理を行う撮像制御処理のフローチャートである。
【図18】実施の形態の基本的な構図処理の説明図である。
【図19】実施の形態の基本的な構図処理の説明図である。
【図20】実施の形態の構図処理における目標範囲の説明図である。
【図21】実施の形態の構図処理における目標範囲への重心配置の説明図である。
【図22】構図処理における局所解と最良解の説明図である。
【図23】構図処理における局所解と最良解の説明図である。
【図24】実施の形態の仮構図合わせの説明図である。
【図25】実施の形態の仮構図合わせ後の本構図合わせの説明図である。
【図26】実施の形態の仮構図の目標範囲の説明図である。
【図27】実施の形態の自動撮像モードと要求対応撮像モードでの構図処理のフローチャートである。
【図28】実施の形態の仮構図合わせと本構図合わせの処理のフローチャートである。
【図29】第2の実施の形態の撮像制御処理のフローチャートである。
【図30】第3の実施の形態の撮像制御処理のフローチャートである。
【図31】実施の形態の他の制御機能構成の説明図である。
【図32】実施の形態の他の制御機能構成の説明図である。
【図33】実施の形態の他の制御機能構成の説明図である。
【図34】実施の形態の他の制御機能構成の説明図である。
【図35】実施の形態の基本的な制御機能構成の説明図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態を次の順序で説明する。実施の形態では、デジタルスチルカメラと雲台より成る撮像装置(撮像システム)を例に挙げる。
<1.撮像システムの構成>
[1−1:全体構成]
[1−2:デジタルスチルカメラ]
[1−3:雲台]
<2.機能構成例>
<3.自動撮像処理>
<4.第1の実施の形態の撮像動作>
<5.第1実施の形態の変形例>
[5−1:要求対応撮像モードへのトリガ]
[5−2:要求方向へのパン・チルト]
[5−3:要求対応撮像モードで被写体検出を実行しない例]
[5−4:要求対応撮像モードで構図処理を実行しない例]
[5−5:要求対応撮像モードでの撮像画像提示]
[5−6:仮構図処理]
[5−7:その他の要求対応撮像モードでの制御方式]
<6.第2の実施の形態の撮像動作>
<7.第3の実施の形態の撮像動作>
<8.第4の実施の形態の撮像動作>
<9.機能構成の変形例>
<10.プログラム>
【0013】
なお、本明細書では「画枠」「画角」「撮像視野」「構図」という語を用いるが、各語の定義は以下の通りである。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野」は、撮像光学系による視野を表す。即ち撮像装置の周囲光景のうちで撮像対象として画枠に収まる範囲である。これは上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まる。
「構図」は、ここでは、フレーミングともいわれるもので、例えば撮像視野によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
【0014】
<1.撮像システムの構成>
[1−1:全体構成]
実施の形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が着脱可能に取り付けられた雲台10とを備えて成る。
図1にデジタルスチルカメラ1の外観例を示す。図1(a)、図1(b)は、それぞれデジタルスチルカメラ1の正面図、背面図である。
このデジタルスチルカメラ1は、図1(a)に示すように、本体部2の前面側にレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
【0015】
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モード時においてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。撮像モード時には、後述するイメージセンサにより所定フレームレートで各フレーム毎の撮像画像データが得られる。
そして、レリーズボタン31aに対する操作(レリーズ操作/シャッタ操作)が行われると、そのタイミングでの撮像画像(フレーム画像)が、静止画の画像データとして記録媒体に記録される。つまり、一般に写真撮影といわれる静止画撮像が行われる。
【0016】
また、デジタルスチルカメラ1は、図1(b)に示すように、背面側に表示画面部33aを有する。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。スルー画は、イメージセンサで得られる各フレーム画像に基づく動画像であり、そのときの被写体をそのまま表す画像となる。
また、再生モード時においては、記録媒体に記録されている画像データが再生表示される。
さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
また表示画面部33aに対してタッチパネルが組み合わされているようにすることで、ユーザは、表示画面部33aに対して指を当てることによって、必要な操作を行うことができる。
【0017】
なお図示は省略しているが、デジタルスチルカメラ1には、レリーズボタン31a以外の各種のキー、ダイヤル等の操作子が設けられる場合もある。
さらにデジタルスチルカメラ1には、後述する音声入力部35としての集音部分や、レリーズ予告実行部36としてのLED発行部やスピーカ部などが設けられる場合もある。
【0018】
図2は雲台10の外観を示す斜視図である。また、図3〜図5は、本実施の形態の撮像システムの外観として、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5は側面図(特に図5(b)では側面図によりチルト機構の可動範囲を示している)である。
図2、及び図3,図4,図5に示すように、雲台10は、大きくは接地台部15の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
【0019】
雲台10にデジタルスチルカメラ1を取り付けるときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に置く。
図2に示すように、カメラ台座部12の上面部には、突起部13とコネクタ14が設けられている。図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
【0020】
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにカメラ台座部12にデジタルスチルカメラ1が適正に取り付けられた状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
【0021】
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12においてその位置を或る範囲内で変更(移動)できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に取り付けできるようになっている。
【0022】
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
雲台10を例えばテーブル上や床面上などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台10に取り付けられたデジタルスチルカメラ1の水平方向(左右方向)における撮像視野を変化させることができる(所謂パンニング)。
なお、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有している。
【0023】
また、この雲台10のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すように、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、すなわちパン位置(パン角度)を0°〜360°により表すものとする。
【0024】
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面部GRとが平行となる。
そのうえで図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。
このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に取り付けられたデジタルスチルカメラ1のチルト方向(上下方向)における撮像視野を変化させることができる。つまりチルティングの動作が得られる。
【0025】
図6は、雲台10の背面図を示している。
図示するように雲台10には、その本体部11の背面部において、電源ケーブルを着脱可能に接続する電源端子部t−Vinと、ビデオケーブルを着脱可能に接続するビデオ端子部t−Videoとが形成されている。
【0026】
雲台10は、上述したカメラ台座部12にて取り付けられたデジタルスチルカメラ1に対して上記電源端子部t−Vinを介して入力された電力を供給することで、上記デジタルスチルカメラ1に対する充電を行うように構成されている。
つまり本例の雲台10は、デジタルスチルカメラ1に対する充電を行うためのクレードル(ドック)としても機能する。
また、本例の場合、雲台10は、デジタルスチルカメラ1側から例えば撮像画像に基づく映像信号が伝送されてきた場合に、該映像信号を上記ビデオ端子部t−Videoを介して外部出力するように構成されている。
また、この図6や先の図4にも示したように、雲台10の本体部11における背面部には、メニューボタン60aが設けられる。メニューボタンの操作により、雲台10とデジタルスチルカメラ1の間の通信により、例えばデジタルスチルカメラ1側の表示画面部33aでメニュー表示が行われる。このメニュー表示により、ユーザが所要の操作を行うことが可能とされる。
【0027】
ところで本実施の形態としての一例では、後述する要求対応撮像モードの動作を実行させるためのトリガの1つとしてユーザのタッチ操作が採用される。
具体的には、ユーザは雲台10にタッチするという操作を行う。このため、例えば図7(a)のように本体部11の上面にタッチ領域60bが形成されている。このタッチ領域60bにユーザがタッチすることで、雲台10に装備されたタッチセンサが当該タッチ操作を検出する。
なお、この図7では、破線で示す正面側の一部領域をタッチ領域60bとしているが、例えば本体部11の上面全面をタッチ領域60bとしてもよい。
【0028】
また、図7(b)には、雲台10の本体部11の上面において、正面方向側、右方側、左方側のそれぞれに、タッチ領域60b、60c、60dが形成されている例を示している。例えば雲台10内に3つのタッチセンサが装備され、各タッチ領域60b、60c、60dへのタッチ操作が、それぞれのタッチセンサにより検出される。
この場合、どのタッチセンサによりタッチ操作が検出されたかにより、デジタルスチルカメラ1及び雲台10による撮像システム側で、ユーザが、正面、右方、左方のうちのどの方向からタッチ操作を行ったかを判別できる。
ここでは、3つのタッチ領域60b〜60dを形成した場合を例示しているが、もちろん、より多数のタッチセンサを備え、多数のタッチ領域で、より細かくタッチ操作が行われた方向を判定できるようにしてもよい。
【0029】
また、図示しないが、雲台10には、マイクロホン及び音声入力回路系を有する音声入力部(後述の音声入力部62)が設けられる場合がある。
また雲台10には、撮像レンズ、イメージセンサ、撮像信号処理系などを備えた撮像部(後述の撮像部63)が設けられる場合もある。
さらに雲台10には、LED等の発光表示部、液晶パネル等による表示部、スピーカ及び音声出力回路等による音声出力部等が、後述するレリーズ予告実行部64として設けられる場合もある。
それらについては逐次後述する。
【0030】
[1−2:デジタルスチルカメラ]
図8は、デジタルスチルカメラ1の内部構成例を示したブロック図である。
光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部27が実行するズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【0031】
イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【0032】
上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
【0033】
信号処理部24は、例えばDSP(Digital Signal Processor)で構成され、A/Dコンバータ23から出力されるデジタル撮像信号について、プログラムに従った所定の信号処理を施す。
信号処理部24は、A/Dコンバータ23から出力されるデジタル撮像信号について、1つの静止画 (フレーム画像)に相当する単位で取り込みを行う。そして取り込んだ静止画単位の撮像信号について所定の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成する。
また信号処理部24は、このようにして取得した撮像画像データを利用して、後述する被写体検出処理や構図処理のための画像解析処理を実行する場合もある。
【0034】
ここで、上記のように信号処理部24で生成した撮像画像データを画像情報として記録媒体であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。
メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。
なお、画像データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。例えば光ディスク、ハードディスク、着脱不能に取り付けられたフラッシュメモリチップなどの半導体メモリチップ、ホログラムメモリ等、各種の記録媒体を採用することもできる。
【0035】
また、デジタルスチルカメラ1は、上記信号処理部24にて得られる撮像画像データを利用して表示部33に画像表示を実行させることで、現在撮像中の画像である、いわゆるスルー画を表示させることができる。
例えば信号処理部24は、上述のようA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。
【0036】
表示ドライバ32は、上記のように信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していく。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていく。
これをユーザが見れば、そのときに撮像している画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
【0037】
また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
【0038】
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33において、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
【0039】
また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。
この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力する。これにより、表示部33でユーザインターフェース画像が表示される。
なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【0040】
制御部27は、CPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。
ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。
RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。
なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
【0041】
本実施の形態の場合、制御部27は、自動撮像のために各種の撮像準備処理を行う。
まず被写体検出処理として、撮像視野を変化させながら信号処理部24で得られる各フレーム画像から被写体検出を実行し(又は信号処理部24に実行させ)、デジタルスチルカメラ1の周囲の被写体を探索する処理を行う。
また構図処理として、被写体検出に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、及び最適構図判定により求まった最適とされる構図を目標構図とした構図合わせを行う。
これらの撮像準備処理の後、制御部27は撮像画像の自動記録を実行せる制御・処理を行う。
また撮像実行(レリーズ)に先だって、静止画撮像を行うことをユーザに提示する予告動作のための制御も行う。
これらの制御処理については後述する。
【0042】
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成して上記制御部27に出力する操作情報信号出力部位とを一括して示している。
各種操作子としては、レリーズボタン31aや、図1では省略した電源ボタン、モードボタン、ズーム操作ボタン、操作ダイヤル等がある。
また表示部33がタッチパネルとして形成される場合、そのタッチセンサ部も、この操作部31の具体例の1つとなる。
さらに、リモートコントローラからのコマンド信号の受信部も、操作部31の例の一つとなる。
制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
なお、先に雲台10にタッチセンサが設けられると述べたが、一例としてデジタルスチルカメラ1の筐体にタッチセンサが設けられる場合も考えられる。その場合のタッチセンサも図示する操作部31の具体例の1つとなる。
【0043】
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位である。
例えばデジタルスチルカメラ1が雲台10に取り付けられた状態において、雲台10側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
【0044】
また雲台10側からの充電を可能とすべく、上記の各コネクタには通信信号のやり取りを行うための端子のみでなく充電用電力の伝送のための端子も設けられる。図示は省略したが、デジタルスチルカメラ1には、バッテリーを着脱可能に装着するためのバッテリー装着部が設けられており、該装着部に装着されたバッテリーに対し、上記雲台10側から伝送された電力に基づく充電が行われるようになっている。
【0045】
またデジタルスチルカメラ1には、音声入力部35が設けられる場合がある。後述する要求対応撮像モードへのトリガ入力として、例えば特定の言葉の声や特定の音(例えば手を叩く音など)の入力を検出する場合に用いられる。
音声入力部35としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部27が実行するものとしてもよい。
さらにレリーズタイミングの判断として、特定の言葉の声や特定の音の入力を判別する場合にも音声入力部35が設けられる。
【0046】
またデジタルスチルカメラ1には、レリーズ予告実行部36が設けられる場合がある。後述するレリーズ予告動作を実行する部位である。
レリーズ予告実行部36は、ユーザに表示や音声などで静止画撮像を行うことを提示できる装置部であればよい。
例えば所定の発光パターンにより予告を行うべく、LEDなどの発光素子及びその発光駆動回路による発光動作部とされる場合が考えられる。
或いはデジタルスチルカメラ1の筐体正面側に設けられる液晶表示部等として特定の文字表示、色表示、パターン表示等により予告を行う表示部とされてもよい。
また、電子音、ビープ音、メッセージ音声などで予告を行うものとして、音声信号発生部、アンプ、スピーカ等から成る音声出力部とされてもよい。
さらには、これらが併用されてもよい。
【0047】
[1−3:雲台]
図9は、雲台10の内部構成例を示している。
先の図6に示したように、雲台10には電源端子部t−Vinとビデオ端子部t−Videoとが設けられている。
電源端子部t−Vinを介して入力された電力は、電源回路61を介した後、雲台10内の必要な各部の動作電力として供給される。また、電源回路61においては、デジタルスチルカメラ1に対する充電用電力が生成され、該充電用電力は通信部52(コネクタ)を介してデジタルスチルカメラ1側に供給される。
また、上記ビデオ端子部t−Videoには、デジタルスチルカメラ1側から伝送された映像信号が通信部52→制御部51を介して供給される。
【0048】
なお、ここでは、雲台10の各部の動作電力は上記電源入力端子t−Vinを介してのみ供給されるかのように示しているが、実際には雲台10には、電池の装着部が設けられ、該装着部に装着された電池から各部の動作電力を供給することが可能に構成されている。
【0049】
また、本実施の形態の雲台10には、上記電源端子部t−Vin、上記ビデオ端子部t−Videoへのケーブルの接続有無を検出するための接続検出部59が設けられる。ケーブル接続有無の検出機構の具体的な構成については、例えばケーブルの接続/抜き取りに応じてスイッチがON/OFFする構成などを挙げることができる。但し本実施の形態においては、接続検出部59としては、ケーブルの接続/抜き取りを識別するための検出信号を出力するように構成されたものであればよく、その具体的な構成については特に限定されない。
上記接続検出部59による検出信号(電源端子部t−Vinについての検出信号とビデオ端子部t−Videoについての検出信号)は、制御部51に対して供給される。
【0050】
また雲台10は、先に述べたようにパン・チルト機構を備えるものであり、これに対応する部位として、図9にパン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を示している。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。
同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
【0051】
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータによって成り、パン機構部53、チルト機構部56の動きをコントロールする。
例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号により、パン用モータ54が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様に、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
【0052】
ここで、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
これにより制御部51は、駆動中のパン機構部53、チルト機構部56の回転角度量の情報をリアルタイムに取得(モニタ)できるようにされている。
【0053】
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位である。
この通信部52は、雲台対応通信部34と同様に、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
【0054】
操作部60は、具体的には、先の図4や図6に示したメニューボタン60aとしての操作子と、この操作子に対して行われた操作に応じた操作情報信号を生成して制御部51に出力する操作情報信号出力部位とを一括して示している。制御部51は、操作部60から入力される操作情報信号に応じて所定の処理を実行する。
なお、図7において雲台10にはタッチセンサが設けられる場合があると述べたが、そのタッチセンサも操作部60の一例となる。その場合、タッチセンサによるタッチ操作の検出信号は制御部51に供給される。
さらに、雲台10についてリモートコントローラが用意される場合は、そのリモートコントローラからのコマンド信号の受信部も、操作部60の例の一つとなる。
【0055】
また雲台10には、音声入力部62が設けられる場合がある。音声入力部62は、後述する要求対応撮像モードへのトリガ入力として、例えば特定の言葉の声や特定の音(例えば手を叩く音など)の入力を検出するために設けられる。
音声入力部62としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部51が実行するものとしてもよい。
さらにデジタルスチルカメラ1でのレリーズタイミングの判断として、特定の言葉の声や特定の音の入力を判別する場合に対応するために、雲台10側に音声入力部62が設けられる場合もある。
【0056】
また雲台10には、撮像部63が設けられる場合がある。撮像部63は、要求対応撮像モードへのトリガ入力として、特定の被写体状態、例えば被写体側のユーザの特定のポーズや目線などを検出するために設けられる。
撮像部63は、光学系部、イメージセンサ、A/Dコンバータ、信号処理部、画像解析部などを備える。なお画像解析は、制御部51が実行するものとしてもよい。
さらにデジタルスチルカメラ1でのレリーズタイミングの判断として、特定の被写体状態を判別する場合、雲台10側に撮像部63が設けられる場合もある。
【0057】
また雲台10には、レリーズ予告実行部64が設けられる場合がある。後述するレリーズ予告動作を実行する部位である。
レリーズ予告実行部64は、ユーザに表示や音声などで静止画撮像を行うことを提示できる装置部であればよい。
例えば所定の発光パターンや発光周期により予告を行うべく、発光部(例えばLED)及びその発光駆動回路による発光動作部とされる場合が考えられる。
或いはデジタルスチルカメラ1の筐体正面側に設けられる液晶表示部等として特定の文字表示、色表示、パターン表示等により予告を行う表示部とされてもよい。
また、電子音、ビープ音、メッセージ音声などで予告を行うものとして、音声信号発生部、アンプ、スピーカ等から成る音声出力部とされてもよい。
さらには、これらが併用されてもよい。
なお、レリーズ予告動作として、パン、チルトを組み合わせた所定の動作を行うことも考えられる。その場合は、パン機構部53、チルト機構部56がレリーズ予告実行部64として実際の動作を行うこととなる。
【0058】
<2.機能構成例>
次に、図10のブロック図により、本実施の形態の撮像システムを成すデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウェア(プログラム)により実現される機能構成例を示す。
この機能構成例は、本例の撮像システムの撮像動作制御を行う撮像制御装置を実現する構成となり、主に、デジタルスチルカメラ1における制御部27、雲台10における制御部51等のハードウエア構成と、それらで起動されたソフトウエアモジュールが連関して形成される制御処理機能である。図10では、後述する自動撮像モードと要求対応撮像モードの処理のために必要な制御機能を、機能毎にブロック化して示している。
なお、機能構成例は各種多様に考えられるが、図10では一例を示し、他の各種の例は図31以降で後述する。
【0059】
図10に示すように、デジタルスチルカメラ1(制御部27)側は、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、レリーズ予告動作制御部84、通信処理部85,モードシーケンス制御部86、トリガ受付部89を備える。
また雲台10(制御部51)側は、例えば通信処理部71、パン・チルト制御部72、トリガ検出部73を有している。
【0060】
まずデジタルスチルカメラ1側において、撮像記録制御部81は、撮像により得られた画像を画像信号のデータ(撮像画像データ)として得て、この撮像画像データを記録媒体に記憶するための制御処理を実行する部位である。また撮像記録制御部81は、記録した静止画データの再生、表示動作、或いは撮像時のスルー画の表示動作等のための制御も行う。
即ち撮像記録制御部81は、図8の光学系部21、イメージセンサ22、A/Dコンバータ23、シング処理部24、エンコード/デコード部25、メディアコントローラ26、表示ドライバ32等の制御を行う。即ち、光学系部21のレンズ駆動制御、イメージセンサ22の撮像動作、撮像信号処理、記録再生処理等を指示し、静止画撮像を実行させるなど、デジタルスチルカメラ1の基本動作を制御する機能部位である。
【0061】
撮像準備処理部82は、自動撮像モードと要求対応撮像モード、即ちユーザのレリーズ操作によらない静止画撮像を実行する際の撮像準備処理を行う機能部位である。
撮像準備処理の1つとしては被写体検出処理がある。これは、雲台10によるパン、チルト動作を実行させながら、信号処理部24で得られる各フレーム画像を確認し、撮像視野内に被写体(例えば人の顔)が入るようにする処理である。このために、撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、フレーム画像データの画像解析による人物検出、顔検出等の処理を行う。
また撮像準備処理の1つとして構図処理がある。構図処理とは、撮像視野内における被写体画像の配置について最適状態か否かを判断し(構図判定)、またその構図を調整する処理(構図合わせ)である。この構図の調整のために撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、光学系部21におけるズームレンズ駆動の判断等を行う。
【0062】
なお、上記の被写体検出処理や構図処理のための画像解析を行う処理機能は、制御部27ではなく信号処理部24としてのDSP(Digital signal Processor)に実行させることもできる。従って撮像準備処理部82としての機能部は、制御部27、信号処理部24としてのDSPの一方又は両方に与えるプログラム、インストラクションにより実現できる。
【0063】
撮像視野可変制御部83は、実際に撮像視野を変化させる動作を制御する機能部位である。撮像視野の変化は、雲台10のパン・チルト、もしくは光学系部21のズーム動作により行われる。従って撮像視野可変制御部83は、パン・チルト制御、ズーム制御を行う機能部位となる。
デジタルスチルカメラ1を用いてカメラマンが手動で撮像を行う場合は、撮像視野可変制御部83は、例えばカメラマンのズーム操作に応じてズームレンズ駆動を制御することとなる。
また後述する自動撮像モードや要求対応撮像モードの場合、撮像視野可変制御部83は、撮像準備処理部82での判断・指示に応じて、ズーム駆動制御、パン駆動制御、チルト駆動制御を行う。パン駆動制御、チルト駆動制御については、通信処理部85を介して雲台10側にパン・チルト制御信号を送信することになる。
特に構図合わせ等の実行時には、撮像準備処理部82が判定するパン・チルトの移動量に応じて、雲台10に当該移動量を指示するパン・チルト制御信号を出力する。
また、撮像準備処理部82で判定されるズーム倍率に応じて、光学系部21のズーム動作を駆動制御する。
【0064】
レリーズ予告動作制御部84は、後述するレリーズ予告の実行動作を制御する。
例えば図8、図9で説明したようにデジタルスチルカメラ1、雲台10の一方又は両方にレリーズ予告実行部36、64が設けられる場合がある。レリーズ予告動作制御部84は、これらのレリーズ予告実行部36,64において音声出力、発光出力、表示出力を実行させる制御を行う。
またレリーズ予告動作をデジタルスチルカメラ1の挙動で実行する場合は、その挙動を実現するために雲台10側にパン・チルト制御信号を供給する。
【0065】
通信処理部85は、雲台10側に備えられる通信処理部71との間で所定の通信プロトコルに従って通信を実行するための部位となる。
上記の撮像視野可変制御部83が生成したパン・チルト制御信号は、通信処理部64の通信により、雲台10の通信処理部71に対して送信される。
【0066】
モードシーケンス制御部86は、自動撮像モードと要求対応撮像モードとして、ユーザのレリーズ操作によらない自動的な静止画撮像を行う場合に、その各モード動作のシーケンスを制御する。
即ち、自動撮像モードと要求対応撮像モードのそれぞれにおいて、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、レリーズ予告動作制御部84による制御処理を所定の手順で適宜実行させ、各モードの静止画撮像動作を実現する。
このモードシーケンス制御部86は、本発明請求項にいう「要求対応撮像制御部」としての機能を含むものである。
トリガ受付部89は、例えば雲台10側のトリガ検出部73が検知したトリガ入力を、通信処理部71,85による通信を介して認識し、これを自動撮像モードから要求対応撮像モードへの切換入力として受け付ける機能部位である。トリガ受付部89は、トリガ受付をモードシーケンス制御部86に通知する。なお、トリガ受付部89の機能は、モードシーケンス制御部86の一機能としてとらえても良い。
【0067】
次に雲台10側において、通信処理部71は、デジタルスチルカメラ1側の通信処理部85との間での通信を実行するための部位である。
上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御部72に出力する。
【0068】
パン・チルト制御部72は、例えば図9に示した雲台10側の制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能となる。
このパン・チルト制御部72は、入力したパン・チルト制御信号に応じて、図9に示したパン用駆動部55、チルト用駆動部58を制御する。これにより、例えば被写体検出処理のためのパンニング、チルティングや、構図処理による、最適な水平視野角と垂直視野角を得るためのパンニング、チルティング等が行われる。
【0069】
トリガ検出部73は、自動撮像モードから要求対応撮像モードへ移行するためのトリガ入力を検出する機能部位である。
一例として、当該トリガ入力は、図7のように雲台10に設けられるタッチ領域60bへのタッチ操作であるとした場合、トリガ検出部73は、そのタッチセンサへの入力を検知する機能となる。
また、前述のように、タッチ入力以外に、図9の音声入力部62,撮像部63からトリガ入力を検出する構成とする場合は、それらのトリガ入力を監視・検知する処理を行う。
このトリガ検出部73は、トリガ入力を検知した場合、通信処理部71からデジタルスチルカメラ1のモードシーケンス制御部86に、トリガ検出信号を送信する。
【0070】
<3.自動撮像処理>
実施の形態としての動作シーケンスを説明する前に、自動撮像モードでの撮像処理について図11(a)で説明しておく。
自動撮像モードでは、本例の撮像システムが、撮像準備として、被写体検出(探索)、最適構図判定、構図合わせの各動作により、被写体検出で検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行う。そして所定の条件で自動的にレリーズ処理を行う。これにより、カメラマンの操作を不要として、適切な静止画撮像が行われるものである。
図11(a)は自動撮像モード動作として、図10のモードシーケンス制御部86の指示にしたがって、各機能部位が所定の処理を行う手順を示している。
【0071】
自動撮像モードでの撮像動作が開始されると、図11(a)のステップF1として、撮像画像データの取り込みが開始される。
即ち撮像記録制御部81が、イメージセンサ22、信号処理部24による撮像画像データの各フレーム毎の取り込みを開始させる。
【0072】
ステップF2で被写体検出処理、ステップF3で構図処理を行う。
被写体検出処理、構図処理(最適構図判定、構図合わせ)は、撮像準備処理部82の機能(具体的には制御部27、及び/又は信号処理部24の処理)により実行される。
【0073】
ステップF1で撮像画像データの取り込みが開始された以降は、信号処理部24は、イメージセンサ22による撮像画像データとして、1枚の静止画に相当するフレーム画像データを順次取得する。
撮像準備処理部82は、被写体検出処理として、各フレーム画像データから、人物の顔に相当する画像部分を検出する処理を行う。
なお、被写体検出処理は、全フレーム毎に実行しても良いし、予め定められた所定のフレーム数間隔ごとに実行してもよい。
【0074】
本例の場合における被写体検出処理では、例えばいわゆる顔検出技術を利用して、画像内から検出した被写体ごとにその顔の画像部分の領域に対応して顔枠を設定する。その上で、当該顔枠の数、サイズ、位置など情報から、画枠内における被写体数、各被写体のサイズやそれぞれの画枠内での位置の情報を得る。
なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
【0075】
ステップF2での被写体検出処理としては、先ずはデジタルスチルカメラ1の周囲に存在する被写体の探索を行う。
具体的に、この被写体の探索としては、デジタルスチルカメラ1における制御部27(撮像準備処理部82、撮像視野可変制御部83)が、雲台10に対するパン・チルト制御や光学系部21に対するズーム制御を行うことによって、撮像視野を変化させながら、例えば信号処理部24(又は制御部27)での画像解析による被写体検出を実行させること行う。
このような被写体探索は、撮像画像データとしてのフレーム画像に被写体が検出されるまで実行される。そしてフレーム画像内、つまりその時点の撮像視野に被写体(人物の顔)が存在する状態が得られたことに応じて終了する。
【0076】
被写体検出処理が終了した後、制御部27(撮像準備処理部82)は、ステップF3で構図処理を行う。
具体的には、構図処理としては、まずその時点の構図が最適な状態か否かを判定する。この場合、被写体検出結果に基づく画構造の判定(この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など)を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。
ここで、この場合の構図は、パン・チルト・ズームの各撮像視野によって決定づけられるものであり、従って当該最適な構図か否かの判定処理によっては、その判定結果として、上記被写体検出結果(画枠内での被写体の態様)に応じた最適な撮像視野とするためのパン・チルト・ズームの制御量の情報が得られるものとなる。
【0077】
そして構図が最適な状態でなければ、構図合わせとして、最適な構図状態とすべく、パン・チルト制御、ズーム制御を行うこととなる。
具体的に制御部27(撮像準備処理部82、撮像視野可変制御部83)は、構図合わせ制御として、最適構図判定処理により求まったパン・チルトの各制御量の変更の情報を雲台10側の制御部51に指示する。
これに応じて雲台10の制御部51は、指示された制御量に応じたパン機構部53・チルト機構部56についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用駆動部55、チルト用駆動部58に対する制御信号の供給を行う。
また、制御部27(撮像準備処理部82、撮像視野可変制御部83)は、最適構図判定処理により求まったズームについての画角の情報を、光学系部21に指示することで、該指示した画角が得られるように光学系部21によるズーム動作を実行させる。
【0078】
なお、構図処理で最適構図の状態ではないと判断され、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップF3からステップF2の被写体検出処理からやり直す。パン・チルト、ズーム動作により、或いは人物の動きにより、被写体が撮像視野から外れることもあるためである。
【0079】
制御部27(モードシーケンス制御部86)は、最適な構図が得られた場合は、ステップF4でレリーズタイミング判定処理を行う。
例えば、被写体が笑顔などの所定の状態となることを条件としてレリーズを行うものとすることが考えられる。
なお、ステップS4によるレリーズタイミング判定処理にてレリーズタイミングがOKとならない場合も有り得るが、その場合、ステップS1の被写体検出からやり直すことになる。被写体人物の動き等により被写体が撮像視野から外れたり、或いは構図が崩れる場合があるためである。
【0080】
レリーズタイミング判定処理によってレリーズ条件が成立したとされた場合は、ステップF5のレリーズ処理として、撮像画像データの自動記録を行う。具体的に制御部27(撮像記録制御部81)は、エンコード/デコード部25及びメディアコントローラ26に対する制御を行って、その時点で得られている撮像画像データ(フレーム画像)のメモリカード40への記録を実行させる。
【0081】
以上の図11(a)のようにして本実施の形態の撮像システムでは、制御部27による制御・処理に基づき、自動撮像モードでの静止画撮像が実現される。
なお、図11(b)の処理は、後に第4の実施の形態として説明する。
【0082】
<4.第1の実施の形態の撮像動作>
上記図8,図9のデジタルスチルカメラ1、雲台10の構成において、上記図10の機能構成に基づいて実現される第1の実施の形態としての動作を図12で説明する。
なお、図10の機能構成を前提とする場合、図12の処理はデジタルスチルカメラ1の制御部27の処理と考えることができる。
【0083】
ユーザによる操作、例えば電源オン操作、及び表示部33での操作メニュー画面に対する操作等により、自動撮像が指示されることで、本例のシステムによる自動撮像モードの動作が開始される。
ユーザによる自動撮像モードの開始操作に応じて、制御部27(モードシーケンス制御部86)は、図12のステップF101からF102に処理を進め、自動撮像モード処理を開始する。
即ち制御部27(モードシーケンス制御部86)は、上述した図11(a)の処理により、自動的な静止画撮像を実行させる。
【0084】
実際にユーザから見える撮像システムの挙動としては、雲台10によってデジタルスチルカメラ1が自動的にパン・チルト動作を行い、またズーム動作を行いながら、被写体を探索し、任意の時点で静止画撮像を行うものとなる。つまりカメラマンが存在せずに、撮像システムが勝手に被写体を決めて静止画撮像を行っているように見える。
この場合、カメラマンが存在しないことで、ユーザが撮影を意識しない自然な雰囲気の静止画撮像が行われやすいものとなる。
【0085】
ここで、制御部27(モードシーケンス制御部86)は、ステップF102での自動撮像モードの処理を実行している期間は、ステップF103で、要求対応撮像モードへのトリガ入力を監視している。
図11(a)には示していないが、図11(a)のステップF2〜F4までの期間内で、トリガ入力の有無を確認することになる。
この第1の実施の形態では、図7(a)のように雲台10にタッチ領域60bが形成され、ユーザのタッチ領域60bへのタッチ操作が、要求対応撮像モードへのトリガ入力であるとして説明する。
【0086】
また特にトリガ入力が検知されなければ、図12のステップF104で自動撮像終了と判断されるまで、ステップF102での自動撮像モードでの静止画撮像が継続される。図11(a)のステップF2〜F4までの期間内では、トリガ入力の有無を確認することに加え、ユーザの終了操作も監視していることになる。
ユーザが所定の操作を行って自動撮像終了を指示した場合は、制御部27(モードシーケンス制御部86)は、図12の処理をステップF104からF105に進め、所定の終了処理を行って一連の動作を終了させる。
【0087】
自動撮像モード中に、ユーザが雲台10のタッチ領域60bにタッチ操作を行うと、雲台10における制御部51(トリガ検出部73)がこれを検知し、トリガ検出信号を制御部27(トリガ受付部89、モードシーケンス制御部86)に送信する。
これによりトリガ入力があったことを認識し、受け付けると、制御部27(モードシーケンス制御部86)は、図12の処理をステップF103からF106に進め、要求対応撮像モードの動作制御を行う。
ステップF106〜F109が要求対応撮像モードの処理となる。
【0088】
ステップF106では、制御部27(撮像準備処理部82、撮像視野可変制御部83)は被写体検出処理を行う。
またステップF107では、制御部27(撮像準備処理部82、撮像視野可変制御部83)は、構図処理を行う。
この被写体検出処理、及び構図処理は、撮像要求に応じた撮像視野を決定する処理となる。
【0089】
一例として、ステップF106の被写体検出処理、ステップF107の構図処理は、自動撮像モードにおける図11(a)のステップF2の被写体検出処理、ステップF3の構図処理と、同一のアルゴリズムによる処理とすることが考えられる。
ここで、要求対応撮像モードとは、ユーザの要求に応じて静止画撮像を行うモードである。従って、そのためには、撮像要求(タッチ操作)を行ったユーザを被写体として捉えることが必要である。これが撮像要求に応じた撮像視野を決定する処理と言える。
図7(a)のように雲台10の本体部11の正面側にタッチ領域60bが設定されている場合、撮像要求(タッチ操作)を行ったユーザは、撮像システムの正面側に居ると想定される。
従って、被写体検出のアルゴリズムが、まず初期位置として正面方向(図4のパン基準位置)のパン状態とし、また図5のチルト基準位置とするアルゴリズムであれば、その状態から被写体検出・構図処理を行えば、殆どの場合、当該ユーザを撮像視野に捉えることができると考えられる。このことから、ステップF106の被写体検出処理、ステップF107の構図処理は、自動撮像モード時と同様のアルゴリズムによる処理を初期状態から開始するものとすればよい。
【0090】
但し、要求対応撮像モードとしての効果的な静止画撮像を行うためには、自動撮像モード時とは異なるアルゴリズムで被写体検出・構図処理を行うことが適切な場合もある。そのような各種の例については、変形例として後述する。
【0091】
ステップF106,F107での処理で、最適な構図が得られた場合は、ステップF108で制御部27(レリーズ予告動作制御部84)は、レリーズ予告処理を行う。
図8で述べたように、デジタルスチルカメラ1側にレリーズ予告実行部36が設けられている場合、制御部27(レリーズ予告動作制御部84)は、レリーズ予告実行部36に所定の動作を実行させる。
例えばレリーズ予告実行部36に、LED点滅表示を実行させたり、特定の点滅周期、点滅パターンでLEDを発光させたり、電子音を発生させたり、或いは「はいチーズ」等のメッセージ音声を発生させるなどの制御を行う。
また、レリーズ予告をパン・チルト動作による挙動、例えばデジタルスチルカメラ1が震えたり、うなずくような挙動を行うことで表現する場合は、レリーズ予告動作制御部84は撮像視野可変制御部83に指示して、そのような挙動を実現するパン・チルト制御信号を雲台10側に送信させる。
もちろんこれらを併用したレリーズ予告を行っても良い。
レリーズ予告によって、ユーザは、予測されるレリーズタイミングまでにポーズをしたり、表情をつくることなどが可能となる。
【0092】
そしてレリーズ予告の後、ステップF109で制御部27(撮像記録制御部81)は、レリーズ処理を行い、静止画データをメモリカード40に記録させる。
ここで制御部27(撮像記録制御部81)は、レリーズ予告動作の実行後又は実行開始後、所定の静止画撮像条件を満たしたときに、レリーズ処理を行って静止画撮像動作を実行させることが考えられる。
例えば特定の音声入力があったとき、撮像画像から特定の被写体状態が判定されたとき、或いはレリーズ予告動作の実行後又は実行開始後、所定の時間を経過したときなどに、上記の静止画撮像条件が満たされたと判断することが想定される。
特定の音声入力があったときとは、例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを検出する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクや注視をするなどの挙動を行った状態を検出する。
所定の時間の経過とは、例えばレリーズ予告動作の実行後又は実行開始の時点から所定時間(例えば数秒)の経過とする。
制御部27(モードシーケンス制御部86)は、これらを静止画撮像条件として必要な検出処理を行い、静止画撮像条件が整ったときに、撮像記録制御部81の制御でレリーズ処理(つまり静止画の記録)が行われるようにしてもよい。
制御部27(モードシーケンス制御部86)は、静止画撮像後、処理をステップF102に戻し、要求対応撮像モードを終了して、再び自動撮像モードとしての処理を行う。
【0093】
この図12の処理が行われることで、自動撮像モードで静止画撮像が行われている場合において、ユーザは、撮ってもらいたいと思ったときにタッチ操作をすればよい。すると、要求対応撮像モードの動作により、そのユーザの要求に応じて静止画撮像が行われる。このときレリーズ予告も行われることで、ユーザは、撮ってもらいたい表情、目線、姿等で撮影されることができる。
即ち本実施の形態によれば、自動撮像モードでの撮像により、自然な表情、姿、光景等を撮像できることに加え、要求対応撮像モードでの撮像により、ユーザの要望に応じた撮像を行うこともできる。即ちユーザが意図する静止画撮像や記念撮影などである。
これによって、カメラマンが不要な自動的な撮像として、カメラマンが撮像する場合と同等の、多様な静止画撮像を行うことができる。
【0094】
<5.第1実施の形態の変形例>
[5−1:要求対応撮像モードへのトリガ]
以下、上記第1の実施の形態の変形例を各種説明していく。まず、ここでは要求対応撮像モードへのトリガ入力について述べる。
上記説明では雲台10へのユーザのタッチ操作をトリガ操作と認識する例を述べた。タッチ操作としては、デジタルスチルカメラ1の筐体上にタッチ領域を設け、ユーザがデジタルスチルカメラ1のタッチ領域に触れることで、撮像システムがトリガ操作を認識するものとしても良い。その場合の機能構成については図31で後述する。
【0095】
また、ユーザのトリガ入力のための操作としては、雲台10又はデジタルスチルカメラ1に操作ボタンを設け、その操作ボタンの操作をトリガ入力としてもよい。
さらに、赤外線や電波を利用した無線方式、又は有線方式のリモートコントローラを用いた操作で、ユーザがトリガ操作を行うことができるようにしてもよい。
【0096】
また、トリガ検出部73は、特定の音声入力をトリガ入力として検知することも考えられる。例えば図9で説明したように雲台10に音声入力部62を備えるようにし、制御部51(トリガ検出部73)が、特定の音声入力を認識する。
特定の音声入力とは、或る言葉、例えばユーザが発する「撮って!」という言葉としてり、手を叩いた音などとする。
音声入力部35又はトリガ検出部73では、入力音声信号の解析処理を行い、これらの特定の音声入力があったか否かを判別する。そして特定の音声入力があったら、トリガ入力がなされたと認識するようにする。
例えば以上のような各種のトリガ検知に応じて、デジタルスチルカメラ1側の制御部27にトリガ受付部89が要求対応撮像モードへのトリガを受け付けることができる。
なお、デジタルスチルカメラ1側の制御部27にトリガ受付部89に加えてトリガ検出部としての機能を備えるようにした場合も、図8で述べた音声入力部35が設けられていることで、このような特定の音声入力によるトリガ入力の検知、要求対応撮像モードへのトリガとしての受け付けが可能となる。
【0097】
またトリガ検出部73は、撮像画像から特定の被写体状態が判定されたらトリガ入力があったと検知することも考えられる。
例えば図9で説明したように雲台10に撮像部63を備えるようにし、制御部51(トリガ検出部73)が、撮像画像から検出される特定の被写体状態をトリガ入力と認識する。
特定の被写体状態とは、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動が考えられる。或いは、ユーザが撮像システムを注視するなども考えられる。
撮像部63又はトリガ検出部73は、撮像画像の画像解析処理により、これらユーザの特定のジェスチャを判定したり、或いはユーザの目線を判定する。そして特定の被写体状態が検出されたら、トリガ入力がなされたと認識するようにする。
なお、デジタルスチルカメラ1側の制御部27にトリガ受付部89に加えてトリガ検出部としての機能を備えるようにした場合は、信号処理部24での画像解析、即ち被写体検出処理の過程で、このような特定の被写体状態としての挙動や目線等を認識できるため、特定の被写体状態によるトリガ入力の検知、及び要求対応撮像モードへのトリガとしての受け付けが可能となる。
【0098】
[5−2:要求方向へのパン・チルト]
次に、要求対応撮像モードとなった場合の撮像準備処理の例を述べる。
図13に処理例のフローチャートを示す。図12と同一の処理ステップは同一のステップ番号を付し、説明を省略する。
この図13の処理では、ステップF103で要求対応撮像モードへのトリガが検出されたときに、ステップF106の被写体検出処理の開始に先立って、ステップF120,F121の処理を行う。
【0099】
ステップF120では、制御部27は、要求方向を判定する。要求方向とは、撮像システムの位置を基準として、トリガ入力を行ったユーザの居る方向、つまりトリガ入力の方向である。
ステップF121では、制御部27は、要求方向へのパン・チルト制御を行い、デジタルスチルカメラ1の撮像方向が、上記の要求方向に向くようにする。
【0100】
具体例を述べる。
例えばタッチ操作をトリガ入力とする場合、図7(b)のように複数方向に向かってタッチ領域60b〜60dを形成する。
雲台10の制御部51(トリガ検出部73)は、タッチ操作を検知した場合、トリガ検出信号とともに、タッチ領域60b〜60dのうちのどれにユーザがタッチしたかの情報(又はトリガ入力方向の情報)もデジタルスチルカメラ1の制御部27(トリガ受付部89、モードシーケンス制御部86)に伝える。制御部27はこれによりステップF120の要求方向判定を行う。
制御部27(撮像準備処理部82、撮像視野可変制御部83)は、トリガ入力方向を判別したら、ステップF121で、デジタルスチルカメラ1の撮像方向がトリガ入力方向(要求方向)に向かうように、パン・チルト制御信号を出力する。これにより雲台10側でパン・チルト動作が行われ、ユーザの居る方向にデジタルスチルカメラ1が向く。
【0101】
つまり、撮像準備処理として、あたかもユーザの要求に答えるように、最初に要求方向にデジタルスチルカメラ1が向くようにする。
この状態から制御部27(撮像準備処理部82、撮像視野可変制御部83)は、ステップF106,F107の被写体検出・構図処理を行う。
これによって、撮像要求したユーザを捉えやすくなり、ユーザの望む静止画撮像が容易に可能となる。
【0102】
トリガ入力が音声入力による場合も、このような処理は可能である。
例えば音声入力部35(又は62)には、複数のマイクロホンを用意し、各マイクロホンによって得られた各音声信号の相互間の時間差から、上述した特定の音声入力が発せられた方向を判別する。
制御部27は、ステップF120で、このように音声入力から要求を行ったユーザの居る方向を判別することで、ステップF121での要求方向へのパン・チルト制御が可能となる。
実際の挙動としては、ユーザの呼びかけに撮像システムが反応して、ユーザに振り向くようなものとなり、その後、ステップF106〜F109の処理で、そのユーザを含む静止画撮像が行われるものとなる。
【0103】
[5−3:要求対応撮像モードで被写体検出を実行しない例]
要求対応撮像モードで被写体検出を実行しない処理例を図14、図15に示す。図12と同一の処理ステップは同一のステップ番号を付している。
まず図14の処理例は、ステップF103でトリガ入力が受け付けられたら、制御部27は、被写体検出を、行わず、そのときの撮像視野の状態で、ステップF107の構図処理を行う例である。
このステップF107の構図処理としては、例えばズーム制御のみを行う。そしてステップF108,F109の処理で静止画撮像を行う。
【0104】
これは自動撮像モード中で、デジタルスチルカメラ1がある方向を向いているときに、ユーザが、そちらを撮らせたいとしてトリガ入力を行うような場合を想定した処理例である。
例えば自動撮像モード中に、デジタルスチルカメラ1の背面の表示画面部33aでスルー画を見ていたユーザが、特に被写体検出処理によっては被写体とみなされないような対象が撮像視野に入ったときに、とっさにそれを撮像させたいとを思ったような場合に有用となる。なお、このような用途から考えた場合は、ステップF108のレリーズ予告処理を行わないことも好適である。
【0105】
次に図15の処理例は、図13で述べた要求方向へのパン・チルト制御を組み合わせた例である。
ステップF103でトリガ入力が受け付けられたら、制御部27は、ステップF120で要求方向を判定する。そしてステップF121で、要求方向へのパン・チルト制御を行い、デジタルスチルカメラ1の撮像方向が、要求方向に向くようにする。
その後、制御部27は、ステップF107で構図処理を行い、ステップF108,F109の処理で静止画撮像を行う。
この処理例の場合、要求方向にデジタルスチルカメラ1が向くことになるため、その状態で構図のみ(例えばズーム角のみ)を整えて撮像するという動作となる。
【0106】
[5−4:要求対応撮像モードで構図処理を実行しない例]
要求対応撮像モードで構図処理を実行しない処理例を図16に示す。図12と同一の処理ステップは同一のステップ番号を付している。
まず図16の処理例は、ステップF103でトリガ入力が受け付けられたら、制御部27は、被写体検出を行ない、例えばユーザの顔が撮像視野に入って被写体検出OKとなったら、構図処理を行わずに、ステップF108に進みレリーズ予告処理を行う。そしてステップF109で静止画撮像処理を行う。
【0107】
これは自動撮像モード中に、構図に構わない静止画撮像を行わせたいとユーザが思ったような場合を想定した処理である。
特に被写体検出がOKとなったら(例えば人を撮像視野に捉えたら)、即座に撮像させるようにしたいとユーザが望んだ場合の動作として適用できる。
なお、このような用途から考えた場合は、ステップF108のレリーズ予告処理を行わないことも好適である。
【0108】
[5−5:要求対応撮像モードでの撮像画像提示]
要求対応撮像モードで静止画撮像を行った場合に、ユーザに対して撮像画像の提示を行う処理例を図17に示す。図17において、ステップF101〜F109は図12と同様である。
この図17の処理例では、ステップF109でレリーズ処理を行い、静止画データをメモリカード40に記録した後、制御部27は、ステップF130で撮像画像提示処理を行うようにしている。
【0109】
このステップF130では、制御部27(モードシーケンス制御部86、撮像記録制御部81)は、レリーズ処理によって記録した静止画データを、表示部33に表示させる。
その上で、制御部27(撮像視野可変制御部83)は、パン・チルト制御信号を雲台10側に送信する。この場合、少なくとも雲台10に対し、パン方向に180度駆動する指示を出力することになる。また、同時に、仰角方向に所定角度、チルト駆動させる指示を有しても良い。
雲台10側では、制御部51(パン・チルト制御部72)は、パン・チルト制御信号に応じて、パン・チルト駆動制御を行う。
これによって、雲台10上のデジタルスチルカメラ1が180度回転する。
【0110】
この処理例によれば、要求対応撮像モードとして要求を行ったユーザの静止画撮像を行った直後に、表示部33(表示画面部33a)がユーザ側に向けられることになる。つまりレリーズ直後に、そのユーザに写した画像内容を提示するものとなる。
これによってユーザは、どのような静止画がとれたのかを、その場で容易に確認できる。
なお、上記図13、図14,図15,図16の処理に、この図17のステップF130を加えることも考えられる。
【0111】
[5−6:仮構図処理]
次に、図12〜図15、又は図17の各例の、要求対応撮像モードでのステップF107の構図処理において、仮構図処理を行う例を述べる。
【0112】
まず、自動撮像モード及び要求対応撮像モードで実行される、基本的な構図処理について説明する。
被写体検出処理の過程で、例えば図18の画枠300に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が1つ存在している。
【0113】
この場合の画枠300は、撮像画像データの1フレーム相当の画像領域に相当する。ここでは、画枠300としてのフレーム画像について、水平画素数を(水平画サイズ)をCx、垂直画素数(垂直画サイズ)をCyとして、Cx=320,Cy=240により形成されているものとしている。
また、この場合の画枠300における位置は、座標(X,Y)により表されるものとし、ここでは画枠300の左上端を座標(0,0)として定義している。
また、この画枠300に対して、垂直基準線Ld1及び水平基準線Ld2が仮想的に設定されている。
垂直基準線Ld1は、画枠300の水平方向における中点を通過する直線で、水平基準線Ld2は、画枠300の垂直方向における中点を通過する直線となる。これら垂直基準線Ld1及び水平基準線Ld2は、それぞれ、構図制御として、画枠300における被写体の位置を水平/垂直方向で移動させる際の基準線となる。
また、垂直基準線Ld1と水平基準線Ld2の交点座標(160,−120)は、構図制御における基準点Pとして扱われる。
【0114】
図18に示す画内容の撮像画像データを対象に被写体検出(顔検出)を行うことによっては、検出被写体として、図示される1つの被写体SBJの顔が検出されることになる。即ち、顔検出処理によって1つの顔が検出されることを以て、ここでは1つの被写体が検出されることとしている。そして、このようにして被写体を検出した結果としては、例えば被写体の数、向き、位置、サイズの情報を得るようにされる。
また、被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図18の場合には、検出される顔が1つであるから、被写体数は1との結果が得られる。
【0115】
また、顔検出の手法を用いて被写体検出を行う場合、検出結果として、検出した被写体の顔部分に対して枠(顔枠FR)を設定する。
図18では、顔枠FRが、被写体SBJの画像の顔部分に対応して配置されるようにして示している。この場合の顔枠FRは、検出された被写体における顔の画像部分に対応して方形により配置される。なお、ここでの顔枠FRは正方形であるとする。
また、この顔枠FRは、画枠300における顔としての画像部分に対して設定されるものとなる。従って、そのときに顔検出処理により検出される画枠300における被写体の顔の位置、大きさなどに応じて、顔枠FRの画枠300における位置、サイズも変更設定される。
【0116】
また、被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における被写体SBJの重心である被写体重心G(X,Y)を求めることとする。
また、この被写体重心Gをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。1つの例としては、被写体SBJに対応して検出された顔枠FRとしての四角形の対角線の交点を、被写体重心とすることが考えられる。
【0117】
また、被写体のサイズについては、ここでは、顔枠FRの垂直又は水平方向の一辺のサイズ(画素数)により表すものとする。
図18では、一例として、顔枠FRの垂直サイズsizey=32として検出されている状態が示されている。
【0118】
また、ここでの被写体ごとの顔方向に関しては、例えば左、正面、右の3段階での何れであるのかを検出することとする。
図18の被写体SBJについては、顔方向については正面であると検出されているものとする。
【0119】
ここで、この図18に示すように検出された、被写体SBJについての被写体検出情報に基づき、構図判定処理により、図19に示す構図とすべきであるとの判定結果を得たとする。
つまり、先ず、被写体サイズについては、sizey=64とし、被写体重心Gについては、G(160,−120+Δy)に位置させる、という構図である。
【0120】
例えば、その検出された数に応じても異なってくるが、良い構図とするためには、画枠300における被写体のサイズが小さすぎず、また、大きすぎず、適切であることが求められる。図19に示されるsizey=64としての被写体サイズは、被写体SBJが画枠300において最適サイズとなる値として判定されたものである。
【0121】
また、上記の被写体重心Gの配置位置は、例えば次のような根拠により求められる。
被写体SBJが1つの場合、最も単純で基本的な被写体SBJの位置は、画枠300の中央に配置するというものになる。つまり、被写体重心Gを基準点Pに位置させるというものである。
しかし、このような被写体を画面の中央に位置させた構図は、一般に良くない構図の典型とされている。例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。
【0122】
そこで、この場合には、先ず、画枠300の垂直方向における被写体SBJの位置(被写体重心G)について、水平基準線Ld2に対して一定量だけ移動させるようにする。
このように、水平基準線Ld2を基準とした垂直方向における被写体重心Gについての移動量を、垂直オフセット量Δyとして規定している。この垂直オフセット量Δy,及び後述する水平オフセット量Δxは、例えば画素数により表すことができる。この場合、図19の被写体重心GのY座標は、(−120+Δy)として表される。
なお、ここでは、垂直オフセット量Δyとして正の値を与えることとしており、これにより、図示するように被写体重心Gは、画枠300において、水平基準線Ld2より上側の領域に位置するようにされている。
【0123】
また、水平方向における被写体の位置は、被写体について検出された顔方向に基づくこととする。
図18で説明したように、この場合の被写体SBJの顔方向は、右、正面、左の3段階のうち、正面であるとして検出されている。
ここでは、1つの被写体SBJの顔方向が正面であるとして検出されている場合には、水平方向については中央に位置させることとしている。つまり、被写体重心GのX座標については水平方向における中点、つまり垂直基準線Ld1(基準点P)と同じX座標(160)とするものである。
この場合、垂直基準線Ld1を基準にした水平方向における被写体重心Gの移動量として規定される、水平オフセット量Δxは0として設定されていることになる。
図19は、このような構図判定の規則、アルゴリズムに従って、被写体重心G(160,−120+Δy)を設定したものである。
【0124】
結局、このように図18の状態から図19の状態に構図を調整する処理は、パン・チルト動作により、被写体の顔の重心を、所定の目標範囲に入れるとともに、ズーム動作により適切な被写体のサイズとする処理である。そして、目標範囲は、被写体SBJのサイズ、数、顔の向き等に応じて設定される。
例えば上記図19の場合、顔が正面であることから、図20(a)のように目標範囲TAが設定されており、この目標範囲TA内に被写体重心Gが含まれるようにする。
目標範囲TAの設定に応じて、水平オフセット量Δx、垂直オフセット量Δyが決められて、最終的に被写体重心Gが目標範囲TA内となるように構図合わせをする。
【0125】
また、図20(a)は、被写体SBJの顔方向が正面であるときの例であるが、顔の向きによっては、目標範囲TAの設定が異なるようにする。
例えば検出された被写体の顔方向が左であるとする。なお、ここでの左の顔方向とは、画枠300の画内容を実際に見たとした場合、これを見る者からは、画枠300において、個別被写体SBJの顔が左側を向いているようにして見える状態をいう。ちなみに、この個別被写体SBJとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
この場合には、被写体重心Gの水平方向における位置については、垂直基準線Ld1により2分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせる。これにより、画枠300においては、被写体SBJの顔が向いている方向である左側において空間が得られるようする。
【0126】
つまり、図20(b)のように、垂直基準線Ld1により右側の画像領域に目標範囲TAを設定する。そして、この目標範囲TA内に被写体重心Gが入るようにする。
このような構図とすることで、例えば、顔方向が左であるとされる被写体SBJの重心Gを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、垂直基準線Ld1に対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
また、検出された被写体の顔方向が右である場合には、左の場合とは逆に、被写体重心Gを垂直基準線Ld1により2分割される左右の画像領域(分割領域)のうち、左側の画像領域に在るようにさせる。
【0127】
また、複数の被写体が検出された場合には、これらの検出された複数の被写体から成る画像領域をひとまとまりの総合的な被写体(総合被写体)としてみることとし、この総合被写体を対象として1つの被写体重心(総合被写体重心)GGを求める。
例えば図21(a)は二人の被写体SBJ1,SBJ2が検出された例を示している。被写体SBJ1,SBJ2のそれぞれの重心G1,G2の重心が、総合被写体重心GG12となる。
目標範囲TAは、被写体数、顔の向き、サイズから、図示の位置に設定されたとする。
この場合、破線矢印で示すように、総合被写体重心GG12が目標範囲TA内に入るように、構図合わせが行われるものとなる。
その結果、図21(b)のような構図となる。
【0128】
総合被写体重心Gをどのようにして設定するのかについては、いくつか考えることができる。図21は、最も簡易な例として、検出された複数の個々の被写体のうちで、画枠300内で最も左側と最も右側に位置する被写体の重心(G1,G2)を結ぶ線分上の中間点を総合被写体重心GG12として設定したものである。
また、被写体が複数のときには、個別の被写体ごとに検出される顔方向が異なる場合がある。この場合には、複数の個別の被写体ごとに検出される顔方向の関係性に基づいて、総合被写体としての1つの顔方向を決定することとすればよい。複数の個別の被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、個別の被写体の全体数における所定割合以上を占めるときに、この同一となる顔方向を、総合被写体の顔方向として決定し、これを構図判定、目標範囲TAの設定に使用する。
【0129】
これまでの説明から理解されるように、被写体サイズ、数、向きによって被写体重心(又は総合被写体重心)を配置する目標範囲TAが決められる。そして最適な構図か否かは、その目標範囲TAに被写体重心(又は総合被写体重心)が入っているか否かで判定される。また、画枠300内における被写体サイズが適切であるか否かでも判定される。
そして最適な構図ではないと判定された場合は、構図合わせの処理として、被写体重心(又は総合被写体重心)が目標範囲TAに入るように被写体重心Gの位置が変更され、或いは被写体サイズが適切となるようにサイズ変更される。
被写体重心G(又は総合被写体重心GG)の位置の変更は、水平方向については雲台10のパン機構に対するパン制御により行うことになる。また、垂直方向については雲台10のチルト機構に対するチルト制御により行うことになる。
被写体サイズの変更は、デジタルスチルカメラ1の光学系部21におけるズームレンズを移動する制御(ズーム制御)で行う。若しくは撮像画像データに対する画像切り出しなどの画像信号処理によって行うこともできる。
【0130】
以上が基本的な構図処理となる。例えば図12の処理の場合、ステップF102の自動撮像モードにおける構図処理(図11(a)のステップF3)では、以上のような処理を行うこととなる。
【0131】
ところが上記の目標範囲TAへの被写体重心Gを移動させる制御を行う場合において、その時点の撮像視野内では、最適な構図が得られたとしても、実際には、さらに適切な構図が存在する場合がある。
例えば、近くに複数人数いるにも関わらず、少数の人数で構図を合わせてしまい、最大の人数での構図にならない可能性などがある。
【0132】
図22に例を示す。
図22において画枠300Aで示す撮像視野は、局所解としての最適構図である。即ち、近い位置に3人居るにもかかわらず、被写体検出処理で二人の被写体SBJ1,SBJ2が検出された場合、その二人の被写体SBJ1,SBJ2の総合被写体重心GG12を、目標範囲TA(300A)に入るようにした場合である。
ところが、この場合、最良の解としての撮像視野は、画枠300Bとして示す状態である。つまり、被写体SBJ1,SBJ2,SBJ3の3人を含んだ上で、その総合被写体重心GG123を、画枠300Bにおける目標範囲TA(300B)に入るようにした状態である。
【0133】
仮に、被写体検出処理の過程で、下方からチルトアップしていくような探索を行い、二人の被写体SBJ1,SBJ2が先に検出されたとすると、その二人の被写体SBJ1,SBJ2のみで構図処理が行われ、局所解としての構図で静止画撮像が行われる。
【0134】
また、図23(a)も同様に、構図が局所解としての画枠300Aと、最良の解としての画枠300Bを示している。
仮に、被写体検出処理の過程で、左方から右方にパンニングしていくような探索を行い、二人の被写体SBJ1,SBJ3が先に検出されたとすると、その二人の被写体SBJ1,SBJ3のみで構図処理が行われ、局所解としての構図で静止画撮像が行われてしまう。
【0135】
例えば自動撮像モードでの撮像であれば、局所解としての構図で静止画撮像が行われたとしても、さほどの支障はない。もともとユーザが意識しないで撮像が行われているものだからである。
ところが要求対応撮像モードでは、局所解としての構図では、ユーザの要望に添わない場合が生じやすい。
例えば図22、図23(a)のように3人のユーザが写真を撮ってもらいたいと思って集まって、トリガ入力を行った場合である。その場合、3人での記念撮影を求めたが、局所解の状態では、一人が写されなかったという事態となってしまう。できるだけ多くの人数を入れようとした場合、一度その周りを見渡す必要がある。
【0136】
そこで、実施の形態の一例として、要求対応撮像モードでの構図処理では、撮像要求に応じた1以上の被写体が撮像視野内に検出された際に、さらに撮像視野を移動させて撮像要求に応じた他の被写体の存在を確認する処理を含むようにする。
具体的な例としては、構図合わせの処理として、以下に述べる仮構図合わせと本構図合わせの2段階の処理を行うようにする。
【0137】
仮構図合わせとは、構図合わせで、本構図としての目標とする構図にパン・チルトする前に、その他の被写体がないか探す処理である。例えば意図的にパン・チルト量を、本構図の目標範囲TAからオーバーして行い、他の被写体がないかを探す処理である。
実際の処理としては、仮構図合わせと本構図合わせで、目標範囲TAを変更することにより行う。
【0138】
図24で仮構図合わせを説明する。
図24(a)では、3人の被写体SBJ1,SBJ2,SBJ3が存在する例を示している。ここで、被写体検出処理において、下方から上方にチルティングする過程で、二人の被写体SBJ1,SBJ2が検出されたとする。
ここで、構図処理に入るわけであるが、まず仮構図合わせを行う。
この場合、図示するように、目標範囲TAを、画枠300内で先に述べた通常の構図合わせの場合より下方に設定する。
まず、被写体SBJ1,SBJ2が検出されているのであるから、構図合わせは、被写体SBJ1,SBJ2の総合被写体重心GG12を、目標範囲TAに入れるように、パン・チルト制御を行うこととなる。この例の場合は、総合被写体重心GG12を目標範囲TAに入れるべく、チルトアップしていく。
ところがこの場合、目標範囲TAが通常より下方に設定されているため、通常の構図合わせの場合よりチルトアップ量が多くなり、より上方へチルトアップされる。
すると、その過程で、新たに被写体SBJ3が検出される。
【0139】
この場合、被写体SBJ1,SBJ2,SBJ3の検出に応じて、再度構図処理が行われる。この場合も、まず仮構図合わせを行う。今度は、被写体SBJ1,SBJ2,SJB3の総合被写体重心GG123を、目標範囲TAに入れるようにチルトアップする。
そして被写体SBJ3より上方には他の被写体は存在しない場合は、結局、図24(b)のように仮構図合わせが完了することとなる。
【0140】
仮構図合わせが完了したら、次に本構図合わせを行う。ここでいう本構図合わせとは、上述した通常の構図合わせのことである。
図25(a)は仮構図合わせが完了した状態の画枠300を示している。本構図合わせに際して、目標範囲TAを、図示する通常の位置に設定する。つまりこの場合は仮構図合わせで用いた目標範囲TAを画枠300内で上方に再設定することとなる。
そして、総合被写体重心GG123が目標範囲TAに入るようにパン・チルト制御を行う。この場合は、チルトダウン制御を行うこととなる。
すると図25(b)の状態となり、総合被写体重心GG123が目標範囲TAに入ったことで、本構図合わせが完了する。
結局、この本構図合わせ完了時で、3人の被写体SBJ1,SBJ2,SJB3を含む最適な構図が得られたことになる。
【0141】
例えば以上のように、仮構図合わせでは、目標範囲TAを構図合わせの際の探索方向に応じて、通常とは異なる位置、具体的には撮像視野の変化方向に対して画枠300内で手前となる位置に設定する。これによって、多少、最終的に合わせようとする構図よりも一旦オーバーさせる。これによって、探索方向の範囲に他の被写体が存在するか否かを確認する。
上記図24,図25の例では、仮構図合わせのときに、チルトアップしていくとした例であるため、仮構図合わせのときの目標範囲TAを、通常より下方とした。
仮構図合わせのときに右から左へパンニングする場合であって、本構図での目標範囲TAが垂直基準線Ld1上となる場合を想定すれば、図26(a)のように、仮構図合わせのときの目標範囲TAを、垂直基準線Ld1より右側とする。これにより、より左側に被写体が存在するか否かを確認できる。
また仮構図合わせのときに左から右へパンニングする場合であって、本構図での目標範囲TAが垂直基準線Ld1上となる場合を想定すれば、図26(b)のように、仮構図合わせのときの目標範囲TAを、垂直基準線Ld1より左側とする。これにより、より右側に被写体が存在するか否かを確認できる。
【0142】
このように本構図合わせとは異なる目標範囲TAを設定して仮構図合わせを行い、その後本構図合わせを行うことで、被写体のもれのない静止画撮像が可能となる。つまり最大数の被写体を対象として静止画撮像することが可能となる。
なお、仮構図合わせでのパンニング・チルティングの過程において、検出されている或る被写体の顔が画枠の端領域にかかった場合は、それ以上パン・チルト制御をしないという処理も可能である。
また本構図合わせの際に顔の向きのよって重心が変わるとしても、仮構図合わせの際には、顔の向きは無視するということも考えられる。
また被写体の代表的な例に人の顔があるが、図23(b)の被写体SJB4のように人の顔以外の注目領域が抽出できた場合、これを組み合わせて構図合わせが行われるようにすることも考えられる。
【0143】
図27、図28で、仮構図合わせを図12の処理に適用する場合の処理を説明する。
図27(a)は、図12のステップF102として自動撮像モードの動作が行われている際の、図11(a)のステップF2,F3として行われる被写体検出処理、構図処理を示している。
ここでは、自動撮像モードの構図処理では、仮構図合わせは行われないが、要求対応撮像モードでは、自動撮像モードの構図処理とは異なるアルゴリズムが採用される例として、仮構図合わせが行われる処理例を述べる。
【0144】
まず図11(a)で述べた、自動撮像モードでのステップF2の被写体検出処理として、図27(a)のステップF201で、制御部27(撮像準備処理部82)は、被写体が検出されたか否かを確認する。
被写体が検出されていなければ、制御部27(撮像準備処理部82)はステップF202で探索処理を実行する。そしてステップF201で被写体の検出有無を確認する。
このステップF201,F202の処理は、具体的には上述したとおり、制御部27(撮像準備処理部82、撮像視野可変制御部83)が、雲台10に対するパン・チルト制御や光学系部21に対するズーム制御を行うことによって、撮像視野を変化させながら、信号処理部24(又は制御部27)での画像解析による被写体検出が為されたか否かを確認する処理となる。
【0145】
被写体が検出されたら、制御部27(撮像準備処理部82)は、図11のステップF3の構図処理として、図27(a)のステップF203の最適な構図であるか否かの確認と、ステップF204での構図合わせの処理を行う。
これは上述した通常の構図処理であり、例えば図18〜図21で説明した処理である。
即ち、被写体検出結果に基づく画構造の判定(画枠内における被写体数、被写体サイズ、顔の向きなどの判定)を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図であるか否かを判定する。そして最適な構図でなければ、構図合わせとして、パン・チルト・ズームの各制御によって撮像視野を可変する。
なお、先に図11の説明で述べたように、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップF3からステップF2の被写体検出処理からやり直す。図27(a)で言えば、ステップF204で構図合わせを行った場合、ステップF201からやり直す。
【0146】
このステップF204の構図合わせは、通常の構図合わせの処理となる。
図28(a)に通常の構図合わせの手順の一例を示した。
制御部27は、ステップF300で、最適な構図を得るための目標範囲TAを設定する。例えば図20のように目標範囲TAを設定する。
次に制御部27は、ステップF301で、設定した目標範囲TAに応じて水平オフセット量Δxを判定する。
次に、ステップF302で制御部27は、判定された水平オフセット量Δxに応じたX座標上に被写体重心G(又は総合被写体重心GG)が位置するようにパン制御を実行する。
【0147】
続いて制御部27は、ステップF303で目標範囲TAに対する垂直オフセット量Δyを判定する。そしてステップF304で、判定された垂直オフセット量Δyに応じたY座標上に被写体重心G(又は総合被写体重心GG)が位置するようにチルト制御を実行する。
【0148】
次に制御部27はステップF305で、ズーム倍率Zを判定する。
上述のように、画枠300における被写体SBJのサイズ変更は、ズーム制御によって画角を変更することによって行う。ここでいうズーム倍率は、被写体検出処理によって被写体が検出されたときの被写体サイズから、最適構図に対応して判定される被写体サイズを得るために必要な画角の倍率をいう。
このために制御部27は、先ず、検出された被写体の条件に応じて、所定の規則に従って、最適構図として必要される目標被写体サイズ(ズーム制御目標値)を判定する。
そして、上記のようにして求めた目標被写体サイズsize_trgと、被写体検出処理時に得られた被写体サイズsize_org(顔枠FRの垂直方向(又は水平方向)の一辺のサイズ(画素数))との比を求めて、これをズーム倍率Zとする。つまり、
Z=size_trg/size_org
により、ズーム倍率Zを算出する。
そして制御部27はステップF306で、ズーム倍率Zによるズーム制御を実行する。
【0149】
この図28(a)の構図合わせの手順はあくまで一例である、例えば先にズーム制御を行ってからパン・チルト制御を行ってもよい。また水平オフセット量Δx、垂直オフセット量Δyは、ズーム倍率による被写体のサイズ変更を考慮して算出することもできる。
【0150】
自動撮像モードの際には,構図処理は以上の図27(a)、図28(a)で説明したように行われる。
一方、要求対応撮像モードとなって図12のステップF107で実行される構図処理は以下のようになる。
【0151】
図27(b)は、要求対応撮像モードとして図12のステップF106,F107として行われる被写体検出処理、構図処理を示している。
まずステップF106の被写体検出処理として、ステップF201で、制御部27(撮像準備処理部82)は、被写体が検出されたか否かを確認する。
被写体が検出されていなければ、制御部27(撮像準備処理部82)はステップF202で探索処理を実行する。そしてステップF201で被写体の検出有無を確認する。
このステップF201,F202の処理は、図27(a)のステップF201,F202と同様である。
【0152】
被写体が検出されたら、制御部27(撮像準備処理部82)は、図12のステップF107の構図処理として、まず仮構図の処理を行う。即ちステップF210で、仮構図として最適な構図状態であるか否かの確認と、ステップF211での仮構図合わせの処理を行う。これは例えば図24〜図26で説明した処理である。
即ち、被写体検出結果に基づく画構造の判定(画枠内における被写体数、被写体サイズ、顔の向きなどの判定)を行った上で、仮構図としての目標範囲TAを定める。そして仮構図として最適となっているか否かを判定し、最適な構図でなければ、仮構図合わせとして、パン・チルト・ズームの各制御によって撮像視野を可変する。
【0153】
なお、仮構図合わせとして、パン・チルト、ズーム制御を行った場合も、ステップF201に戻って被写体検出からやり直す。撮像視野の変動やユーザの動きで被写体が存在しなくなることもあるからである。
さらに、上述のように仮構図合わせは、撮像視野を通常の構図合わせよりも大きく振ることとなるため、新たな被写体が検出されることもあるからである。その場合は、再び新たな被写体を含めた被写体重心G(又は総合被写体重心GG)に基づき、仮構図合わせを行う。
【0154】
図28(b)にステップF211の仮構図合わせの手順の一例を示した。
制御部27は、ステップF310で、仮構図を得るための目標範囲TAを設定する。例えば図24、図26で説明したように、探索方向に応じて本来の目標範囲TAとは異なる目標範囲TAを設定する。
以降のステップF311〜F316は、通常の構図合わせとしての図28(a)のステップF301〜F306と同様である。
【0155】
即ちステップF311で、設定した仮構図用の目標範囲TAに応じて水平オフセット量Δxを判定する。
次に、ステップF312で制御部27は、水平オフセット量Δxに応じたX座標上に被写体重心G(又は総合被写体重心GG)が位置するようにパン制御を実行する。
続いて制御部27は、ステップF313で仮構図用の目標範囲TAに対する垂直オフセット量Δyを判定する。そしてステップF314で、垂直オフセット量Δyに応じたY座標上に被写体重心G(又は総合被写体重心GG)が位置するようにチルト制御を実行する。
次に制御部27はステップF315で、ズーム倍率Zを判定する。
そして制御部27はステップF316で、ズーム倍率Zによるズーム制御を実行する。
【0156】
この図28(b)の仮構図合わせの手順も、あくまで一例である、例えば先にズーム制御を行ってからパン・チルト制御を行ってもよい。また水平オフセット量Δx、垂直オフセット量Δyは、ズーム倍率による被写体のサイズ変更を考慮して算出することもできる。
【0157】
このような仮構図合わせを行い、図27(b)のステップF210で仮構図がOKと成ったら、つまり仮構図用の目標範囲TA内に被写体重心G(又は総合被写体重心GG)が位置入ったら、続いてステップF212,F213の本構図の処理を行う。即ち通常の構図処理である。
このステップF212,F213の本構図の処理は、図27(a)のステップF203,F204と同様である。また、ステップF213の本構図合わせの手順は、例えば図28(a)のようになる。
【0158】
以上のように、要求対応撮像モードにおいては、構図処理が、仮構図合わせと本構図合わせの2段階で行われる。
これにより、ユーザの要求に応じた静止画撮像として、画角範囲内で最大人数を被写体としたユーザの望む画像を自動的に撮像できる。
なお、仮構図合わせの手法として、目標範囲TAを、探索方向でみての手前側に設定する例を述べたが、具体的な手法は他にも考えられる。
例えば被写体が検出されたときに、その被写体で仮に構図合わせをし、次にその被写体を中心として、周囲を探索することで他の被写体の有無を確認するということも考えられる。或いは被写体が検出されたときに、単純にその周囲を探索するという例も考えられる。
【0159】
[5−7:その他の要求対応撮像モードでの制御方式]
ここまで、第1の実施の形態の変形例として各例を述べてきたが、これらは特に要求対応撮像モードでは、自動撮像モードの場合と異なる制御方式で行われる、撮像準備処理、或いは撮像準備処理における被写体検出処理、構図処理の例などを挙げたものである。
上記各例以外にも、要求対応撮像モードでは自動撮像モードとは異なる処理手順、アルゴリズム、或いは制御パラメータの設定等による、各種の制御方式が考えられる。
【0160】
要求対応撮像モードでは、例えば複数のユーザが集まって静止画撮像を求めるといったシチュエーションも想定される。この場合、なるべく多くのユーザを写すという意味で、構図処理過程でのズーム制御範囲を制限するということが考えられる。具体的には、ズーム制御の上限パラメータを変更する。
【0161】
また、最適な構図の判定条件を甘くすることも考えられる。例えば要求対応撮像モードでは、目標範囲TAとしての枠の範囲を広くする。
或いは、目標範囲TA内に被写体重心Gが存在している時間を短くてもよい。例えば図27のステップF203,F210,F212では、目標範囲TA内に所定時間以上、被写体重心Gが存在することで、構図OKと判断するものとするが、要求対応撮像モードとされてステップF210,F212を行うときは、その所定時間を短い時間とする。
これらは、ユーザの要求に応じた撮像となるため、ユーザ側の動きが少ないと期待されることによる。
【0162】
また、要求対応撮像モードにおいての図12のステップF106での被写体検出処理では、要求したユーザを見つけやすくするために、パンニング範囲、チルティング範囲を制限することも考えられる。これは要求したユーザの居る位置がある程度分かっている場合(例えば上述の要求方向が認識できる場合)に、その要求を行ったユーザ以外のユーザを被写体として捉えてしまうことを回避する手法である。
【0163】
<6.第2の実施の形態の撮像動作>
第2の実施の形態の撮像動作制御を図29に示す。
ステップF101〜F107は図12と同様であり、説明を省略する。
この第2の実施の形態では、要求対応撮像モードとなった場合に、制御部27は、ステップF106での被写体検出処理、ステップF107での構図処理を行った後、レリーズ予告を行わずに、レリーズを行う例である。
【0164】
例えばフローチャート中で実線で示すように、ステップF107での構図処理がOKとなったら、ステップF108Aとして制御部27(モードシーケンス制御部86)はレリーズタイミング判定処理を行う。
そして、レリーズタイミングと判定したら、ステップF109に進み、レリーズ処理を行う。レリーズ処理後、ステップF102で自動撮像モードに復帰する。
【0165】
レリーズタイミング判定処理とは、所定の静止画撮像条件を満たしたか否かを判定する処理であり、各種の例が考えられる。
例えば時間によるレリーズタイミング判定が考えられる。例えば構図処理がOKとなった時点から所定時間(例えば2,3秒)の経過を静止画撮像条件とする。その場合、制御部27(モードシーケンス制御部86)は、ステップF108Aでは所定時間のカウントを行い、所定時間経過により、ステップF109で、撮像記録制御部81の制御によるレリーズ処理を実行させる。
【0166】
また特定の音声入力があったときに、静止画撮像条件を満たしたと判断してもよい。
例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを静止画撮像条件としての特定の音とする。
制御部27(モードシーケンス制御部86)は、ステップF108Aで、これらの特定の音の入力検出を行う。
そして音声入力部35からの入力音声信号解析結果から、これらの特定の音が確認されたら、レリーズタイミングとなったとして、ステップF109で、撮像記録制御部81の制御によるレリーズ処理を実行させる。
【0167】
また撮像画像から特定の被写体状態が判定されたときに、静止画撮像条件を満たしたと判断してもよい。
制御部27(モードシーケンス制御部86)は、ステップF108Aで、撮像画像の解析により検出される特定の被写体状態の有無を監視する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動を行った状態が考えられる。或いは、被写体となっているユーザが撮像システムを注視するなども考えられる。
制御部27は、撮像画像の画像解析処理により、これらユーザの特定の状態を判定する。そして特定の被写体状態が検出されたら、レリーズタイミングとなったとして、ステップF109で、撮像記録制御部81の制御によるレリーズ処理を実行させる。
【0168】
なお、この第2の実施の形態では、レリーズ予告処理を行わないとしたが、ステップF108Aでレリーズタイミング判定を行う場合、レリーズ予告動作を実行させることで、ユーザによる静止画撮像条件に相当する行動(例えば笑顔、発声など)を促すことも好適である。
【0169】
また、処理例として、図29に破線で示すように、構図処理後、すぐにステップF109に進んで、レリーズ処理を行うことも考えられる。
【0170】
なお、この第2の実施の形態においても、第1の実施の形態の変形例として述べた各種の例を、変形例として適用することができる。
【0171】
<7.第3の実施の形態の撮像動作>
第3の実施の形態の処理例を図30に示す。
ステップF101〜F105は図12と同様であり、説明を省略する。
この第3の実施の形態では、トリガ入力により要求対応撮像モードとなった場合、撮像準備処理としての被写体検出処理、構図処理を行わずに、すぐにステップF108でレリーズ予告を行ない、その後ステップF109でレリーズを行う例である。
ステップF108、F109の処理は図12と同様である。
【0172】
例えば要求対応撮像モードとする場合として、そのときのデジタルスチルカメラ1の撮像視野の状態で、静止画撮像を行わせたいという場合が考えられる。
このような場合に応じては、特に被写体検出処理、構図処理が不要となる場合もある。
例えば自動撮像モードでデジタルスチルカメラ1の撮像視野が自動的に変化しているときに、ユーザが、自分の方にデジタルスチルカメラ1が向いたときを見計らってトリガ入力を行う。すると、その状態でレリーズ予告動作が行われ、静止画撮像が行われるものとなる。
このような処理であっても、ユーザの要求に応じた静止画撮像が実現される。
【0173】
なお、この第3の実施の形態においても、第1の実施の形態の変形例として述べた各種の例(被写体検出処理、構図処理以外の例えばトリガ入力などの例)を、変形例として適用することができる。
特にこの第3の実施の形態の場合、第1の実施の形態の変形例として図13で述べた動作、つまり図13のステップF120の要求方向判定、ステップF121の要求方向へのパン・チルト制御を組み合わせることも好適である。
その場合、ユーザがトリガ入力を行うことで、まずそのユーザの方向にデジタルスチルカメラ1が振り向き、その状態でレリーズ予告、レリーズ処理が行われるものとなる。
【0174】
<8.第4の実施の形態の撮像動作>
第4の実施の形態は、自動撮像モードでの処理例として述べる。
図11(b)が第4の実施の形態の処理例である。
【0175】
図11(b)のステップF1〜F3は図11(a)と同様である。この場合制御部27は、ステップF3で構図処理がOKとなったら、ステップF4Aとして、レリーズ予告処理を行う。レリーズ予告処理については、図12のステップF108において述べた処理と同様である。
つまり、この第4の実施の形態は、自動撮像モードでの静止画撮像時にも、レリーズ予告処理を行って、ユーザに静止画撮像を行うことを知らせる処理例である。
この処理は、要求対応撮像モードを設けない撮像システムにも適用できるし、図12のステップF102の自動撮像モード処理として図11(b)の処理を適用できる。
【0176】
自動撮像モードであっても、レリーズ予告処理を行うことで、それに気づいたユーザは、静止画撮像を意識してポーズを撮ることなども可能となる。
【0177】
<9.機能構成の変形例>
以上、各種の実施の形態の処理例を説明してきたが、ここまでは基本的には図10の機能構成に基づいた制御処理として述べてきた。
例えばデジタルスチルカメラ1と雲台10から成る撮像システムでは、図10以外にも機能構成例が考えられる。以下、例を挙げる。
【0178】
図31は、図10と比較してわかるように、デジタルスチルカメラ1の制御部27側にトリガ検出/受付部87としての機能を与えた例である。つまり制御部27側でトリガ入力の検知も行い、トリガ検知があったら、要求対応撮像モードへのトリガとして受け付ける例である。
第1の実施の形態の変形例として、トリガ入力の各種例を説明した。例えばデジタルスチルカメラ1の筐体にタッチセンサが設けられる場合、デジタルスチルカメラ1への操作としてトリガ入力が行われる場合などは、図31のように制御部27のトリガ検出/受付部87が機能して、トリガ入力を認識することになる。
また、図8に示した音声入力部35が設けられ、特定の音声入力をトリガ入力と認識する場合も、図31のトリガ検出/受付部87が、その認識処理を行う。
さらに、デジタルスチルカメラ1側の制御部27にトリガ検出/受付部87としての機能を備えるようにした場合は、信号処理部24での画像解析、即ち被写体検出処理の過程で、上述した特定の被写体状態としての挙動や目線等を認識し、トリガ入力の検知を行う。
【0179】
これらのことから、図31のような機能構成が採用されることもある。
もちろん、図10の雲台10側のトリガ検出部73と、図31のデジタルスチルカメラ1側のトリガ検出/受付部87の両方が機能構成として設けられ、多様なトリガ入力に対応できるようにしてもよい。
【0180】
また機能構成の他の例として、図示は省略するが、図10又は図31におけるレリーズ予告動作制御部84が、雲台10側に設けられてもよい。
即ち図9で示したように雲台10側にレリーズ予告実行部64が設けられたり、雲台のパン・チルト動作でレリーズ予告としての動作を実行する場合である。
この場合、モードシーケンス制御部86が通信によってレリーズ予告動作の指示を雲台10側のレリーズ予告動作制御部に与える。これに応じてレリーズ予告動作制御部が、レリーズ予告実行部64の動作の実行制御を行い、又はパン・チルト動作による所定の挙動を実行制御する。
【0181】
図32は、デジタルスチルカメラ1側は撮像記録制御部81と通信処理部85のみを有する例である。そして雲台10側(制御部51)に、通信処理部71、トリガ検出部73、撮像準備処理部74、撮像視野可変制御部75、レリーズ予告動作制御部76、モードシーケンス制御部77、トリガ検出/受付部79を設ける。
【0182】
各機能部が実行する制御処理は、基本的には図10で説明したものと同様であるが、次の点が異なる。
撮像準備処理部74は、被写体検出処理や構図処理を行うために、各フレーム画像としての撮像画像データを、デジタルスチルカメラ1の信号処理部24から供給を受けるようにする。そして画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
撮像視野可変制御部75は、撮像準備処理部74からの指示に応じて、パン用駆動部55、チルト用駆動部58を制御して、被写体検出や構図合わせのためのパン・チルト動作を実行させる。
また、ズーム制御のために、撮像準備処理部74は、ズーム制御信号を通信処理部71を介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)に出力する。撮像記録制御部81は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
【0183】
また、モードシーケンス制御部77は、例えば図12等の自動撮像モード、要求対応撮像モードの動作を実現するために各機能部位に指示を与える。
モードシーケンス制御部77は、図12のステップF109等のレリーズ処理を行う際には、通信処理部71介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)にレリーズ制御信号を出力する。撮像記録制御部81は、レリーズ制御信号に応じて、静止画記録動作を実行制御する。
トリガ検出/受付部79は、トリガ入力を検知する。そして検知した場合に要求対応撮像モードへのトリガとして受け付ける。
【0184】
また、レリーズ予告処理を行う場合は、モードシーケンス制御部86がレリーズ予告動作の指示をレリーズ予告動作制御部76に与える。これに応じてレリーズ予告動作制御部76が、雲台10側のレリーズ予告実行部64の動作の実行制御を行い、又はパン・チルト動作による所定の挙動を実行制御する。
【0185】
なお、この図32の変形例として、図示は省略するが、トリガ検出部や、レリーズ予告動作制御部がデジタルスチルカメラ1に設けられる場合、或いは両方に設けられる場合が考えられる。
即ちトリガ入力や、レリーズ予告動作の実行を、デジタルスチルカメラ1側で行うか、雲台10側で行うか、或いは両方で行うかによるものとなる。
【0186】
図33は、図32の更なる変形例である。これは図9で言及したように、雲台10側に撮像部63が設けられる場合に対応する例である。
撮像準備処理部74は、デジタルスチルカメラ1側からではなく、撮像部63から、フレーム画像データを入力する。そして画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
この場合も図32の場合と同様に、撮像視野可変制御部75は、撮像準備処理部74からの指示に応じて、パン用駆動部55、チルト用駆動部58を制御して、被写体検出や構図合わせのためのパン・チルト動作を実行させる。また、ズーム制御のために、撮像準備処理部74は、ズーム制御信号を通信処理部71を介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)に出力する。撮像記録制御部81は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
【0187】
また撮像部63が雲台10側に設けられていることで、特定の被写体状態、つまりユーザの特定の挙動や目線等によるトリガ入力も、雲台10側で対応できる。
このためトリガ検出/受付部79は、撮像部63からの撮像画像データを解析し、トリガ入力を検知する。そして検知した場合に要求対応撮像モードへのトリガとして受け付ける。
なお、この図33の変形例としても、トリガ検出部や、レリーズ予告動作制御部がデジタルスチルカメラ1に設けられる場合、或いは両方に設けられる場合が考えられる。
【0188】
また、デジタルスチルカメラ1側のみにトリガ検出部が設けられ、雲台10側にトリガ受付部が設けられる場合もある。
図34に例を示す。図34は、デジタルスチルカメラ1(制御部27)側は撮像記録制御部81と通信処理部85とトリガ検出部88を有する例である。そして雲台10側(制御部51)に、通信処理部71、トリガ受付部78、撮像準備処理部74、撮像視野可変制御部75、レリーズ予告動作制御部76、モードシーケンス制御部77を設ける。
例えばデジタルスチルカメラ1の筐体にタッチセンサが設けられたり、音声入力部35が設けらる場合など、デジタルスチルカメラ1側でのユーザ操作や特定の音声入力をトリガ検出部88が検知する。そして通信処理部85,71を介して雲台10側のトリガ受付部78に、トリガ検知を通知する。トリガ受付部78は、その通信によりトリガ入力の受付を行い、モードシーケンス制御部77にトリガ入力があったことを通知する。モードシーケンス制御部77は、例えば図12等の自動撮像モード、要求対応撮像モードの動作を実現するために各機能部位に指示を与える。
【0189】
以上、制御機能の構成例を例示したが、当然、さらに多様な制御機能構成が考えられる。
本発明の実施の形態としての最も基本的な機能構成は図35(a)又は図35(b)のようになる。
図35(a)はデジタルスチルカメラ1側にモードシーケンス制御部86とトリガ受付部89(又はトリガ検出/受付部87)が、少なくとも設けられる場合を示している。他の各機能部位はデジタルスチルカメラ1側又は雲台10側のいずれかに設けられるものとして、多様な例が想定される。例えば図10、図31のような構成がこれに該当する。
また図35(b)は雲台10側にモードシーケンス制御部86とトリガ受付部78(又はトリガ検出/受付部79)が、少なくとも設けられる場合を示している。他の各機能部位はデジタルスチルカメラ1側又は雲台10側のいずれかに設けられるものとして、多様な例が想定される。例えば図32、図33、図34のような構成がこれに該当する。
そしてこれらから理解されるように、本発明の撮像制御装置は、デジタルスチルカメラ1としての制御機能構成としても実現できるし、雲台10の制御機能構成としても実現できる。さらにデジタルスチルカメラ1と雲台10による撮像システムの制御機能構成としても実現できる。換言すれば、デジタルスチルカメラ1、雲台10のそれぞれ、又はそれらのセットの撮像システムは、本発明の撮像制御装置、又は撮像制御方法の実施製品となり得る。
なお、図10、図31〜図34、及び図35では、各制御機能部位をブロック化して示しているが、これらがそれぞれ独立したプログラムモジュール、或いはハードウエアとして構成される必要はない。事実上、これらの制御機能部の総合的な処理として、図12等の処理動作が実現されるものであればよい。
【0190】
<10.プログラム>
本実施の形態のプログラムは、上述した各実施の形態、或いは変形例の処理動作として自動撮像モード、要求対応撮像モードの処理をCPU等の演算処理装置に実行させるプログラムである。特に制御部27,51によって起動されることで図12等の上述した処理を実現させる。
【0191】
本実施の形態のプログラムは、パーソナルコンピュータや、デジタルスチルカメラ1や雲台10等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0192】
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0193】
そして本発明のプログラムによれば、上記各実施の形態の処理を実現する撮像装置、撮像システムの実現及び広範な提供に適している。
【符号の説明】
【0194】
1 デジタルスチルカメラ、2 本体部、21a レンズ部、31a レリーズボタン、10 雲台、11 本体部、12 カメラ台座部、13 突起部、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、35 音声入力部、36 レリーズ予告実行部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、59 接続検出部、60 操作部、60b〜60d タッチ領域、62 音声入力部、63 撮像部、64 レリーズ予告実行部、81 撮像記録制御部、82,74 撮像準備処理部、83,75 撮像視野可変制御部、84,76 レリーズ予告動作制御部、86,77 モードシーケンス制御部、72 パン・チルト制御部、73,87 トリガ検出部、78,89 トリガ受付部、79,87 トリガ検出/受付部
【特許請求の範囲】
【請求項1】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置についての撮像視野の可変機構を駆動制御する撮像視野可変制御部と、
ユーザのレリーズ操作によらない静止画撮像動作として、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像装置が自動的に静止画撮像動作を行う際に、予告動作実行部に静止画撮像を行うことの予告動作を実行させる制御を行う撮像予告動作制御部と、
を備えた撮像制御装置。
【請求項2】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置における静止画撮像動作を制御する撮像記録制御部をさらに備え、
上記撮像予告動作制御部は、ユーザのレリーズ操作によらない静止画撮像動作として、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が自動的に静止画撮像動作を行う際に、予告動作実行部に静止画撮像を行うことの予告動作を実行させる制御を行う請求項1に記載の撮像制御装置。
【請求項3】
所定のトリガ入力を受け付けるトリガ受付部をさらに備え、
上記撮像予告動作制御部は、上記トリガ受付部で上記トリガ入力が受け付けられた後の静止画撮像動作が実行される際に、上記予告動作の実行を制御する請求項1に記載の撮像制御装置。
【請求項4】
上記トリガ受付部は、ユーザによる特定の操作入力を上記トリガ入力として受け付ける請求項3に記載の撮像制御装置。
【請求項5】
上記トリガ受付部は、特定の音声入力を上記トリガ入力として受け付ける請求項3に記載の撮像制御装置。
【請求項6】
上記トリガ受付部は、撮像画像から特定の被写体状態が判定されることを上記トリガ入力として受け付ける請求項3に記載の撮像制御装置。
【請求項7】
上記撮像予告動作制御部は、上記予告動作として、音声出力、又は表示出力を実行させる制御を行う請求項1に記載の撮像制御装置。
【請求項8】
上記撮像予告動作制御部は、上記予告動作として、上記可変機構を駆動制御して上記撮像装置に所定の動作を実行させる制御を行う請求項1に記載の撮像制御装置。
【請求項9】
上記撮像記録制御部は、上記予告動作の実行後又は実行開始後、所定の静止画撮像条件を満たしたときに、上記撮像装置に静止画撮像動作を実行させる請求項2に記載の撮像制御装置。
【請求項10】
特定の音声入力があったときに、上記静止画撮像条件が満たされたと判断される請求項9に記載の撮像制御装置。
【請求項11】
撮像画像から特定の被写体状態が判定されたときに、上記静止画撮像条件が満たされたと判断される請求項9に記載の撮像制御装置。
【請求項12】
上記予告動作の実行後又は実行開始後、所定の時間を経過したときに、上記静止画撮像条件が満たされたと判断される請求項9に記載の撮像制御装置。
【請求項13】
上記レリーズ操作によらない撮像動作の動作モードとして、自動撮像モードと要求対応撮像モードが設けられ、
上記トリガ受付部が受け付ける上記トリガ入力は、上記自動撮像モードから上記要求対応撮像モードへの切換入力とされ、
上記自動撮像モードとして、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行っている際に、上記トリガ受付部によって上記トリガ入力が受け付けられた場合、上記要求対応撮像モードとして、上記撮像記録制御部の制御による静止画撮像動作を実行させる要求対応撮像制御部をさらに備え、
上記撮像予告動作制御部は、上記要求対応撮像制御部によって上記要求対応撮像モードでの静止画撮像動作が実行される際に、上記予告動作の実行を制御する請求項3に記載の撮像制御装置。
【請求項14】
静止画撮像のための撮像視野を決定する処理を行う撮像準備処理部をさらに備え、
上記要求対応撮像制御部は、上記要求対応撮像モードとして、上記撮像準備処理部に要求対応撮像動作のための撮像視野を決定する処理を実行させ、撮像視野決定後、上記撮像予告動作制御部の制御による上記予告動作を実行させてから上記撮像記録制御部の制御による静止画撮像動作を実行させる請求項13に記載の撮像制御装置。
【請求項15】
上記要求対応撮像モードの際に、上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、撮像視野内に撮像要求に応じた被写体を入れるための被写体検出処理を行う請求項14に記載の撮像制御装置。
【請求項16】
上記要求対応撮像モードの際に、上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、撮像視野内における被写体画像の配置を調整する構図処理を行う請求項14に記載の撮像制御装置。
【請求項17】
上記トリガ受付部は、上記トリガ入力についての入力方向を検知可能とされ、
上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を、上記入力方向に駆動制御させる請求項14に記載の撮像制御装置。
【請求項18】
上記要求対応撮像制御部は、上記撮像記録制御部の制御による静止画撮像動作の実行後、上記自動撮像モードの動作に復帰させる請求項13に記載の撮像制御装置。
【請求項19】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、
上記静止画撮像部の撮像視野の可変機構と、
静止画撮像を行うことの予告動作を実行する予告動作実行部と、
を有する撮像装置又は撮像システムに対する撮像制御方法であって、
ユーザのレリーズ操作によらない静止画撮像動作として、上記可変機構を駆動制御しながら上記静止画撮像部に自動的に静止画撮像動作を行わせる際に、上記予告動作実行部に静止画撮像を行うことの予告動作を実行させる撮像制御方法。
【請求項20】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、
上記静止画撮像部の撮像視野の可変機構と、
静止画撮像を行うことの予告動作を実行する予告動作実行部と、
を有する撮像装置又は撮像システムに対する制御処理プログラムであって、
ユーザのレリーズ操作によらない静止画撮像動作として、上記可変機構を駆動制御しながら上記静止画撮像部に自動的に静止画撮像動作を行わせる際に、上記予告動作実行部に静止画撮像を行うことの予告動作を実行させる制御を演算処理装置に実行させるプログラム。
【請求項1】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置についての撮像視野の可変機構を駆動制御する撮像視野可変制御部と、
ユーザのレリーズ操作によらない静止画撮像動作として、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像装置が自動的に静止画撮像動作を行う際に、予告動作実行部に静止画撮像を行うことの予告動作を実行させる制御を行う撮像予告動作制御部と、
を備えた撮像制御装置。
【請求項2】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う撮像装置における静止画撮像動作を制御する撮像記録制御部をさらに備え、
上記撮像予告動作制御部は、ユーザのレリーズ操作によらない静止画撮像動作として、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が自動的に静止画撮像動作を行う際に、予告動作実行部に静止画撮像を行うことの予告動作を実行させる制御を行う請求項1に記載の撮像制御装置。
【請求項3】
所定のトリガ入力を受け付けるトリガ受付部をさらに備え、
上記撮像予告動作制御部は、上記トリガ受付部で上記トリガ入力が受け付けられた後の静止画撮像動作が実行される際に、上記予告動作の実行を制御する請求項1に記載の撮像制御装置。
【請求項4】
上記トリガ受付部は、ユーザによる特定の操作入力を上記トリガ入力として受け付ける請求項3に記載の撮像制御装置。
【請求項5】
上記トリガ受付部は、特定の音声入力を上記トリガ入力として受け付ける請求項3に記載の撮像制御装置。
【請求項6】
上記トリガ受付部は、撮像画像から特定の被写体状態が判定されることを上記トリガ入力として受け付ける請求項3に記載の撮像制御装置。
【請求項7】
上記撮像予告動作制御部は、上記予告動作として、音声出力、又は表示出力を実行させる制御を行う請求項1に記載の撮像制御装置。
【請求項8】
上記撮像予告動作制御部は、上記予告動作として、上記可変機構を駆動制御して上記撮像装置に所定の動作を実行させる制御を行う請求項1に記載の撮像制御装置。
【請求項9】
上記撮像記録制御部は、上記予告動作の実行後又は実行開始後、所定の静止画撮像条件を満たしたときに、上記撮像装置に静止画撮像動作を実行させる請求項2に記載の撮像制御装置。
【請求項10】
特定の音声入力があったときに、上記静止画撮像条件が満たされたと判断される請求項9に記載の撮像制御装置。
【請求項11】
撮像画像から特定の被写体状態が判定されたときに、上記静止画撮像条件が満たされたと判断される請求項9に記載の撮像制御装置。
【請求項12】
上記予告動作の実行後又は実行開始後、所定の時間を経過したときに、上記静止画撮像条件が満たされたと判断される請求項9に記載の撮像制御装置。
【請求項13】
上記レリーズ操作によらない撮像動作の動作モードとして、自動撮像モードと要求対応撮像モードが設けられ、
上記トリガ受付部が受け付ける上記トリガ入力は、上記自動撮像モードから上記要求対応撮像モードへの切換入力とされ、
上記自動撮像モードとして、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行っている際に、上記トリガ受付部によって上記トリガ入力が受け付けられた場合、上記要求対応撮像モードとして、上記撮像記録制御部の制御による静止画撮像動作を実行させる要求対応撮像制御部をさらに備え、
上記撮像予告動作制御部は、上記要求対応撮像制御部によって上記要求対応撮像モードでの静止画撮像動作が実行される際に、上記予告動作の実行を制御する請求項3に記載の撮像制御装置。
【請求項14】
静止画撮像のための撮像視野を決定する処理を行う撮像準備処理部をさらに備え、
上記要求対応撮像制御部は、上記要求対応撮像モードとして、上記撮像準備処理部に要求対応撮像動作のための撮像視野を決定する処理を実行させ、撮像視野決定後、上記撮像予告動作制御部の制御による上記予告動作を実行させてから上記撮像記録制御部の制御による静止画撮像動作を実行させる請求項13に記載の撮像制御装置。
【請求項15】
上記要求対応撮像モードの際に、上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、撮像視野内に撮像要求に応じた被写体を入れるための被写体検出処理を行う請求項14に記載の撮像制御装置。
【請求項16】
上記要求対応撮像モードの際に、上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を駆動制御させながら、撮像視野内における被写体画像の配置を調整する構図処理を行う請求項14に記載の撮像制御装置。
【請求項17】
上記トリガ受付部は、上記トリガ入力についての入力方向を検知可能とされ、
上記撮像準備処理部は、上記撮像視野可変制御部により上記可変機構を、上記入力方向に駆動制御させる請求項14に記載の撮像制御装置。
【請求項18】
上記要求対応撮像制御部は、上記撮像記録制御部の制御による静止画撮像動作の実行後、上記自動撮像モードの動作に復帰させる請求項13に記載の撮像制御装置。
【請求項19】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、
上記静止画撮像部の撮像視野の可変機構と、
静止画撮像を行うことの予告動作を実行する予告動作実行部と、
を有する撮像装置又は撮像システムに対する撮像制御方法であって、
ユーザのレリーズ操作によらない静止画撮像動作として、上記可変機構を駆動制御しながら上記静止画撮像部に自動的に静止画撮像動作を行わせる際に、上記予告動作実行部に静止画撮像を行うことの予告動作を実行させる撮像制御方法。
【請求項20】
被写体の撮像、及び記録媒体への撮像画像データの記録を行う静止画撮像部と、
上記静止画撮像部の撮像視野の可変機構と、
静止画撮像を行うことの予告動作を実行する予告動作実行部と、
を有する撮像装置又は撮像システムに対する制御処理プログラムであって、
ユーザのレリーズ操作によらない静止画撮像動作として、上記可変機構を駆動制御しながら上記静止画撮像部に自動的に静止画撮像動作を行わせる際に、上記予告動作実行部に静止画撮像を行うことの予告動作を実行させる制御を演算処理装置に実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【公開番号】特開2011−137936(P2011−137936A)
【公開日】平成23年7月14日(2011.7.14)
【国際特許分類】
【出願番号】特願2009−297173(P2009−297173)
【出願日】平成21年12月28日(2009.12.28)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成23年7月14日(2011.7.14)
【国際特許分類】
【出願日】平成21年12月28日(2009.12.28)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]