撮像制御装置、撮像制御方法、プログラム
【課題】被写体人物が撮像されることについて無意識である場合に適した撮像動作の提供。
【解決手段】撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、第1の撮像動作設定での静止画撮像制御を行う。一方、所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、第2の撮像動作設定での静止画撮像制御を行う。第2の撮像動作設定とは、無意識な被写体人物の被写体ぶれを軽減したり、好ましい表情の画像を選択したり、無意識の人物に対して撮像による煩わしさをなくすような設定とする。
【解決手段】撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、第1の撮像動作設定での静止画撮像制御を行う。一方、所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、第2の撮像動作設定での静止画撮像制御を行う。第2の撮像動作設定とは、無意識な被写体人物の被写体ぶれを軽減したり、好ましい表情の画像を選択したり、無意識の人物に対して撮像による煩わしさをなくすような設定とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動的に静止画撮像を行う撮像装置、撮像システムについての撮像制御装置及び撮像制御方法に関する。また、当該撮像制御装置及び撮像制御方法を実現するためのプログラムに関する。
【先行技術文献】
【特許文献】
【0002】
【特許文献1】特開2009−100300号公報
【特許文献2】特開2009−55410号公報
【背景技術】
【0003】
上記特許文献1には、デジタルスチルカメラと、該デジタルスチルカメラのパン/チルト方向の向きを電動により変化させる雲台とを備えた撮像システムにより、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う技術が開示されている。
この特許文献1に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作(撮像画像自動記録)によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
【0004】
また上記特許文献2には、撮像の際に、ブロックマッチングを行って同一内容の複数の撮像画像データを重ね合わせることで、撮像によって得られる静止画データのノイズ低減を図る技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところでカメラマンが不要な自動撮像によれば、例えばパーティ等においてユーザがカメラマンを意識しないことで、自然な表情、姿を撮像できるという利点がある。
ここで、通常の撮像としてカメラマンが手動で撮像する際は、被写体となる人物に対し、例えば「撮るよ」などと声を掛けてから撮るため、被写体人物はカメラを意識し、静止したり、目を開けていようとしたり、写真を撮られるために好ましい条件となるよう行動する。
しかし自動撮像の場合、いつ撮られるかを被写体人物が気にしていないため、動いたりして被写体ブレ、目を閉じた瞬間に撮られた半目写真、口を開けた瞬間の撮られた写真、など、写真画像として好ましくないものが撮られる可能性が手動撮像に比べて上がる。いわゆる失敗写真などとよばれるものである。
【0006】
そこで本発明では自動撮像を行う装置又はシステムにおいて、被写体人物が無意識であることに適した撮像動作制御が行われるようにし、失敗写真の発生を低減することを目的とする。
【課題を解決するための手段】
【0007】
本発明の撮像制御装置は、撮像装置による静止画撮像動作を制御する撮像動作制御部と、上記撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、上記撮像記録制御部に第1の撮像動作設定での静止画撮像制御を指示し、上記所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、上記撮像記録制御部に第2の撮像動作設定での静止画撮像制御を指示する撮像設定切換制御部とを備える。
【0008】
上記第2の撮像動作設定は、上記第1の撮像動作設定よりも、上記撮像装置のシャッター速度を速くする撮像動作設定である。
また上記第1の撮像動作設定は、上記撮像装置の露光調整動作が、光量低下に応じてシャッター速度を第1の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定であり、上記第2の撮像動作設定は、上記撮像装置の露光調整動作が、光量低下に応じてシャッター速度が上記第1の所定速度より速い第2の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定である。
また上記第1の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた1フレームの撮像画像データから撮像結果としての静止画データを得る設定であり、上記第2の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた複数フレームの撮像画像データの重ね合わせ合成処理を行って撮像結果としての静止画データを得る設定である。
また上記第1の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた1フレームの撮像画像データから撮像結果としての静止画データを得る設定であり、上記第2の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた複数フレームの撮像画像データについての選択処理を行って撮像結果としての静止画データを得る設定である。
また上記第1の撮像動作設定は、撮像タイミング又はその前後で上記撮像装置に所定の発光もしくは発音を実行させる動作設定であり、上記第2の撮像動作設定は、撮像タイミング又はその前後で上記撮像装置に所定の発光もしくは発音を実行させない動作設定である。
【0009】
また、上記所定の撮像指示入力によらないで行われる静止画撮像動作とは、上記撮像装置が自動静止画撮像モードで撮像を実行している際の静止画撮像動作であり、上記所定の撮像指示入力に応じて行われる静止画撮像動作は、上記自動静止画撮像モードの際に、所定のトリガ入力によって撮像要求が行われた際に実行される要求対応撮像モードでの静止画撮像動作である。
また上記撮像装置についての撮像視野の可変機構を駆動制御する撮像視野可変制御部をさらに備え、上記自動静止画撮像モードでは、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行う。
或いは上記自動静止画撮像モードでは、上記撮像装置の撮像方向を固定した状態で上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行う。
【0010】
本発明の撮像制御方法は、撮像装置による静止画撮像動作の制御として、上記撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、第1の撮像動作設定での静止画撮像制御を実行し、上記所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、第2の撮像動作設定での静止画撮像制御を実行する。
本発明のプログラムは、上記撮像制御方法の処理を演算処理装置に実行させるプログラムである。
【0011】
このような本発明では、撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作は第1の撮像動作設定(例えば後述する通常撮像設定)で行われる。一方、撮像装置の操作者又は被写体人物による所定の撮像指示入力によらないで行われる静止画撮像動作、例えば自動静止画撮像の場合では、第2の撮像動作設定(例えば後述する無意識撮像設定)で撮像動作制御が行われる。この第2の撮像動作設定は、被写体人物が撮られることに対して無意識な状態を前提として、その場合に好適な設定である。
このため、例えばシャッター速度や露光制御、或いは撮像画像処理として被写体ぶれを軽減できる設定とする。また、撮像画像処理として、複数のフレームの撮像画像データについての選択処理を行って撮像結果としての静止画データを得ることで、被写体人物が好ましい状態で撮された静止画データを得るようにする。さらにはレリーズ時又はその前後の発光や発音を行わないようにし、撮像動作が被写体人物の妨げにならないようにするなどである。
【発明の効果】
【0012】
本発明によれば、撮像装置の操作者又は被写体人物による所定の撮像指示入力によらないで行われる静止画撮像動作、例えば自動静止画撮像の場合に、好ましい写真(静止画データ)が得られやすくすることができ、いわゆる失敗写真を減少させることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施の形態のデジタルスチルカメラの正面図及び背面図である。
【図2】実施の形態のデジタルスチルカメラが装着できる雲台の斜視図及び背面図である。
【図3】実施の形態のデジタルスチルカメラを雲台に取り付けた状態の正面図である。
【図4】実施の形態のデジタルスチルカメラを雲台に取り付けた状態でのパン方向の動きの説明図である。
【図5】実施の形態のデジタルスチルカメラを雲台に取り付けた状態でのチルト方向の動きの説明図である。
【図6】実施の形態の雲台のタッチ操作位置の説明図である。
【図7】実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。
【図8】実施の形態の雲台の内部構成例を示すブロック図である。
【図9】実施の形態の制御機能構成例の説明図である。
【図10】実施の形態の撮像制御処理のフローチャートである。
【図11】実施の形態の自動静止画撮像モード処理のフローチャートである。
【図12】実施の形態の要求対応撮像モード処理のフローチャートである。
【図13】実施の形態の露光制御方式の設定例の説明図である。
【図14】実施の形態の各設定によるレリーズ処理のフローチャートである。
【図15】実施の形態の各設定によるレリーズ処理のフローチャートである。
【図16】実施の形態の他の制御機能構成の説明図である。
【図17】実施の形態のさらに他の制御機能構成の説明図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態を次の順序で説明する。実施の形態では、デジタルスチルカメラと雲台より成る撮像装置(撮像システム)を例に挙げる。
<1.撮像システムの構成>
[1−1:全体構成]
[1−2:デジタルスチルカメラ]
[1−3:雲台]
<2.機能構成例>
<3.撮像制御処理>
<4.通常撮像設定と無意識撮像設定の例>
<5.機能構成の変形例>
<6.プログラム>
【0015】
なお、本明細書では「画枠」「画角」「撮像視野」「構図」という語を用いるが、各語の定義は以下の通りである。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野」は、撮像光学系による視野を表す。即ち撮像装置の周囲光景のうちで撮像対象として画枠に収まる範囲である。これは上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まる。
「構図」は、ここでは、フレーミングともいわれるもので、例えば撮像視野によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
【0016】
<1.撮像システムの構成>
[1−1:全体構成]
実施の形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が着脱可能に取り付けられた雲台10とを備えて成る。
雲台10は、デジタルスチルカメラ1のパン/チルト方向の向きを電動により変化させる。そして、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う。
例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、雲台10によりデジタルスチルカメラ1を例えばパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作(撮像画像自動記録)によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
【0017】
また実施の形態のデジタルスチルカメラ1は、雲台10に装着しなくとも、ユーザが手に持って通常のシャッタ操作(レリーズ操作)で手動撮像を行うことも当然に可能とされる。
さらにデジタルスチルカメラ1は、雲台10に装着しない状態で自動撮像を行うことができる。その場合は、雲台10によるパン・チルトはできないが、撮像方向を固定とした状態で自動撮像が行われる。
なお、この場合、ズーム制御によって撮像視野(画角)を変化させながら自動撮像を行うことはできる。
また、もちろん、雲台10に装着した状態であっても、パン・チルトを行わずに、撮像方向を固定して自動撮像を実行することもできる。
【0018】
図1にデジタルスチルカメラ1の外観例を示す。図1(a)、図1(b)は、それぞれデジタルスチルカメラ1の正面図、背面図である。
このデジタルスチルカメラ1は、図1(a)に示すように、本体部2の前面側にレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
【0019】
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像時にはレンズ部21aにより撮像された画像(撮像画像)が撮像画像データとして得られる。撮像時には、後述するイメージセンサにより所定フレームレートで各フレーム毎の撮像画像データが得られる。
そして、レリーズボタン31aに対する操作(レリーズ操作/シャッタ操作)が行われると、そのタイミングでの撮像画像データ(フレーム画像データ)が、撮像結果の静止画データとして記録媒体に記録される。つまり、一般に写真撮影といわれる静止画撮像が行われる。
【0020】
また、デジタルスチルカメラ1は、図1(b)に示すように、背面側に表示画面部33aを有する。
この表示画面部33aには、撮像時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。スルー画は、イメージセンサで得られる各フレーム画像に基づく動画像であり、そのときの被写体をそのまま表す画像となる。
また再生時には、記録媒体に記録されている画像データが再生表示される。
さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
また表示画面部33aに対してタッチパネルが組み合わされているようにすることで、ユーザは、表示画面部33aに対して指を当てることによって、必要な操作を行うことができる。
【0021】
なお、デジタルスチルカメラ1には、レリーズボタン31a以外の各種のキー、ダイヤル等の操作子が設けられることもある。
例えばズーム操作、モード選択、メニュー操作、メニュー上のカーソル操作、再生操作などのための操作キーやダイヤル等である。
【0022】
図2(a)は雲台10の外観を示す斜視図である。また図2(b)は雲台10の背面図を示している。
また、図3〜図5は、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5は側面図(特に図5(b)では側面図によりチルト機構の可動範囲を示している)である。
図2、及び図3,図4,図5に示すように、雲台10は、大きくは接地台部15の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
【0023】
雲台10にデジタルスチルカメラ1を取り付けるときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に置く。
図2に示すように、カメラ台座部12の上面部には、突起部13とコネクタ14が設けられている。図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れたりすることがないようにされている。
【0024】
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにカメラ台座部12にデジタルスチルカメラ1が適正に取り付けられた状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
【0025】
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12においてその位置を或る範囲内で変更(移動)できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に取り付けできるようになっている。
【0026】
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
雲台10を例えばテーブル上や床面上などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台10に取り付けられたデジタルスチルカメラ1の水平方向(左右方向)における撮像視野を変化させることができる(所謂パンニング)。
なお、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有している。
【0027】
また、この雲台10のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すように、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、すなわちパン位置(パン角度)を0°〜360°により表すものとする。
【0028】
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)(b)に示すように、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面部GRとが平行となる。
そのうえで図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。
このようにカメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に取り付けられたデジタルスチルカメラ1のチルト方向(上下方向)における撮像視野を変化させることができる。つまりチルティングの動作が得られる。
【0029】
図2(b)に示すように雲台10には、その本体部11の背面部において、電源ケーブルを着脱可能に接続する電源端子部t−Vinと、ビデオケーブルを着脱可能に接続するビデオ端子部t−Videoとが形成されている。
【0030】
雲台10は、上述したカメラ台座部12にて取り付けられたデジタルスチルカメラ1に対して上記電源端子部t−Vinを介して入力された電力を供給することで、上記デジタルスチルカメラ1に対する充電を行うように構成されている。
つまり本例の雲台10は、デジタルスチルカメラ1に対する充電を行うためのクレードル(ドック)としても機能する。
また、本例の場合、雲台10は、デジタルスチルカメラ1側から例えば撮像画像に基づく映像信号が伝送されてきた場合に、該映像信号を上記ビデオ端子部t−Videoを介して外部出力するように構成されている。
また、図2(b)や図4に示すように、雲台10の本体部11における背面部には、メニューボタン60aが設けられる。メニューボタンの操作により、雲台10とデジタルスチルカメラ1の間の通信により、例えばデジタルスチルカメラ1側の表示画面部33aでメニュー表示が行われる。このメニュー表示により、ユーザが所要の操作を行うことが可能とされる。
【0031】
ところで本実施の形態では、後述する自動静止画撮像モード中に要求対応撮像モードに移行するトリガの1つとしてユーザのタッチ操作が採用される。
具体的には、ユーザは雲台10にタッチするという操作を行う。このため、例えば図6(a)のように本体部11の上面にタッチ領域60bが形成されている。このタッチ領域60bにユーザがタッチすることで、雲台10に装備されたタッチセンサが当該タッチ操作を検出する。
なお、この図6では、破線で示す正面側の一部領域をタッチ領域60bとしているが、例えば本体部11の上面全面をタッチ領域60bとしてもよい。
【0032】
また、図6(b)には、雲台10の本体部11の上面において、正面方向側、右方側、左方側のそれぞれに、タッチ領域60b、60c、60dが形成されている例を示している。例えば雲台10内に3つのタッチセンサが装備され、各タッチ領域60b、60c、60dへのタッチ操作が、それぞれのタッチセンサにより検出される。
この場合、どのタッチセンサによりタッチ操作が検出されたかにより、デジタルスチルカメラ1及び雲台10による撮像システム側で、ユーザが、正面、右方、左方のうちのどの方向からタッチ操作を行ったかを判別できる。
ここでは、3つのタッチ領域60b〜60dを形成した場合を例示しているが、もちろん、より多数のタッチセンサを備え、多数のタッチ領域で、より細かくタッチ操作が行われた方向を判定できるようにしてもよい。
【0033】
また、図示しないが、雲台10には、マイクロホン及び音声入力回路系を有する音声入力部(後述の音声入力部62)が設けられる場合がある。
また雲台10には、撮像レンズ、イメージセンサ、撮像信号処理系などを備えた撮像部(後述の撮像部63)が設けられる場合もある。
さらに雲台10には、LED等の発光表示部、液晶パネル等による表示部、スピーカ及び音声出力回路等による音声出力部等が、後述するレリーズ予告実行部64として設けられる場合もある。
【0034】
[1−2:デジタルスチルカメラ]
図7は、デジタルスチルカメラ1の内部構成例を示したブロック図である。
光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部27が実行するズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【0035】
イメージセンサ22は、光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【0036】
イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
【0037】
信号処理部24は、例えばDSP(Digital Signal Processor)で構成され、A/Dコンバータ23から出力されるデジタル撮像信号について、プログラムに従った所定の信号処理を施す。
信号処理部24は、A/Dコンバータ23から出力されるデジタル撮像信号について、1つの静止画 (フレーム画像)に相当する単位で取り込みを行う。そして取り込んだ静止画単位の撮像画像データについて所定の信号処理を施すことで、1枚の静止画に相当する静止画データを生成する。
また信号処理部24は、取得した撮像画像データを利用して、後述する被写体検出処理や構図処理のための画像解析処理を実行する場合もある。
【0038】
ここで、上記のように信号処理部24で生成した撮像画像データを静止画データとして記録媒体であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した静止画データをメディアコントローラ26に転送する。
メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる静止画データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。
なお、静止画データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。例えば光ディスク、ハードディスク、着脱不能に取り付けられたフラッシュメモリチップなどの半導体メモリチップ、ホログラムメモリ等、各種の記録媒体を採用することもできる。
【0039】
また、デジタルスチルカメラ1は、信号処理部24にて得られる撮像画像データを利用して表示部33に画像表示を実行させることで、現在撮像中の画像である、いわゆるスルー画を表示させることができる。
例えば信号処理部24は、上述のようA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。
【0040】
表示ドライバ32は、上記のように信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していく。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていく。
これをユーザが見れば、そのときに撮像している画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
【0041】
また、デジタルスチルカメラ1は、メモリカード40に記録されている静止画データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が静止画データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された静止画データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
【0042】
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた静止画データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する画像データを得る。そして、この画像データを表示ドライバ32に対して転送する。これにより、表示部33において、メモリカード40に記録されている静止画データの画像が再生表示されることになる。
【0043】
また表示部33に対しては、上記のスルー画や静止画データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。
この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力する。これにより、表示部33でユーザインターフェース画像が表示される。
なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【0044】
制御部27は、CPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。
ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。
RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。
なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
【0045】
本実施の形態の場合、制御部27は、ユーザの手動による静止画撮像や自動静止画撮像モードでの撮像、さらには自動静止画撮像中の後述する要求対応撮像モードでの撮像等のための各種制御を行う。
自動静止画撮像モードや要求対応撮像モードでの撮像のためには各種の撮像準備処理を行う。
まず被写体検出処理として、撮像視野を変化させながら信号処理部24で得られる各フレーム画像から被写体検出を実行し(又は信号処理部24に実行させ)、デジタルスチルカメラ1の周囲の被写体を探索する処理を行う。
また構図処理として、被写体検出に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、及び最適構図判定により求まった最適とされる構図を目標構図とした構図合わせを行う。
これらの撮像準備処理の後、制御部27は撮像画像の自動記録を実行せる制御・処理を行う。
また撮像実行(レリーズ)に先だって、静止画撮像を行うことをユーザに提示する予告動作のための制御も行う場合もある。
これらの制御処理については後述する。
【0046】
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成して制御部27に出力する操作情報信号出力部位とを一括して示している。
各種操作子としては、レリーズボタン31aや、図1では省略した電源ボタン、モードボタン、ズーム操作ボタン、操作ダイヤル等がある。
また表示部33がタッチパネルとして形成される場合、そのタッチセンサ部も、この操作部31の具体例の1つとなる。
さらに、リモートコントローラからのコマンド信号の受信部も、操作部31の例の一つとなる。
制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
なお、先に雲台10にタッチセンサが設けられると述べたが、一例としてデジタルスチルカメラ1の筐体にタッチセンサが設けられる場合も考えられる。その場合のタッチセンサも図示する操作部31の具体例の1つとなる。
【0047】
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位である。
例えばデジタルスチルカメラ1が雲台10に取り付けられた状態において、雲台10側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
【0048】
また雲台10側からの充電を可能とすべく、上記の各コネクタには通信信号のやり取りを行うための端子のみでなく充電用電力の伝送のための端子も設けられる。図示は省略したが、デジタルスチルカメラ1には、バッテリーを着脱可能に装着するためのバッテリー装着部が設けられており、該装着部に装着されたバッテリーに対し、上記雲台10側から伝送された電力に基づく充電が行われるようになっている。
【0049】
またデジタルスチルカメラ1には、音声入力部35が設けられる場合がある。後述する要求対応撮像モードへのトリガ入力として、例えば特定の言葉の声や特定の音(例えば手を叩く音など)の入力を検出する場合に用いられる。
音声入力部35としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部27が実行するものとしてもよい。
さらにレリーズタイミングの判断として、特定の言葉の声や特定の音の入力を判別する場合にも音声入力部35が設けられる。
【0050】
またデジタルスチルカメラ1には、レリーズ予告実行部36が設けられる場合がある。後述するレリーズ予告動作を実行する部位である。
レリーズ予告実行部36は、ユーザに表示や音声などで静止画撮像を行うことを提示できる装置部であればよい。
例えば所定の発光パターンにより予告を行うべく、LEDなどの発光素子及びその発光駆動回路による発光動作部とされる場合が考えられる。
或いはデジタルスチルカメラ1の筐体正面側に設けられる液晶表示部等として特定の文字表示、色表示、パターン表示等により予告を行う表示部とされてもよい。
また、電子音、ビープ音、メッセージ音声などで予告を行うものとして、音声信号発生部、アンプ、スピーカ等から成る音声出力部とされてもよい。
さらには、これらが併用されてもよい。
【0051】
またデジタルスチルカメラ1にはストロボ発光部37が設けられる。ユーザによるストロボ発光設定により、或いは外光状況の判定により、制御部27の指示に応じてレリーズ時にストロボ発光が行われる。
【0052】
またデジタルスチルカメラ1にはAFイルミネータ発光部39が設けられる。AFイルミネータ発光部39は、暗所でもオートフォーカス制御が良好に行われるように被写体に対して赤色光等を照射する。例えばレリーズ前のオートフォーカス実行時に制御部27の制御により発光動作を行う。
【0053】
またデジタルスチルカメラ1には発音部38が設けられる。発音部38は、電子音等として、例えばレリーズ時にいわゆるシャッタ音を発生させる。また、セルフタイマー撮像の場合のガイド音声や、各種のアラーム音声なども発生させる。発音部38は制御部27による指示に応じたタイミングでシャッタ音等を発生させる。
【0054】
[1−3:雲台]
図8は、雲台10の内部構成例を示している。
図2(b)に示したように、雲台10には電源端子部t−Vinとビデオ端子部t−Videoとが設けられている。
図8に示すように、電源端子部t−Vinを介して入力された電力は、電源回路61を介した後、雲台10内の必要な各部の動作電力として供給される。また、電源回路61においては、デジタルスチルカメラ1に対する充電用電力が生成され、該充電用電力は通信部52(コネクタ)を介してデジタルスチルカメラ1側に供給される。
また、上記ビデオ端子部t−Videoには、デジタルスチルカメラ1側から伝送された映像信号が通信部52→制御部51を介して供給される。
なお、ここでは、雲台10の各部の動作電力は上記電源入力端子t−Vinを介してのみ供給されるかのように示しているが、実際には雲台10には、電池の装着部が設けられ、該装着部に装着された電池から各部の動作電力を供給することが可能に構成されている。
【0055】
また、本実施の形態の雲台10には、電源端子部t−Vin、ビデオ端子部t−Videoへのケーブルの接続有無を検出するための接続検出部59が設けられる。ケーブル接続有無の検出機構の具体的な構成については、例えばケーブルの接続/抜き取りに応じてスイッチがON/OFFする構成などを挙げることができる。但し本実施の形態においては、接続検出部59としては、ケーブルの接続/抜き取りを識別するための検出信号を出力するように構成されたものであればよく、その具体的な構成については特に限定されない。
接続検出部59による検出信号(電源端子部t−Vinについての検出信号とビデオ端子部t−Videoについての検出信号)は、制御部51に対して供給される。
【0056】
また雲台10は、先に述べたようにパン・チルト機構を備えるものであり、これに対応する部位として、図8にパン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を示している。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。
同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
【0057】
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータによって成り、パン機構部53、チルト機構部56の動きをコントロールする。
例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号により、パン用モータ54が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様に、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
【0058】
ここで、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
これにより制御部51は、駆動中のパン機構部53、チルト機構部56の回転角度量の情報をリアルタイムに取得(モニタ)できるようにされている。
【0059】
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位である。
この通信部52は、雲台対応通信部34と同様に、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
【0060】
操作部60は、具体的には、図2(b)や図4に示したメニューボタン60aとしての操作子と、この操作子に対して行われた操作に応じた操作情報信号を生成して制御部51に出力する操作情報信号出力部位とを一括して示している。制御部51は、操作部60から入力される操作情報信号に応じて所定の処理を実行する。
なお、図6において雲台10にはタッチセンサが設けられる場合があると述べたが、そのタッチセンサも操作部60の一例となる。その場合、タッチセンサによるタッチ操作の検出信号は制御部51に供給される。
さらに、雲台10についてリモートコントローラが用意される場合は、そのリモートコントローラからのコマンド信号の受信部も、操作部60の例の一つとなる。
【0061】
また雲台10には、音声入力部62が設けられる場合がある。音声入力部62は、後述する要求対応撮像モードへのトリガ入力として、例えば特定の言葉の声や特定の音(例えば手を叩く音など)の入力を検出するために設けられる。
音声入力部62としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部51が実行するものとしてもよい。
さらにデジタルスチルカメラ1でのレリーズタイミングの判断として、特定の言葉の声や特定の音の入力を判別する場合に対応するために、雲台10側に音声入力部62が設けられる場合もある。
【0062】
また雲台10には、撮像部63が設けられる場合がある。撮像部63は、要求対応撮像モードへのトリガ入力として、特定の被写体状態、例えば被写体側のユーザの特定のポーズや目線などを検出するために設けられる。
撮像部63は、光学系部、イメージセンサ、A/Dコンバータ、信号処理部、画像解析部などを備える。なお画像解析は、制御部51が実行するものとしてもよい。
さらにデジタルスチルカメラ1でのレリーズタイミングの判断として、特定の被写体状態を判別する場合、雲台10側に撮像部63が設けられる場合もある。
【0063】
また雲台10には、レリーズ予告実行部64が設けられる場合がある。後述するレリーズ予告動作を実行する部位である。
レリーズ予告実行部64は、ユーザに表示や音声などで静止画撮像を行うことを提示できる装置部であればよい。
例えば所定の発光パターンや発光周期により予告を行うべく、発光部(例えばLED)及びその発光駆動回路による発光動作部とされる場合が考えられる。
或いはデジタルスチルカメラ1の筐体正面側に設けられる液晶表示部等として特定の文字表示、色表示、パターン表示等により予告を行う表示部とされてもよい。
また、電子音、ビープ音、メッセージ音声などで予告を行うものとして、音声信号発生部、アンプ、スピーカ等から成る音声出力部とされてもよい。
さらには、これらが併用されてもよい。
なお、レリーズ予告動作として、パン、チルトを組み合わせた所定の動作を行うことも考えられる。その場合は、パン機構部53、チルト機構部56がレリーズ予告実行部64として実際の動作を行うこととなる。
【0064】
<2.機能構成例>
次に、図9のブロック図により、本実施の形態の撮像システムを成すデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウェア(プログラム)により実現される機能構成例を示す。
この機能構成例は、本例の撮像システムの撮像動作制御を行う撮像制御装置を実現する構成となり、主に、デジタルスチルカメラ1における制御部27、雲台10における制御部51等のハードウエア構成と、それらで起動されたソフトウエアモジュールが連関して形成される制御処理機能である。図9では、後述する自動撮像モードと要求対応撮像モードの処理のために必要な制御機能を、機能毎にブロック化して示している。
なお機能構成例は各種多様に考えられるが、図9では一例を示し、他の例は後述する。
【0065】
図9に示すように、デジタルスチルカメラ1(制御部27)側は、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、レリーズ予告動作制御部84、通信処理部85,モードシーケンス制御部86、トリガ受付部89を備える。
また雲台10(制御部51)側は、例えば通信処理部71、パン・チルト制御部72、トリガ検出部73を有している。
【0066】
まずデジタルスチルカメラ1側において、撮像記録制御部81は、撮像により得られた画像を画像信号のデータ(撮像画像データ)として得て、この撮像画像データを静止画データとして記録媒体に記憶するための制御処理を実行する部位である。また撮像記録制御部81は、記録した静止画データの再生、表示動作、或いは撮像時のスルー画の表示動作等のための制御も行う。
即ち撮像記録制御部81は、図8の光学系部21、イメージセンサ22、A/Dコンバータ23、シング処理部24、エンコード/デコード部25、メディアコントローラ26、表示ドライバ32等の制御を行う。即ち、光学系部21のレンズ駆動制御、イメージセンサ22の撮像動作、撮像信号処理、記録再生処理等を指示し、静止画撮像を実行させるなど、デジタルスチルカメラ1の基本動作を制御する機能部位である。
そして本例の場合、撮像記録制御部81は、撮像記録動作制御の際の動作設定として、モードシーケンス制御部86から指示された撮像動作設定に基づいて制御を行う。本例では、モードシーケンス制御部86から指示される撮像動作設定とは、通常撮像設定と無意識撮像設定とする。通常撮像設定と無意識撮像設定の内容については後述するが、撮像記録動作制御81は、通常撮像設定が指示されている際には、通常撮像設定に基づいて撮像記録動作の制御を行う。また無意識撮像設定が指示されている際には、無意識撮像設定に基づいて撮像記録動作の制御を行う。
この撮像記録制御部81は、本発明請求項にいう「撮像動作制御部」としての機能を含むものである。
【0067】
撮像準備処理部82は、自動静止画撮像モードと要求対応撮像モードでの静止画撮像を実行する際の撮像準備処理を行う機能部位である。
撮像準備処理の1つとしては被写体検出処理がある。これは、雲台10によるパン、チルト動作を実行させながら、信号処理部24で得られる各フレーム画像を確認し、撮像視野内に被写体(例えば人の顔)が入るようにする処理である。このために、撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、フレーム画像データの画像解析による人物検出、顔検出等の処理を行う。
また撮像準備処理の1つとして構図処理がある。構図処理とは、撮像視野内における被写体画像の配置について最適状態か否かを判断し(構図判定)、またその構図を調整する処理(構図合わせ)である。この構図の調整のために撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、光学系部21におけるズームレンズ駆動の判断等を行う。
【0068】
なお、上記の被写体検出処理や構図処理のための画像解析を行う処理機能は、制御部27ではなく信号処理部24としてのDSP(Digital signal Processor)に実行させることもできる。従って撮像準備処理部82としての機能部は、制御部27、信号処理部24としてのDSPの一方又は両方に与えるプログラム、インストラクションにより実現できる。
【0069】
撮像視野可変制御部83は、実際に撮像視野を変化させる動作を制御する機能部位である。撮像視野の変化は、雲台10のパン・チルト、もしくは光学系部21のズーム動作により行われる。従って撮像視野可変制御部83は、パン・チルト制御、ズーム制御を行う機能部位となる。
デジタルスチルカメラ1を用いてカメラマンが手動で撮像を行う場合は、撮像視野可変制御部83は、例えばカメラマンのズーム操作に応じてズームレンズ駆動を制御することとなる。
また後述する自動撮像モードや要求対応撮像モードの場合、撮像視野可変制御部83は、撮像準備処理部82での判断・指示に応じて、ズーム駆動制御、パン駆動制御、チルト駆動制御を行う。パン駆動制御、チルト駆動制御については、通信処理部85を介して雲台10側にパン・チルト制御信号を送信することになる。
特に構図合わせ等の実行時には、撮像準備処理部82が判定するパン・チルトの移動量に応じて、雲台10に当該移動量を指示するパン・チルト制御信号を出力する。
また、撮像準備処理部82で判定されるズーム倍率に応じて、光学系部21のズーム動作を駆動制御する。
【0070】
レリーズ予告動作制御部84は、後述するレリーズ予告の実行動作を制御する。
例えば図7、図8で説明したようにデジタルスチルカメラ1、雲台10の一方又は両方にレリーズ予告実行部36、64が設けられる場合がある。レリーズ予告動作制御部84は、これらのレリーズ予告実行部36,64において音声出力、発光出力、表示出力を実行させる制御を行う。
またレリーズ予告動作をデジタルスチルカメラ1の挙動で実行する場合は、その挙動を実現するために雲台10側にパン・チルト制御信号を供給する。
【0071】
通信処理部85は、雲台10側に備えられる通信処理部71との間で所定の通信プロトコルに従って通信を実行するための部位となる。
上記の撮像視野可変制御部83が生成したパン・チルト制御信号は、通信処理部64の通信により、雲台10の通信処理部71に対して送信される。
【0072】
モードシーケンス制御部86は、電源オンから電源オフまでのデジタルスチルカメラ1の処理の流れを制御する。例えば自動撮像、手動撮像に応じて撮像記録制御部81に実行させる制御方式を指示する。またモードシーケンス制御部86は、自動静止画撮像モードとされた場合に、自動撮像として所定の動作シーケンスで静止画撮像が行われるように各部を制御する。さらに自動静止画撮像モード中に所定のトリガ入力を検知して要求対応撮像モードとしての動作が行われるように動作シーケンスを制御する。
即ち、自動撮像モードと要求対応撮像モードのそれぞれにおいては、モードシーケンス制御部86は、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、レリーズ予告動作制御部84による制御処理を所定の手順で適宜実行させ、各モードの静止画撮像動作を実現する。
さらにモードシーケンス制御部86は、手動撮像又は自動撮像中の要求対応撮像モードでの撮像の際には、撮像記録制御部81に対して通常撮像設定での制御を指示する。一方、自動静止画撮像モードでの撮像の際には、撮像記録制御部81に対して無意識撮像設定での制御を指示する。
このモードシーケンス制御部86は、本発明請求項にいう「撮像設定切換制御部」としての機能を含むものである。
【0073】
トリガ受付部89は、例えば雲台10側のトリガ検出部73が検知したトリガ入力を、通信処理部71,85による通信を介して認識し、これを自動静止画撮像モードから要求対応撮像モードへの切換入力として受け付ける機能部位である。トリガ受付部89は、トリガ受付をモードシーケンス制御部86に通知する。
【0074】
次に雲台10側において、通信処理部71は、デジタルスチルカメラ1側の通信処理部85との間での通信を実行するための部位である。
上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御部72に出力する。
【0075】
パン・チルト制御部72は、例えば図8に示した雲台10側の制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能となる。
このパン・チルト制御部72は、入力したパン・チルト制御信号に応じて、図8に示したパン用駆動部55、チルト用駆動部58を制御する。これにより、例えば被写体検出処理のためのパンニング、チルティングや、構図処理による、最適な水平視野角と垂直視野角を得るためのパンニング、チルティング等が行われる。
【0076】
トリガ検出部73は、自動静止画撮像モードから要求対応撮像モードへ移行するためのトリガ入力を検出する機能部位である。
一例として、当該トリガ入力は、図6のように雲台10に設けられるタッチ領域60bへのタッチ操作であるとした場合、トリガ検出部73は、そのタッチセンサへの入力を検知する機能となる。
また、前述のように、タッチ入力以外に、図8の音声入力部62,撮像部63からトリガ入力を検出する構成とする場合は、それらのトリガ入力を監視・検知する処理を行う。
このトリガ検出部73は、トリガ入力を検知した場合、通信処理部71からデジタルスチルカメラ1のトリガ受付部89にトリガ検出信号を送信する。
なお、トリガ検出部73としての機能は、デジタルスチルカメラ1側に設けてもよい。
【0077】
<3.撮像制御処理>
本例のデジタルスチルカメラ1及び雲台10の構成において、上記図9の機能構成に基づいて実現される実施の形態としての動作を図10で説明する。
なお、図9の機能構成を前提とする場合、図10の処理はデジタルスチルカメラ1の制御部27の処理と考えることができる。つまり以下説明する処理は、モードシーケンス制御部86の指示のもと、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、レリーズ予告動作制御部84、通信処理部85、トリガ受付部89が機能して実行される。また、特に自動静止画撮像モード、要求対応撮像モードでは雲台10の制御部51の通信処理部71、パン・チルト制御部72、トリガ検出部73と連携して動作が行われるものである。
【0078】
図10ではデジタルスチルカメラ1の電源オンから制御部27の処理を示している。
電源オンにより、制御部27はステップF101で起動処理を行う。また制御部27はステップF102で通常撮像設定を行う。これは制御部27の撮像記録制御部81が通常撮像設定で撮像動作制御を行うものとする処理である。
【0079】
通常撮像設定とは、被写体が撮像を意識している場合、例えば手動撮像の場合に好適な動作設定である。
この図10の処理では、撮像動作の制御設定として通常撮像設定と無意識撮像設定での撮像動作制御が選択的に実行される。無意識撮像設定とは、自動静止画撮像モードでの静止画撮像の場合を想定し、被写体人物が撮像を意識していない場合に好適な制御設定である。通常撮像設定と無意識撮像設定の具体例については後述する。
【0080】
続いてステップF103で制御部27は、撮像画像データの取り込みを開始させる。即ち制御部27が、イメージセンサ22、信号処理部24による撮像画像データの各フレーム毎の取り込みを開始させる。また、スルー画を表示部33に表示させる。
この状態でユーザは、表示部33をみて被写体を確認し、手動撮像を行うことができる状態となる。
【0081】
その後、制御部27は、ステップF104,F105,F106の監視処理を行う。
ユーザがパワーオフ操作を行ったことを検知した場合、制御部27はステップF104からF116に進み、パワーオフ処理を行ってデジタルスチルカメラ1を電源オフ状態とする。
【0082】
手動撮像操作として、ユーザがレリーズボタン31aを押したことを検知した場合は、制御部27はステップF106からF107に進み、レリーズ処理を実行させる。即ち制御部27は、エンコード/デコード部25及びメディアコントローラ26に対する制御を行って、その時点で得られている撮像画像データ(フレーム画像)を1枚の静止画データとしてメモリカード40へ記録させるように制御する。
なお、いわゆるセルフタイマー撮像として、ユーザが10秒後などのレリーズをセットして行う撮像も、このステップF107の手動撮像での処理とする。
【0083】
このステップF107での撮像及び記録動作は、ステップF102での制御設定状態において行われるため、通常撮像設定に基づいて行われることになる。
また、図10には示していないが、ステップF103以降は、制御部27の制御により自動露光調整が行われる。即ち光学系部21における絞り機構の制御、イメージセンサ22でのシャッタ速度制御、イメージセンサ22のISO感度制御(イメージセンサ22の検出信号のゲイン制御)などが行われる。
また手動撮像の場合、レリーズ操作の前のレリーズボタン31aの半押しなどに応じて、オートフォーカス制御なども行われる。
このレリーズ前の各種処理も、通常撮像設定に基づいて実行される。
【0084】
デジタルスチルカメラ1が雲台10に装着されている状態で、ユーザによって自動静止画撮像モードを開始する操作が行われた場合、制御部27はステップF105からF108以降に進み、自動静止画撮像モードでの自動撮像を開始する。
なお、自動静止画撮像モードの動作は、必ずしも雲台10に装着されていなければならないものでもなく、デジタルスチルカメラ1単体であっても実行可能である。但しその場合は、雲台10によるパン・チルト動作は行われず、撮像方向は固定となることはいうまでもない。
【0085】
自動撮像開始が指示されステップF108に進んだ場合、制御部27はステップF102で選択していた通常撮像設定を、無意識撮像設定に切り換える処理を行う。つまり以降は制御部27が無意識撮像設定で撮像動作制御を行うものとする処理である。
そしてステップF109で自動静止画撮像モードの処理を行う。
【0086】
自動静止画撮像モードの処理を図11(a)(b)に示す。なお、図11(a)はデジタルスチルカメラ1が雲台10と連携して自動撮像を行う場合の処理であり、図11(b)はデジタルスチルカメラ1単体、もしくは雲台10に装着されていたとしてもパン・チルト動作を行わずに、自動撮像を行う場合の処理である。
【0087】
まず図11(a)の処理を説明する。
この図11(a)の自動静止画撮像モードの処理は、本例の撮像システムが、撮像準備として、被写体検出(探索)、最適構図判定、構図合わせの各動作により、被写体検出で検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行う。そして所定の条件で自動的にレリーズ処理を行う。これにより、カメラマンの操作を不要として、適切な静止画撮像が行われるようにするものである。
【0088】
自動撮像モードでの撮像動作が開始されると制御部27は、図11(a)のステップF121で被写体検出処理を行い、ステップF122で構図処理を行う。
被写体検出処理、構図処理(最適構図判定、構図合わせ)は、制御部27の撮像準備処理部82の機能により実行される。
【0089】
上述のステップF103で撮像画像データの取り込みが開始された以降は、信号処理部24は、イメージセンサ22による撮像画像データとして、1枚の静止画に相当するフレーム画像データを順次取得する。
制御部27は、被写体検出処理として、各フレーム画像データから、人物の顔に相当する画像部分を検出する処理を行う。
なお、被写体検出処理は、全フレーム毎に実行しても良いし、予め定められた所定のフレーム数間隔ごとに実行してもよい。
【0090】
本例の場合における被写体検出処理では、例えばいわゆる顔検出技術を利用して、画像内から検出した被写体ごとにその顔の画像部分の領域に対応して顔枠(顔画像領域の枠)を設定する。その上で、当該顔枠の数、サイズ、位置など情報から、画枠内における被写体数、各被写体のサイズやそれぞれの画枠内での位置の情報を得る。
なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
【0091】
ステップF121での被写体検出処理としては、先ずはデジタルスチルカメラ1の周囲に存在する被写体の探索を行う。
具体的に、この被写体の探索としては、デジタルスチルカメラ1における制御部27が、雲台10に対するパン・チルト制御や光学系部21に対するズーム制御を行うことによって、撮像視野を変化させながら画像解析による被写体検出を実行させること行う。
このような被写体探索は、撮像画像データとしてのフレーム画像に被写体が検出されるまで実行される。そしてフレーム画像内、つまりその時点の撮像視野に被写体(人物の顔)が存在する状態が得られたことに応じて終了する。
【0092】
被写体検出処理が終了した後、制御部27は、ステップF122で構図処理を行う。
具体的には、構図処理としては、まずその時点の構図が最適な状態か否かを判定する。この場合、被写体検出結果に基づく画構造の判定(この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など)を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。
ここで、この場合の構図は、パン・チルト・ズームの各撮像視野によって決定づけられるものであり、従って当該最適な構図か否かの判定処理によっては、その判定結果として、上記被写体検出結果(画枠内での被写体の態様)に応じた最適な撮像視野とするためのパン・チルト・ズームの制御量の情報が得られるものとなる。
【0093】
そして構図が最適な状態でなければ、構図合わせとして、最適な構図状態とすべく、パン・チルト制御、ズーム制御を行う。
具体的に制御部27は、構図合わせ制御として、最適構図判定処理により求まったパン・チルトの各制御量の変更の情報を雲台10側の制御部51に指示する。
これに応じて雲台10の制御部51は、指示された制御量に応じたパン機構部53・チルト機構部56についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用駆動部55、チルト用駆動部58に対する制御信号の供給を行う。
また、制御部27は、最適構図判定処理により求まったズームについての画角の情報を、光学系部21に指示することで、該指示した画角が得られるように光学系部21によるズーム動作を実行させる。
【0094】
なお、構図処理で最適構図の状態ではないと判断され、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップF122を一旦終え、ステップF121の被写体検出処理からやり直す。パン・チルト、ズーム動作により、或いは人物の動きにより、被写体が撮像視野から外れることもあるためである。
【0095】
制御部27は、最適な構図が得られた場合は、ステップF123でレリーズタイミング判定処理を行う。即ち、最適な構図が得られた状態で、パン・チルトを停止させて撮像視野を固定し、ステップF123のレリーズタイミング判定を行う。
この場合、例えば、被写体が笑顔などの所定の状態となることを条件としてレリーズを行うものとすることが考えられる。
なお、ステップF123によるレリーズタイミング判定処理にてレリーズタイミングがOKとならない場合も有り得るが、その場合、ステップF121の被写体検出からやり直すことになる。被写体人物の動き等により被写体が撮像視野から外れたり、或いは構図が崩れる場合があるためである。
【0096】
レリーズタイミング判定処理によってレリーズ条件が成立したとされた場合は、ステップF124のレリーズ処理として、撮像画像データの自動記録を行う。具体的に制御部27は、エンコード/デコード部25及びメディアコントローラ26に対する制御を行って、その時点で得られている撮像画像データ(フレーム画像)のメモリカード40への記録を実行させる。
【0097】
以上の図11(a)のような制御部27による制御・処理に基づき、自動静止画撮像モードでの静止画撮像が実行されていく。
ステップF123のレリーズタイミングの判定処理としては、次のような例が考えられる。
【0098】
まず経過時間に応じてレリーズタイミングを判断する例がある。例えば構図処理が完了したら、即座にレリーズタイミングとする処理や、構図処理完了から数秒後をレリーズタイミングとする処理が考えられる。
また、一定時間毎の撮像を行うように、前回のレリーズ処理から一定時間経過したらレリーズタイミングとする処理も考えられる。なお、これは次に述べる図11(b)の処理例に、より適したレリーズタイミング判定の例といえる。
また、位置に応じたレリーズタイミング判断も考えられる。例えば雲台10によるパン・チルト動作として、一定角度のパン又はチルト動作が行われる毎に、レリーズタイミングと判定する。これも次に述べる図11(b)の処理例に適した例といえる。
【0099】
また、画像解析によって被写体状況を判定し、レリーズタイミングとする、次のような各処理も考えられる。
・被写体人物が笑顔になったタイミングをレリーズタイミングとする。
・被写体人物の数が変化したことタイミングをレリーズタイミングとする。
・被写体人物の位置がある位置に入ったタイミングをレリーズタイミングとする。
・被写体の大きさがあるサイズ以上になったらレリーズタイミングとする。
・被写体人物が向き合ったらレリーズタイミングとする。
・被写体人物が寄り添ったらレリーズタイミングとする。
・被写体人物の目線が向き合ったらレリーズタイミングとする。
・被写体人物間の距離が近づいたらレリーズタイミングとする。
・以上の各例を組み合わせ、構図が合ったら、もしくは変化があったらレリーズタイミングとする。
【0100】
また音声入力部35で得られる周囲の音声からレリーズタイミングとする例として、次のような各処理も考えられる。
・瞬間的に大音量となったらレリーズタイミングとする。
・音声のレベルや周波数スペクトラムを監視し、雰囲気が盛り上がったと判断されるときをレリーズタイミングとする。
・泣き声、笑い声の検出時点をレリーズタイミングとする。
・特定の音、例えば拍手音、口笛音などを判定して、それが検知されたらレリーズタイミングとする。
【0101】
例えばこのように、時間/位置、画像解析、周囲音声検出などによって制御部27はステップF123のレリーズタイミング判定を行う。そしてステップF124のレリーズ処理を行う。これらのレリーズタイミング判定による撮像は、被写体人物が撮像を意識していないと想定される撮像動作となる。
【0102】
実際にユーザから見える撮像システムの挙動としては、雲台10によってデジタルスチルカメラ1が自動的にパン・チルト動作を行い、またズーム動作を行いながら、被写体を探索し、任意の時点で静止画撮像を行うものとなる。つまりカメラマンが存在せずに、撮像システムが勝手に被写体を決めて静止画撮像を行っているように見える。
この場合、カメラマンが存在しないことで、ユーザが撮影を意識しない自然な雰囲気の静止画撮像が行われやすいものとなる。
【0103】
図11(b)の処理例は、図11(a)のステップF121,F122を行わない諸入り例である。即ち、パン・チルト・ズームによる被写体検出及び構図処理を実行せずに、撮像方向を固定のまま、レリーズタイミングを自動判定し(F123)、レリーズ処理を行う(F124)
これは、デジタルスチルカメラ1単体で自動静止画撮像を実行させる場合、或いは雲台10に装着しても雲台を機能させないで自動静止画撮像を実行させる場合の例である。なお、この図11(b)の処理で、ズーム調整による構図処理は、自動的に実行するようにしてもよい。
この場合も実際にユーザから見えるデジタルスチルカメラ1又は撮像システムの挙動としては、デジタルスチルカメラ1が固定されたまま、カメラマンが存在せずに勝手に静止画撮像を行っているように見える。この場合も、ユーザが撮影を意識しない自然な雰囲気の静止画撮像が行われやすいものとなる。
【0104】
例えばこの図11(a)又は図11(b)のように行われる自動静止画撮像モードでの撮像制御は、ステップF108による無意識撮像設定の状態で行われることとなる。
ステップF123のレリーズタイミング判定は、上記のような例で行われ、被写体人物が撮像を意識していない状況と考えられる。そのため、被写体人物が撮像に無意識であることに対応して好適な無意識撮像設定で撮像動作制御が行われる。
【0105】
ここで、制御部27は、ステップF109での自動静止画撮像モードの処理を実行している期間は、ステップF110で、要求対応撮像モードへのトリガ入力を監視している。
図11(a)又は図11(b)には示していないが、図11(a)又は図11(b)の各ステップの実行中に、制御部27はトリガ入力の有無を確認している。
例えば一例として、図7(a)のように雲台10にタッチ領域60bが形成され、ユーザのタッチ領域60bへのタッチ操作が、要求対応撮像モードへのトリガ入力であるとして説明する。
【0106】
また特にトリガ入力が検知されなければ、図10のステップF113で自動撮像終了と判断されるまで、ステップF109での自動静止画撮像モードでの撮像が継続される。つまり図11(a)又は図11(b)の各ステップの処理期間内では、トリガ入力の有無を確認することに加え、ユーザの終了操作も監視していることになる。
ユーザが所定の操作を行って自動撮像終了を指示した場合は、制御部27は、図10の処理をステップF113からF114に進め、所定の終了処理を行って自動静止画撮像モードを終了させる。
さらにステップF115で、それまでの無意識撮像設定を通常撮像設定に戻す。そしてステップF104、F105,F106の監視ループに戻る。
【0107】
自動静止画撮像モード中に、ユーザが雲台10のタッチ領域60bにタッチ操作を行うと、雲台10における制御部51がこれを検知し、トリガ検出信号を制御部27に送信する。
これによりトリガ入力があったことを認識し、受け付けると、制御部27は、図10の処理をステップF110からF111に進み、通常撮像設定に切り換えた上で、ステップF106の要求対応撮像モードの動作制御を行う。
【0108】
ステップF112としての要求対応撮像モードの処理例を図12(a)(b)(c)に示す。
まず図12(a)の処理例を説明する。
ステップF131では、制御部27は被写体検出処理を行う。
またステップF132では、制御部27は、構図処理を行う。
この被写体検出処理、及び構図処理は、撮像要求に応じた撮像視野を決定する処理となる。
【0109】
一例として、ステップF131の被写体検出処理、ステップF132の構図処理は、自動静止画撮像モードにおける図11(a)のステップF121の被写体検出処理、ステップF122の構図処理と、同一のアルゴリズムによる処理とすることが考えられる。
ここで、要求対応撮像モードとは、ユーザの要求に応じて静止画撮像を行うモードである。従って、そのためには、撮像要求(タッチ操作)を行ったユーザを被写体として捉えることが必要である。これが撮像要求に応じた撮像視野を決定する処理と言える。
図7(a)のように雲台10の本体部11の正面側にタッチ領域60bが設定されている場合、撮像要求(タッチ操作)を行ったユーザは、撮像システムの正面側に居ると想定される。
従って、被写体検出のアルゴリズムが、まず初期位置として正面方向(図4のパン基準位置)のパン状態とし、また図5のチルト基準位置とするアルゴリズムであれば、その状態から被写体検出・構図処理を行えば、殆どの場合、当該ユーザを撮像視野に捉えることができると考えられる。このことから、ステップF131の被写体検出処理、ステップF132の構図処理は、自動動止画撮像モード時と同様のアルゴリズムによる処理を初期状態から開始するものとすればよい。
【0110】
但し、要求対応撮像モードとしての効果的な静止画撮像を行うためには、自動撮像モード時とは異なるアルゴリズムで被写体検出・構図処理を行うことが適切な場合もある。そのような各種の例については後述する。
【0111】
ステップF131,F132での処理で、最適な構図が得られた場合は、ステップF133で制御部27は、レリーズ予告処理を行う。
図7で述べたように、デジタルスチルカメラ1側にレリーズ予告実行部36が設けられている場合、制御部27は、レリーズ予告実行部36に所定の動作を実行させる。
例えばレリーズ予告実行部36に、LED点滅表示を実行させたり、特定の点滅周期、点滅パターンでLEDを発光させたり、電子音を発生させたり、或いは「はいチーズ」等のメッセージ音声を発生させるなどの制御を行う。
また、レリーズ予告をパン・チルト動作による挙動、例えばデジタルスチルカメラ1が震えたり、うなずくような挙動を行うことで表現する場合は、レリーズ予告動作制御部84は撮像視野可変制御部83に指示して、そのような挙動を実現するパン・チルト制御信号を雲台10側に送信させる。
もちろんこれらを併用したレリーズ予告を行っても良い。
レリーズ予告によって、ユーザは、予測されるレリーズタイミングまでにポーズをしたり、表情をつくることなどが可能となる。
【0112】
そしてレリーズ予告の後、ステップF134で制御部27は、レリーズ処理を行い、静止画データをメモリカード40に記録させる。
ここで制御部27は、レリーズ予告動作の実行後又は実行開始後、所定の静止画撮像条件を満たしたときに、レリーズ処理を行って静止画撮像動作を実行させることが考えられる。
例えば特定の音声入力があったとき、撮像画像から特定の被写体状態が判定されたとき、或いはレリーズ予告動作の実行後又は実行開始後、所定の時間を経過したときなどに、上記の静止画撮像条件が満たされたと判断することが想定される。
特定の音声入力があったときとは、例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを検出する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクや注視をするなどの挙動を行った状態を検出する。
所定の時間の経過とは、例えばレリーズ予告動作の実行後又は実行開始の時点から所定時間(例えば数秒)の経過とする。
制御部27は、これらを静止画撮像条件として必要な検出処理を行い、静止画撮像条件が整ったときに、撮像記録制御部81の制御でレリーズ処理(つまり静止画の記録)が行われるようにしてもよい。
制御部27は、静止画撮像後、処理をステップF102に戻し、要求対応撮像モードを終了して、再び自動撮像モードとしての処理を行う。
【0113】
この要求対応撮像モードの処理が行われることで、自動撮像モードで静止画撮像が行われている場合において、ユーザは、撮ってもらいたいと思ったときにタッチ操作をすればよい。すると、要求対応撮像モードの動作により、そのユーザの要求に応じて静止画撮像が行われる。このときレリーズ予告も行われることで、ユーザは、撮ってもらいたい表情、目線、姿等で撮影されることができる。
【0114】
要求対応撮像モードの処理例として図12(b)は、被写体検出及び構図処理を行わない例である。即ち、ステップF112で要求対応撮像モードとして処理を行う場合、ステップF133でレリーズ予告処理を行い、ステップF134でレリーズ処理を行う。
また図12(c)はタッチ操作等のトリガ入力に応じて、ステップF134でレリーズ処理を行う例である。
この図12(b)(c)は、デジタルスチルカメラ1単体、もしくは雲台10のパン・チルト動作を実行させないで行う要求対応撮像モードの処理例となる。
【0115】
そして、以上の図12(a)(b)(c)のような要求対応撮像モードでの撮像が行われる場合とは、ユーザがタッチ操作等で撮像を要求した場合である。つまり被写体人物が撮像を意識していることが想定される場合である。
そこで本例では、ステップF111で自動静止画撮像モード中の無意識撮像設定を通常撮像設定に切り換えた上で、ステップF112の要求対応撮像モードの撮像を行うようにしている。
ステップF112で要求対応撮像モードの処理を終えたら、再び自動静止画撮像モードに戻る。このときはステップF108で無意識撮像設定に切り換えた上で、ステップF109の自動静止画撮像モードの処理を行うこととなる。
【0116】
なお、ステップF110で監視する要求対応撮像モードのためのトリガや、ステップF112での要求対応撮像モード処理としては、多様な変形例が考えられる。
上記説明では雲台10へのユーザのタッチ操作をトリガ操作と認識する例を述べた。タッチ操作としては、デジタルスチルカメラ1の筐体上にタッチ領域を設け、ユーザがデジタルスチルカメラ1のタッチ領域に触れることで、撮像システムがトリガ操作を認識するものとしても良い。
また、ユーザのトリガ入力のための操作としては、雲台10又はデジタルスチルカメラ1に操作ボタンを設け、その操作ボタンの操作をトリガ入力としてもよい。
さらに、赤外線や電波を利用した無線方式、又は有線方式のリモートコントローラを用いた操作で、ユーザがトリガ操作を行うことができるようにしてもよい。
【0117】
また、制御部51(トリガ検出部73)は、特定の音声入力をトリガ入力として検知することも考えられる。例えば図9で説明したように雲台10に音声入力部62を備えるようにし、制御部51が、特定の音声入力を認識する。
特定の音声入力とは、或る言葉、例えばユーザが発する「撮って!」という言葉としてり、手を叩いた音などとする。
音声入力部62では、入力音声信号の解析処理を行い、これらの特定の音声入力があったか否かを判別する。そして特定の音声入力があったら、トリガ入力がなされたと認識するようにする。
もちろん、デジタルスチルカメラ1側の制御部27にトリガ検出部としての機能を備えるようにし、図7に示した音声入力部35からの音声信号についてトリガ入力判断を行うようにしてもよい。
【0118】
またトリガ検出部73は、撮像画像から特定の被写体状態が判定されたらトリガ入力があったと検知することも考えられる。
例えば図8で説明したように雲台10に撮像部63を備えるようにし、制御部51(トリガ検出部73)が、撮像画像から検出される特定の被写体状態をトリガ入力と認識する。
特定の被写体状態とは、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動が考えられる。或いは、ユーザが撮像システムを注視するなども考えられる。
撮像部63又はトリガ検出部73は、撮像画像の画像解析処理により、これらユーザの特定のジェスチャを判定したり、或いはユーザの目線を判定する。そして特定の被写体状態が検出されたら、トリガ入力がなされたと認識するようにする。
なお、デジタルスチルカメラ1側の制御部27にトリガ受付部89に加えてトリガ検出部としての機能を備えるようにした場合は、信号処理部24での画像解析、即ち被写体検出処理の過程で、このような特定の被写体状態としての挙動や目線等を認識できるため、特定の被写体状態によるトリガ入力の検知、及び要求対応撮像モードへのトリガとしての受け付けが可能となる。
【0119】
以上のいずれのトリガの場合も、ユーザが意識して撮像を求めるというものであればよい。
【0120】
また図12(a)のステップF131,F132としての、要求対応撮像モードとなった場合の撮像準備処理の例も各種考えられる。
例えば制御部27は、トリガ入力による要求方向を判定する。要求方向とは、撮像システムの位置を基準として、トリガ入力を行ったユーザの居る方向、つまりトリガ入力の方向である。そしてステップF131で制御部27は、要求方向へのパン・チルト制御を行い、デジタルスチルカメラ1の撮像方向が、上記の要求方向に向くようにする。
【0121】
例えばタッチ操作をトリガ入力とする場合、図7(b)のように複数方向に向かってタッチ領域60b〜60dを形成する。
雲台10の制御部51(トリガ検出部73)は、タッチ操作を検知した場合、トリガ検出信号とともに、タッチ領域60b〜60dのうちのどれにユーザがタッチしたかの情報(又はトリガ入力方向の情報)もデジタルスチルカメラ1の制御部27(トリガ受付部89、モードシーケンス制御部86)に伝える。制御部27はこれによりステップF120の要求方向判定を行う。
制御部27は、トリガ入力方向を判別したら、ステップF121で、デジタルスチルカメラ1の撮像方向がトリガ入力方向(要求方向)に向かうように、パン・チルト制御信号を出力する。これにより雲台10側でパン・チルト動作が行われ、ユーザの居る方向にデジタルスチルカメラ1が向く。
【0122】
つまり、撮像準備処理として、あたかもユーザの要求に答えるように、最初に要求方向にデジタルスチルカメラ1が向くようにする。
この状態から制御部27は被写体検出・構図処理を行う。
これによって、撮像要求したユーザを捉えやすくなり、ユーザの望む静止画撮像が容易に可能となる。
【0123】
トリガ入力が音声入力による場合も、このような処理は可能である。
例えば音声入力部35(又は62)には、複数のマイクロホンを用意し、各マイクロホンによって得られた各音声信号の相互間の時間差から、上述した特定の音声入力が発せられた方向を判別する。
制御部27は、このように音声入力から要求を行ったユーザの居る方向を判別することで、ステップF131での要求方向へのパン・チルト制御が可能となる。
実際の挙動としては、ユーザの呼びかけに撮像システムが反応して、ユーザに振り向くようなものとなり、その後、そのユーザを含む静止画撮像が行われるものとなる。
【0124】
以上図10の処理によれば、本実施の形態での撮像制御動作は、手動撮像(F107)、及び要求対応撮像モードでの撮像(F112)では、通常撮像設定のもとで行われる。これは被写体人物が撮像を意識していると想定される場合である。
一方、被写体人物が撮像を意識していないと想定される自動静止画撮像モードでの撮像(F109)では、無意識撮像設定のもとで行われることとなる。
以下では、通常撮像設定と無意識撮像設定の例について説明する。
【0125】
<4.通常撮像設定と無意識撮像設定の例>
被写体人物が撮像されることを意識している場合の通常撮像設定に対し、被写体人物が撮像に対して無意識である場合に好適な無意識撮像設定では、次の(1)〜(3)のような観点での動作設定が適切である。
(1)被写体ぶれの軽減を目的とする撮像動作設定
(2)変顔軽減を目的とする撮像動作設定
(3)目立たない設定
以下、それぞれについて説明する。
【0126】
(1)被写体ぶれの軽減を目的とする撮像動作設定
被写体人物が撮像に無意識である場合、当然ながらレリーズタイミングを意識してポーズをとったり、動かないように注意するといったことはせず、自由に行動している。このため、自動静止画撮像モードで撮像される写真(静止画データ)では、被写体人物の動きによってブレが発生しているものが多くなる傾向がある。
そこで、そのような被写体ブレ軽減のための動作設定を行う。
【0127】
(1−1)シャッタ速度設定
無意識撮像設定では通常撮像設定よりもシャッター速度を速くする撮像動作設定とする。つまりイメージセンサ22の露光時間を短くする。シャッタ速度を速くすることで、被写体ブレを軽減できる。
例えばユーザがシャッタ速度を固定とする設定をした場合に、通常撮像設定では、ユーザが指定した速度(例えば1/50秒)とするが、無意識撮像設定ではより速い設定(例えば1/60秒)などとすることが考えられる。
【0128】
(1−2)露光調整動作設定
通常撮像設定における露光調整動作は、光量低下に応じてシャッター速度を第1の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定とする。一方、無意識撮像設定における露光調整動作は、光量低下に応じてシャッター速度が第1の所定速度より速い第2の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定とする。
図13に例を挙げる。図13(a)は通常撮像設定での露光調整動作例を示している。
被写体光量(入射光量)の明暗に対しては自動露光調整が行われる。例えば上述したように図10のステップF103で撮像画像データの取込を開始した後は、継続的に露光調整が行われる。
露光調整は、光学系部21内の絞り機構の制御、イメージセンサ22のシャッタ速度制御、及びイメージセンサ22のISO感度制御(露光信号のゲイン制御)によって行われる。例えば制御部27は、撮像画像データの平均輝度レベル、加重平均輝度レベルなどから被写体光量を検出し、それに応じて絞り制御、シャッタ速度制御、ISO感度制御を行う。)
【0129】
ここで図13(a)では、被写体光量の明暗のレベルに応じた露光調整を示している。まず光量がレベルL1以上に明るい光量区間では、絞り機構の開閉によって露光調整を行う。光量がレベルL1未満となった状態では、絞り機構は全開状態のままシャッタ速度制御とISO感度制御で対応する。
この例では、レベルL1〜L3の光量区間は、シャッタ速度制御で対応するものとしている。例えばあくまで一例であるが、シャッタ速度は、レベルL1以上では1/100秒としていた場合に、レベルL1〜L3の光量区間では、徐々にシャッタ速度を遅くしていくようにする。例えばレベルL3の際には1/10秒となるようにする。
そして1/10秒に至った後、さらに光量レベルが低下している場合は、ISO感度制御を行う。例えば光量低下に応じてISO感度を100から徐々に高くなるようにする。
【0130】
このような通常撮像設定での露光調整動作に対し、無意識撮像設定では図13(b)のようにする。
まず光量がレベルL1以上に明るい光量区間では、通常撮像設定と同様、絞り機構の開閉によって露光調整を行う。光量がレベルL1未満となった状態では、絞り機構は全開状態のままシャッタ速度制御とISO感度制御で対応する。
この例では、レベルL1〜L2の光量区間は、シャッタ速度制御で対応するものとしている。例えばシャッタ速度は、レベルL1以上では1/100秒としていた場合に、レベルL1〜L2の光量区間では、徐々にシャッタ速度を遅くしていく。例えばレベルL2の際には1/40秒となるようにする。
そして1/40秒に至った後、さらに光量レベルが低下している場合は、ISO感度制御を行う。例えば光量低下に応じてISO感度を100から徐々に高くなるようにする。
この場合、レベルL4においてISO感度が自動撮像に適切な限界となった場合に、それ以降の光量低下にはシャッタ速度で対応する。つまりレベルL4より低い光量区間はシャッタ速度を1/40秒より徐々に遅くしていくようにする。
この図13(b)の無意識撮像設定では、図13(a)の通常撮像設定に比べて、レベルL2より光量が低い区間では、シャッタ速度が速くなるものとなる。つまり、シャッタ速度を或る程度の速度(この例では1/40秒)よりなるべく下げないようにする露光調整動作となる。
これにより無意識撮像設定における撮像時には、シャッタ速度が遅い状態になりにくく、通常撮像設定よりもシャッタ速度が速くなっていることが多くなる。従って無意識撮像設定では被写体ブレ機能が高まることとなる。
【0131】
(1−3)重ね合わせ合成
通常撮像設定では、撮像結果として記録する静止画データ生成処理として、レリーズタイミングに応じた1フレームの撮像画像データから静止画データを得る設定とする。一方、無意識撮像設定では、撮像結果として記録する静止画データ生成処理として、レリーズタイミングに応じた複数フレームの撮像画像データの重ね合わせ合成処理を行って静止画データを得る設定とする。
【0132】
図14(a)(b)にレリーズ処理の際の制御部27の制御処理例を示す。
図14(a)は通常撮像設定でのレリーズ処理例である。即ち図10のステップF107、及びF112(図12のF134)で行われるレリーズ処理である。
この場合、制御部27はステップF151で、ユーザのレリーズ操作のタイミング、又は要求対応撮像モードでのレリーズタイミングに応じて、静止画として記録すべき撮像画像データとしての1フレームの取得を信号処理部24に実行させる。つまり信号処理部24にレリーズタイミングに応じた1フレームを記録処理対象の画像データとして抽出させる。
そしてステップF152で、その1フレームの画像データについて記録処理を実行させる。即ち信号処理部24に対し、当該抽出した1フレームを記録する静止画データとすべく所定の処理を実行させ、エンコード/デコード部25に転送させる。そしてエンコード/デコード部25で記録のための圧縮エンコード等を実行させ、メディアコントローラ26によりメモリカード40に記録させる。
【0133】
図14(b)は無意識撮像設定でのレリーズ処理例である。即ち図10のステップF109(図11のF124)で行われるレリーズ処理である。
この場合、制御部27はステップF161で、自動静止画撮像モードでのレリーズタイミングに応じて、静止画としての記録処理に用いる撮像画像データとしての複数フレームの取得(抽出)を信号処理部24に実行させる。そしてステップF162で信号処理部24に重ね合わせ処理を指示する。重ね合わせ処理は、例えば特許文献2に開示されているように、複数フレームのブロックマッチングを行い同一画像内容の部分を重ね合わせて合成することでノイズ低減を行う処理である。この重ね合わせ処理結果の画像データを、記録する静止画データとする。
そして制御部27はステップF163で、その重ね合わせ処理後の画像データについて記録処理を実行させる。即ち信号処理部24に対し、当該重ね合わせ画像データをエンコード/デコード部25に転送させる。そしてエンコード/デコード部25で記録のための圧縮エンコード等を実行させ、メディアコントローラ26によりメモリカード40に記録させる。
【0134】
このように通常撮像設定と無意識撮像設定で、レリーズの際の処理が異なるようにする。無意識撮像設定の場合は、重ね合わせ処理が行われるようにすることで被写体ブレの可能性を低くできる。
【0135】
(2)変顔軽減を目的とする撮像動作設定
被写体人物が撮像に無意識である場合、レリーズタイミングを意識していないことでレリーズ時に撮られて良い表情をしているとは限らない。例えば目をつむっていたり、口を半開きにしているなど、写真として本人が好まないような表情が撮られる可能性が高くなる。そこで、そのような好ましくない表情が撮られにくいようにする動作設定を行う。
【0136】
(2−1)選択処理
通常撮像設定では、撮像結果として記録する静止画データ生成として、レリーズタイミングに応じた1フレームの撮像画像データから静止画データを得る設定とする。一方、無意識撮像設定では、撮像結果として記録する静止画データ生成として、レリーズタイミングに応じた複数フレームの撮像画像データについての選択処理を行って静止画データを得る設定とする。
【0137】
図14(a)(c)でレリーズ処理の際の制御部27の制御処理例を示す。
通常撮像設定でのレリーズ処理は、先に説明した図14(a)の処理とする。
図14(c)は無意識撮像設定でのレリーズ処理例である。即ち図10のステップF109(図11のF124)で行われるレリーズ処理である。
この場合、制御部27はステップF171で、自動静止画撮像モードでのレリーズタイミングに応じて、静止画としての記録処理に用いる撮像画像データとしての複数フレームの取得(抽出)を信号処理部24に実行させる。そしてステップF172で選択処理を実行する。この場合制御部27(又は信号処理部24)は、抽出した複数の撮像画像データについて画像解析処理を行う。特に人物の顔部分の解析を行う。そして被写体人物が目を閉じている画像と目を開いている画像を判定する。例えば目の大きさで判定する。そして最も目が大きい(つまり目が開いている)画像を選択する。
このように画像解析結果で1つの撮像画像データを選択したら、制御部27はステップF173で、その選択した撮像画像データについて記録処理を実行させる。即ち信号処理部24に対し、当該選択した撮像画像データをエンコード/デコード部25に転送させる。そしてエンコード/デコード部25で記録のための圧縮エンコード等を実行させ、メディアコントローラ26によりメモリカード40に記録させる。
【0138】
このように通常撮像設定と無意識撮像設定で、レリーズの際の処理が異なるようにする。無意識撮像設定の場合は、選択処理が行われるようにすることで、被写体人物が好まない変顔写真の可能性を低くできる。
なお選択処理は、目が開いている画像としたが、口を閉じている画像を選択するようにしてもよい。また、最も笑顔としての可能性の高い画像を選択するといったこともできる。笑顔の判定と口の開きの判定を組み合わせることもできる。笑顔判定は目、口角等の判定で行われるが、口の開きは口のサイズで判定する。そして、「笑顔の画像」「口を閉じている画像」「笑顔でなくて口を開いている画像」という優先順序を設定して選択をおこなうようにしてもよい。
また、上述の被写体ブレも考慮し、目の大きさ、口の大きさ、笑顔度、被写体ブレ度をそれぞれスコア化し、総合判断で最も好ましいフレーム画像を選択するといったことも考えられる。
【0139】
(2−2)シャッタ速度設定
シャッタ速度を速くすることで被写体ブレを低減することは先に述べたが、目つむり防止にも有効である。つまり人のまばたきのタイミングを考慮すると、シャッタ速度を速くすることで、まばたきの瞬間の画像が撮られる可能性を低くできる。
そこで、無意識撮像設定では通常撮像設定の場合よりシャッタ速度を速くする。例えばユーザによって固定のシャッタ速度が指定されている場合、通常撮像設定では、その指定されたシャッタ速度とするが、無意識撮像設定では、その指定されたシャッタ速度より速い速度で撮像を行う。
また露光調整動作として、上記図13(a)(b)で説明したように通常撮像設定と無意識撮像設定で調整制御方式を異なるものとする。
このような設定では、目つむり画像の可能性を低くできる。
【0140】
(3)目立たない設定
自動静止画撮像モードの撮像は、被写体人物が撮像を意識せずに自然な表情を撮るという目的もある。このため、レリーズタイミングを意識させないことが有効である。また、自動的に撮像していることをユーザに認識しやすいようにすると、ユーザにとって煩わしいものとなることもある。例えばパーティ等において、会話を楽しんでいるときに、撮られようとすることが分かってしまうと、それを意識して会話を中断されたり、意識がカメラに向けられることでしらけてしまうようなこともあり得る。
そこで、自動静止画撮像モードにおける無意識撮像設定として、レリーズ動作を目立たないようにする設定が考えられる。
即ち通常撮像設定では、撮像タイミング又はその前後で所定の発光もしくは発音を実行させる動作設定とし、無意識撮像設定では、撮像タイミング又はその前後で所定の発光もしくは発音を実行させない動作設定とする。
【0141】
図15(a)(b)でレリーズ処理の際の制御部27の制御処理例を示す。
通常撮像設定でのレリーズ処理、即ち図10のステップF107、及びF112(図12のF134)で行われるレリーズ処理は図15(a)の処理とする。この場合、ユーザのレリーズ操作のタイミング、又は要求対応撮像モードでのレリーズタイミングに、制御部27はステップF181でストロボ発光判断を行う。
例えばユーザがストロボを発光させるモードに設定していた場合は、発光させると判断する。また外光光量に応じて自動的にストロボ発光させるモードとされている場合は、制御部27は外光光量に応じてストロボ発光の実行有無を判断する。
そしてストロボ発光を実行させる場合はステップF182に進み、ストロボ発光部37に発光を実行させる。
【0142】
さらに制御部27はステップF184で発音部38にレリーズ音(いわゆるシャッタ音)を発音させる。
【0143】
図15(b)は無意識撮像設定でのレリーズ処理例である。即ち図10のステップF109(図11のF124)で行われるレリーズ処理である。
この場合、制御部27はステップF191で、静止画として記録すべき撮像画像データとしての1フレームの取得(抽出)を信号処理部24に実行させる。そしてステップF192で、その1フレームの画像データについて記録処理を実行させる。即ち信号処理部24に対し、当該抽出した1フレームを記録する静止画データとすべく所定の処理を実行させ、エンコード/デコード部25に転送させる。そしてエンコード/デコード部25で記録のための圧縮エンコード等を実行させ、メディアコントローラ26によりメモリカード40に記録させる。
つまりこの図15(b)の処理は、ストロボ発光のモードに関わらず、ストロボ発光を実行させないものである。さらに、レリーズ音も発音させない。
【0144】
この図15(a)(b)のようにレリーズ処理制御方式を異なる設定とすることで、自動静止画撮像モードでは被写体人物に意識させない撮像や雰囲気を妨げない撮像が可能となる。一方で手動撮像或いは要求対象撮像モードでの撮像では、レリーズ音やストロボ発光により適切な撮像動作が行われる。
【0145】
なお、図15のレリーズ処理と、図14のレリーズ処理を組み合わせても良い。即ち通常撮像設定では、図15(a)のレリーズ処理とする。そして無意識撮像設定では、図14(b)又は(c)の処理で、ストロボ発光やレリーズ音発音を行わない処理とする例である。
また、目立たない設定の例として、AFイルミネータをオフとすることも考えられる。上述したようにオートフォーカス制御の際には、その制御のしやすさのために、AFイルミネータ発光部39により発光を実行させる。このAFイルミネータの発光は、通常撮像設定において実行させ、無意識撮像設定では実行しないようにする。これによって自動静止画撮像モードでの撮像で、ユーザに撮像動作を意識させないようにすることができる。
【0146】
以上、通常撮像設定と無意識撮像設定の設定内容の具体例を示したが、もちろんこれらのものに限られない。
特に無意識撮像設定では、被写体ブレの軽減、変顔軽減、目立たない動作としての設定例は多様に考えられる。もちろん上記各設定の組み合わせも多様に考えられる。
【0147】
<5.機能構成の変形例>
以上、実施の形態の処理例を説明してきたが、ここまでは基本的には図9の機能構成に基づいた制御処理として述べてきた。
例えばデジタルスチルカメラ1と雲台10から成る撮像システムでは、図9以外にも機能構成例が考えられる。
【0148】
図16は、デジタルスチルカメラ1側は撮像記録制御部81と通信処理部85のみを有する例である。そして雲台10側(制御部51)に、通信処理部71、トリガ検出/受付部79、撮像準備処理部74、撮像視野可変制御部75、レリーズ予告動作制御部76、モードシーケンス制御部77を設ける。
【0149】
各機能部が実行する制御処理は、基本的には図10で説明したものと同様であるが、次の点が異なる。
撮像準備処理部74は、被写体検出処理や構図処理を行うために、各フレーム画像としての撮像画像データを、デジタルスチルカメラ1の信号処理部24から供給を受けるようにする。そして画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
撮像視野可変制御部75は、撮像準備処理部74からの指示に応じて、パン用駆動部55、チルト用駆動部58を制御して、被写体検出や構図合わせのためのパン・チルト動作を実行させる。
また、ズーム制御のために、撮像準備処理部74は、ズーム制御信号を通信処理部71を介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)に出力する。撮像記録制御部81は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
【0150】
また、モードシーケンス制御部77は、例えば図10の処理シーケンスを実行させるために各昨日部位に指示を与えるが、通常撮像設定と無意識撮像設定を、通信処理部71,85を介して撮像記録制御部81に指示する。特には、この図16の機能構成は、デジタルスチルカメラ1が雲台10に取り付けられた状態を前提とする構成例であるため、図10のステップF108〜F115の自動撮像における動作制御を行う。即ちモードシーケンス制御部77は、自動静止画撮像モードにおいて無意識撮像設定を指示し、要求対象撮像モードの際に通常撮像設定を指示する。
またモードシーケンス制御部77は、図10のステップF109、F119でのレリーズ処理を行う際には、通信処理部71介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)にレリーズ制御信号を出力する。撮像記録制御部81は、レリーズ制御信号に応じて、静止画記録動作を実行制御する。
トリガ検出/受付部79は、トリガ入力を検知する。そして検知した場合に要求対応撮像モードへのトリガとして受け付ける。
【0151】
また、レリーズ予告処理を行う場合は、モードシーケンス制御部86がレリーズ予告動作の指示をレリーズ予告動作制御部76に与える。これに応じてレリーズ予告動作制御部76が、雲台10側のレリーズ予告実行部64の動作の実行制御を行い、又はパン・チルト動作による所定の挙動を実行制御する。
【0152】
例えばこの図16のように、主に雲台10側でデジタルスチルカメラ1の撮像動作設定を切り換える制御を行うような例も考えられる。この場合、デジタルスチルカメラ1と雲台10の撮像システムにおいて、制御部27、51が連携して本発明の撮像制御装置を実現する例となる。
【0153】
さらに、図16の構成の変形例として、雲台10の制御部51側に、撮像記録制御部81としての機能を加えてもよい。その場合、雲台10がデジタルスチルカメラ1に対する撮像制御装置となる。
【0154】
またデジタルスチルカメラ1は、もちろん雲台10に取り付けられない状態での使用も可能である。或いは雲台10に対応しない(取り付け不能、又は連動不能)なデジタルスチルカメラ1も想定される。
その場合は、制御部27に、図9に示した撮像記録制御部81、モードシーケンス制御部86としての機能構成を備えればよい。つまり手動撮像の際に通常撮像設定とし、自動撮像の際に無意識撮像設定とする処理機能があればよい。
【0155】
以上の説明から理解されるように、本発明の撮像制御装置は、撮像記録制御部81とモードシーケンス制御部86(77)としての機能を持つ機器として実現される。
そして本発明の撮像制御装置は、デジタルスチルカメラ1に搭載される制御機能構成としても実現できるし、デジタルスチルカメラ1と雲台10による撮像システムの制御機能構成としても実現できる。デジタルスチルカメラ1に搭載される機能構成としては、雲台10との連動による自動静止画撮像を実行する機能構成でも良いし、雲台10との連動機能を持たない機能構成でもよい。さらに雲台10に搭載される制御機能構成としても実現できる。
【0156】
従って、単体のデジタルスチルカメラ1としては、雲台10に取り付け可能なものも、雲台10に非対応のものも、本発明の撮像制御装置、又は撮像制御方法の実施製品となり得る。また、デジタルスチルカメラ1と雲台10のセットの撮像システム、或いは雲台10のみも、本発明の撮像制御装置、又は撮像制御方法の実施製品となり得る。
【0157】
図17はさらに他の機能構成例である。
図ではデジタルスチルカメラ1の単体の構成例を示している。ここではデジタルスチルカメラ1が、図9の撮像視野可変制御部83に代えて、トリミング制御部91としての機能を有する例を示している。なお、トリガ検出/受付部92は、図9のトリガ受付部89とトリガ検出部73の機能を備えた機能部位としている。
【0158】
トリミング制御部91は、撮像画像データについてのトリミング範囲を指示する。例えば図7に示したデジタルスチルカメラ1の信号処理部24は、撮像画像データに対してトリミング処理を行って記録する静止画データを生成する機能を備える。トリミング制御部91は、このトリミング処理範囲を設定し、撮像記録制御部81を介して信号処理部24に指示する機能を示している。
例えば雲台10によるパン・チルトが行われない場合、必ずしも撮像視野内の撮像画像データは好適な構図とはならない。つまり好適な構図状態に調整できない。
そこで雲台10を用いない場合に、撮像準備処理部82は、撮像視野でとらえられる撮像画像データを解析して、被写体検出を行うと共に、最適な構図となる画像の切り出し範囲を計算する。即ち撮像画像データ内で、最適構図となる所定の縦横比による画像部分がどこであるのかを特定する。
トリミング制御部91は、最適な構図となる範囲の情報から、その部分のトリミングを指示するトリミング制御情報を生成し、信号処理部24に供給し、所要のトリミング処理を実行させる。
信号処理部24は、トリミング制御情報に基づいてレリーズタイミングで得られた撮像画像データに対するトリミング処理を行い、記録用の静止画データとしてエンコード/デコード部25に出力する。
【0159】
つまりこの構成例の場合、パン・チルトではなく、撮像画像データからの切り出しによって最適構図の静止画データを生成するものである。
例えば雲台10を用いないデジタルスチルカメラ1単体であっても、このようなトリミング処理により、適切な構図での自動撮像による静止画データが得られるようになる。
なお、この図17の構成例以外に、例えば図9や図16の機能構成に加えてトリミング処理部91を備えるようにしてもよい。即ち雲台10とデジタルスチルカメラ1のセットで使用される場合にも、パン・チルト動作に加えてトリミングによる最適構図設定が行われるようにしてもよい。
【0160】
なお、図9、図16、図17では、各制御機能部位をブロック化して示しているが、これらがそれぞれ独立したプログラムモジュール、或いはハードウエアとして構成される必要はない。事実上、これらの制御機能部の総合的な処理として、図10等の処理動作が実現されるものであればよい。
【0161】
<6.プログラム>
本実施の形態のプログラムは、上述した実施の形態の撮像動作設定の切り換え、例えば図10〜図15で例示した設定切り換えの処理をCPU等の演算処理装置(制御部27等)に実行させるプログラムである。
実施の形態のプログラムは、操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、通常撮像設定での静止画撮像制御を実行させる。また所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、無意識撮像設定での静止画撮像制御を実行させる。
【0162】
このような本実施の形態のプログラムは、パーソナルコンピュータや、デジタルスチルカメラ1や雲台10等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0163】
また、実施の形態のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
そして実施の形態のプログラムによれば、上記実施の形態の処理を実現する撮像装置、撮像システムの実現及び広範な提供に適している。
【符号の説明】
【0164】
1 デジタルスチルカメラ、2 本体部、21a レンズ部、31a レリーズボタン、10 雲台、11 本体部、12 カメラ台座部、13 突起部、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、35 音声入力部、36 レリーズ予告実行部、37 ストロボ発光部、38 発音部、39 AFイルミネータ発光部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、59 接続検出部、60 操作部、60b〜60d タッチ領域、62 音声入力部、63 撮像部、64 レリーズ予告実行部、81 撮像記録制御部、82,74 撮像準備処理部、83,75 撮像視野可変制御部、84,76 レリーズ予告動作制御部、86,77 モードシーケンス制御部、72 パン・チルト制御部、73,87 トリガ検出部、89 トリガ受付部、79 トリガ検出/受付部、91 トリミング制御部
【技術分野】
【0001】
本発明は、自動的に静止画撮像を行う撮像装置、撮像システムについての撮像制御装置及び撮像制御方法に関する。また、当該撮像制御装置及び撮像制御方法を実現するためのプログラムに関する。
【先行技術文献】
【特許文献】
【0002】
【特許文献1】特開2009−100300号公報
【特許文献2】特開2009−55410号公報
【背景技術】
【0003】
上記特許文献1には、デジタルスチルカメラと、該デジタルスチルカメラのパン/チルト方向の向きを電動により変化させる雲台とを備えた撮像システムにより、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う技術が開示されている。
この特許文献1に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作(撮像画像自動記録)によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
【0004】
また上記特許文献2には、撮像の際に、ブロックマッチングを行って同一内容の複数の撮像画像データを重ね合わせることで、撮像によって得られる静止画データのノイズ低減を図る技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところでカメラマンが不要な自動撮像によれば、例えばパーティ等においてユーザがカメラマンを意識しないことで、自然な表情、姿を撮像できるという利点がある。
ここで、通常の撮像としてカメラマンが手動で撮像する際は、被写体となる人物に対し、例えば「撮るよ」などと声を掛けてから撮るため、被写体人物はカメラを意識し、静止したり、目を開けていようとしたり、写真を撮られるために好ましい条件となるよう行動する。
しかし自動撮像の場合、いつ撮られるかを被写体人物が気にしていないため、動いたりして被写体ブレ、目を閉じた瞬間に撮られた半目写真、口を開けた瞬間の撮られた写真、など、写真画像として好ましくないものが撮られる可能性が手動撮像に比べて上がる。いわゆる失敗写真などとよばれるものである。
【0006】
そこで本発明では自動撮像を行う装置又はシステムにおいて、被写体人物が無意識であることに適した撮像動作制御が行われるようにし、失敗写真の発生を低減することを目的とする。
【課題を解決するための手段】
【0007】
本発明の撮像制御装置は、撮像装置による静止画撮像動作を制御する撮像動作制御部と、上記撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、上記撮像記録制御部に第1の撮像動作設定での静止画撮像制御を指示し、上記所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、上記撮像記録制御部に第2の撮像動作設定での静止画撮像制御を指示する撮像設定切換制御部とを備える。
【0008】
上記第2の撮像動作設定は、上記第1の撮像動作設定よりも、上記撮像装置のシャッター速度を速くする撮像動作設定である。
また上記第1の撮像動作設定は、上記撮像装置の露光調整動作が、光量低下に応じてシャッター速度を第1の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定であり、上記第2の撮像動作設定は、上記撮像装置の露光調整動作が、光量低下に応じてシャッター速度が上記第1の所定速度より速い第2の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定である。
また上記第1の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた1フレームの撮像画像データから撮像結果としての静止画データを得る設定であり、上記第2の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた複数フレームの撮像画像データの重ね合わせ合成処理を行って撮像結果としての静止画データを得る設定である。
また上記第1の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた1フレームの撮像画像データから撮像結果としての静止画データを得る設定であり、上記第2の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた複数フレームの撮像画像データについての選択処理を行って撮像結果としての静止画データを得る設定である。
また上記第1の撮像動作設定は、撮像タイミング又はその前後で上記撮像装置に所定の発光もしくは発音を実行させる動作設定であり、上記第2の撮像動作設定は、撮像タイミング又はその前後で上記撮像装置に所定の発光もしくは発音を実行させない動作設定である。
【0009】
また、上記所定の撮像指示入力によらないで行われる静止画撮像動作とは、上記撮像装置が自動静止画撮像モードで撮像を実行している際の静止画撮像動作であり、上記所定の撮像指示入力に応じて行われる静止画撮像動作は、上記自動静止画撮像モードの際に、所定のトリガ入力によって撮像要求が行われた際に実行される要求対応撮像モードでの静止画撮像動作である。
また上記撮像装置についての撮像視野の可変機構を駆動制御する撮像視野可変制御部をさらに備え、上記自動静止画撮像モードでは、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行う。
或いは上記自動静止画撮像モードでは、上記撮像装置の撮像方向を固定した状態で上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行う。
【0010】
本発明の撮像制御方法は、撮像装置による静止画撮像動作の制御として、上記撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、第1の撮像動作設定での静止画撮像制御を実行し、上記所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、第2の撮像動作設定での静止画撮像制御を実行する。
本発明のプログラムは、上記撮像制御方法の処理を演算処理装置に実行させるプログラムである。
【0011】
このような本発明では、撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作は第1の撮像動作設定(例えば後述する通常撮像設定)で行われる。一方、撮像装置の操作者又は被写体人物による所定の撮像指示入力によらないで行われる静止画撮像動作、例えば自動静止画撮像の場合では、第2の撮像動作設定(例えば後述する無意識撮像設定)で撮像動作制御が行われる。この第2の撮像動作設定は、被写体人物が撮られることに対して無意識な状態を前提として、その場合に好適な設定である。
このため、例えばシャッター速度や露光制御、或いは撮像画像処理として被写体ぶれを軽減できる設定とする。また、撮像画像処理として、複数のフレームの撮像画像データについての選択処理を行って撮像結果としての静止画データを得ることで、被写体人物が好ましい状態で撮された静止画データを得るようにする。さらにはレリーズ時又はその前後の発光や発音を行わないようにし、撮像動作が被写体人物の妨げにならないようにするなどである。
【発明の効果】
【0012】
本発明によれば、撮像装置の操作者又は被写体人物による所定の撮像指示入力によらないで行われる静止画撮像動作、例えば自動静止画撮像の場合に、好ましい写真(静止画データ)が得られやすくすることができ、いわゆる失敗写真を減少させることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施の形態のデジタルスチルカメラの正面図及び背面図である。
【図2】実施の形態のデジタルスチルカメラが装着できる雲台の斜視図及び背面図である。
【図3】実施の形態のデジタルスチルカメラを雲台に取り付けた状態の正面図である。
【図4】実施の形態のデジタルスチルカメラを雲台に取り付けた状態でのパン方向の動きの説明図である。
【図5】実施の形態のデジタルスチルカメラを雲台に取り付けた状態でのチルト方向の動きの説明図である。
【図6】実施の形態の雲台のタッチ操作位置の説明図である。
【図7】実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。
【図8】実施の形態の雲台の内部構成例を示すブロック図である。
【図9】実施の形態の制御機能構成例の説明図である。
【図10】実施の形態の撮像制御処理のフローチャートである。
【図11】実施の形態の自動静止画撮像モード処理のフローチャートである。
【図12】実施の形態の要求対応撮像モード処理のフローチャートである。
【図13】実施の形態の露光制御方式の設定例の説明図である。
【図14】実施の形態の各設定によるレリーズ処理のフローチャートである。
【図15】実施の形態の各設定によるレリーズ処理のフローチャートである。
【図16】実施の形態の他の制御機能構成の説明図である。
【図17】実施の形態のさらに他の制御機能構成の説明図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態を次の順序で説明する。実施の形態では、デジタルスチルカメラと雲台より成る撮像装置(撮像システム)を例に挙げる。
<1.撮像システムの構成>
[1−1:全体構成]
[1−2:デジタルスチルカメラ]
[1−3:雲台]
<2.機能構成例>
<3.撮像制御処理>
<4.通常撮像設定と無意識撮像設定の例>
<5.機能構成の変形例>
<6.プログラム>
【0015】
なお、本明細書では「画枠」「画角」「撮像視野」「構図」という語を用いるが、各語の定義は以下の通りである。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野」は、撮像光学系による視野を表す。即ち撮像装置の周囲光景のうちで撮像対象として画枠に収まる範囲である。これは上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まる。
「構図」は、ここでは、フレーミングともいわれるもので、例えば撮像視野によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
【0016】
<1.撮像システムの構成>
[1−1:全体構成]
実施の形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が着脱可能に取り付けられた雲台10とを備えて成る。
雲台10は、デジタルスチルカメラ1のパン/チルト方向の向きを電動により変化させる。そして、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う。
例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、雲台10によりデジタルスチルカメラ1を例えばパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作(撮像画像自動記録)によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
【0017】
また実施の形態のデジタルスチルカメラ1は、雲台10に装着しなくとも、ユーザが手に持って通常のシャッタ操作(レリーズ操作)で手動撮像を行うことも当然に可能とされる。
さらにデジタルスチルカメラ1は、雲台10に装着しない状態で自動撮像を行うことができる。その場合は、雲台10によるパン・チルトはできないが、撮像方向を固定とした状態で自動撮像が行われる。
なお、この場合、ズーム制御によって撮像視野(画角)を変化させながら自動撮像を行うことはできる。
また、もちろん、雲台10に装着した状態であっても、パン・チルトを行わずに、撮像方向を固定して自動撮像を実行することもできる。
【0018】
図1にデジタルスチルカメラ1の外観例を示す。図1(a)、図1(b)は、それぞれデジタルスチルカメラ1の正面図、背面図である。
このデジタルスチルカメラ1は、図1(a)に示すように、本体部2の前面側にレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
【0019】
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像時にはレンズ部21aにより撮像された画像(撮像画像)が撮像画像データとして得られる。撮像時には、後述するイメージセンサにより所定フレームレートで各フレーム毎の撮像画像データが得られる。
そして、レリーズボタン31aに対する操作(レリーズ操作/シャッタ操作)が行われると、そのタイミングでの撮像画像データ(フレーム画像データ)が、撮像結果の静止画データとして記録媒体に記録される。つまり、一般に写真撮影といわれる静止画撮像が行われる。
【0020】
また、デジタルスチルカメラ1は、図1(b)に示すように、背面側に表示画面部33aを有する。
この表示画面部33aには、撮像時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。スルー画は、イメージセンサで得られる各フレーム画像に基づく動画像であり、そのときの被写体をそのまま表す画像となる。
また再生時には、記録媒体に記録されている画像データが再生表示される。
さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
また表示画面部33aに対してタッチパネルが組み合わされているようにすることで、ユーザは、表示画面部33aに対して指を当てることによって、必要な操作を行うことができる。
【0021】
なお、デジタルスチルカメラ1には、レリーズボタン31a以外の各種のキー、ダイヤル等の操作子が設けられることもある。
例えばズーム操作、モード選択、メニュー操作、メニュー上のカーソル操作、再生操作などのための操作キーやダイヤル等である。
【0022】
図2(a)は雲台10の外観を示す斜視図である。また図2(b)は雲台10の背面図を示している。
また、図3〜図5は、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5は側面図(特に図5(b)では側面図によりチルト機構の可動範囲を示している)である。
図2、及び図3,図4,図5に示すように、雲台10は、大きくは接地台部15の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
【0023】
雲台10にデジタルスチルカメラ1を取り付けるときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に置く。
図2に示すように、カメラ台座部12の上面部には、突起部13とコネクタ14が設けられている。図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れたりすることがないようにされている。
【0024】
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにカメラ台座部12にデジタルスチルカメラ1が適正に取り付けられた状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
【0025】
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12においてその位置を或る範囲内で変更(移動)できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に取り付けできるようになっている。
【0026】
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
雲台10を例えばテーブル上や床面上などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台10に取り付けられたデジタルスチルカメラ1の水平方向(左右方向)における撮像視野を変化させることができる(所謂パンニング)。
なお、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有している。
【0027】
また、この雲台10のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すように、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、すなわちパン位置(パン角度)を0°〜360°により表すものとする。
【0028】
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)(b)に示すように、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面部GRとが平行となる。
そのうえで図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。
このようにカメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に取り付けられたデジタルスチルカメラ1のチルト方向(上下方向)における撮像視野を変化させることができる。つまりチルティングの動作が得られる。
【0029】
図2(b)に示すように雲台10には、その本体部11の背面部において、電源ケーブルを着脱可能に接続する電源端子部t−Vinと、ビデオケーブルを着脱可能に接続するビデオ端子部t−Videoとが形成されている。
【0030】
雲台10は、上述したカメラ台座部12にて取り付けられたデジタルスチルカメラ1に対して上記電源端子部t−Vinを介して入力された電力を供給することで、上記デジタルスチルカメラ1に対する充電を行うように構成されている。
つまり本例の雲台10は、デジタルスチルカメラ1に対する充電を行うためのクレードル(ドック)としても機能する。
また、本例の場合、雲台10は、デジタルスチルカメラ1側から例えば撮像画像に基づく映像信号が伝送されてきた場合に、該映像信号を上記ビデオ端子部t−Videoを介して外部出力するように構成されている。
また、図2(b)や図4に示すように、雲台10の本体部11における背面部には、メニューボタン60aが設けられる。メニューボタンの操作により、雲台10とデジタルスチルカメラ1の間の通信により、例えばデジタルスチルカメラ1側の表示画面部33aでメニュー表示が行われる。このメニュー表示により、ユーザが所要の操作を行うことが可能とされる。
【0031】
ところで本実施の形態では、後述する自動静止画撮像モード中に要求対応撮像モードに移行するトリガの1つとしてユーザのタッチ操作が採用される。
具体的には、ユーザは雲台10にタッチするという操作を行う。このため、例えば図6(a)のように本体部11の上面にタッチ領域60bが形成されている。このタッチ領域60bにユーザがタッチすることで、雲台10に装備されたタッチセンサが当該タッチ操作を検出する。
なお、この図6では、破線で示す正面側の一部領域をタッチ領域60bとしているが、例えば本体部11の上面全面をタッチ領域60bとしてもよい。
【0032】
また、図6(b)には、雲台10の本体部11の上面において、正面方向側、右方側、左方側のそれぞれに、タッチ領域60b、60c、60dが形成されている例を示している。例えば雲台10内に3つのタッチセンサが装備され、各タッチ領域60b、60c、60dへのタッチ操作が、それぞれのタッチセンサにより検出される。
この場合、どのタッチセンサによりタッチ操作が検出されたかにより、デジタルスチルカメラ1及び雲台10による撮像システム側で、ユーザが、正面、右方、左方のうちのどの方向からタッチ操作を行ったかを判別できる。
ここでは、3つのタッチ領域60b〜60dを形成した場合を例示しているが、もちろん、より多数のタッチセンサを備え、多数のタッチ領域で、より細かくタッチ操作が行われた方向を判定できるようにしてもよい。
【0033】
また、図示しないが、雲台10には、マイクロホン及び音声入力回路系を有する音声入力部(後述の音声入力部62)が設けられる場合がある。
また雲台10には、撮像レンズ、イメージセンサ、撮像信号処理系などを備えた撮像部(後述の撮像部63)が設けられる場合もある。
さらに雲台10には、LED等の発光表示部、液晶パネル等による表示部、スピーカ及び音声出力回路等による音声出力部等が、後述するレリーズ予告実行部64として設けられる場合もある。
【0034】
[1−2:デジタルスチルカメラ]
図7は、デジタルスチルカメラ1の内部構成例を示したブロック図である。
光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部27が実行するズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【0035】
イメージセンサ22は、光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【0036】
イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
【0037】
信号処理部24は、例えばDSP(Digital Signal Processor)で構成され、A/Dコンバータ23から出力されるデジタル撮像信号について、プログラムに従った所定の信号処理を施す。
信号処理部24は、A/Dコンバータ23から出力されるデジタル撮像信号について、1つの静止画 (フレーム画像)に相当する単位で取り込みを行う。そして取り込んだ静止画単位の撮像画像データについて所定の信号処理を施すことで、1枚の静止画に相当する静止画データを生成する。
また信号処理部24は、取得した撮像画像データを利用して、後述する被写体検出処理や構図処理のための画像解析処理を実行する場合もある。
【0038】
ここで、上記のように信号処理部24で生成した撮像画像データを静止画データとして記録媒体であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した静止画データをメディアコントローラ26に転送する。
メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる静止画データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。
なお、静止画データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。例えば光ディスク、ハードディスク、着脱不能に取り付けられたフラッシュメモリチップなどの半導体メモリチップ、ホログラムメモリ等、各種の記録媒体を採用することもできる。
【0039】
また、デジタルスチルカメラ1は、信号処理部24にて得られる撮像画像データを利用して表示部33に画像表示を実行させることで、現在撮像中の画像である、いわゆるスルー画を表示させることができる。
例えば信号処理部24は、上述のようA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。
【0040】
表示ドライバ32は、上記のように信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していく。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていく。
これをユーザが見れば、そのときに撮像している画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
【0041】
また、デジタルスチルカメラ1は、メモリカード40に記録されている静止画データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が静止画データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された静止画データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
【0042】
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた静止画データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する画像データを得る。そして、この画像データを表示ドライバ32に対して転送する。これにより、表示部33において、メモリカード40に記録されている静止画データの画像が再生表示されることになる。
【0043】
また表示部33に対しては、上記のスルー画や静止画データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。
この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力する。これにより、表示部33でユーザインターフェース画像が表示される。
なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【0044】
制御部27は、CPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。
ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。
RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。
なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
【0045】
本実施の形態の場合、制御部27は、ユーザの手動による静止画撮像や自動静止画撮像モードでの撮像、さらには自動静止画撮像中の後述する要求対応撮像モードでの撮像等のための各種制御を行う。
自動静止画撮像モードや要求対応撮像モードでの撮像のためには各種の撮像準備処理を行う。
まず被写体検出処理として、撮像視野を変化させながら信号処理部24で得られる各フレーム画像から被写体検出を実行し(又は信号処理部24に実行させ)、デジタルスチルカメラ1の周囲の被写体を探索する処理を行う。
また構図処理として、被写体検出に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、及び最適構図判定により求まった最適とされる構図を目標構図とした構図合わせを行う。
これらの撮像準備処理の後、制御部27は撮像画像の自動記録を実行せる制御・処理を行う。
また撮像実行(レリーズ)に先だって、静止画撮像を行うことをユーザに提示する予告動作のための制御も行う場合もある。
これらの制御処理については後述する。
【0046】
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成して制御部27に出力する操作情報信号出力部位とを一括して示している。
各種操作子としては、レリーズボタン31aや、図1では省略した電源ボタン、モードボタン、ズーム操作ボタン、操作ダイヤル等がある。
また表示部33がタッチパネルとして形成される場合、そのタッチセンサ部も、この操作部31の具体例の1つとなる。
さらに、リモートコントローラからのコマンド信号の受信部も、操作部31の例の一つとなる。
制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
なお、先に雲台10にタッチセンサが設けられると述べたが、一例としてデジタルスチルカメラ1の筐体にタッチセンサが設けられる場合も考えられる。その場合のタッチセンサも図示する操作部31の具体例の1つとなる。
【0047】
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位である。
例えばデジタルスチルカメラ1が雲台10に取り付けられた状態において、雲台10側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
【0048】
また雲台10側からの充電を可能とすべく、上記の各コネクタには通信信号のやり取りを行うための端子のみでなく充電用電力の伝送のための端子も設けられる。図示は省略したが、デジタルスチルカメラ1には、バッテリーを着脱可能に装着するためのバッテリー装着部が設けられており、該装着部に装着されたバッテリーに対し、上記雲台10側から伝送された電力に基づく充電が行われるようになっている。
【0049】
またデジタルスチルカメラ1には、音声入力部35が設けられる場合がある。後述する要求対応撮像モードへのトリガ入力として、例えば特定の言葉の声や特定の音(例えば手を叩く音など)の入力を検出する場合に用いられる。
音声入力部35としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部27が実行するものとしてもよい。
さらにレリーズタイミングの判断として、特定の言葉の声や特定の音の入力を判別する場合にも音声入力部35が設けられる。
【0050】
またデジタルスチルカメラ1には、レリーズ予告実行部36が設けられる場合がある。後述するレリーズ予告動作を実行する部位である。
レリーズ予告実行部36は、ユーザに表示や音声などで静止画撮像を行うことを提示できる装置部であればよい。
例えば所定の発光パターンにより予告を行うべく、LEDなどの発光素子及びその発光駆動回路による発光動作部とされる場合が考えられる。
或いはデジタルスチルカメラ1の筐体正面側に設けられる液晶表示部等として特定の文字表示、色表示、パターン表示等により予告を行う表示部とされてもよい。
また、電子音、ビープ音、メッセージ音声などで予告を行うものとして、音声信号発生部、アンプ、スピーカ等から成る音声出力部とされてもよい。
さらには、これらが併用されてもよい。
【0051】
またデジタルスチルカメラ1にはストロボ発光部37が設けられる。ユーザによるストロボ発光設定により、或いは外光状況の判定により、制御部27の指示に応じてレリーズ時にストロボ発光が行われる。
【0052】
またデジタルスチルカメラ1にはAFイルミネータ発光部39が設けられる。AFイルミネータ発光部39は、暗所でもオートフォーカス制御が良好に行われるように被写体に対して赤色光等を照射する。例えばレリーズ前のオートフォーカス実行時に制御部27の制御により発光動作を行う。
【0053】
またデジタルスチルカメラ1には発音部38が設けられる。発音部38は、電子音等として、例えばレリーズ時にいわゆるシャッタ音を発生させる。また、セルフタイマー撮像の場合のガイド音声や、各種のアラーム音声なども発生させる。発音部38は制御部27による指示に応じたタイミングでシャッタ音等を発生させる。
【0054】
[1−3:雲台]
図8は、雲台10の内部構成例を示している。
図2(b)に示したように、雲台10には電源端子部t−Vinとビデオ端子部t−Videoとが設けられている。
図8に示すように、電源端子部t−Vinを介して入力された電力は、電源回路61を介した後、雲台10内の必要な各部の動作電力として供給される。また、電源回路61においては、デジタルスチルカメラ1に対する充電用電力が生成され、該充電用電力は通信部52(コネクタ)を介してデジタルスチルカメラ1側に供給される。
また、上記ビデオ端子部t−Videoには、デジタルスチルカメラ1側から伝送された映像信号が通信部52→制御部51を介して供給される。
なお、ここでは、雲台10の各部の動作電力は上記電源入力端子t−Vinを介してのみ供給されるかのように示しているが、実際には雲台10には、電池の装着部が設けられ、該装着部に装着された電池から各部の動作電力を供給することが可能に構成されている。
【0055】
また、本実施の形態の雲台10には、電源端子部t−Vin、ビデオ端子部t−Videoへのケーブルの接続有無を検出するための接続検出部59が設けられる。ケーブル接続有無の検出機構の具体的な構成については、例えばケーブルの接続/抜き取りに応じてスイッチがON/OFFする構成などを挙げることができる。但し本実施の形態においては、接続検出部59としては、ケーブルの接続/抜き取りを識別するための検出信号を出力するように構成されたものであればよく、その具体的な構成については特に限定されない。
接続検出部59による検出信号(電源端子部t−Vinについての検出信号とビデオ端子部t−Videoについての検出信号)は、制御部51に対して供給される。
【0056】
また雲台10は、先に述べたようにパン・チルト機構を備えるものであり、これに対応する部位として、図8にパン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を示している。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。
同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
【0057】
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータによって成り、パン機構部53、チルト機構部56の動きをコントロールする。
例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号により、パン用モータ54が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様に、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
【0058】
ここで、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
これにより制御部51は、駆動中のパン機構部53、チルト機構部56の回転角度量の情報をリアルタイムに取得(モニタ)できるようにされている。
【0059】
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位である。
この通信部52は、雲台対応通信部34と同様に、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
【0060】
操作部60は、具体的には、図2(b)や図4に示したメニューボタン60aとしての操作子と、この操作子に対して行われた操作に応じた操作情報信号を生成して制御部51に出力する操作情報信号出力部位とを一括して示している。制御部51は、操作部60から入力される操作情報信号に応じて所定の処理を実行する。
なお、図6において雲台10にはタッチセンサが設けられる場合があると述べたが、そのタッチセンサも操作部60の一例となる。その場合、タッチセンサによるタッチ操作の検出信号は制御部51に供給される。
さらに、雲台10についてリモートコントローラが用意される場合は、そのリモートコントローラからのコマンド信号の受信部も、操作部60の例の一つとなる。
【0061】
また雲台10には、音声入力部62が設けられる場合がある。音声入力部62は、後述する要求対応撮像モードへのトリガ入力として、例えば特定の言葉の声や特定の音(例えば手を叩く音など)の入力を検出するために設けられる。
音声入力部62としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部51が実行するものとしてもよい。
さらにデジタルスチルカメラ1でのレリーズタイミングの判断として、特定の言葉の声や特定の音の入力を判別する場合に対応するために、雲台10側に音声入力部62が設けられる場合もある。
【0062】
また雲台10には、撮像部63が設けられる場合がある。撮像部63は、要求対応撮像モードへのトリガ入力として、特定の被写体状態、例えば被写体側のユーザの特定のポーズや目線などを検出するために設けられる。
撮像部63は、光学系部、イメージセンサ、A/Dコンバータ、信号処理部、画像解析部などを備える。なお画像解析は、制御部51が実行するものとしてもよい。
さらにデジタルスチルカメラ1でのレリーズタイミングの判断として、特定の被写体状態を判別する場合、雲台10側に撮像部63が設けられる場合もある。
【0063】
また雲台10には、レリーズ予告実行部64が設けられる場合がある。後述するレリーズ予告動作を実行する部位である。
レリーズ予告実行部64は、ユーザに表示や音声などで静止画撮像を行うことを提示できる装置部であればよい。
例えば所定の発光パターンや発光周期により予告を行うべく、発光部(例えばLED)及びその発光駆動回路による発光動作部とされる場合が考えられる。
或いはデジタルスチルカメラ1の筐体正面側に設けられる液晶表示部等として特定の文字表示、色表示、パターン表示等により予告を行う表示部とされてもよい。
また、電子音、ビープ音、メッセージ音声などで予告を行うものとして、音声信号発生部、アンプ、スピーカ等から成る音声出力部とされてもよい。
さらには、これらが併用されてもよい。
なお、レリーズ予告動作として、パン、チルトを組み合わせた所定の動作を行うことも考えられる。その場合は、パン機構部53、チルト機構部56がレリーズ予告実行部64として実際の動作を行うこととなる。
【0064】
<2.機能構成例>
次に、図9のブロック図により、本実施の形態の撮像システムを成すデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウェア(プログラム)により実現される機能構成例を示す。
この機能構成例は、本例の撮像システムの撮像動作制御を行う撮像制御装置を実現する構成となり、主に、デジタルスチルカメラ1における制御部27、雲台10における制御部51等のハードウエア構成と、それらで起動されたソフトウエアモジュールが連関して形成される制御処理機能である。図9では、後述する自動撮像モードと要求対応撮像モードの処理のために必要な制御機能を、機能毎にブロック化して示している。
なお機能構成例は各種多様に考えられるが、図9では一例を示し、他の例は後述する。
【0065】
図9に示すように、デジタルスチルカメラ1(制御部27)側は、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、レリーズ予告動作制御部84、通信処理部85,モードシーケンス制御部86、トリガ受付部89を備える。
また雲台10(制御部51)側は、例えば通信処理部71、パン・チルト制御部72、トリガ検出部73を有している。
【0066】
まずデジタルスチルカメラ1側において、撮像記録制御部81は、撮像により得られた画像を画像信号のデータ(撮像画像データ)として得て、この撮像画像データを静止画データとして記録媒体に記憶するための制御処理を実行する部位である。また撮像記録制御部81は、記録した静止画データの再生、表示動作、或いは撮像時のスルー画の表示動作等のための制御も行う。
即ち撮像記録制御部81は、図8の光学系部21、イメージセンサ22、A/Dコンバータ23、シング処理部24、エンコード/デコード部25、メディアコントローラ26、表示ドライバ32等の制御を行う。即ち、光学系部21のレンズ駆動制御、イメージセンサ22の撮像動作、撮像信号処理、記録再生処理等を指示し、静止画撮像を実行させるなど、デジタルスチルカメラ1の基本動作を制御する機能部位である。
そして本例の場合、撮像記録制御部81は、撮像記録動作制御の際の動作設定として、モードシーケンス制御部86から指示された撮像動作設定に基づいて制御を行う。本例では、モードシーケンス制御部86から指示される撮像動作設定とは、通常撮像設定と無意識撮像設定とする。通常撮像設定と無意識撮像設定の内容については後述するが、撮像記録動作制御81は、通常撮像設定が指示されている際には、通常撮像設定に基づいて撮像記録動作の制御を行う。また無意識撮像設定が指示されている際には、無意識撮像設定に基づいて撮像記録動作の制御を行う。
この撮像記録制御部81は、本発明請求項にいう「撮像動作制御部」としての機能を含むものである。
【0067】
撮像準備処理部82は、自動静止画撮像モードと要求対応撮像モードでの静止画撮像を実行する際の撮像準備処理を行う機能部位である。
撮像準備処理の1つとしては被写体検出処理がある。これは、雲台10によるパン、チルト動作を実行させながら、信号処理部24で得られる各フレーム画像を確認し、撮像視野内に被写体(例えば人の顔)が入るようにする処理である。このために、撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、フレーム画像データの画像解析による人物検出、顔検出等の処理を行う。
また撮像準備処理の1つとして構図処理がある。構図処理とは、撮像視野内における被写体画像の配置について最適状態か否かを判断し(構図判定)、またその構図を調整する処理(構図合わせ)である。この構図の調整のために撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、光学系部21におけるズームレンズ駆動の判断等を行う。
【0068】
なお、上記の被写体検出処理や構図処理のための画像解析を行う処理機能は、制御部27ではなく信号処理部24としてのDSP(Digital signal Processor)に実行させることもできる。従って撮像準備処理部82としての機能部は、制御部27、信号処理部24としてのDSPの一方又は両方に与えるプログラム、インストラクションにより実現できる。
【0069】
撮像視野可変制御部83は、実際に撮像視野を変化させる動作を制御する機能部位である。撮像視野の変化は、雲台10のパン・チルト、もしくは光学系部21のズーム動作により行われる。従って撮像視野可変制御部83は、パン・チルト制御、ズーム制御を行う機能部位となる。
デジタルスチルカメラ1を用いてカメラマンが手動で撮像を行う場合は、撮像視野可変制御部83は、例えばカメラマンのズーム操作に応じてズームレンズ駆動を制御することとなる。
また後述する自動撮像モードや要求対応撮像モードの場合、撮像視野可変制御部83は、撮像準備処理部82での判断・指示に応じて、ズーム駆動制御、パン駆動制御、チルト駆動制御を行う。パン駆動制御、チルト駆動制御については、通信処理部85を介して雲台10側にパン・チルト制御信号を送信することになる。
特に構図合わせ等の実行時には、撮像準備処理部82が判定するパン・チルトの移動量に応じて、雲台10に当該移動量を指示するパン・チルト制御信号を出力する。
また、撮像準備処理部82で判定されるズーム倍率に応じて、光学系部21のズーム動作を駆動制御する。
【0070】
レリーズ予告動作制御部84は、後述するレリーズ予告の実行動作を制御する。
例えば図7、図8で説明したようにデジタルスチルカメラ1、雲台10の一方又は両方にレリーズ予告実行部36、64が設けられる場合がある。レリーズ予告動作制御部84は、これらのレリーズ予告実行部36,64において音声出力、発光出力、表示出力を実行させる制御を行う。
またレリーズ予告動作をデジタルスチルカメラ1の挙動で実行する場合は、その挙動を実現するために雲台10側にパン・チルト制御信号を供給する。
【0071】
通信処理部85は、雲台10側に備えられる通信処理部71との間で所定の通信プロトコルに従って通信を実行するための部位となる。
上記の撮像視野可変制御部83が生成したパン・チルト制御信号は、通信処理部64の通信により、雲台10の通信処理部71に対して送信される。
【0072】
モードシーケンス制御部86は、電源オンから電源オフまでのデジタルスチルカメラ1の処理の流れを制御する。例えば自動撮像、手動撮像に応じて撮像記録制御部81に実行させる制御方式を指示する。またモードシーケンス制御部86は、自動静止画撮像モードとされた場合に、自動撮像として所定の動作シーケンスで静止画撮像が行われるように各部を制御する。さらに自動静止画撮像モード中に所定のトリガ入力を検知して要求対応撮像モードとしての動作が行われるように動作シーケンスを制御する。
即ち、自動撮像モードと要求対応撮像モードのそれぞれにおいては、モードシーケンス制御部86は、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、レリーズ予告動作制御部84による制御処理を所定の手順で適宜実行させ、各モードの静止画撮像動作を実現する。
さらにモードシーケンス制御部86は、手動撮像又は自動撮像中の要求対応撮像モードでの撮像の際には、撮像記録制御部81に対して通常撮像設定での制御を指示する。一方、自動静止画撮像モードでの撮像の際には、撮像記録制御部81に対して無意識撮像設定での制御を指示する。
このモードシーケンス制御部86は、本発明請求項にいう「撮像設定切換制御部」としての機能を含むものである。
【0073】
トリガ受付部89は、例えば雲台10側のトリガ検出部73が検知したトリガ入力を、通信処理部71,85による通信を介して認識し、これを自動静止画撮像モードから要求対応撮像モードへの切換入力として受け付ける機能部位である。トリガ受付部89は、トリガ受付をモードシーケンス制御部86に通知する。
【0074】
次に雲台10側において、通信処理部71は、デジタルスチルカメラ1側の通信処理部85との間での通信を実行するための部位である。
上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御部72に出力する。
【0075】
パン・チルト制御部72は、例えば図8に示した雲台10側の制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能となる。
このパン・チルト制御部72は、入力したパン・チルト制御信号に応じて、図8に示したパン用駆動部55、チルト用駆動部58を制御する。これにより、例えば被写体検出処理のためのパンニング、チルティングや、構図処理による、最適な水平視野角と垂直視野角を得るためのパンニング、チルティング等が行われる。
【0076】
トリガ検出部73は、自動静止画撮像モードから要求対応撮像モードへ移行するためのトリガ入力を検出する機能部位である。
一例として、当該トリガ入力は、図6のように雲台10に設けられるタッチ領域60bへのタッチ操作であるとした場合、トリガ検出部73は、そのタッチセンサへの入力を検知する機能となる。
また、前述のように、タッチ入力以外に、図8の音声入力部62,撮像部63からトリガ入力を検出する構成とする場合は、それらのトリガ入力を監視・検知する処理を行う。
このトリガ検出部73は、トリガ入力を検知した場合、通信処理部71からデジタルスチルカメラ1のトリガ受付部89にトリガ検出信号を送信する。
なお、トリガ検出部73としての機能は、デジタルスチルカメラ1側に設けてもよい。
【0077】
<3.撮像制御処理>
本例のデジタルスチルカメラ1及び雲台10の構成において、上記図9の機能構成に基づいて実現される実施の形態としての動作を図10で説明する。
なお、図9の機能構成を前提とする場合、図10の処理はデジタルスチルカメラ1の制御部27の処理と考えることができる。つまり以下説明する処理は、モードシーケンス制御部86の指示のもと、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、レリーズ予告動作制御部84、通信処理部85、トリガ受付部89が機能して実行される。また、特に自動静止画撮像モード、要求対応撮像モードでは雲台10の制御部51の通信処理部71、パン・チルト制御部72、トリガ検出部73と連携して動作が行われるものである。
【0078】
図10ではデジタルスチルカメラ1の電源オンから制御部27の処理を示している。
電源オンにより、制御部27はステップF101で起動処理を行う。また制御部27はステップF102で通常撮像設定を行う。これは制御部27の撮像記録制御部81が通常撮像設定で撮像動作制御を行うものとする処理である。
【0079】
通常撮像設定とは、被写体が撮像を意識している場合、例えば手動撮像の場合に好適な動作設定である。
この図10の処理では、撮像動作の制御設定として通常撮像設定と無意識撮像設定での撮像動作制御が選択的に実行される。無意識撮像設定とは、自動静止画撮像モードでの静止画撮像の場合を想定し、被写体人物が撮像を意識していない場合に好適な制御設定である。通常撮像設定と無意識撮像設定の具体例については後述する。
【0080】
続いてステップF103で制御部27は、撮像画像データの取り込みを開始させる。即ち制御部27が、イメージセンサ22、信号処理部24による撮像画像データの各フレーム毎の取り込みを開始させる。また、スルー画を表示部33に表示させる。
この状態でユーザは、表示部33をみて被写体を確認し、手動撮像を行うことができる状態となる。
【0081】
その後、制御部27は、ステップF104,F105,F106の監視処理を行う。
ユーザがパワーオフ操作を行ったことを検知した場合、制御部27はステップF104からF116に進み、パワーオフ処理を行ってデジタルスチルカメラ1を電源オフ状態とする。
【0082】
手動撮像操作として、ユーザがレリーズボタン31aを押したことを検知した場合は、制御部27はステップF106からF107に進み、レリーズ処理を実行させる。即ち制御部27は、エンコード/デコード部25及びメディアコントローラ26に対する制御を行って、その時点で得られている撮像画像データ(フレーム画像)を1枚の静止画データとしてメモリカード40へ記録させるように制御する。
なお、いわゆるセルフタイマー撮像として、ユーザが10秒後などのレリーズをセットして行う撮像も、このステップF107の手動撮像での処理とする。
【0083】
このステップF107での撮像及び記録動作は、ステップF102での制御設定状態において行われるため、通常撮像設定に基づいて行われることになる。
また、図10には示していないが、ステップF103以降は、制御部27の制御により自動露光調整が行われる。即ち光学系部21における絞り機構の制御、イメージセンサ22でのシャッタ速度制御、イメージセンサ22のISO感度制御(イメージセンサ22の検出信号のゲイン制御)などが行われる。
また手動撮像の場合、レリーズ操作の前のレリーズボタン31aの半押しなどに応じて、オートフォーカス制御なども行われる。
このレリーズ前の各種処理も、通常撮像設定に基づいて実行される。
【0084】
デジタルスチルカメラ1が雲台10に装着されている状態で、ユーザによって自動静止画撮像モードを開始する操作が行われた場合、制御部27はステップF105からF108以降に進み、自動静止画撮像モードでの自動撮像を開始する。
なお、自動静止画撮像モードの動作は、必ずしも雲台10に装着されていなければならないものでもなく、デジタルスチルカメラ1単体であっても実行可能である。但しその場合は、雲台10によるパン・チルト動作は行われず、撮像方向は固定となることはいうまでもない。
【0085】
自動撮像開始が指示されステップF108に進んだ場合、制御部27はステップF102で選択していた通常撮像設定を、無意識撮像設定に切り換える処理を行う。つまり以降は制御部27が無意識撮像設定で撮像動作制御を行うものとする処理である。
そしてステップF109で自動静止画撮像モードの処理を行う。
【0086】
自動静止画撮像モードの処理を図11(a)(b)に示す。なお、図11(a)はデジタルスチルカメラ1が雲台10と連携して自動撮像を行う場合の処理であり、図11(b)はデジタルスチルカメラ1単体、もしくは雲台10に装着されていたとしてもパン・チルト動作を行わずに、自動撮像を行う場合の処理である。
【0087】
まず図11(a)の処理を説明する。
この図11(a)の自動静止画撮像モードの処理は、本例の撮像システムが、撮像準備として、被写体検出(探索)、最適構図判定、構図合わせの各動作により、被写体検出で検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行う。そして所定の条件で自動的にレリーズ処理を行う。これにより、カメラマンの操作を不要として、適切な静止画撮像が行われるようにするものである。
【0088】
自動撮像モードでの撮像動作が開始されると制御部27は、図11(a)のステップF121で被写体検出処理を行い、ステップF122で構図処理を行う。
被写体検出処理、構図処理(最適構図判定、構図合わせ)は、制御部27の撮像準備処理部82の機能により実行される。
【0089】
上述のステップF103で撮像画像データの取り込みが開始された以降は、信号処理部24は、イメージセンサ22による撮像画像データとして、1枚の静止画に相当するフレーム画像データを順次取得する。
制御部27は、被写体検出処理として、各フレーム画像データから、人物の顔に相当する画像部分を検出する処理を行う。
なお、被写体検出処理は、全フレーム毎に実行しても良いし、予め定められた所定のフレーム数間隔ごとに実行してもよい。
【0090】
本例の場合における被写体検出処理では、例えばいわゆる顔検出技術を利用して、画像内から検出した被写体ごとにその顔の画像部分の領域に対応して顔枠(顔画像領域の枠)を設定する。その上で、当該顔枠の数、サイズ、位置など情報から、画枠内における被写体数、各被写体のサイズやそれぞれの画枠内での位置の情報を得る。
なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
【0091】
ステップF121での被写体検出処理としては、先ずはデジタルスチルカメラ1の周囲に存在する被写体の探索を行う。
具体的に、この被写体の探索としては、デジタルスチルカメラ1における制御部27が、雲台10に対するパン・チルト制御や光学系部21に対するズーム制御を行うことによって、撮像視野を変化させながら画像解析による被写体検出を実行させること行う。
このような被写体探索は、撮像画像データとしてのフレーム画像に被写体が検出されるまで実行される。そしてフレーム画像内、つまりその時点の撮像視野に被写体(人物の顔)が存在する状態が得られたことに応じて終了する。
【0092】
被写体検出処理が終了した後、制御部27は、ステップF122で構図処理を行う。
具体的には、構図処理としては、まずその時点の構図が最適な状態か否かを判定する。この場合、被写体検出結果に基づく画構造の判定(この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など)を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。
ここで、この場合の構図は、パン・チルト・ズームの各撮像視野によって決定づけられるものであり、従って当該最適な構図か否かの判定処理によっては、その判定結果として、上記被写体検出結果(画枠内での被写体の態様)に応じた最適な撮像視野とするためのパン・チルト・ズームの制御量の情報が得られるものとなる。
【0093】
そして構図が最適な状態でなければ、構図合わせとして、最適な構図状態とすべく、パン・チルト制御、ズーム制御を行う。
具体的に制御部27は、構図合わせ制御として、最適構図判定処理により求まったパン・チルトの各制御量の変更の情報を雲台10側の制御部51に指示する。
これに応じて雲台10の制御部51は、指示された制御量に応じたパン機構部53・チルト機構部56についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用駆動部55、チルト用駆動部58に対する制御信号の供給を行う。
また、制御部27は、最適構図判定処理により求まったズームについての画角の情報を、光学系部21に指示することで、該指示した画角が得られるように光学系部21によるズーム動作を実行させる。
【0094】
なお、構図処理で最適構図の状態ではないと判断され、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップF122を一旦終え、ステップF121の被写体検出処理からやり直す。パン・チルト、ズーム動作により、或いは人物の動きにより、被写体が撮像視野から外れることもあるためである。
【0095】
制御部27は、最適な構図が得られた場合は、ステップF123でレリーズタイミング判定処理を行う。即ち、最適な構図が得られた状態で、パン・チルトを停止させて撮像視野を固定し、ステップF123のレリーズタイミング判定を行う。
この場合、例えば、被写体が笑顔などの所定の状態となることを条件としてレリーズを行うものとすることが考えられる。
なお、ステップF123によるレリーズタイミング判定処理にてレリーズタイミングがOKとならない場合も有り得るが、その場合、ステップF121の被写体検出からやり直すことになる。被写体人物の動き等により被写体が撮像視野から外れたり、或いは構図が崩れる場合があるためである。
【0096】
レリーズタイミング判定処理によってレリーズ条件が成立したとされた場合は、ステップF124のレリーズ処理として、撮像画像データの自動記録を行う。具体的に制御部27は、エンコード/デコード部25及びメディアコントローラ26に対する制御を行って、その時点で得られている撮像画像データ(フレーム画像)のメモリカード40への記録を実行させる。
【0097】
以上の図11(a)のような制御部27による制御・処理に基づき、自動静止画撮像モードでの静止画撮像が実行されていく。
ステップF123のレリーズタイミングの判定処理としては、次のような例が考えられる。
【0098】
まず経過時間に応じてレリーズタイミングを判断する例がある。例えば構図処理が完了したら、即座にレリーズタイミングとする処理や、構図処理完了から数秒後をレリーズタイミングとする処理が考えられる。
また、一定時間毎の撮像を行うように、前回のレリーズ処理から一定時間経過したらレリーズタイミングとする処理も考えられる。なお、これは次に述べる図11(b)の処理例に、より適したレリーズタイミング判定の例といえる。
また、位置に応じたレリーズタイミング判断も考えられる。例えば雲台10によるパン・チルト動作として、一定角度のパン又はチルト動作が行われる毎に、レリーズタイミングと判定する。これも次に述べる図11(b)の処理例に適した例といえる。
【0099】
また、画像解析によって被写体状況を判定し、レリーズタイミングとする、次のような各処理も考えられる。
・被写体人物が笑顔になったタイミングをレリーズタイミングとする。
・被写体人物の数が変化したことタイミングをレリーズタイミングとする。
・被写体人物の位置がある位置に入ったタイミングをレリーズタイミングとする。
・被写体の大きさがあるサイズ以上になったらレリーズタイミングとする。
・被写体人物が向き合ったらレリーズタイミングとする。
・被写体人物が寄り添ったらレリーズタイミングとする。
・被写体人物の目線が向き合ったらレリーズタイミングとする。
・被写体人物間の距離が近づいたらレリーズタイミングとする。
・以上の各例を組み合わせ、構図が合ったら、もしくは変化があったらレリーズタイミングとする。
【0100】
また音声入力部35で得られる周囲の音声からレリーズタイミングとする例として、次のような各処理も考えられる。
・瞬間的に大音量となったらレリーズタイミングとする。
・音声のレベルや周波数スペクトラムを監視し、雰囲気が盛り上がったと判断されるときをレリーズタイミングとする。
・泣き声、笑い声の検出時点をレリーズタイミングとする。
・特定の音、例えば拍手音、口笛音などを判定して、それが検知されたらレリーズタイミングとする。
【0101】
例えばこのように、時間/位置、画像解析、周囲音声検出などによって制御部27はステップF123のレリーズタイミング判定を行う。そしてステップF124のレリーズ処理を行う。これらのレリーズタイミング判定による撮像は、被写体人物が撮像を意識していないと想定される撮像動作となる。
【0102】
実際にユーザから見える撮像システムの挙動としては、雲台10によってデジタルスチルカメラ1が自動的にパン・チルト動作を行い、またズーム動作を行いながら、被写体を探索し、任意の時点で静止画撮像を行うものとなる。つまりカメラマンが存在せずに、撮像システムが勝手に被写体を決めて静止画撮像を行っているように見える。
この場合、カメラマンが存在しないことで、ユーザが撮影を意識しない自然な雰囲気の静止画撮像が行われやすいものとなる。
【0103】
図11(b)の処理例は、図11(a)のステップF121,F122を行わない諸入り例である。即ち、パン・チルト・ズームによる被写体検出及び構図処理を実行せずに、撮像方向を固定のまま、レリーズタイミングを自動判定し(F123)、レリーズ処理を行う(F124)
これは、デジタルスチルカメラ1単体で自動静止画撮像を実行させる場合、或いは雲台10に装着しても雲台を機能させないで自動静止画撮像を実行させる場合の例である。なお、この図11(b)の処理で、ズーム調整による構図処理は、自動的に実行するようにしてもよい。
この場合も実際にユーザから見えるデジタルスチルカメラ1又は撮像システムの挙動としては、デジタルスチルカメラ1が固定されたまま、カメラマンが存在せずに勝手に静止画撮像を行っているように見える。この場合も、ユーザが撮影を意識しない自然な雰囲気の静止画撮像が行われやすいものとなる。
【0104】
例えばこの図11(a)又は図11(b)のように行われる自動静止画撮像モードでの撮像制御は、ステップF108による無意識撮像設定の状態で行われることとなる。
ステップF123のレリーズタイミング判定は、上記のような例で行われ、被写体人物が撮像を意識していない状況と考えられる。そのため、被写体人物が撮像に無意識であることに対応して好適な無意識撮像設定で撮像動作制御が行われる。
【0105】
ここで、制御部27は、ステップF109での自動静止画撮像モードの処理を実行している期間は、ステップF110で、要求対応撮像モードへのトリガ入力を監視している。
図11(a)又は図11(b)には示していないが、図11(a)又は図11(b)の各ステップの実行中に、制御部27はトリガ入力の有無を確認している。
例えば一例として、図7(a)のように雲台10にタッチ領域60bが形成され、ユーザのタッチ領域60bへのタッチ操作が、要求対応撮像モードへのトリガ入力であるとして説明する。
【0106】
また特にトリガ入力が検知されなければ、図10のステップF113で自動撮像終了と判断されるまで、ステップF109での自動静止画撮像モードでの撮像が継続される。つまり図11(a)又は図11(b)の各ステップの処理期間内では、トリガ入力の有無を確認することに加え、ユーザの終了操作も監視していることになる。
ユーザが所定の操作を行って自動撮像終了を指示した場合は、制御部27は、図10の処理をステップF113からF114に進め、所定の終了処理を行って自動静止画撮像モードを終了させる。
さらにステップF115で、それまでの無意識撮像設定を通常撮像設定に戻す。そしてステップF104、F105,F106の監視ループに戻る。
【0107】
自動静止画撮像モード中に、ユーザが雲台10のタッチ領域60bにタッチ操作を行うと、雲台10における制御部51がこれを検知し、トリガ検出信号を制御部27に送信する。
これによりトリガ入力があったことを認識し、受け付けると、制御部27は、図10の処理をステップF110からF111に進み、通常撮像設定に切り換えた上で、ステップF106の要求対応撮像モードの動作制御を行う。
【0108】
ステップF112としての要求対応撮像モードの処理例を図12(a)(b)(c)に示す。
まず図12(a)の処理例を説明する。
ステップF131では、制御部27は被写体検出処理を行う。
またステップF132では、制御部27は、構図処理を行う。
この被写体検出処理、及び構図処理は、撮像要求に応じた撮像視野を決定する処理となる。
【0109】
一例として、ステップF131の被写体検出処理、ステップF132の構図処理は、自動静止画撮像モードにおける図11(a)のステップF121の被写体検出処理、ステップF122の構図処理と、同一のアルゴリズムによる処理とすることが考えられる。
ここで、要求対応撮像モードとは、ユーザの要求に応じて静止画撮像を行うモードである。従って、そのためには、撮像要求(タッチ操作)を行ったユーザを被写体として捉えることが必要である。これが撮像要求に応じた撮像視野を決定する処理と言える。
図7(a)のように雲台10の本体部11の正面側にタッチ領域60bが設定されている場合、撮像要求(タッチ操作)を行ったユーザは、撮像システムの正面側に居ると想定される。
従って、被写体検出のアルゴリズムが、まず初期位置として正面方向(図4のパン基準位置)のパン状態とし、また図5のチルト基準位置とするアルゴリズムであれば、その状態から被写体検出・構図処理を行えば、殆どの場合、当該ユーザを撮像視野に捉えることができると考えられる。このことから、ステップF131の被写体検出処理、ステップF132の構図処理は、自動動止画撮像モード時と同様のアルゴリズムによる処理を初期状態から開始するものとすればよい。
【0110】
但し、要求対応撮像モードとしての効果的な静止画撮像を行うためには、自動撮像モード時とは異なるアルゴリズムで被写体検出・構図処理を行うことが適切な場合もある。そのような各種の例については後述する。
【0111】
ステップF131,F132での処理で、最適な構図が得られた場合は、ステップF133で制御部27は、レリーズ予告処理を行う。
図7で述べたように、デジタルスチルカメラ1側にレリーズ予告実行部36が設けられている場合、制御部27は、レリーズ予告実行部36に所定の動作を実行させる。
例えばレリーズ予告実行部36に、LED点滅表示を実行させたり、特定の点滅周期、点滅パターンでLEDを発光させたり、電子音を発生させたり、或いは「はいチーズ」等のメッセージ音声を発生させるなどの制御を行う。
また、レリーズ予告をパン・チルト動作による挙動、例えばデジタルスチルカメラ1が震えたり、うなずくような挙動を行うことで表現する場合は、レリーズ予告動作制御部84は撮像視野可変制御部83に指示して、そのような挙動を実現するパン・チルト制御信号を雲台10側に送信させる。
もちろんこれらを併用したレリーズ予告を行っても良い。
レリーズ予告によって、ユーザは、予測されるレリーズタイミングまでにポーズをしたり、表情をつくることなどが可能となる。
【0112】
そしてレリーズ予告の後、ステップF134で制御部27は、レリーズ処理を行い、静止画データをメモリカード40に記録させる。
ここで制御部27は、レリーズ予告動作の実行後又は実行開始後、所定の静止画撮像条件を満たしたときに、レリーズ処理を行って静止画撮像動作を実行させることが考えられる。
例えば特定の音声入力があったとき、撮像画像から特定の被写体状態が判定されたとき、或いはレリーズ予告動作の実行後又は実行開始後、所定の時間を経過したときなどに、上記の静止画撮像条件が満たされたと判断することが想定される。
特定の音声入力があったときとは、例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを検出する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクや注視をするなどの挙動を行った状態を検出する。
所定の時間の経過とは、例えばレリーズ予告動作の実行後又は実行開始の時点から所定時間(例えば数秒)の経過とする。
制御部27は、これらを静止画撮像条件として必要な検出処理を行い、静止画撮像条件が整ったときに、撮像記録制御部81の制御でレリーズ処理(つまり静止画の記録)が行われるようにしてもよい。
制御部27は、静止画撮像後、処理をステップF102に戻し、要求対応撮像モードを終了して、再び自動撮像モードとしての処理を行う。
【0113】
この要求対応撮像モードの処理が行われることで、自動撮像モードで静止画撮像が行われている場合において、ユーザは、撮ってもらいたいと思ったときにタッチ操作をすればよい。すると、要求対応撮像モードの動作により、そのユーザの要求に応じて静止画撮像が行われる。このときレリーズ予告も行われることで、ユーザは、撮ってもらいたい表情、目線、姿等で撮影されることができる。
【0114】
要求対応撮像モードの処理例として図12(b)は、被写体検出及び構図処理を行わない例である。即ち、ステップF112で要求対応撮像モードとして処理を行う場合、ステップF133でレリーズ予告処理を行い、ステップF134でレリーズ処理を行う。
また図12(c)はタッチ操作等のトリガ入力に応じて、ステップF134でレリーズ処理を行う例である。
この図12(b)(c)は、デジタルスチルカメラ1単体、もしくは雲台10のパン・チルト動作を実行させないで行う要求対応撮像モードの処理例となる。
【0115】
そして、以上の図12(a)(b)(c)のような要求対応撮像モードでの撮像が行われる場合とは、ユーザがタッチ操作等で撮像を要求した場合である。つまり被写体人物が撮像を意識していることが想定される場合である。
そこで本例では、ステップF111で自動静止画撮像モード中の無意識撮像設定を通常撮像設定に切り換えた上で、ステップF112の要求対応撮像モードの撮像を行うようにしている。
ステップF112で要求対応撮像モードの処理を終えたら、再び自動静止画撮像モードに戻る。このときはステップF108で無意識撮像設定に切り換えた上で、ステップF109の自動静止画撮像モードの処理を行うこととなる。
【0116】
なお、ステップF110で監視する要求対応撮像モードのためのトリガや、ステップF112での要求対応撮像モード処理としては、多様な変形例が考えられる。
上記説明では雲台10へのユーザのタッチ操作をトリガ操作と認識する例を述べた。タッチ操作としては、デジタルスチルカメラ1の筐体上にタッチ領域を設け、ユーザがデジタルスチルカメラ1のタッチ領域に触れることで、撮像システムがトリガ操作を認識するものとしても良い。
また、ユーザのトリガ入力のための操作としては、雲台10又はデジタルスチルカメラ1に操作ボタンを設け、その操作ボタンの操作をトリガ入力としてもよい。
さらに、赤外線や電波を利用した無線方式、又は有線方式のリモートコントローラを用いた操作で、ユーザがトリガ操作を行うことができるようにしてもよい。
【0117】
また、制御部51(トリガ検出部73)は、特定の音声入力をトリガ入力として検知することも考えられる。例えば図9で説明したように雲台10に音声入力部62を備えるようにし、制御部51が、特定の音声入力を認識する。
特定の音声入力とは、或る言葉、例えばユーザが発する「撮って!」という言葉としてり、手を叩いた音などとする。
音声入力部62では、入力音声信号の解析処理を行い、これらの特定の音声入力があったか否かを判別する。そして特定の音声入力があったら、トリガ入力がなされたと認識するようにする。
もちろん、デジタルスチルカメラ1側の制御部27にトリガ検出部としての機能を備えるようにし、図7に示した音声入力部35からの音声信号についてトリガ入力判断を行うようにしてもよい。
【0118】
またトリガ検出部73は、撮像画像から特定の被写体状態が判定されたらトリガ入力があったと検知することも考えられる。
例えば図8で説明したように雲台10に撮像部63を備えるようにし、制御部51(トリガ検出部73)が、撮像画像から検出される特定の被写体状態をトリガ入力と認識する。
特定の被写体状態とは、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動が考えられる。或いは、ユーザが撮像システムを注視するなども考えられる。
撮像部63又はトリガ検出部73は、撮像画像の画像解析処理により、これらユーザの特定のジェスチャを判定したり、或いはユーザの目線を判定する。そして特定の被写体状態が検出されたら、トリガ入力がなされたと認識するようにする。
なお、デジタルスチルカメラ1側の制御部27にトリガ受付部89に加えてトリガ検出部としての機能を備えるようにした場合は、信号処理部24での画像解析、即ち被写体検出処理の過程で、このような特定の被写体状態としての挙動や目線等を認識できるため、特定の被写体状態によるトリガ入力の検知、及び要求対応撮像モードへのトリガとしての受け付けが可能となる。
【0119】
以上のいずれのトリガの場合も、ユーザが意識して撮像を求めるというものであればよい。
【0120】
また図12(a)のステップF131,F132としての、要求対応撮像モードとなった場合の撮像準備処理の例も各種考えられる。
例えば制御部27は、トリガ入力による要求方向を判定する。要求方向とは、撮像システムの位置を基準として、トリガ入力を行ったユーザの居る方向、つまりトリガ入力の方向である。そしてステップF131で制御部27は、要求方向へのパン・チルト制御を行い、デジタルスチルカメラ1の撮像方向が、上記の要求方向に向くようにする。
【0121】
例えばタッチ操作をトリガ入力とする場合、図7(b)のように複数方向に向かってタッチ領域60b〜60dを形成する。
雲台10の制御部51(トリガ検出部73)は、タッチ操作を検知した場合、トリガ検出信号とともに、タッチ領域60b〜60dのうちのどれにユーザがタッチしたかの情報(又はトリガ入力方向の情報)もデジタルスチルカメラ1の制御部27(トリガ受付部89、モードシーケンス制御部86)に伝える。制御部27はこれによりステップF120の要求方向判定を行う。
制御部27は、トリガ入力方向を判別したら、ステップF121で、デジタルスチルカメラ1の撮像方向がトリガ入力方向(要求方向)に向かうように、パン・チルト制御信号を出力する。これにより雲台10側でパン・チルト動作が行われ、ユーザの居る方向にデジタルスチルカメラ1が向く。
【0122】
つまり、撮像準備処理として、あたかもユーザの要求に答えるように、最初に要求方向にデジタルスチルカメラ1が向くようにする。
この状態から制御部27は被写体検出・構図処理を行う。
これによって、撮像要求したユーザを捉えやすくなり、ユーザの望む静止画撮像が容易に可能となる。
【0123】
トリガ入力が音声入力による場合も、このような処理は可能である。
例えば音声入力部35(又は62)には、複数のマイクロホンを用意し、各マイクロホンによって得られた各音声信号の相互間の時間差から、上述した特定の音声入力が発せられた方向を判別する。
制御部27は、このように音声入力から要求を行ったユーザの居る方向を判別することで、ステップF131での要求方向へのパン・チルト制御が可能となる。
実際の挙動としては、ユーザの呼びかけに撮像システムが反応して、ユーザに振り向くようなものとなり、その後、そのユーザを含む静止画撮像が行われるものとなる。
【0124】
以上図10の処理によれば、本実施の形態での撮像制御動作は、手動撮像(F107)、及び要求対応撮像モードでの撮像(F112)では、通常撮像設定のもとで行われる。これは被写体人物が撮像を意識していると想定される場合である。
一方、被写体人物が撮像を意識していないと想定される自動静止画撮像モードでの撮像(F109)では、無意識撮像設定のもとで行われることとなる。
以下では、通常撮像設定と無意識撮像設定の例について説明する。
【0125】
<4.通常撮像設定と無意識撮像設定の例>
被写体人物が撮像されることを意識している場合の通常撮像設定に対し、被写体人物が撮像に対して無意識である場合に好適な無意識撮像設定では、次の(1)〜(3)のような観点での動作設定が適切である。
(1)被写体ぶれの軽減を目的とする撮像動作設定
(2)変顔軽減を目的とする撮像動作設定
(3)目立たない設定
以下、それぞれについて説明する。
【0126】
(1)被写体ぶれの軽減を目的とする撮像動作設定
被写体人物が撮像に無意識である場合、当然ながらレリーズタイミングを意識してポーズをとったり、動かないように注意するといったことはせず、自由に行動している。このため、自動静止画撮像モードで撮像される写真(静止画データ)では、被写体人物の動きによってブレが発生しているものが多くなる傾向がある。
そこで、そのような被写体ブレ軽減のための動作設定を行う。
【0127】
(1−1)シャッタ速度設定
無意識撮像設定では通常撮像設定よりもシャッター速度を速くする撮像動作設定とする。つまりイメージセンサ22の露光時間を短くする。シャッタ速度を速くすることで、被写体ブレを軽減できる。
例えばユーザがシャッタ速度を固定とする設定をした場合に、通常撮像設定では、ユーザが指定した速度(例えば1/50秒)とするが、無意識撮像設定ではより速い設定(例えば1/60秒)などとすることが考えられる。
【0128】
(1−2)露光調整動作設定
通常撮像設定における露光調整動作は、光量低下に応じてシャッター速度を第1の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定とする。一方、無意識撮像設定における露光調整動作は、光量低下に応じてシャッター速度が第1の所定速度より速い第2の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定とする。
図13に例を挙げる。図13(a)は通常撮像設定での露光調整動作例を示している。
被写体光量(入射光量)の明暗に対しては自動露光調整が行われる。例えば上述したように図10のステップF103で撮像画像データの取込を開始した後は、継続的に露光調整が行われる。
露光調整は、光学系部21内の絞り機構の制御、イメージセンサ22のシャッタ速度制御、及びイメージセンサ22のISO感度制御(露光信号のゲイン制御)によって行われる。例えば制御部27は、撮像画像データの平均輝度レベル、加重平均輝度レベルなどから被写体光量を検出し、それに応じて絞り制御、シャッタ速度制御、ISO感度制御を行う。)
【0129】
ここで図13(a)では、被写体光量の明暗のレベルに応じた露光調整を示している。まず光量がレベルL1以上に明るい光量区間では、絞り機構の開閉によって露光調整を行う。光量がレベルL1未満となった状態では、絞り機構は全開状態のままシャッタ速度制御とISO感度制御で対応する。
この例では、レベルL1〜L3の光量区間は、シャッタ速度制御で対応するものとしている。例えばあくまで一例であるが、シャッタ速度は、レベルL1以上では1/100秒としていた場合に、レベルL1〜L3の光量区間では、徐々にシャッタ速度を遅くしていくようにする。例えばレベルL3の際には1/10秒となるようにする。
そして1/10秒に至った後、さらに光量レベルが低下している場合は、ISO感度制御を行う。例えば光量低下に応じてISO感度を100から徐々に高くなるようにする。
【0130】
このような通常撮像設定での露光調整動作に対し、無意識撮像設定では図13(b)のようにする。
まず光量がレベルL1以上に明るい光量区間では、通常撮像設定と同様、絞り機構の開閉によって露光調整を行う。光量がレベルL1未満となった状態では、絞り機構は全開状態のままシャッタ速度制御とISO感度制御で対応する。
この例では、レベルL1〜L2の光量区間は、シャッタ速度制御で対応するものとしている。例えばシャッタ速度は、レベルL1以上では1/100秒としていた場合に、レベルL1〜L2の光量区間では、徐々にシャッタ速度を遅くしていく。例えばレベルL2の際には1/40秒となるようにする。
そして1/40秒に至った後、さらに光量レベルが低下している場合は、ISO感度制御を行う。例えば光量低下に応じてISO感度を100から徐々に高くなるようにする。
この場合、レベルL4においてISO感度が自動撮像に適切な限界となった場合に、それ以降の光量低下にはシャッタ速度で対応する。つまりレベルL4より低い光量区間はシャッタ速度を1/40秒より徐々に遅くしていくようにする。
この図13(b)の無意識撮像設定では、図13(a)の通常撮像設定に比べて、レベルL2より光量が低い区間では、シャッタ速度が速くなるものとなる。つまり、シャッタ速度を或る程度の速度(この例では1/40秒)よりなるべく下げないようにする露光調整動作となる。
これにより無意識撮像設定における撮像時には、シャッタ速度が遅い状態になりにくく、通常撮像設定よりもシャッタ速度が速くなっていることが多くなる。従って無意識撮像設定では被写体ブレ機能が高まることとなる。
【0131】
(1−3)重ね合わせ合成
通常撮像設定では、撮像結果として記録する静止画データ生成処理として、レリーズタイミングに応じた1フレームの撮像画像データから静止画データを得る設定とする。一方、無意識撮像設定では、撮像結果として記録する静止画データ生成処理として、レリーズタイミングに応じた複数フレームの撮像画像データの重ね合わせ合成処理を行って静止画データを得る設定とする。
【0132】
図14(a)(b)にレリーズ処理の際の制御部27の制御処理例を示す。
図14(a)は通常撮像設定でのレリーズ処理例である。即ち図10のステップF107、及びF112(図12のF134)で行われるレリーズ処理である。
この場合、制御部27はステップF151で、ユーザのレリーズ操作のタイミング、又は要求対応撮像モードでのレリーズタイミングに応じて、静止画として記録すべき撮像画像データとしての1フレームの取得を信号処理部24に実行させる。つまり信号処理部24にレリーズタイミングに応じた1フレームを記録処理対象の画像データとして抽出させる。
そしてステップF152で、その1フレームの画像データについて記録処理を実行させる。即ち信号処理部24に対し、当該抽出した1フレームを記録する静止画データとすべく所定の処理を実行させ、エンコード/デコード部25に転送させる。そしてエンコード/デコード部25で記録のための圧縮エンコード等を実行させ、メディアコントローラ26によりメモリカード40に記録させる。
【0133】
図14(b)は無意識撮像設定でのレリーズ処理例である。即ち図10のステップF109(図11のF124)で行われるレリーズ処理である。
この場合、制御部27はステップF161で、自動静止画撮像モードでのレリーズタイミングに応じて、静止画としての記録処理に用いる撮像画像データとしての複数フレームの取得(抽出)を信号処理部24に実行させる。そしてステップF162で信号処理部24に重ね合わせ処理を指示する。重ね合わせ処理は、例えば特許文献2に開示されているように、複数フレームのブロックマッチングを行い同一画像内容の部分を重ね合わせて合成することでノイズ低減を行う処理である。この重ね合わせ処理結果の画像データを、記録する静止画データとする。
そして制御部27はステップF163で、その重ね合わせ処理後の画像データについて記録処理を実行させる。即ち信号処理部24に対し、当該重ね合わせ画像データをエンコード/デコード部25に転送させる。そしてエンコード/デコード部25で記録のための圧縮エンコード等を実行させ、メディアコントローラ26によりメモリカード40に記録させる。
【0134】
このように通常撮像設定と無意識撮像設定で、レリーズの際の処理が異なるようにする。無意識撮像設定の場合は、重ね合わせ処理が行われるようにすることで被写体ブレの可能性を低くできる。
【0135】
(2)変顔軽減を目的とする撮像動作設定
被写体人物が撮像に無意識である場合、レリーズタイミングを意識していないことでレリーズ時に撮られて良い表情をしているとは限らない。例えば目をつむっていたり、口を半開きにしているなど、写真として本人が好まないような表情が撮られる可能性が高くなる。そこで、そのような好ましくない表情が撮られにくいようにする動作設定を行う。
【0136】
(2−1)選択処理
通常撮像設定では、撮像結果として記録する静止画データ生成として、レリーズタイミングに応じた1フレームの撮像画像データから静止画データを得る設定とする。一方、無意識撮像設定では、撮像結果として記録する静止画データ生成として、レリーズタイミングに応じた複数フレームの撮像画像データについての選択処理を行って静止画データを得る設定とする。
【0137】
図14(a)(c)でレリーズ処理の際の制御部27の制御処理例を示す。
通常撮像設定でのレリーズ処理は、先に説明した図14(a)の処理とする。
図14(c)は無意識撮像設定でのレリーズ処理例である。即ち図10のステップF109(図11のF124)で行われるレリーズ処理である。
この場合、制御部27はステップF171で、自動静止画撮像モードでのレリーズタイミングに応じて、静止画としての記録処理に用いる撮像画像データとしての複数フレームの取得(抽出)を信号処理部24に実行させる。そしてステップF172で選択処理を実行する。この場合制御部27(又は信号処理部24)は、抽出した複数の撮像画像データについて画像解析処理を行う。特に人物の顔部分の解析を行う。そして被写体人物が目を閉じている画像と目を開いている画像を判定する。例えば目の大きさで判定する。そして最も目が大きい(つまり目が開いている)画像を選択する。
このように画像解析結果で1つの撮像画像データを選択したら、制御部27はステップF173で、その選択した撮像画像データについて記録処理を実行させる。即ち信号処理部24に対し、当該選択した撮像画像データをエンコード/デコード部25に転送させる。そしてエンコード/デコード部25で記録のための圧縮エンコード等を実行させ、メディアコントローラ26によりメモリカード40に記録させる。
【0138】
このように通常撮像設定と無意識撮像設定で、レリーズの際の処理が異なるようにする。無意識撮像設定の場合は、選択処理が行われるようにすることで、被写体人物が好まない変顔写真の可能性を低くできる。
なお選択処理は、目が開いている画像としたが、口を閉じている画像を選択するようにしてもよい。また、最も笑顔としての可能性の高い画像を選択するといったこともできる。笑顔の判定と口の開きの判定を組み合わせることもできる。笑顔判定は目、口角等の判定で行われるが、口の開きは口のサイズで判定する。そして、「笑顔の画像」「口を閉じている画像」「笑顔でなくて口を開いている画像」という優先順序を設定して選択をおこなうようにしてもよい。
また、上述の被写体ブレも考慮し、目の大きさ、口の大きさ、笑顔度、被写体ブレ度をそれぞれスコア化し、総合判断で最も好ましいフレーム画像を選択するといったことも考えられる。
【0139】
(2−2)シャッタ速度設定
シャッタ速度を速くすることで被写体ブレを低減することは先に述べたが、目つむり防止にも有効である。つまり人のまばたきのタイミングを考慮すると、シャッタ速度を速くすることで、まばたきの瞬間の画像が撮られる可能性を低くできる。
そこで、無意識撮像設定では通常撮像設定の場合よりシャッタ速度を速くする。例えばユーザによって固定のシャッタ速度が指定されている場合、通常撮像設定では、その指定されたシャッタ速度とするが、無意識撮像設定では、その指定されたシャッタ速度より速い速度で撮像を行う。
また露光調整動作として、上記図13(a)(b)で説明したように通常撮像設定と無意識撮像設定で調整制御方式を異なるものとする。
このような設定では、目つむり画像の可能性を低くできる。
【0140】
(3)目立たない設定
自動静止画撮像モードの撮像は、被写体人物が撮像を意識せずに自然な表情を撮るという目的もある。このため、レリーズタイミングを意識させないことが有効である。また、自動的に撮像していることをユーザに認識しやすいようにすると、ユーザにとって煩わしいものとなることもある。例えばパーティ等において、会話を楽しんでいるときに、撮られようとすることが分かってしまうと、それを意識して会話を中断されたり、意識がカメラに向けられることでしらけてしまうようなこともあり得る。
そこで、自動静止画撮像モードにおける無意識撮像設定として、レリーズ動作を目立たないようにする設定が考えられる。
即ち通常撮像設定では、撮像タイミング又はその前後で所定の発光もしくは発音を実行させる動作設定とし、無意識撮像設定では、撮像タイミング又はその前後で所定の発光もしくは発音を実行させない動作設定とする。
【0141】
図15(a)(b)でレリーズ処理の際の制御部27の制御処理例を示す。
通常撮像設定でのレリーズ処理、即ち図10のステップF107、及びF112(図12のF134)で行われるレリーズ処理は図15(a)の処理とする。この場合、ユーザのレリーズ操作のタイミング、又は要求対応撮像モードでのレリーズタイミングに、制御部27はステップF181でストロボ発光判断を行う。
例えばユーザがストロボを発光させるモードに設定していた場合は、発光させると判断する。また外光光量に応じて自動的にストロボ発光させるモードとされている場合は、制御部27は外光光量に応じてストロボ発光の実行有無を判断する。
そしてストロボ発光を実行させる場合はステップF182に進み、ストロボ発光部37に発光を実行させる。
【0142】
さらに制御部27はステップF184で発音部38にレリーズ音(いわゆるシャッタ音)を発音させる。
【0143】
図15(b)は無意識撮像設定でのレリーズ処理例である。即ち図10のステップF109(図11のF124)で行われるレリーズ処理である。
この場合、制御部27はステップF191で、静止画として記録すべき撮像画像データとしての1フレームの取得(抽出)を信号処理部24に実行させる。そしてステップF192で、その1フレームの画像データについて記録処理を実行させる。即ち信号処理部24に対し、当該抽出した1フレームを記録する静止画データとすべく所定の処理を実行させ、エンコード/デコード部25に転送させる。そしてエンコード/デコード部25で記録のための圧縮エンコード等を実行させ、メディアコントローラ26によりメモリカード40に記録させる。
つまりこの図15(b)の処理は、ストロボ発光のモードに関わらず、ストロボ発光を実行させないものである。さらに、レリーズ音も発音させない。
【0144】
この図15(a)(b)のようにレリーズ処理制御方式を異なる設定とすることで、自動静止画撮像モードでは被写体人物に意識させない撮像や雰囲気を妨げない撮像が可能となる。一方で手動撮像或いは要求対象撮像モードでの撮像では、レリーズ音やストロボ発光により適切な撮像動作が行われる。
【0145】
なお、図15のレリーズ処理と、図14のレリーズ処理を組み合わせても良い。即ち通常撮像設定では、図15(a)のレリーズ処理とする。そして無意識撮像設定では、図14(b)又は(c)の処理で、ストロボ発光やレリーズ音発音を行わない処理とする例である。
また、目立たない設定の例として、AFイルミネータをオフとすることも考えられる。上述したようにオートフォーカス制御の際には、その制御のしやすさのために、AFイルミネータ発光部39により発光を実行させる。このAFイルミネータの発光は、通常撮像設定において実行させ、無意識撮像設定では実行しないようにする。これによって自動静止画撮像モードでの撮像で、ユーザに撮像動作を意識させないようにすることができる。
【0146】
以上、通常撮像設定と無意識撮像設定の設定内容の具体例を示したが、もちろんこれらのものに限られない。
特に無意識撮像設定では、被写体ブレの軽減、変顔軽減、目立たない動作としての設定例は多様に考えられる。もちろん上記各設定の組み合わせも多様に考えられる。
【0147】
<5.機能構成の変形例>
以上、実施の形態の処理例を説明してきたが、ここまでは基本的には図9の機能構成に基づいた制御処理として述べてきた。
例えばデジタルスチルカメラ1と雲台10から成る撮像システムでは、図9以外にも機能構成例が考えられる。
【0148】
図16は、デジタルスチルカメラ1側は撮像記録制御部81と通信処理部85のみを有する例である。そして雲台10側(制御部51)に、通信処理部71、トリガ検出/受付部79、撮像準備処理部74、撮像視野可変制御部75、レリーズ予告動作制御部76、モードシーケンス制御部77を設ける。
【0149】
各機能部が実行する制御処理は、基本的には図10で説明したものと同様であるが、次の点が異なる。
撮像準備処理部74は、被写体検出処理や構図処理を行うために、各フレーム画像としての撮像画像データを、デジタルスチルカメラ1の信号処理部24から供給を受けるようにする。そして画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
撮像視野可変制御部75は、撮像準備処理部74からの指示に応じて、パン用駆動部55、チルト用駆動部58を制御して、被写体検出や構図合わせのためのパン・チルト動作を実行させる。
また、ズーム制御のために、撮像準備処理部74は、ズーム制御信号を通信処理部71を介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)に出力する。撮像記録制御部81は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
【0150】
また、モードシーケンス制御部77は、例えば図10の処理シーケンスを実行させるために各昨日部位に指示を与えるが、通常撮像設定と無意識撮像設定を、通信処理部71,85を介して撮像記録制御部81に指示する。特には、この図16の機能構成は、デジタルスチルカメラ1が雲台10に取り付けられた状態を前提とする構成例であるため、図10のステップF108〜F115の自動撮像における動作制御を行う。即ちモードシーケンス制御部77は、自動静止画撮像モードにおいて無意識撮像設定を指示し、要求対象撮像モードの際に通常撮像設定を指示する。
またモードシーケンス制御部77は、図10のステップF109、F119でのレリーズ処理を行う際には、通信処理部71介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)にレリーズ制御信号を出力する。撮像記録制御部81は、レリーズ制御信号に応じて、静止画記録動作を実行制御する。
トリガ検出/受付部79は、トリガ入力を検知する。そして検知した場合に要求対応撮像モードへのトリガとして受け付ける。
【0151】
また、レリーズ予告処理を行う場合は、モードシーケンス制御部86がレリーズ予告動作の指示をレリーズ予告動作制御部76に与える。これに応じてレリーズ予告動作制御部76が、雲台10側のレリーズ予告実行部64の動作の実行制御を行い、又はパン・チルト動作による所定の挙動を実行制御する。
【0152】
例えばこの図16のように、主に雲台10側でデジタルスチルカメラ1の撮像動作設定を切り換える制御を行うような例も考えられる。この場合、デジタルスチルカメラ1と雲台10の撮像システムにおいて、制御部27、51が連携して本発明の撮像制御装置を実現する例となる。
【0153】
さらに、図16の構成の変形例として、雲台10の制御部51側に、撮像記録制御部81としての機能を加えてもよい。その場合、雲台10がデジタルスチルカメラ1に対する撮像制御装置となる。
【0154】
またデジタルスチルカメラ1は、もちろん雲台10に取り付けられない状態での使用も可能である。或いは雲台10に対応しない(取り付け不能、又は連動不能)なデジタルスチルカメラ1も想定される。
その場合は、制御部27に、図9に示した撮像記録制御部81、モードシーケンス制御部86としての機能構成を備えればよい。つまり手動撮像の際に通常撮像設定とし、自動撮像の際に無意識撮像設定とする処理機能があればよい。
【0155】
以上の説明から理解されるように、本発明の撮像制御装置は、撮像記録制御部81とモードシーケンス制御部86(77)としての機能を持つ機器として実現される。
そして本発明の撮像制御装置は、デジタルスチルカメラ1に搭載される制御機能構成としても実現できるし、デジタルスチルカメラ1と雲台10による撮像システムの制御機能構成としても実現できる。デジタルスチルカメラ1に搭載される機能構成としては、雲台10との連動による自動静止画撮像を実行する機能構成でも良いし、雲台10との連動機能を持たない機能構成でもよい。さらに雲台10に搭載される制御機能構成としても実現できる。
【0156】
従って、単体のデジタルスチルカメラ1としては、雲台10に取り付け可能なものも、雲台10に非対応のものも、本発明の撮像制御装置、又は撮像制御方法の実施製品となり得る。また、デジタルスチルカメラ1と雲台10のセットの撮像システム、或いは雲台10のみも、本発明の撮像制御装置、又は撮像制御方法の実施製品となり得る。
【0157】
図17はさらに他の機能構成例である。
図ではデジタルスチルカメラ1の単体の構成例を示している。ここではデジタルスチルカメラ1が、図9の撮像視野可変制御部83に代えて、トリミング制御部91としての機能を有する例を示している。なお、トリガ検出/受付部92は、図9のトリガ受付部89とトリガ検出部73の機能を備えた機能部位としている。
【0158】
トリミング制御部91は、撮像画像データについてのトリミング範囲を指示する。例えば図7に示したデジタルスチルカメラ1の信号処理部24は、撮像画像データに対してトリミング処理を行って記録する静止画データを生成する機能を備える。トリミング制御部91は、このトリミング処理範囲を設定し、撮像記録制御部81を介して信号処理部24に指示する機能を示している。
例えば雲台10によるパン・チルトが行われない場合、必ずしも撮像視野内の撮像画像データは好適な構図とはならない。つまり好適な構図状態に調整できない。
そこで雲台10を用いない場合に、撮像準備処理部82は、撮像視野でとらえられる撮像画像データを解析して、被写体検出を行うと共に、最適な構図となる画像の切り出し範囲を計算する。即ち撮像画像データ内で、最適構図となる所定の縦横比による画像部分がどこであるのかを特定する。
トリミング制御部91は、最適な構図となる範囲の情報から、その部分のトリミングを指示するトリミング制御情報を生成し、信号処理部24に供給し、所要のトリミング処理を実行させる。
信号処理部24は、トリミング制御情報に基づいてレリーズタイミングで得られた撮像画像データに対するトリミング処理を行い、記録用の静止画データとしてエンコード/デコード部25に出力する。
【0159】
つまりこの構成例の場合、パン・チルトではなく、撮像画像データからの切り出しによって最適構図の静止画データを生成するものである。
例えば雲台10を用いないデジタルスチルカメラ1単体であっても、このようなトリミング処理により、適切な構図での自動撮像による静止画データが得られるようになる。
なお、この図17の構成例以外に、例えば図9や図16の機能構成に加えてトリミング処理部91を備えるようにしてもよい。即ち雲台10とデジタルスチルカメラ1のセットで使用される場合にも、パン・チルト動作に加えてトリミングによる最適構図設定が行われるようにしてもよい。
【0160】
なお、図9、図16、図17では、各制御機能部位をブロック化して示しているが、これらがそれぞれ独立したプログラムモジュール、或いはハードウエアとして構成される必要はない。事実上、これらの制御機能部の総合的な処理として、図10等の処理動作が実現されるものであればよい。
【0161】
<6.プログラム>
本実施の形態のプログラムは、上述した実施の形態の撮像動作設定の切り換え、例えば図10〜図15で例示した設定切り換えの処理をCPU等の演算処理装置(制御部27等)に実行させるプログラムである。
実施の形態のプログラムは、操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、通常撮像設定での静止画撮像制御を実行させる。また所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、無意識撮像設定での静止画撮像制御を実行させる。
【0162】
このような本実施の形態のプログラムは、パーソナルコンピュータや、デジタルスチルカメラ1や雲台10等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0163】
また、実施の形態のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
そして実施の形態のプログラムによれば、上記実施の形態の処理を実現する撮像装置、撮像システムの実現及び広範な提供に適している。
【符号の説明】
【0164】
1 デジタルスチルカメラ、2 本体部、21a レンズ部、31a レリーズボタン、10 雲台、11 本体部、12 カメラ台座部、13 突起部、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、35 音声入力部、36 レリーズ予告実行部、37 ストロボ発光部、38 発音部、39 AFイルミネータ発光部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、59 接続検出部、60 操作部、60b〜60d タッチ領域、62 音声入力部、63 撮像部、64 レリーズ予告実行部、81 撮像記録制御部、82,74 撮像準備処理部、83,75 撮像視野可変制御部、84,76 レリーズ予告動作制御部、86,77 モードシーケンス制御部、72 パン・チルト制御部、73,87 トリガ検出部、89 トリガ受付部、79 トリガ検出/受付部、91 トリミング制御部
【特許請求の範囲】
【請求項1】
撮像装置による静止画撮像動作を制御する撮像動作制御部と、
上記撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、上記撮像記録制御部に第1の撮像動作設定での静止画撮像制御を指示し、上記所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、上記撮像記録制御部に第2の撮像動作設定での静止画撮像制御を指示する撮像設定切換制御部と、
を備えた撮像制御装置。
【請求項2】
上記第2の撮像動作設定は、上記第1の撮像動作設定よりも、上記撮像装置のシャッター速度を速くする撮像動作設定である請求項1に記載の撮像制御装置。
【請求項3】
上記第1の撮像動作設定は、上記撮像装置の露光調整動作が、光量低下に応じてシャッター速度を第1の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定であり、
上記第2の撮像動作設定は、上記撮像装置の露光調整動作が、光量低下に応じてシャッター速度が上記第1の所定速度より速い第2の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定である請求項1に記載の撮像制御装置。
【請求項4】
上記第1の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた1フレームの撮像画像データから撮像結果としての静止画データを得る設定であり、
上記第2の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた複数フレームの撮像画像データの重ね合わせ合成処理を行って撮像結果としての静止画データを得る設定である請求項1に記載の撮像制御装置。
【請求項5】
上記第1の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた1フレームの撮像画像データから撮像結果としての静止画データを得る設定であり、
上記第2の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた複数フレームの撮像画像データについての選択処理を行って撮像結果としての静止画データを得る設定である請求項1に記載の撮像制御装置。
【請求項6】
上記第1の撮像動作設定は、撮像タイミング又はその前後で上記撮像装置に所定の発光もしくは発音を実行させる動作設定であり、
上記第2の撮像動作設定は、撮像タイミング又はその前後で上記撮像装置に所定の発光もしくは発音を実行させない動作設定である請求項1に記載の撮像制御装置。
【請求項7】
上記所定の撮像指示入力によらないで行われる静止画撮像動作とは、上記撮像装置が自動静止画撮像モードで撮像を実行している際の静止画撮像動作であり、
上記所定の撮像指示入力に応じて行われる静止画撮像動作は、上記自動静止画撮像モードの際に、所定のトリガ入力によって撮像要求が行われた際に実行される要求対応撮像モードでの静止画撮像動作である請求項1に記載の撮像制御装置。
【請求項8】
上記撮像装置についての撮像視野の可変機構を駆動制御する撮像視野可変制御部をさらに備え、
上記自動静止画撮像モードでは、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行う請求項7に記載の撮像制御装置。
【請求項9】
上記自動静止画撮像モードでは、上記撮像装置の撮像方向を固定した状態で上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行う請求項7に記載の撮像制御装置。
【請求項10】
撮像装置による静止画撮像動作の制御として、上記撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、第1の撮像動作設定での静止画撮像制御を実行し、上記所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、第2の撮像動作設定での静止画撮像制御を実行する撮像制御方法。
【請求項11】
撮像装置による静止画撮像動作の制御を演算処理装置に実行させるプログラムとして、
上記撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、第1の撮像動作設定での静止画撮像制御を実行させ、上記所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、第2の撮像動作設定での静止画撮像制御を実行させるプログラム。
【請求項1】
撮像装置による静止画撮像動作を制御する撮像動作制御部と、
上記撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、上記撮像記録制御部に第1の撮像動作設定での静止画撮像制御を指示し、上記所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、上記撮像記録制御部に第2の撮像動作設定での静止画撮像制御を指示する撮像設定切換制御部と、
を備えた撮像制御装置。
【請求項2】
上記第2の撮像動作設定は、上記第1の撮像動作設定よりも、上記撮像装置のシャッター速度を速くする撮像動作設定である請求項1に記載の撮像制御装置。
【請求項3】
上記第1の撮像動作設定は、上記撮像装置の露光調整動作が、光量低下に応じてシャッター速度を第1の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定であり、
上記第2の撮像動作設定は、上記撮像装置の露光調整動作が、光量低下に応じてシャッター速度が上記第1の所定速度より速い第2の所定速度まで低下させた段階に至った後、撮像感度を上昇させる設定である請求項1に記載の撮像制御装置。
【請求項4】
上記第1の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた1フレームの撮像画像データから撮像結果としての静止画データを得る設定であり、
上記第2の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた複数フレームの撮像画像データの重ね合わせ合成処理を行って撮像結果としての静止画データを得る設定である請求項1に記載の撮像制御装置。
【請求項5】
上記第1の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた1フレームの撮像画像データから撮像結果としての静止画データを得る設定であり、
上記第2の撮像動作設定は、上記撮像装置の静止画撮像動作による静止画データ生成として、レリーズタイミングに応じた複数フレームの撮像画像データについての選択処理を行って撮像結果としての静止画データを得る設定である請求項1に記載の撮像制御装置。
【請求項6】
上記第1の撮像動作設定は、撮像タイミング又はその前後で上記撮像装置に所定の発光もしくは発音を実行させる動作設定であり、
上記第2の撮像動作設定は、撮像タイミング又はその前後で上記撮像装置に所定の発光もしくは発音を実行させない動作設定である請求項1に記載の撮像制御装置。
【請求項7】
上記所定の撮像指示入力によらないで行われる静止画撮像動作とは、上記撮像装置が自動静止画撮像モードで撮像を実行している際の静止画撮像動作であり、
上記所定の撮像指示入力に応じて行われる静止画撮像動作は、上記自動静止画撮像モードの際に、所定のトリガ入力によって撮像要求が行われた際に実行される要求対応撮像モードでの静止画撮像動作である請求項1に記載の撮像制御装置。
【請求項8】
上記撮像装置についての撮像視野の可変機構を駆動制御する撮像視野可変制御部をさらに備え、
上記自動静止画撮像モードでは、上記撮像視野可変制御部が上記可変機構を駆動制御しながら上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行う請求項7に記載の撮像制御装置。
【請求項9】
上記自動静止画撮像モードでは、上記撮像装置の撮像方向を固定した状態で上記撮像記録制御部の制御により撮像装置が静止画撮像動作を行う請求項7に記載の撮像制御装置。
【請求項10】
撮像装置による静止画撮像動作の制御として、上記撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、第1の撮像動作設定での静止画撮像制御を実行し、上記所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、第2の撮像動作設定での静止画撮像制御を実行する撮像制御方法。
【請求項11】
撮像装置による静止画撮像動作の制御を演算処理装置に実行させるプログラムとして、
上記撮像装置の操作者又は被写体人物による所定の撮像指示入力に応じて行われる静止画撮像動作の場合には、第1の撮像動作設定での静止画撮像制御を実行させ、上記所定の撮像指示入力によらないで行われる静止画撮像動作の場合には、第2の撮像動作設定での静止画撮像制御を実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2012−15949(P2012−15949A)
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願番号】特願2010−152909(P2010−152909)
【出願日】平成22年7月5日(2010.7.5)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願日】平成22年7月5日(2010.7.5)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]