撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム
【課題】使用者が意図している被写体を、効率的かつ効果的に検出し判定することができ、露出制御及びピント合わせに最適な撮像データを得ることができる撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムを得る。
【解決手段】被写体に応じた撮像データを得るための撮像部、撮像部で得られる撮像データに基づいて画像を表示する表示部12、表示部12にターゲットを表示するターゲット表示部、ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定部、判定した被写体の表示部12内での移動を追跡することができる被写体追尾手段、を備え、ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段が追尾する。
【解決手段】被写体に応じた撮像データを得るための撮像部、撮像部で得られる撮像データに基づいて画像を表示する表示部12、表示部12にターゲットを表示するターゲット表示部、ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定部、判定した被写体の表示部12内での移動を追跡することができる被写体追尾手段、を備え、ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段が追尾する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、使用者が意図した被写体を効率的にかつ確実に検出して、撮像条件を設定する機能を備えた、撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムに関するものである。
【背景技術】
【0002】
従来のデジタルカメラ等の撮像装置でフォーカス位置や露出を決定する技術として、画面内の測光範囲を複数のエリアに分割し、各エリアの測距、測光結果からフォーカス位置や露出を決定するものがある。
しかし、フォーカス位置を決定する技術は、最も至近の被写体に焦点を合わせ、露出を決定するものである。このような技術は、あらかじめ決められた画角中央部と周辺部の測光結果の加重平均をとるなどの技術であって、真にユーザが意図する被写体について最適な撮影条件を取得するものではなかった。したがって、以上のような従来の技術では、被写体が複数あって、中間距離のものが主要被写体である場合、また、あらかじめ決められた測距、測光エリアに対して被写体が小さい場合などには、正確なフォーカス位置及び露出量を求めることができない。
【0003】
以上の技術的な問題を解決することを目的とした技術として、撮像データ中で被写体を認識し、認識した被写体に対してフォーカス位置や露出を合わせるようにした撮像装置が提案されている(例えば、特許文献1参照)。
【0004】
特許文献1記載の発明は、複数の被写体を検出した場合に、測距エリアや測光エリアをユーザに選択させ、あるいは、画面中央部にある被写体を優先させてこれにフォーカス位置や露出を合わせるように構成されている。しかしながら、実際に使用者が意図する被写体にフォーカス位置や露出が合っているかどうかは不明であり、この点が技術的な課題となっている。
【0005】
また、カメラなどの撮像装置では、一般的に、撮像データの明るさに関するダイナミックレンジが狭く、明るい個所が白とびし、暗い個所が黒つぶれするなどして、所望の被写体を認識することができないことも多い。被写体の認識に限らず、ピント合わせや露出制御などを行なうのに必要な個々の検波データを得る場合にも、撮像データにハイパスフィルタをかけ、あるいは輝度信号を積算することによって得られる検波データを使用しており、これも撮像データの明るさに関する狭いダイナミックレンジのため、白とびや黒つぶれで所望の検波データを得ることができないことが多い。
そこで、ピント合わせや露出制御に最適な撮像データを得ようとすると、その都度露出の明暗が変わり、表示部で表示している撮像画像が見難いものになる。
【0006】
【特許文献1】特開2003−107335号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明は、以上説明したような従来技術の問題点を解消すること、すなわち、使用者が意図している被写体を、効率的かつ効果的に検出し判定することができ、露出制御及びピント合わせに最適な撮像データを得ることができるとともに、表示部において撮影画像を観察するのに最適な撮像データを得ることができるようにした撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、
被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
表示部にターゲットを表示するターゲット表示部と、
ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定部と、
判定した被写体の表示部内での移動を追跡することができる被写体追尾手段と、を備え、
ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段が追尾する
ことを最も主要な特徴とする。
【発明の効果】
【0009】
上記最も主要な特徴を備える本発明によれば、使用者が意図している被写体すなわち主要被写体部を、短時間にかつ確実に検出し判定することができる。
その他、各請求項に記載された発明によれば、以下のような効果を得ることができる。
操作することによりターゲット表示部周辺の被写体に関して被写体判定部を起動させ、操作中は、被写体追尾手段を動作させる操作部を備えることにより、主要被写体部の追尾性能を改善することができる。
主要被写体の変化に応じて撮影直前にフォーカス位置や露出条件を変更することにより、より正確な主要被写体部の撮影が可能である。
主要被写体部の情報で、周辺の被写体検出に応じて判定条件を変更することで、主要被写体の検出および判定時間を短縮化することができる。
被写体としての撮影頻度が最も高い人間を検出することができる。
複数の被写体を検出し判定することができる。
被写体の種類を追加し、また削除することができ、使用者が必要な対象に最適化することができる。
【0010】
信号可変手段よって第一信号レベルにした撮像データを遅延手段により遅延させ表示部で画像を表示中に、第二信号レベルにした撮像データから測光演算、又はフォーカス位置演算することにより、黒つぶれや白とびが現れやすい被写体であっても、表示部に、画角の観察などに適した露出量で被写体を表示しながら、これを正確に判定することができる。また、かかる被写体であっても正確に測光することができ、正確にピントを合わせることができる。
黒つぶれや白とびが現れやすい被写体であると判断される場合にのみ、上述の方法を行なわせることにより、消費電力の無駄を抑えることができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明にかかる撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムの実施例を、図面を参照しながら説明する。
【0012】
まず、本発明にかかる撮像装置の一例であるデジタルカメラの構成を、図1に示すブロック図を参照しながら説明する。図1において、符号1は撮影レンズを示しており、撮影レンズ1の後方(図1において右方)には、メカニカルな絞りおよびシャッタからなる機構部2、さらに撮像素子であるCCD3が配置されている。撮影レンズ1によってCCD3の撮像面に被写体像が結ばれ、CCD3によって被写体画像に対応した撮像信号に変換される。この撮像信号は、CDS、AD部4に入力され、相関二重サンプリングおよびアナログ・デジタル変換処理が行なわれ、撮像データとしてデジタル信号プロセッサ(以下「DSP」という)5に入力される。
【0013】
DSP5は、デジタル信号に変換された撮像データを、輝度信号Y、青色と黄色の色差信号U、赤色と黄色の色差信号Vに変換し、このYUV信号をJPEG規格に則って圧縮する、などのデジタル信号処理を行なう。符号6はメカニカル駆動部を示している。メカニカル駆動部6は、上記撮影レンズ1のフォーカスレンズを駆動するフォーカス駆動部および機構部2のシャッタを開閉するシャッタ駆動部を備える。上記フォーカス駆動部にはフォーカスレンズの位置検出部も含む。CCD3はCCD駆動回路7によって駆動され、各画素で変換された信号が順に出力される。カメラ全体を制御するCPU8を備えていて、上記DSP5、メカニカル駆動部6、CCD駆動回路7はCPU8によって制御される。
【0014】
CPU8につながるバスラインに上記DSP5がつながっており、さらに、メモリ9、通信ドライバ10、メモリカード11がつながっている。メモリ9は、撮像データおよび保存されているファイルから読み出されるデータを一時的に保存するメモリで、DSP5およびCPU8のワークメモリとして利用される。通信ドライバ10はカメラの外部との通信部として機能する。メモリカード11はカメラに設けられているスロットに着脱可能なカード型のメモリで、主として撮像データの保存に用いられる。
【0015】
DSP5には、例えば液晶表示パネル(LCD)からなる表示部12が接続されている。表示部12は、DSP5から出力される撮像データをパネルに表示可能な信号に変換する表示コントローラと、このコントローラで変換された撮像データに基づいて被写体の画像その他を表示する上記表示パネルを備えている。CPU8には、カメラユーザが操作可能な操作部13が接続されている。操作部13は、各種動作モード設定スイッチ、シャッタボタンの押し下げに連動して動作するレリーズスイッチ、後で説明するターゲット表示部周辺の被写体判定機能を起動させるスイッチ、フォーカス条件や露光条件を設定、変更するスイッチなど、ユーザが操作するあらゆるスイッチ類を包含している。操作部13を操作するとその信号がCPU8に入力され、CPU8は操作信号に応じて各部の動作を制御する。DSP5にはAF(オートフォーカス)部14がつながれている。AF部14は、例えば三角測量方式で被写体距離を測定し、測定データをDSP5に入力する。
【0016】
CPU8はまた、カメラに内蔵されているストロボ発光部15の発光開始、発光停止を制御するようになっている。ストロボ発光部15は周知のようにメインコンデンサ16を備えていて、その充電電圧をCPU8で監視するようになっている。ストロボ発光部15から放射される照明の、被写体による反射光はストロボ受光部17によって受光されるようになっている。ストロボ受光部17は光センサを備えていて、CPU8によって受光開始命令を受けた時点からの受光量を積分し、積分量がCPU8によって設定された値に達したとき、ストロボ発光部15に向けて発光停止信号を出力するようになっている。
【0017】
ここまで説明してきたハードウェア構成は従来のデジタルカメラに見られるハードウェア構成と変わりがない。本発明の特徴は、上記構成部分、特にDSP5やCPU8が独特のソフトウェア構成を持っている点にある。以下、実施例ごとに説明する。
【実施例1】
【0018】
図2、図3はプログラム構成図で、図2に示すメイン処理ブロックと、メイン処理と併行して処理される図3に示す併行処理ブロックがある。メイン処理ブロックには、「スイッチ判定処理」、「モニタリング開始処理」、「顔検出モニタリング許可/禁止」、「第一スイッチオン処理」、「顔検出処理」、「顔追尾処理」、「第一優先顔登録」、「AE,AF,AWB処理」、「静止画撮影処理」、「ターゲット顔タイマ」、「顔検出モニタリングタイマ」の各処理がある。
併行処理ブロックには、「定期タイマ割り込み処理」、「顔検出モニタリングタイマ」、「顔検出処理」、「顔追尾処理」の各処理がある。併行処理は、定期的なタイマ割り込みで起動され、図1に示す操作部13の状態の読み込みなどを行う。
【0019】
次に、実施例1の具体的な構成を、図1乃至図8を参照しながら説明する。図4は記録時のメイン処理フローを示す。この例は、静止画として撮影し記録する場合である。動作ステップには、S1,S2,・・のような符号を付している。
記録モードでカメラ電源がONされると、図示されていないが、カメラ内部のハードウェア初期化や、カード内のファイル情報をメモリ9内に作成するなどの初期処理を行い、その後、図4に示すメイン処理が開始される。メイン処理では、モニタリング状態をチェックし(S1)、モニタリング停止状態であれば、モニタリング開始処理を行う(S4)。モニタリング開始処理とは、撮像部すなわち図1における撮影レンズ1、機構部2、CCD3を含む構成部分の駆動を開始し、また併行処理のモニタリング処理を起動するものである。メイン処理に最初に入った場合にもモニタリング開始処理(S4)は実行されることになる。
【0020】
図3に示す併行処理のモニタリング処理は、カメラのスルー画像を表示している際のAE(自動露出)、AWB(自動ホワイトバランス)追尾処理を実行する。これにより、カメラの表示部12に表示している画像を、常時適正な明るさ、および自然な色合いに保つことができる。具体的には、撮像部で得た画像データからデジタル画像処理部(DSP5)で、各AE、AWBに対する評価値を取得し、CPU8はその評価値が所定値になるように、駆動回路7に電子シャッタ秒時をセットする。撮像部の電子シャッタには設定可能な最長秒時、最短時間の限界があり、被写体の輝度に応じて、限界以上の露光アンダー、オーバーがある場合、CPU8は撮像部に含まれる機構部2の絞り径を変更し、あるいは、CCD3における撮像信号の増幅率を変更する、というような制御動作を行なう。また、DSP5の画像処理色パラメータを調節するというようなフィードバック制御も行う。以上のモニタリング処理や、先に述べた操作部13の状態の読み込み処理の併行処理は、20msの定期タイマ割り込みで実行される。
【0021】
図4に示すメイン処理において、モニタリング状態のチェック(S1)でモニタリングONすなわちモニタリング中であれば、スイッチ判定処理(S2)に行く。スイッチ判定処理(S2)は、上述の20msごとの定期タイマ割り込み処理で入力されるスイッチ情報を確定して、操作されたスイッチに対応した処理を行う。有効なスイッチ情報がなければなにもせず、再びモニタリング状態チェック(S1)、スイッチ判定処理(S2)のループを繰り返す。
【0022】
ここでは静止画を撮影する場合について、そのメイン処理動作を、図1、図4とともに説明する。図1に示す操作部13には、シャッタ釦がある。シャッタ釦は2段階にわたって押し下げ操作するようになっていて、静止画撮影時に、第1段階の押し下げ操作で第一スイッチがオンされ、第2段階の押し下げ操作すなわち最終段階まで押し下げ操作すると第2スイッチがオンされるようになっている。図4に示すメイン処理フローにおいて、スイッチ判定処理(S2)において第一スイッチがオンであることを判定すると、それに対応した処理すなわちAE処理が行われる(S3)。AE処理では、撮像データをDSP5で評価し、撮影露出時にCCD駆動回路7に設定する撮像素子3の露光時間値、CCD3の増幅率を決める。
【0023】
次に、メカニカル駆動部6により、撮影レンズ1内のフォーカスレンズを駆動しながら撮像データの先鋭度を検出し、最も検出量が大きいフォーカス位置にレンズを停止させる山登り方式により自動合焦動作(以下「AF」という)を行う。その状態で上記第二スイッチがオンされると、撮像データをメモリ9に取り込み、DSP5で輝度信号、色差信号に変換するなどの必要な映像信号処理や、JPEG圧縮処理をし、そのデータをファイルとしてメモリカード11に書き込む静止画記録処理を行う。この処理は、図4に示す動作フローにおける、その他スイッチ処理(S6)に該当する。
【0024】
本発明は、前述のように、被写体が何であるかを検出し、検出した被写体の表示部内での移動を追跡することを特徴としている。ここでは、被写体が人間の顔である場合につきその特徴を検出する顔検出処理について説明する。被写体像の中から人物像を検出する方法は、以下に示すようないくつかの手法が公知となっており、本実施例では、そのうちのいずれかの方法を用いるものとする。
1. テレビジョン学会誌Vol.49、No.6、pp.787−797(1995)の「顔領域抽出に有効な修正HSV表色系の提案」に示されているように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
2. 電子情報通信学会誌Vol.74−D−II、No.11、pp.1625−1627(1991)の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
3. 画像ラボ1991−11(1991)の「テレビ電話用顔領域検出とその効果」に示されているように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
4. 被写体検出においては、上述の方法以外に、画像に対するレクタングルフィルタ(白、黒の組み合わせの帯状フィルタ)をかけた非常に多くの特徴抽出結果を識別空間に配置し、対象被写体の場合と非対象被写体の境界をAdaboost方法で学習させ、装置に組み込むレクタングルフィルタ定数及び識別空間境界定数を研究段階で決定する方式もある。最終的に決定された必要最小限のフィルタ定数及境界定数を装置に組み込み、それにより被写体検出する。この方式は、特徴量を学習により判定するので、顔以外の検出にも有効である。
【0025】
図4に示すとおり、モニタリング状態の開始(S4)で、被写体の特徴を検出する顔検出モニタリングを有効にする(S5)。顔検出モニタリングが有効になると、併行処理の顔検出モニタリングが実行される。図6に顔検出モニタリングの動作フローを示す。図6において、まず、顔検出モニタリングが許可されているか又は禁止されているかを判断し(S31)、禁止すなわち顔検出モニタリング処理無効の場合は何もすることなく動作を終了する。顔検出モニタリング有効の場合すなわち顔検出モニタリングが許可されている場合は、顔検出モニタリングタイマの動作を判定する(S32)。顔検出モニタリングタイマが所定時間をオーバーしている場合又は未計時の場合は、新たに顔検出処理を行ない(S33)、再び顔検出モニタリングタイマの動作を開始して(S34)動作を終了する。所定の計時時間内にあって上記タイマが計時中であれば、検出済みの顔があればその顔追尾処理を行なう。
一般的に、表示画面上の任意の位置にありかつ任意の大きさの対象物を検出するには処理時間がかかる。そこで、上述のように定期的に検出するだけとし、それ以外では、検出した顔付近の時間的な画像データ差分検出をDSP5で行ない、表示部12内での被写体の移動を検出し、追尾するようにしている。
このような動作を行なう部分を「被写体追尾部」という。被写体追尾は、顔検出エリア内の特徴量を抽出して、その特徴量のエリア付近での特徴量と比較を繰り返し、差分が少ないエリアがあった場合に、顔がその位置に移動したと判定する。「被写体追尾部」はCPU8が機能の一つとして備えている。
【0026】
前記第一スイッチがオンした場合の処理について、図5に示すフローとともに説明する。第一スイッチがオンすると、まず顔検出モニタリング処理を禁止し(S11)、上述の併行処理を無効とする。次にターゲット顔タイマの動作を判定する(S11)。ターゲット顔タイマがオーバー又は未計時であれば表示部12に表示されているターゲット付近の顔の検出動作を行い(S13)、ターゲット付近に人の顔があるか否かの判定を行なう(S14)。
【0027】
図7、図8は、表示部12内のターゲット表示付近での人の顔の検出動作(S13)の様子を模式的に示している。図7、図8において、表示部の中央の十字状の線はターゲット表示を、点線で示す四角はターゲット表示付近のエリアを、実線で示す四角は顔検出エリアを示している。上記ターゲット表示は、前記CPU8がDSP5を介して、表示部12に表示データを書き込むように制御することによって行なわれ、「ターゲット表示部」とは、表示部12の、ターゲットが表示される部分のことをいう。図7、図8に示すように、顔検出エリアを小さいエリアから順次大きいエリアに変更しながら、かつ、ターゲット表示付近のエリア内で顔検出エリアを移動させながら、人の顔を検出する。検出動作の結果をもとに上記の判定(S14)を行い、所望の被写体すなわち人の顔が検出されたら、その枠の位置と大きさを主要被写体部と判定する。かかる判定を行なう部分を「被写体判定部」という。「被写体判定部」はCPU8が機能の一つとして備えている。そして、この顔を第一優先顔として登録する(S23,S24)。続いてターゲット顔タイマの計時を開始する(S25)。第二スイッチがオンされて撮影される際に、第一優先顔に登録された顔にピントが合い、露出量、色が最適になるようにAE処理、AWB処理およびAF処理が行なわれる(S16)。
【0028】
ステップS14において、ターゲット付近に顔を検出できなかった場合は、顔検出モニタリング処理で検出し追尾していた複数の顔のうち、最も大きな顔を第一優先顔とするなどのルールで第一優先顔を決定する(S15)。第一優先顔が決定されたら、第一優先顔が最適になるAF、AE、AWB処理を行なう(S16)。具体的には、第一優先顔の範囲を測光し、撮影時に最適な露光量になるように、CCD駆動回路7に設定するCCD3の露光時間値、CCD3の増幅率を決める。また、少なくとも複数あるCCDAFエリアに第一優先顔の範囲を設定し、第一優先顔が焦点深度内にはいるフォーカス位置に制御する。第一スイッチがオンで第二スイッチがオフの間は、第一優先顔も含め、検出した顔を追尾処理する(S26)。第二スイッチがオンされると、上記のようにして決定した各制御量で撮影動作を行なう(S20,S21)。
【0029】
なお、一旦は、フォーカス位置や露出量を決定しているが、追尾中の主要被写体の大きさが変わるなどした場合は、第二スイッチの操作で撮影される直前に、再度フォーカス位置や露出量を決定する処理を実行するのがよい。
第一スイッチの操作時に、ターゲット表示付近の顔を検出した場合に、検出情報をターゲット顔として登録すれば、その情報を用いて、顔検出モニタリング処理の効率化を図ることができる。
ターゲット顔情報は、使用者が目的とした対象の情報であるので、新規の顔検出開始時の顔検出範囲の大きさを、ターゲット顔の大きさに近い大きさから開始すると、他の顔の検出までの時間を短縮できる可能性が大きい。任意の大きさの顔を検出するには有効な時間短縮方法である。
また、ターゲット顔として登録した顔の追尾を、第一スイッチ操作解除後も一定時間保持するようにしてもよい。
撮影直後に、ターゲット顔がターゲット表示からずれた状態で、即座に次の撮影をする場合、第一スイッチ操作時にターゲット付近に顔を検出できなくても、ターゲット顔タイマ計時中の一定時間うちなら、追尾している前回のターゲット顔を第一優先顔として登録するようにしてもよい。この第一優先顔にピントが合って、露出量、色が最適になるAE、AWB処理を行なうことができる。
【0030】
上述の例では、顔検出モニタリングで常時顔を検出し、追尾するように構成しているが、顔検出モニタリング自体も、常時ターゲット周辺のみを検出判定領域とすると、情報処理の簡易化を図ることができる。
図6に示す顔検出処理動作は、これを図5に示すターゲット付近顔検出の処理動作と共通にすることができる。
顔検出モニタリングタイマを使用することなく、第一スイッチがオンしたときの顔検出のみとするのも効果的である。これにより、常時DSP5、メモリ9を最高動作周波数で動作させる必要がなく、消費電力を少なくすることができる。また、撮影者が主要被写体をターゲット表示付近に収めるので、無駄なく主要被写体を判定することができる。
従来、第一スイッチがオンすることで、ターゲット表示付近の主要被写体とその周辺を含んだエリアにフォーカス位置や露出量を合わせる機能は一般的である。本発明の上記実施例によれば、被写体判定機能により、主要被写体部の大きさも検知でき、主要被写体だけにフォーカスし、あるいは露出を合わせることができる。
【0031】
以上、主要被写体として人間の顔を想定し、その検出および追尾について説明したが、撮影モードによって、例えば、ポートレート撮影モードであれば、上述の人間の顔検出とし、花撮影モードであれば、花の検出であってもよい。さらに、カメラなどの撮像装置内に、「人間」、「花」などの複数種類の被写体分類を判定する機能があれば、ターゲット付近の被写体判定で両方を判定処理し、いずれかを自動で検出できた場合に、その被写体分類に最適な撮影条件を決定することもできる。例えば、顔ではなく花を検出した場合は、色の彩度を上げる処理などを実施することができる。
【0032】
なお、被写体判定機能は撮像装置内のプログラム又は、プログラムが参照するパラメータ値により決定されるものであり、プログラムの記憶媒体として書き換え可能なメモリを使用すれば、あとから被写体分類を追加、または消去するようにすることが可能である。
【実施例2】
【0033】
次に、実施例2について説明する。実施例2も、主要被写体、例えば人の顔を検出し、検出結果に基づいてフォーカス位置、露出量などを求めるものであるが、例えば、逆光などによって主要被写体を精度良く検出することができない場合があるので、実施例2はこのような悪条件下であっても、主要被写体を精度良く検出することができるように工夫したものである。実施例2のハードウェア構成は実施例1について説明した図1の構成と同じであるから、ハードウェア構成の説明は省略する。
【0034】
図9、図10はプログラム構成図で、図9に示すメイン処理ブロックと、メイン処理と併行して処理される図10に示す併行処理ブロックがある。メイン処理ブロックには、「スイッチ判定処理」、「モニタリング開始処理」、「顔検出モニタリング許可/禁止」、「第一スイッチオン処理」、「顔検出処理」、「顔追尾処理」、「AE,AF,AWB処理」、「静止画撮影処理」、「顔検出モニタリングタイマ」の各処理がある。
併行処理ブロックには、「定期タイマ割り込み処理」、「顔検出モニタリングタイマ」、「顔検出処理」、「顔追尾処理」の各処理がある。併行処理は、定期的なタイマ割り込みで起動され、図1に示す操作部13の状態の読み込みなどを行う。
【0035】
記録時のメイン処理フローは、図4に示す実施例1のメイン処理フローと同じである。すなわち、記録モードでカメラ電源がONされると、カメラ内部のハードウェア初期化やカード内のファイル情報を、メモリ9内に作成するなどの初期処理を行い、その後、図4に示す記録のメイン処理が開始される。メイン処理では、モニタリング状態をチェックし(S1)、モニタリング停止状態であれば、モニタリング開始処理を行う(S4)。モニタリング開始処理とは、撮像部すなわち図1における撮影レンズ1、機構部2、CCD3を含む構成部分の駆動を開始し、また併行処理のモニタリング処理を起動する。メイン処理に最初に入った場合にもモニタリング開始処理(S4)は実行される。
【0036】
図4に示すメイン処理フローと同様に、モニタリング状態の開始で被写体の特徴を検出する顔検出モニタリングを有効にする。顔検出モニタリングが有効になると、併行処理の顔検出モニタリングが実行される。図12に示す顔検出モニタリング処理において、無効の場合すなわち顔検出モニタリング(S51)において禁止の場合は何もしない。有効の場合すなわちモニタリング許可の場合は、検出更新タイマ(顔検出モニタリングタイマ)の動作状態を見て(S52)、所定時間経過してオーバーの場合に、新規顔検出処理(S53)を行なう。続いて顔モニタリングタイマの動作を開始する(S54)。所定時間内であれば、検出済みの顔があればその顔追尾処理を行なう(S55)。
【0037】
前記第一スイッチがオンした場合の処理について、図11に示すフローとともに説明する。第一スイッチがオンすると、まず顔検出モニタリング処理を禁止し(S41)、上述の併行処理を無効とする。次に顔検出モニタリングで検出済みの顔につきAE,AF,AWB処理を行なう(S42)。次に第一スイッチの状態を判定し(S43)、オフであれば終了、オンであれば次の第二スイッチ判定へ行く(S44)。第2スイッチがオフであればステップS43に戻り、オンであれば静止画撮影処理(S45)を行い終了する。
【0038】
撮影環境が逆光の場合で、図13に示すようにユーザが意図している被写体が画角の端の人物であったとする。モニタリング時の自動露出制御(AE)は、主に画角中央に重点をおいた測光値に基づいて行なわれるため、画角端の人物は黒色状につぶれてしまい、顔を検出することができない。
そこで、本発明の実施例2では、図15に示すように、表示用AEの結果による撮像データ信号レベルを変えるために、電子シャッタ速度やCCD3によって得られる画像信号の増幅率を設定する。これを図15では露出設定A−1,A−2,A−3,・・・で時間順に示している。露出設定A−1で設定された値により撮像素子で露光される。この露光をB−1で示している。露光により得られた撮像データはメモリ9に転送され(C−1)、DSP5により輝度や色の映像信号に変換する画像処理を行なう(D−1)。その映像信号を表示部12に表示する(E−1)。また、上記伝送C−1と同時に明るさに関する積算を行い、その結果をAE演算し(G−1)、露出設定A−4において撮像データ信号レベルを変える設定に反映する。また、F−1で顔検出を行なう。
【0039】
露出設定は、一定の時間間隔をおいてA−1,A−2,A−3,のように行い、A−2において、A−1より露出量が大きくなる設定をし、露光B−2、転送C−2、画像処理D−2を経た結果によって顔検出処理F−2を行なう。さらに、露出設定A−3において、A−2より露出量が大きくなる設定をし、露光B−3、転送C−3、画像処理D−3を経た結果によって顔検出処理F−3を行なう。例えばA−1の露出設定で白とびしていた顔があったとしても、顔検出処理F−2又はF−3で検出が可能となる。以上のように構成することで、表示部12には画角観察に適した明るさで表示することができ、しかも、暗く沈んだ顔があったとしても、それを正確に検出することができる。
【0040】
さらに、撮像素子は一般的に、設定した信号レベルを基準に、明暗に対して図14に示すような特性をもっており、暗い場合に分解能が粗く、明るい場合に余裕が少ない。主要被写体が暗部にある場合は、それを正しく測光できない。しかし、図15に破線で示すように、A−2、A−3での露光に対してもG−2、G−3で示すようにAE演算を行ない、G−1でのAE演算結果とも合成することで、ダイナミックレンジの広い測光が可能となる。以上のように、表示上は画角観察に最適な表示の明るさとしながら、正確な顔検出やダイナミックレンジの広い測光ができる。
【0041】
ここで、前記シャッタボタンの押し下げによる第一スイッチのオンで検出した顔の領域にCCDAFを行なうが、この場合もCCDAFに最適な検波データを取得するために、CCDAF用の露出設定にする必要があり、CCDAF中のみ、上述の表示の明るさを変えてしまう問題がある。逆光の場合や、また、撮像素子に手動のマニュアル露出補正機能があり、使用者がそれを用いている場合に上記の問題が発生する。
その対策として、図16に示すように、露出設定A−1で表示用の撮像を行い、露出設定A−4以降に表示する(E−1)。CCDAF用には、露出設定A−2のタイミングでフォーカスを駆動する(I−2)とともに、CCDAF用露出設定A−2で撮像(露光)を行い(B−2)、露出設定A−4のタイミングでCCDAF用ハイパスフィルタの検波データを取得する(H−2)。以降、同様に、フォーカス駆動I−3でのCCDAF検波データをH−3で取得して、検波データが最も高かったフォーカス位置を合焦位置と判定することができる。
【0042】
以上の動作はいずれも、表示更新より撮像のサイクルを早くしているため、消費電力が大きい。撮像データの輝度分布で順光環境のような明暗差が少なく、信号レベルも基準に近い場合は、上述の処理を行なう必要がないので、図17に示す例のように、表示に使用できない露光A−2、A−3を中止し、撮像レートを表示の低速レートと同じになるように切り替えるのが良い。レート切り替えは、撮像データの輝度分布により、自動で切り替えるのが良い。また、撮影者が設定する低消費電力モードがあれば、その時に切り替えるのも良い。
【図面の簡単な説明】
【0043】
【図1】本発明にかかる撮像装置の実施例を示す機能ブロック図である。
【図2】本発明の実施例1のメイン処理の各要素を示すブロック図である。
【図3】本発明の実施例1の併行処理の各要素を示すブロック図である。
【図4】実施例1のメイン処理を示すフローチャートである。
【図5】実施例1の第一スイッチオン処理を示すフローチャートである。
【図6】実施例1の顔検出モニタリング動作を示すフローチャートである。
【図7】実施例1においてターゲット表示付近での人の顔の検出動作の様子を示す模式図である。
【図8】実施例1において図7に示す検出動作に続く検出動作の様子を示す模式図である。
【図9】本発明の実施例2のメイン処理の各要素を示すブロック図である。
【図10】本発明の実施例2の併行処理の各要素を示すブロック図である。
【図11】実施例2の第一スイッチオン処理を示すフローチャートである。
【図12】実施例2の顔検出モニタリング動作を示すフローチャートである。
【図13】逆光下での表示部における被写体表示の様子を示す模式図である。
【図14】撮像素子の明るさに対する信号レベルの特性図である。
【図15】実施例2の動作例を示すタイミングチャートである。
【図16】実施例2の別の動作を示すタイミングチャートである。
【図17】実施例2のさらに別の動作を示すタイミングチャートである。
【符号の説明】
【0044】
1 撮影レンズ
2 機構部
3 撮像素子であるCCD
5 DSP
6 メカニカル駆動部
7 CCD駆動回路
8 CPU
9 メモリ
12 表示部
13 操作部
14 AF部
【技術分野】
【0001】
本発明は、使用者が意図した被写体を効率的にかつ確実に検出して、撮像条件を設定する機能を備えた、撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムに関するものである。
【背景技術】
【0002】
従来のデジタルカメラ等の撮像装置でフォーカス位置や露出を決定する技術として、画面内の測光範囲を複数のエリアに分割し、各エリアの測距、測光結果からフォーカス位置や露出を決定するものがある。
しかし、フォーカス位置を決定する技術は、最も至近の被写体に焦点を合わせ、露出を決定するものである。このような技術は、あらかじめ決められた画角中央部と周辺部の測光結果の加重平均をとるなどの技術であって、真にユーザが意図する被写体について最適な撮影条件を取得するものではなかった。したがって、以上のような従来の技術では、被写体が複数あって、中間距離のものが主要被写体である場合、また、あらかじめ決められた測距、測光エリアに対して被写体が小さい場合などには、正確なフォーカス位置及び露出量を求めることができない。
【0003】
以上の技術的な問題を解決することを目的とした技術として、撮像データ中で被写体を認識し、認識した被写体に対してフォーカス位置や露出を合わせるようにした撮像装置が提案されている(例えば、特許文献1参照)。
【0004】
特許文献1記載の発明は、複数の被写体を検出した場合に、測距エリアや測光エリアをユーザに選択させ、あるいは、画面中央部にある被写体を優先させてこれにフォーカス位置や露出を合わせるように構成されている。しかしながら、実際に使用者が意図する被写体にフォーカス位置や露出が合っているかどうかは不明であり、この点が技術的な課題となっている。
【0005】
また、カメラなどの撮像装置では、一般的に、撮像データの明るさに関するダイナミックレンジが狭く、明るい個所が白とびし、暗い個所が黒つぶれするなどして、所望の被写体を認識することができないことも多い。被写体の認識に限らず、ピント合わせや露出制御などを行なうのに必要な個々の検波データを得る場合にも、撮像データにハイパスフィルタをかけ、あるいは輝度信号を積算することによって得られる検波データを使用しており、これも撮像データの明るさに関する狭いダイナミックレンジのため、白とびや黒つぶれで所望の検波データを得ることができないことが多い。
そこで、ピント合わせや露出制御に最適な撮像データを得ようとすると、その都度露出の明暗が変わり、表示部で表示している撮像画像が見難いものになる。
【0006】
【特許文献1】特開2003−107335号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明は、以上説明したような従来技術の問題点を解消すること、すなわち、使用者が意図している被写体を、効率的かつ効果的に検出し判定することができ、露出制御及びピント合わせに最適な撮像データを得ることができるとともに、表示部において撮影画像を観察するのに最適な撮像データを得ることができるようにした撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、
被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
表示部にターゲットを表示するターゲット表示部と、
ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定部と、
判定した被写体の表示部内での移動を追跡することができる被写体追尾手段と、を備え、
ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段が追尾する
ことを最も主要な特徴とする。
【発明の効果】
【0009】
上記最も主要な特徴を備える本発明によれば、使用者が意図している被写体すなわち主要被写体部を、短時間にかつ確実に検出し判定することができる。
その他、各請求項に記載された発明によれば、以下のような効果を得ることができる。
操作することによりターゲット表示部周辺の被写体に関して被写体判定部を起動させ、操作中は、被写体追尾手段を動作させる操作部を備えることにより、主要被写体部の追尾性能を改善することができる。
主要被写体の変化に応じて撮影直前にフォーカス位置や露出条件を変更することにより、より正確な主要被写体部の撮影が可能である。
主要被写体部の情報で、周辺の被写体検出に応じて判定条件を変更することで、主要被写体の検出および判定時間を短縮化することができる。
被写体としての撮影頻度が最も高い人間を検出することができる。
複数の被写体を検出し判定することができる。
被写体の種類を追加し、また削除することができ、使用者が必要な対象に最適化することができる。
【0010】
信号可変手段よって第一信号レベルにした撮像データを遅延手段により遅延させ表示部で画像を表示中に、第二信号レベルにした撮像データから測光演算、又はフォーカス位置演算することにより、黒つぶれや白とびが現れやすい被写体であっても、表示部に、画角の観察などに適した露出量で被写体を表示しながら、これを正確に判定することができる。また、かかる被写体であっても正確に測光することができ、正確にピントを合わせることができる。
黒つぶれや白とびが現れやすい被写体であると判断される場合にのみ、上述の方法を行なわせることにより、消費電力の無駄を抑えることができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明にかかる撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムの実施例を、図面を参照しながら説明する。
【0012】
まず、本発明にかかる撮像装置の一例であるデジタルカメラの構成を、図1に示すブロック図を参照しながら説明する。図1において、符号1は撮影レンズを示しており、撮影レンズ1の後方(図1において右方)には、メカニカルな絞りおよびシャッタからなる機構部2、さらに撮像素子であるCCD3が配置されている。撮影レンズ1によってCCD3の撮像面に被写体像が結ばれ、CCD3によって被写体画像に対応した撮像信号に変換される。この撮像信号は、CDS、AD部4に入力され、相関二重サンプリングおよびアナログ・デジタル変換処理が行なわれ、撮像データとしてデジタル信号プロセッサ(以下「DSP」という)5に入力される。
【0013】
DSP5は、デジタル信号に変換された撮像データを、輝度信号Y、青色と黄色の色差信号U、赤色と黄色の色差信号Vに変換し、このYUV信号をJPEG規格に則って圧縮する、などのデジタル信号処理を行なう。符号6はメカニカル駆動部を示している。メカニカル駆動部6は、上記撮影レンズ1のフォーカスレンズを駆動するフォーカス駆動部および機構部2のシャッタを開閉するシャッタ駆動部を備える。上記フォーカス駆動部にはフォーカスレンズの位置検出部も含む。CCD3はCCD駆動回路7によって駆動され、各画素で変換された信号が順に出力される。カメラ全体を制御するCPU8を備えていて、上記DSP5、メカニカル駆動部6、CCD駆動回路7はCPU8によって制御される。
【0014】
CPU8につながるバスラインに上記DSP5がつながっており、さらに、メモリ9、通信ドライバ10、メモリカード11がつながっている。メモリ9は、撮像データおよび保存されているファイルから読み出されるデータを一時的に保存するメモリで、DSP5およびCPU8のワークメモリとして利用される。通信ドライバ10はカメラの外部との通信部として機能する。メモリカード11はカメラに設けられているスロットに着脱可能なカード型のメモリで、主として撮像データの保存に用いられる。
【0015】
DSP5には、例えば液晶表示パネル(LCD)からなる表示部12が接続されている。表示部12は、DSP5から出力される撮像データをパネルに表示可能な信号に変換する表示コントローラと、このコントローラで変換された撮像データに基づいて被写体の画像その他を表示する上記表示パネルを備えている。CPU8には、カメラユーザが操作可能な操作部13が接続されている。操作部13は、各種動作モード設定スイッチ、シャッタボタンの押し下げに連動して動作するレリーズスイッチ、後で説明するターゲット表示部周辺の被写体判定機能を起動させるスイッチ、フォーカス条件や露光条件を設定、変更するスイッチなど、ユーザが操作するあらゆるスイッチ類を包含している。操作部13を操作するとその信号がCPU8に入力され、CPU8は操作信号に応じて各部の動作を制御する。DSP5にはAF(オートフォーカス)部14がつながれている。AF部14は、例えば三角測量方式で被写体距離を測定し、測定データをDSP5に入力する。
【0016】
CPU8はまた、カメラに内蔵されているストロボ発光部15の発光開始、発光停止を制御するようになっている。ストロボ発光部15は周知のようにメインコンデンサ16を備えていて、その充電電圧をCPU8で監視するようになっている。ストロボ発光部15から放射される照明の、被写体による反射光はストロボ受光部17によって受光されるようになっている。ストロボ受光部17は光センサを備えていて、CPU8によって受光開始命令を受けた時点からの受光量を積分し、積分量がCPU8によって設定された値に達したとき、ストロボ発光部15に向けて発光停止信号を出力するようになっている。
【0017】
ここまで説明してきたハードウェア構成は従来のデジタルカメラに見られるハードウェア構成と変わりがない。本発明の特徴は、上記構成部分、特にDSP5やCPU8が独特のソフトウェア構成を持っている点にある。以下、実施例ごとに説明する。
【実施例1】
【0018】
図2、図3はプログラム構成図で、図2に示すメイン処理ブロックと、メイン処理と併行して処理される図3に示す併行処理ブロックがある。メイン処理ブロックには、「スイッチ判定処理」、「モニタリング開始処理」、「顔検出モニタリング許可/禁止」、「第一スイッチオン処理」、「顔検出処理」、「顔追尾処理」、「第一優先顔登録」、「AE,AF,AWB処理」、「静止画撮影処理」、「ターゲット顔タイマ」、「顔検出モニタリングタイマ」の各処理がある。
併行処理ブロックには、「定期タイマ割り込み処理」、「顔検出モニタリングタイマ」、「顔検出処理」、「顔追尾処理」の各処理がある。併行処理は、定期的なタイマ割り込みで起動され、図1に示す操作部13の状態の読み込みなどを行う。
【0019】
次に、実施例1の具体的な構成を、図1乃至図8を参照しながら説明する。図4は記録時のメイン処理フローを示す。この例は、静止画として撮影し記録する場合である。動作ステップには、S1,S2,・・のような符号を付している。
記録モードでカメラ電源がONされると、図示されていないが、カメラ内部のハードウェア初期化や、カード内のファイル情報をメモリ9内に作成するなどの初期処理を行い、その後、図4に示すメイン処理が開始される。メイン処理では、モニタリング状態をチェックし(S1)、モニタリング停止状態であれば、モニタリング開始処理を行う(S4)。モニタリング開始処理とは、撮像部すなわち図1における撮影レンズ1、機構部2、CCD3を含む構成部分の駆動を開始し、また併行処理のモニタリング処理を起動するものである。メイン処理に最初に入った場合にもモニタリング開始処理(S4)は実行されることになる。
【0020】
図3に示す併行処理のモニタリング処理は、カメラのスルー画像を表示している際のAE(自動露出)、AWB(自動ホワイトバランス)追尾処理を実行する。これにより、カメラの表示部12に表示している画像を、常時適正な明るさ、および自然な色合いに保つことができる。具体的には、撮像部で得た画像データからデジタル画像処理部(DSP5)で、各AE、AWBに対する評価値を取得し、CPU8はその評価値が所定値になるように、駆動回路7に電子シャッタ秒時をセットする。撮像部の電子シャッタには設定可能な最長秒時、最短時間の限界があり、被写体の輝度に応じて、限界以上の露光アンダー、オーバーがある場合、CPU8は撮像部に含まれる機構部2の絞り径を変更し、あるいは、CCD3における撮像信号の増幅率を変更する、というような制御動作を行なう。また、DSP5の画像処理色パラメータを調節するというようなフィードバック制御も行う。以上のモニタリング処理や、先に述べた操作部13の状態の読み込み処理の併行処理は、20msの定期タイマ割り込みで実行される。
【0021】
図4に示すメイン処理において、モニタリング状態のチェック(S1)でモニタリングONすなわちモニタリング中であれば、スイッチ判定処理(S2)に行く。スイッチ判定処理(S2)は、上述の20msごとの定期タイマ割り込み処理で入力されるスイッチ情報を確定して、操作されたスイッチに対応した処理を行う。有効なスイッチ情報がなければなにもせず、再びモニタリング状態チェック(S1)、スイッチ判定処理(S2)のループを繰り返す。
【0022】
ここでは静止画を撮影する場合について、そのメイン処理動作を、図1、図4とともに説明する。図1に示す操作部13には、シャッタ釦がある。シャッタ釦は2段階にわたって押し下げ操作するようになっていて、静止画撮影時に、第1段階の押し下げ操作で第一スイッチがオンされ、第2段階の押し下げ操作すなわち最終段階まで押し下げ操作すると第2スイッチがオンされるようになっている。図4に示すメイン処理フローにおいて、スイッチ判定処理(S2)において第一スイッチがオンであることを判定すると、それに対応した処理すなわちAE処理が行われる(S3)。AE処理では、撮像データをDSP5で評価し、撮影露出時にCCD駆動回路7に設定する撮像素子3の露光時間値、CCD3の増幅率を決める。
【0023】
次に、メカニカル駆動部6により、撮影レンズ1内のフォーカスレンズを駆動しながら撮像データの先鋭度を検出し、最も検出量が大きいフォーカス位置にレンズを停止させる山登り方式により自動合焦動作(以下「AF」という)を行う。その状態で上記第二スイッチがオンされると、撮像データをメモリ9に取り込み、DSP5で輝度信号、色差信号に変換するなどの必要な映像信号処理や、JPEG圧縮処理をし、そのデータをファイルとしてメモリカード11に書き込む静止画記録処理を行う。この処理は、図4に示す動作フローにおける、その他スイッチ処理(S6)に該当する。
【0024】
本発明は、前述のように、被写体が何であるかを検出し、検出した被写体の表示部内での移動を追跡することを特徴としている。ここでは、被写体が人間の顔である場合につきその特徴を検出する顔検出処理について説明する。被写体像の中から人物像を検出する方法は、以下に示すようないくつかの手法が公知となっており、本実施例では、そのうちのいずれかの方法を用いるものとする。
1. テレビジョン学会誌Vol.49、No.6、pp.787−797(1995)の「顔領域抽出に有効な修正HSV表色系の提案」に示されているように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
2. 電子情報通信学会誌Vol.74−D−II、No.11、pp.1625−1627(1991)の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
3. 画像ラボ1991−11(1991)の「テレビ電話用顔領域検出とその効果」に示されているように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
4. 被写体検出においては、上述の方法以外に、画像に対するレクタングルフィルタ(白、黒の組み合わせの帯状フィルタ)をかけた非常に多くの特徴抽出結果を識別空間に配置し、対象被写体の場合と非対象被写体の境界をAdaboost方法で学習させ、装置に組み込むレクタングルフィルタ定数及び識別空間境界定数を研究段階で決定する方式もある。最終的に決定された必要最小限のフィルタ定数及境界定数を装置に組み込み、それにより被写体検出する。この方式は、特徴量を学習により判定するので、顔以外の検出にも有効である。
【0025】
図4に示すとおり、モニタリング状態の開始(S4)で、被写体の特徴を検出する顔検出モニタリングを有効にする(S5)。顔検出モニタリングが有効になると、併行処理の顔検出モニタリングが実行される。図6に顔検出モニタリングの動作フローを示す。図6において、まず、顔検出モニタリングが許可されているか又は禁止されているかを判断し(S31)、禁止すなわち顔検出モニタリング処理無効の場合は何もすることなく動作を終了する。顔検出モニタリング有効の場合すなわち顔検出モニタリングが許可されている場合は、顔検出モニタリングタイマの動作を判定する(S32)。顔検出モニタリングタイマが所定時間をオーバーしている場合又は未計時の場合は、新たに顔検出処理を行ない(S33)、再び顔検出モニタリングタイマの動作を開始して(S34)動作を終了する。所定の計時時間内にあって上記タイマが計時中であれば、検出済みの顔があればその顔追尾処理を行なう。
一般的に、表示画面上の任意の位置にありかつ任意の大きさの対象物を検出するには処理時間がかかる。そこで、上述のように定期的に検出するだけとし、それ以外では、検出した顔付近の時間的な画像データ差分検出をDSP5で行ない、表示部12内での被写体の移動を検出し、追尾するようにしている。
このような動作を行なう部分を「被写体追尾部」という。被写体追尾は、顔検出エリア内の特徴量を抽出して、その特徴量のエリア付近での特徴量と比較を繰り返し、差分が少ないエリアがあった場合に、顔がその位置に移動したと判定する。「被写体追尾部」はCPU8が機能の一つとして備えている。
【0026】
前記第一スイッチがオンした場合の処理について、図5に示すフローとともに説明する。第一スイッチがオンすると、まず顔検出モニタリング処理を禁止し(S11)、上述の併行処理を無効とする。次にターゲット顔タイマの動作を判定する(S11)。ターゲット顔タイマがオーバー又は未計時であれば表示部12に表示されているターゲット付近の顔の検出動作を行い(S13)、ターゲット付近に人の顔があるか否かの判定を行なう(S14)。
【0027】
図7、図8は、表示部12内のターゲット表示付近での人の顔の検出動作(S13)の様子を模式的に示している。図7、図8において、表示部の中央の十字状の線はターゲット表示を、点線で示す四角はターゲット表示付近のエリアを、実線で示す四角は顔検出エリアを示している。上記ターゲット表示は、前記CPU8がDSP5を介して、表示部12に表示データを書き込むように制御することによって行なわれ、「ターゲット表示部」とは、表示部12の、ターゲットが表示される部分のことをいう。図7、図8に示すように、顔検出エリアを小さいエリアから順次大きいエリアに変更しながら、かつ、ターゲット表示付近のエリア内で顔検出エリアを移動させながら、人の顔を検出する。検出動作の結果をもとに上記の判定(S14)を行い、所望の被写体すなわち人の顔が検出されたら、その枠の位置と大きさを主要被写体部と判定する。かかる判定を行なう部分を「被写体判定部」という。「被写体判定部」はCPU8が機能の一つとして備えている。そして、この顔を第一優先顔として登録する(S23,S24)。続いてターゲット顔タイマの計時を開始する(S25)。第二スイッチがオンされて撮影される際に、第一優先顔に登録された顔にピントが合い、露出量、色が最適になるようにAE処理、AWB処理およびAF処理が行なわれる(S16)。
【0028】
ステップS14において、ターゲット付近に顔を検出できなかった場合は、顔検出モニタリング処理で検出し追尾していた複数の顔のうち、最も大きな顔を第一優先顔とするなどのルールで第一優先顔を決定する(S15)。第一優先顔が決定されたら、第一優先顔が最適になるAF、AE、AWB処理を行なう(S16)。具体的には、第一優先顔の範囲を測光し、撮影時に最適な露光量になるように、CCD駆動回路7に設定するCCD3の露光時間値、CCD3の増幅率を決める。また、少なくとも複数あるCCDAFエリアに第一優先顔の範囲を設定し、第一優先顔が焦点深度内にはいるフォーカス位置に制御する。第一スイッチがオンで第二スイッチがオフの間は、第一優先顔も含め、検出した顔を追尾処理する(S26)。第二スイッチがオンされると、上記のようにして決定した各制御量で撮影動作を行なう(S20,S21)。
【0029】
なお、一旦は、フォーカス位置や露出量を決定しているが、追尾中の主要被写体の大きさが変わるなどした場合は、第二スイッチの操作で撮影される直前に、再度フォーカス位置や露出量を決定する処理を実行するのがよい。
第一スイッチの操作時に、ターゲット表示付近の顔を検出した場合に、検出情報をターゲット顔として登録すれば、その情報を用いて、顔検出モニタリング処理の効率化を図ることができる。
ターゲット顔情報は、使用者が目的とした対象の情報であるので、新規の顔検出開始時の顔検出範囲の大きさを、ターゲット顔の大きさに近い大きさから開始すると、他の顔の検出までの時間を短縮できる可能性が大きい。任意の大きさの顔を検出するには有効な時間短縮方法である。
また、ターゲット顔として登録した顔の追尾を、第一スイッチ操作解除後も一定時間保持するようにしてもよい。
撮影直後に、ターゲット顔がターゲット表示からずれた状態で、即座に次の撮影をする場合、第一スイッチ操作時にターゲット付近に顔を検出できなくても、ターゲット顔タイマ計時中の一定時間うちなら、追尾している前回のターゲット顔を第一優先顔として登録するようにしてもよい。この第一優先顔にピントが合って、露出量、色が最適になるAE、AWB処理を行なうことができる。
【0030】
上述の例では、顔検出モニタリングで常時顔を検出し、追尾するように構成しているが、顔検出モニタリング自体も、常時ターゲット周辺のみを検出判定領域とすると、情報処理の簡易化を図ることができる。
図6に示す顔検出処理動作は、これを図5に示すターゲット付近顔検出の処理動作と共通にすることができる。
顔検出モニタリングタイマを使用することなく、第一スイッチがオンしたときの顔検出のみとするのも効果的である。これにより、常時DSP5、メモリ9を最高動作周波数で動作させる必要がなく、消費電力を少なくすることができる。また、撮影者が主要被写体をターゲット表示付近に収めるので、無駄なく主要被写体を判定することができる。
従来、第一スイッチがオンすることで、ターゲット表示付近の主要被写体とその周辺を含んだエリアにフォーカス位置や露出量を合わせる機能は一般的である。本発明の上記実施例によれば、被写体判定機能により、主要被写体部の大きさも検知でき、主要被写体だけにフォーカスし、あるいは露出を合わせることができる。
【0031】
以上、主要被写体として人間の顔を想定し、その検出および追尾について説明したが、撮影モードによって、例えば、ポートレート撮影モードであれば、上述の人間の顔検出とし、花撮影モードであれば、花の検出であってもよい。さらに、カメラなどの撮像装置内に、「人間」、「花」などの複数種類の被写体分類を判定する機能があれば、ターゲット付近の被写体判定で両方を判定処理し、いずれかを自動で検出できた場合に、その被写体分類に最適な撮影条件を決定することもできる。例えば、顔ではなく花を検出した場合は、色の彩度を上げる処理などを実施することができる。
【0032】
なお、被写体判定機能は撮像装置内のプログラム又は、プログラムが参照するパラメータ値により決定されるものであり、プログラムの記憶媒体として書き換え可能なメモリを使用すれば、あとから被写体分類を追加、または消去するようにすることが可能である。
【実施例2】
【0033】
次に、実施例2について説明する。実施例2も、主要被写体、例えば人の顔を検出し、検出結果に基づいてフォーカス位置、露出量などを求めるものであるが、例えば、逆光などによって主要被写体を精度良く検出することができない場合があるので、実施例2はこのような悪条件下であっても、主要被写体を精度良く検出することができるように工夫したものである。実施例2のハードウェア構成は実施例1について説明した図1の構成と同じであるから、ハードウェア構成の説明は省略する。
【0034】
図9、図10はプログラム構成図で、図9に示すメイン処理ブロックと、メイン処理と併行して処理される図10に示す併行処理ブロックがある。メイン処理ブロックには、「スイッチ判定処理」、「モニタリング開始処理」、「顔検出モニタリング許可/禁止」、「第一スイッチオン処理」、「顔検出処理」、「顔追尾処理」、「AE,AF,AWB処理」、「静止画撮影処理」、「顔検出モニタリングタイマ」の各処理がある。
併行処理ブロックには、「定期タイマ割り込み処理」、「顔検出モニタリングタイマ」、「顔検出処理」、「顔追尾処理」の各処理がある。併行処理は、定期的なタイマ割り込みで起動され、図1に示す操作部13の状態の読み込みなどを行う。
【0035】
記録時のメイン処理フローは、図4に示す実施例1のメイン処理フローと同じである。すなわち、記録モードでカメラ電源がONされると、カメラ内部のハードウェア初期化やカード内のファイル情報を、メモリ9内に作成するなどの初期処理を行い、その後、図4に示す記録のメイン処理が開始される。メイン処理では、モニタリング状態をチェックし(S1)、モニタリング停止状態であれば、モニタリング開始処理を行う(S4)。モニタリング開始処理とは、撮像部すなわち図1における撮影レンズ1、機構部2、CCD3を含む構成部分の駆動を開始し、また併行処理のモニタリング処理を起動する。メイン処理に最初に入った場合にもモニタリング開始処理(S4)は実行される。
【0036】
図4に示すメイン処理フローと同様に、モニタリング状態の開始で被写体の特徴を検出する顔検出モニタリングを有効にする。顔検出モニタリングが有効になると、併行処理の顔検出モニタリングが実行される。図12に示す顔検出モニタリング処理において、無効の場合すなわち顔検出モニタリング(S51)において禁止の場合は何もしない。有効の場合すなわちモニタリング許可の場合は、検出更新タイマ(顔検出モニタリングタイマ)の動作状態を見て(S52)、所定時間経過してオーバーの場合に、新規顔検出処理(S53)を行なう。続いて顔モニタリングタイマの動作を開始する(S54)。所定時間内であれば、検出済みの顔があればその顔追尾処理を行なう(S55)。
【0037】
前記第一スイッチがオンした場合の処理について、図11に示すフローとともに説明する。第一スイッチがオンすると、まず顔検出モニタリング処理を禁止し(S41)、上述の併行処理を無効とする。次に顔検出モニタリングで検出済みの顔につきAE,AF,AWB処理を行なう(S42)。次に第一スイッチの状態を判定し(S43)、オフであれば終了、オンであれば次の第二スイッチ判定へ行く(S44)。第2スイッチがオフであればステップS43に戻り、オンであれば静止画撮影処理(S45)を行い終了する。
【0038】
撮影環境が逆光の場合で、図13に示すようにユーザが意図している被写体が画角の端の人物であったとする。モニタリング時の自動露出制御(AE)は、主に画角中央に重点をおいた測光値に基づいて行なわれるため、画角端の人物は黒色状につぶれてしまい、顔を検出することができない。
そこで、本発明の実施例2では、図15に示すように、表示用AEの結果による撮像データ信号レベルを変えるために、電子シャッタ速度やCCD3によって得られる画像信号の増幅率を設定する。これを図15では露出設定A−1,A−2,A−3,・・・で時間順に示している。露出設定A−1で設定された値により撮像素子で露光される。この露光をB−1で示している。露光により得られた撮像データはメモリ9に転送され(C−1)、DSP5により輝度や色の映像信号に変換する画像処理を行なう(D−1)。その映像信号を表示部12に表示する(E−1)。また、上記伝送C−1と同時に明るさに関する積算を行い、その結果をAE演算し(G−1)、露出設定A−4において撮像データ信号レベルを変える設定に反映する。また、F−1で顔検出を行なう。
【0039】
露出設定は、一定の時間間隔をおいてA−1,A−2,A−3,のように行い、A−2において、A−1より露出量が大きくなる設定をし、露光B−2、転送C−2、画像処理D−2を経た結果によって顔検出処理F−2を行なう。さらに、露出設定A−3において、A−2より露出量が大きくなる設定をし、露光B−3、転送C−3、画像処理D−3を経た結果によって顔検出処理F−3を行なう。例えばA−1の露出設定で白とびしていた顔があったとしても、顔検出処理F−2又はF−3で検出が可能となる。以上のように構成することで、表示部12には画角観察に適した明るさで表示することができ、しかも、暗く沈んだ顔があったとしても、それを正確に検出することができる。
【0040】
さらに、撮像素子は一般的に、設定した信号レベルを基準に、明暗に対して図14に示すような特性をもっており、暗い場合に分解能が粗く、明るい場合に余裕が少ない。主要被写体が暗部にある場合は、それを正しく測光できない。しかし、図15に破線で示すように、A−2、A−3での露光に対してもG−2、G−3で示すようにAE演算を行ない、G−1でのAE演算結果とも合成することで、ダイナミックレンジの広い測光が可能となる。以上のように、表示上は画角観察に最適な表示の明るさとしながら、正確な顔検出やダイナミックレンジの広い測光ができる。
【0041】
ここで、前記シャッタボタンの押し下げによる第一スイッチのオンで検出した顔の領域にCCDAFを行なうが、この場合もCCDAFに最適な検波データを取得するために、CCDAF用の露出設定にする必要があり、CCDAF中のみ、上述の表示の明るさを変えてしまう問題がある。逆光の場合や、また、撮像素子に手動のマニュアル露出補正機能があり、使用者がそれを用いている場合に上記の問題が発生する。
その対策として、図16に示すように、露出設定A−1で表示用の撮像を行い、露出設定A−4以降に表示する(E−1)。CCDAF用には、露出設定A−2のタイミングでフォーカスを駆動する(I−2)とともに、CCDAF用露出設定A−2で撮像(露光)を行い(B−2)、露出設定A−4のタイミングでCCDAF用ハイパスフィルタの検波データを取得する(H−2)。以降、同様に、フォーカス駆動I−3でのCCDAF検波データをH−3で取得して、検波データが最も高かったフォーカス位置を合焦位置と判定することができる。
【0042】
以上の動作はいずれも、表示更新より撮像のサイクルを早くしているため、消費電力が大きい。撮像データの輝度分布で順光環境のような明暗差が少なく、信号レベルも基準に近い場合は、上述の処理を行なう必要がないので、図17に示す例のように、表示に使用できない露光A−2、A−3を中止し、撮像レートを表示の低速レートと同じになるように切り替えるのが良い。レート切り替えは、撮像データの輝度分布により、自動で切り替えるのが良い。また、撮影者が設定する低消費電力モードがあれば、その時に切り替えるのも良い。
【図面の簡単な説明】
【0043】
【図1】本発明にかかる撮像装置の実施例を示す機能ブロック図である。
【図2】本発明の実施例1のメイン処理の各要素を示すブロック図である。
【図3】本発明の実施例1の併行処理の各要素を示すブロック図である。
【図4】実施例1のメイン処理を示すフローチャートである。
【図5】実施例1の第一スイッチオン処理を示すフローチャートである。
【図6】実施例1の顔検出モニタリング動作を示すフローチャートである。
【図7】実施例1においてターゲット表示付近での人の顔の検出動作の様子を示す模式図である。
【図8】実施例1において図7に示す検出動作に続く検出動作の様子を示す模式図である。
【図9】本発明の実施例2のメイン処理の各要素を示すブロック図である。
【図10】本発明の実施例2の併行処理の各要素を示すブロック図である。
【図11】実施例2の第一スイッチオン処理を示すフローチャートである。
【図12】実施例2の顔検出モニタリング動作を示すフローチャートである。
【図13】逆光下での表示部における被写体表示の様子を示す模式図である。
【図14】撮像素子の明るさに対する信号レベルの特性図である。
【図15】実施例2の動作例を示すタイミングチャートである。
【図16】実施例2の別の動作を示すタイミングチャートである。
【図17】実施例2のさらに別の動作を示すタイミングチャートである。
【符号の説明】
【0044】
1 撮影レンズ
2 機構部
3 撮像素子であるCCD
5 DSP
6 メカニカル駆動部
7 CCD駆動回路
8 CPU
9 メモリ
12 表示部
13 操作部
14 AF部
【特許請求の範囲】
【請求項1】
被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
表示部にターゲットを表示するターゲット表示部と、
ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定部と、
判定した被写体の表示部内での移動を追跡することができる被写体追尾手段と、を備え、
ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段が追尾することを特徴とする撮像装置。
【請求項2】
請求項1記載の撮像装置において、操作することによりターゲット表示部周辺の被写体に関して被写体判定部を起動させ、操作中は、被写体追尾手段を動作させる操作部を備えていることを特徴とする撮像装置。
【請求項3】
請求項2記載の撮像装置において、被写体追尾は、操作部の操作を解除しても継続して動作することを特徴とする撮像装置。
【請求項4】
請求項1から3のいずれかに記載の撮像装置において、操作部によりフォーカス位置や露出条件を決定した後でも、被写体判定部で判定した被写体情報に応じてフォーカス位置や露出条件を変更することを特徴とする撮像装置。
【請求項5】
請求項1から3のいずれかに記載の撮像装置において、被写体判定部で判定したターゲット表示部周辺の被写体情報に応じて、表示部内のほかの被写体に対する判定条件を変更することを特徴とする撮像装置。
【請求項6】
請求項1から5のいずれかに記載の撮像装置において、被写体判定部は、人間の顔を判定するものであることを特徴とする撮像装置。
【請求項7】
請求項1から5のいずれかに記載の撮像装置において、被写体判定部は、複数種類の被写体分類から手動又は自動により決定された分類の被写体を検出し判定することを特徴とする撮像装置。
【請求項8】
請求項6記載の撮像装置において、被写体分類は、追加又は削除可能であることを特徴とする撮像装置。
【請求項9】
被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
被写体が何であるかを判定する被写体判定部と、
撮像データの信号レベルを可変する信号可変手段と、
撮像データを遅延させて表示させる遅延手段と、
信号可変手段よって第一信号レベルにした撮像データを遅延手段により遅延させ表示部で画像を表示中に、第二信号レベルにした撮像データから測光演算する測光演算手段と、を備え、
被写体判定部は測光演算手段で演算した値を用いて撮像中の被写体が何であるかを判定する撮像装置。
【請求項10】
被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
被写体が何であるかを判定する被写体判定部と、
撮像データの信号レベルを可変する信号可変手段と、
撮像データを遅延させて表示させる遅延手段と、
信号可変手段よって第一信号レベルにした撮像データを遅延手段により遅延させ表示部で画像を表示中に、第二信号レベルにした撮像データからフォーカス位置を演算するフォーカス位置演算手段と、を備え、
被写体判定部はフォーカス位置演算手段で演算した値を用いて撮像中の被写体が何であるかを判定する撮像装置。
【請求項11】
撮像データの信号レベルに応じて、第二の信号レベルによる撮像をするかいなかを選択する請求項9又は10記載の撮像装置。
【請求項12】
被写体に応じた撮像データを得る撮像工程と、
撮像工程で得られる撮像データに基づいて表示部に画像を表示する表示工程と、
表示部に画像とともにターゲットを表示するターゲット表示工程と、
ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定工程と、
判定した被写体の表示部内での移動を追跡する被写体追尾工程と、を備え、
ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段で追尾することを特徴とする撮像方法。
【請求項13】
請求項12記載の撮像方法において、操作部の操作によりターゲット表示部周辺の被写体に関して被写体判定部を起動させ、操作部の操作中、被写体を追尾させることを特徴とする撮像方法。
【請求項14】
請求項13記載の撮像方法において、被写体追尾工程は、操作部の操作を解除しても継続して行なわれることを特徴とする撮像方法。
【請求項15】
請求項12から14のいずれかに記載の撮像方法において、操作部によりフォーカス位置や露出条件を決定した後でも、被写体判定工程で判定した被写体情報に応じてフォーカス位置や露出条件を変更することを特徴とする撮像方法。
【請求項16】
請求項12から14のいずれかに記載の撮像方法において、被写体判定工程で判定したターゲット表示部周辺の被写体情報に応じて、表示部内のほかの被写体に対する判定条件を変更することを特徴とする撮像方法。
【請求項17】
請求項11から16のいずれかに記載の撮像方法において、被写体判定工程は、人間の顔を判定するものであることを特徴とする撮像方法。
【請求項18】
請求項12から16のいずれかに記載の撮像方法において、被写体判定工程は、複数種類の被写体分類から手動又は自動により決定された分類の被写体を検出し判定することを特徴とする撮像方法。
【請求項19】
請求項17記載の撮像方法において、被写体の分類は、追加又は削除可能であることを特徴とする撮像方法。
【請求項20】
被写体に応じた撮像データを得る撮像工程と、
撮像工程で得られる撮像データに基づいて画像を表示する表示工程と、
被写体が何であるかを判定する被写体判定工程と、
撮像データの信号レベルを可変する信号可変工程と、
撮像データを遅延させて表示させる遅延工程と、
信号可変工程よって第一信号レベルにした撮像データを遅延工程により遅延させ表示工程で画像を表示中に、第二信号レベルにした撮像データから測光演算する測光演算工程と、を備え、
被写体判定工程は測光演算工程で演算した値を用いて撮像中の被写体が何であるかを判定する撮像方法。
【請求項21】
被写体に応じた撮像データを得る撮像工程と、
撮像工程で得られる撮像データに基づいて画像を表示する表示工程と、
被写体が何であるかを判定する被写体判定工程と、
撮像データの信号レベルを可変する信号可変工程と、
撮像データを遅延させて表示させる遅延工程と、
信号可変工程よって第一信号レベルにした撮像データを遅延工程により遅延させ表示工程で画像を表示中に、第二信号レベルにした撮像データからフォーカス位置を演算するフォーカス位置演算工程と、を備え、
被写体判定工程はフォーカス位置演算工程で演算した値を用いて撮像中の被写体が何であるかを判定する撮像方法。
【請求項22】
撮像データの信号レベルに応じて、第二の信号レベルによる撮像をするかいなかを選択する請求項20又は21記載の撮像方法。
【請求項23】
撮像方法をコンピュータが実行するためのプログラムであって、請求項12から22のいずれかに記載されている各工程を実行するためのプログラム。
【請求項1】
被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
表示部にターゲットを表示するターゲット表示部と、
ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定部と、
判定した被写体の表示部内での移動を追跡することができる被写体追尾手段と、を備え、
ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段が追尾することを特徴とする撮像装置。
【請求項2】
請求項1記載の撮像装置において、操作することによりターゲット表示部周辺の被写体に関して被写体判定部を起動させ、操作中は、被写体追尾手段を動作させる操作部を備えていることを特徴とする撮像装置。
【請求項3】
請求項2記載の撮像装置において、被写体追尾は、操作部の操作を解除しても継続して動作することを特徴とする撮像装置。
【請求項4】
請求項1から3のいずれかに記載の撮像装置において、操作部によりフォーカス位置や露出条件を決定した後でも、被写体判定部で判定した被写体情報に応じてフォーカス位置や露出条件を変更することを特徴とする撮像装置。
【請求項5】
請求項1から3のいずれかに記載の撮像装置において、被写体判定部で判定したターゲット表示部周辺の被写体情報に応じて、表示部内のほかの被写体に対する判定条件を変更することを特徴とする撮像装置。
【請求項6】
請求項1から5のいずれかに記載の撮像装置において、被写体判定部は、人間の顔を判定するものであることを特徴とする撮像装置。
【請求項7】
請求項1から5のいずれかに記載の撮像装置において、被写体判定部は、複数種類の被写体分類から手動又は自動により決定された分類の被写体を検出し判定することを特徴とする撮像装置。
【請求項8】
請求項6記載の撮像装置において、被写体分類は、追加又は削除可能であることを特徴とする撮像装置。
【請求項9】
被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
被写体が何であるかを判定する被写体判定部と、
撮像データの信号レベルを可変する信号可変手段と、
撮像データを遅延させて表示させる遅延手段と、
信号可変手段よって第一信号レベルにした撮像データを遅延手段により遅延させ表示部で画像を表示中に、第二信号レベルにした撮像データから測光演算する測光演算手段と、を備え、
被写体判定部は測光演算手段で演算した値を用いて撮像中の被写体が何であるかを判定する撮像装置。
【請求項10】
被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
被写体が何であるかを判定する被写体判定部と、
撮像データの信号レベルを可変する信号可変手段と、
撮像データを遅延させて表示させる遅延手段と、
信号可変手段よって第一信号レベルにした撮像データを遅延手段により遅延させ表示部で画像を表示中に、第二信号レベルにした撮像データからフォーカス位置を演算するフォーカス位置演算手段と、を備え、
被写体判定部はフォーカス位置演算手段で演算した値を用いて撮像中の被写体が何であるかを判定する撮像装置。
【請求項11】
撮像データの信号レベルに応じて、第二の信号レベルによる撮像をするかいなかを選択する請求項9又は10記載の撮像装置。
【請求項12】
被写体に応じた撮像データを得る撮像工程と、
撮像工程で得られる撮像データに基づいて表示部に画像を表示する表示工程と、
表示部に画像とともにターゲットを表示するターゲット表示工程と、
ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定工程と、
判定した被写体の表示部内での移動を追跡する被写体追尾工程と、を備え、
ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段で追尾することを特徴とする撮像方法。
【請求項13】
請求項12記載の撮像方法において、操作部の操作によりターゲット表示部周辺の被写体に関して被写体判定部を起動させ、操作部の操作中、被写体を追尾させることを特徴とする撮像方法。
【請求項14】
請求項13記載の撮像方法において、被写体追尾工程は、操作部の操作を解除しても継続して行なわれることを特徴とする撮像方法。
【請求項15】
請求項12から14のいずれかに記載の撮像方法において、操作部によりフォーカス位置や露出条件を決定した後でも、被写体判定工程で判定した被写体情報に応じてフォーカス位置や露出条件を変更することを特徴とする撮像方法。
【請求項16】
請求項12から14のいずれかに記載の撮像方法において、被写体判定工程で判定したターゲット表示部周辺の被写体情報に応じて、表示部内のほかの被写体に対する判定条件を変更することを特徴とする撮像方法。
【請求項17】
請求項11から16のいずれかに記載の撮像方法において、被写体判定工程は、人間の顔を判定するものであることを特徴とする撮像方法。
【請求項18】
請求項12から16のいずれかに記載の撮像方法において、被写体判定工程は、複数種類の被写体分類から手動又は自動により決定された分類の被写体を検出し判定することを特徴とする撮像方法。
【請求項19】
請求項17記載の撮像方法において、被写体の分類は、追加又は削除可能であることを特徴とする撮像方法。
【請求項20】
被写体に応じた撮像データを得る撮像工程と、
撮像工程で得られる撮像データに基づいて画像を表示する表示工程と、
被写体が何であるかを判定する被写体判定工程と、
撮像データの信号レベルを可変する信号可変工程と、
撮像データを遅延させて表示させる遅延工程と、
信号可変工程よって第一信号レベルにした撮像データを遅延工程により遅延させ表示工程で画像を表示中に、第二信号レベルにした撮像データから測光演算する測光演算工程と、を備え、
被写体判定工程は測光演算工程で演算した値を用いて撮像中の被写体が何であるかを判定する撮像方法。
【請求項21】
被写体に応じた撮像データを得る撮像工程と、
撮像工程で得られる撮像データに基づいて画像を表示する表示工程と、
被写体が何であるかを判定する被写体判定工程と、
撮像データの信号レベルを可変する信号可変工程と、
撮像データを遅延させて表示させる遅延工程と、
信号可変工程よって第一信号レベルにした撮像データを遅延工程により遅延させ表示工程で画像を表示中に、第二信号レベルにした撮像データからフォーカス位置を演算するフォーカス位置演算工程と、を備え、
被写体判定工程はフォーカス位置演算工程で演算した値を用いて撮像中の被写体が何であるかを判定する撮像方法。
【請求項22】
撮像データの信号レベルに応じて、第二の信号レベルによる撮像をするかいなかを選択する請求項20又は21記載の撮像方法。
【請求項23】
撮像方法をコンピュータが実行するためのプログラムであって、請求項12から22のいずれかに記載されている各工程を実行するためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2008−193278(P2008−193278A)
【公開日】平成20年8月21日(2008.8.21)
【国際特許分類】
【出願番号】特願2007−23739(P2007−23739)
【出願日】平成19年2月2日(2007.2.2)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成20年8月21日(2008.8.21)
【国際特許分類】
【出願日】平成19年2月2日(2007.2.2)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]