説明

撮像装置、その制御方法及びプログラム

【課題】単一の操作部材で、一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を同時に可能とする。
【解決手段】動画像から顔検出を行い、顔認識数のカウントを行った後、被写体切り替えボタンが押下されたかどうか判定し、押下されていれば、操作カウントを+1とするとともに一つの顔を選択する状態となる。そして、操作カウント数がその時点での顔認識数を上回っている場合、顔の選択が一巡したと判定し、操作回数のカウント数をクリアするとともに、顔の選択を解除して待機する。操作カウント数が顔認識数を上回っていない場合、初めて一つの顔を選択する状態であれば、例えば最も左に位置する顔を選択中の顔とし、既に一つの顔を選択しており、その状態で何度か被写体切り替えボタンが押下された状態であれば、現在選択中の顔より右方向に顔があればその右の顔に切り替える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像から検出された複数の対象物のうち一つの対象物を選択する操作を行うのに用いて好適な撮像装置、その制御方法及びプログラムに関する。
【背景技術】
【0002】
近年、特定の特徴を持つ対象物を認識し、その対象物に対して撮影動作に関連する特定の処理を施す撮像装置が知られている。
【0003】
また、複数の対象物を認識し、そのうちの一つをユーザが選択可能としたものも知られている。例えば撮像装置が被写体の顔を認識し、撮影時にユーザが対象とする顔を切り替えるために一旦専用のモードに入り、そのモードにおいて汎用的な方向操作部材を用いて対象物(被写体の顔)を選択するものがある。また、例えば特許文献1によれば、撮像装置は認識した被写体の顔に対し、撮影時には専用の操作部材により顔認識制御のON/OFFを行い、静止画像再生時には画像から認識した顔の周辺を拡大するために、対象の顔を専用部材で切り替えることとしている。
【0004】
【特許文献1】特開2008-028959号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来例では、対象物を選択するときに、通常撮影時に他の機能に割りあてられている方向操作部材を使用するため、方向操作部材の機能を切り替えるために対象物選択用の専用モードを用意する必要があり、操作手番が増えることとなる。
【0006】
また、特許文献1にあるように対象物選択用の専用部材を用意する場合、本体の大型化に繋がることとなる。
【0007】
一方、単一の操作部材のみを用いる場合、静止画像再生時において選択される対象物を順次切り替えることは可能である。しかしながら、対象物が常に移動し入れ替わり数が変化する撮影時や動画再生時には、対象物の切り替えを行うことができていない。特に、一つの対象物を選択する/しないの切り替え制御をも含めようとした場合、静止画に対する対象物の切り替えアルゴリズムでは破綻をきたすこととなる。
【0008】
本発明は上記のような課題に鑑みてなされたものである。すなわち、動画像の入力に対し、単一の操作部材で、一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を同時に可能とし、操作の簡易化を図るとともに、機器の大型化を防止することを目的とする。
【課題を解決するための手段】
【0009】
本発明の撮像装置は、動画像から対象物を検出する検出手段と、前記検出手段により検出された複数の対象物のうち一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を、単一の操作部材による入力によって受け付ける操作受付手段とを備えたことを特徴とする。
本発明の撮像装置の制御方法は、動画像から対象物を検出するステップと、前記検出された複数の対象物のうち一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を、単一の操作部材による入力によって受け付けるステップとを有することを特徴とする。
本発明のプログラムは、動画像から対象物を検出する処理と、前記検出された複数の対象物のうち一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を、単一の操作部材による入力によって受け付ける処理とをコンピュータに実行させる。
【発明の効果】
【0010】
本発明によれば、動画像から検出される複数の対象物について、複数の対象物のうち一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を、単一の操作部材を用いて行うことができる。したがって操作の簡易化を図るとともに、機器の大型化を防止することができる。
【発明を実施するための最良の形態】
【0011】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
(第1の実施形態)
図1は、本発明を適用した撮像装置の一例としてのデジタルカメラ100の外観図である。28は表示部であり、画像や各種情報を表示する。61は撮影を行うための操作部材であるシャッターボタンである。60はモードダイヤルスイッチであり、デジタルカメラ100における各種モードを切り替える。112はコネクタであり、接続ケーブルとデジタルカメラ100とを接続する。
【0012】
70は操作部であり、ユーザからの各種操作を受け付ける。操作部70は、図示の各種ボタンや、画像表示部28の画面上に設けられたタッチパネル等の操作部材を有する。操作部70の各種ボタンとは、具体的に例示すると、消去ボタン、メニューボタン、セットボタン、十字に配置された4方向ボタン(上ボタン、下ボタン、右ボタン、左ボタン)、ホイール等である。
【0013】
200はメモリカードやハードディスク等の記録媒体である。201は記録媒体スロットであり、記録媒体200を格納する。記録媒体スロット201に格納された記録媒体200はデジタルカメラ100との通信が可能となる。202は記録媒体スロット201の蓋である。
【0014】
図2は、デジタルカメラ100のハードウェア構成例を示すブロック図である。なお、図1に示した構成要素には同一の符号を付す。10は撮影レンズ、12は絞り機能を備えるシャッター、14は光学像を電気信号に変換する撮像素子、16は撮像素子14のアナログ信号出力をデジタル信号に変換するA/D変換器である。18はタイミング発生回路であり、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給する。タイミング発生回路18は、メモリ制御回路22及びシステム制御回路50により制御される。
【0015】
20は画像処理回路であり、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路50が制御を行いAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行う。さらに、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行う。
【0016】
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。A/D変換器16のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。
【0017】
24は画像表示メモリである。26はD/A変換器、27はD/A変換器26の出力を外部モニタに出力する外部出力コネクタである。外部出力コネクタ27にコネクタが挿されている場合は、外部出力接続検知手段106によりシステム制御回路50は外部出力状態を知ることができる。
【0018】
28はTFT LCD等からなる画像表示部であり、画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28により表示される。画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合にはデジタルカメラ100の電力消費を大幅に低減することができる。
【0019】
30は撮影した静止画像や動画像のデータを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像のデータを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。メモリ30は、記録媒体200や210の書き込みバッファとしても使われる。
【0020】
32は適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
【0021】
40は絞り機能を備えるシャッター12を制御する露光制御手段であり、フラッシュ48と連携することによりフラッシュ調光機能も有する。42は撮影レンズ10のフォーカシングを制御する測距制御手段である。44は撮影レンズ10のズーミングを制御するズーム制御手段である。46は保護手段であるバリア102の動作を制御するバリア制御手段である。48はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。露光制御手段40、測距制御手段42はTTL方式を用いて制御されており、撮像した画像データを画像処理回路20によって演算した演算結果に基づき、システム制御回路50が露光制御手段40、測距制御手段42に対して制御を行う。
【0022】
50はデジタルカメラ100全体を制御するシステム制御回路である。52はシステム制御回路50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開するメモリである。システム制御回路50は、不揮発性メモリ56に記録されたプログラムを実行することで、後述する各実施例の処理を実現する。
【0023】
54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカ等の出力部である。出力部54は、デジタルカメラ100の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成される。また、出力部54は、その一部の機能が光学ファインダ104内に設置されている。出力部54の表示内容のうち、LCD等に表示するものとしては、絞り値表示、露出補正表示、フラッシュ表示、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、記録媒体200及び210の着脱状態表示等がある。また、出力部54の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。
【0024】
56は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御回路50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各実施形態における各種フローチャートを実行するためのプログラムのことである。
【0025】
58はタイマであり、記録媒体200や210のデータ記録速度や、取得するデータのデータレートを測定するために使われる。
【0026】
60、62、64、66、68及び70は、システム制御回路50の各種の動作指示を入力するための操作手段であり、スイッチやダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【0027】
ここで、これらの操作手段の具体的な説明を行う。60はモードダイヤルスイッチであり、各機能モードを切り替え設定することができる。各種機能モードには、電源オフ、自動撮影モード、撮影モード(パノラマ撮影モード、動画撮影モード含む)、再生モード、マルチ画面再生・消去モード、PC(パーソナルコンピュータ)接続モード等がある。
【0028】
62はシャッタースイッチSW1であり、シャッターボタン61の操作途中でONとなり、AF処理、AE処理、AWB処理、EF処理等の動作開始を指示する。64はシャッタースイッチSW2であり、シャッターボタン61の操作完了でONとなり、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像データを書き込む露光処理の動作開始を指示する。同時に、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮を行い、記録媒体200或いは210に画像データを書き込む記録処理という一連の処理の動作開始を指示する。また、動画撮影の場合は、動画撮影の開始・停止を指示する。
【0029】
66は画像表示ON/OFFスイッチであり、画像表示部28のON/OFFを設定することができる。この機能により、光学ファインダ104を用いて撮影を行う際に、TFT LCD等からなる画像表示部28への電流供給を遮断することにより、省電力を図ることが可能となる。
【0030】
68はクイックレビューON/OFFスイッチであり、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施形態では、特に画像表示部28をOFFとした場合におけるクイックレビュー機能の設定をする機能を有するものとする。
【0031】
70は操作部であり、各種ボタンやタッチパネル等からなる。具体的には、メニューボタン、セットボタン、マクロボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、ISO感度切り替えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン等が含まれる。また、詳しくは後述するが、本発明で使用する、一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を行う被写体切り替えボタンも含まれる。この被写体切り替えボタンが本発明でいう単一の操作部材である。また、各種機能の選択及び切り替えを設定する選択/切り替えボタン、各種機能の決定及び実行を設定する決定ボタンも含まれる。また、撮影時にズームと広角を調節したり、再生時に拡大/縮小を調節したり、1画面表示/マルチ画面表示を切り替えたりする操作部も含まれる。
【0032】
80は電源制御手段であり、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路50の指示に基づいて、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。82、84はコネクタ、86はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源である。
【0033】
90、94はメモリカードやハードディスク等の記録媒体とのインターフェースである。92、96はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。98はコネクタ92、96に記録媒体200、210が装着されているか否かを検知する記録媒体着脱検知手段である。
【0034】
なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成して構わない。さらに、インターフェース90、94、そしてコネクタ92、96に各種通信カードを接続することにより、他機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【0035】
102は保護手段であるバリアであり、デジタルカメラ100のレンズ10を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する。
【0036】
104は光学ファインダであり、画像表示部28による電子ファインダ機能を使用すること無しに、光学ファインダ104のみを用いて撮影を行うことが可能である。また、光学ファインダ104内には、出力部54の一部の機能、例えば合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等の機能が設置されている。
【0037】
106は外部出力接続検知部であり、外部出力コネクタ27に外部モニタが接続されているかどうかを検知する。ここで、接続状態にあると検知したならば、画像表示部28の代わりに外部モニタを表示装置として用いることが可能である。
【0038】
110は通信手段であり、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。112は通信手段110によりデジタルカメラ100を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【0039】
114は音声データ取得手段であるマイクである。116はマイク114で得られた音声データをシステム制御回路50で取得するためにA/D変換するA/D変換器である。118は音声データ再生手段であるスピーカである。120はシステム制御回路50から出力されるデジタル音声データをスピーカ118で再生するためにD/A変換するD/A変換器である。
【0040】
200はメモリカードやハードディスク等の記録媒体である。記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、デジタルカメラ100とのインターフェース204、デジタルカメラ100と接続を行うコネクタ206を備えている。同様に、210はメモリカードやハードディスク等の記録媒体である。記録媒体210は、半導体メモリや磁気ディスク等から構成される記録部212、デジタルカメラ100とのインターフェース214、デジタルカメラ100と接続を行うコネクタ216を備えている。これら記録媒体200、210がPCMCIA規格のPC−カードやコンパクトフラッシュ等の場合は、性能が記されている情報記憶回路を内蔵していることもある。
【0041】
以上述べたデジタルカメラ100では、中央1点AFや顔AFを用いた撮影が可能である。中央1点AFとは、撮影画面内の中央位置1点に対して焦点調節を行うものである。顔AFとは、顔検出機能によって検出された撮影画面内の顔に対して焦点調節を行うものである。
【0042】
ここで、顔検出機能について説明する。システム制御回路50は、顔検出対象の画像データを画像処理回路20に送る。システム制御回路50の制御下で画像処理回路20は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御回路50の制御下で画像処理回路20は、処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
【0043】
その後、システム制御回路50は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御回路50は、抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを目の対と判断し、目の対があるもののみ目の候補群として絞り込む。さらに、システム制御回路50は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳)を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。この処理が、本発明でいう検出手段による処理例である。
【0044】
システム制御回路50は、顔の検出結果に応じて顔情報(例えば顔の数情報、目及び鼻、口、耳の位置情報)を出力し、処理を終了する。このとき、顔情報をシステムメモリ52に記憶する。
【0045】
以上のようにスルー表示で表示されるライブ画像を画像解析して、画像データの特徴量を抽出して対象物を検出することが可能である。本実施形態では、対象物として人物の顔を検出する例を挙げたが、他にも目検出等がある。
【0046】
なお、顔AFと同時に顔AE、顔FE、顔AWBを行うことができる。顔AEとは、検出された顔の明るさに合わせて画面全体の露出を最適化する露出調節である。顔FEとは、検出された顔に対してフラッシュの光量がちょうど良くなるように調整する調光である。顔AWBとは、検出された顔に合わせてホワイトバランスを調節するホワイトバランス調節である。
【0047】
次に、図3のフローチャートを参照して、デジタルカメラ100の撮影モード時の処理動作を説明する。図3のフローチャートは、モードダイヤルスイッチ60が撮影モードに設定されると開始される。撮影モードでは、撮像素子14から、スルー表示で表示するためのライブ画像が入力される。ここでは、対象物を人物の顔とし、ライブ画像中で複数認識されている人物の顔のうち一つを選択するか否かの切り替え操作、及び、一つの顔を選択する場合の顔の切り替え操作を、単一の操作部材による入力によって受け付ける操作受付動作を説明する。
【0048】
撮影モード処理が開始されると、システム制御回路50はまず入力されるライブ画像を画像表示時部28にスルー表示し、ステップS101で操作カウント数を0とするとともに、ステップS102でユーザが行う顔の選択を解除する。
【0049】
ステップS103では、リアルタイムに入力される動画像(ライブ画像)に対し、認識している顔の数(顔認識数)のカウントを行う。この顔認識数は、メモリ30に記録保持される。この処理が、本発明でいう保持手段による処理例である。
【0050】
次に、ステップS104で、ユーザによる撮影に対する通常のオペレーションの有無を判定する。ステップS104において通常のオペレーションが実行されたと判定された場合、ステップS105に進み、通常オペレーション処理を実行する。この通常オペレーション処理の詳細は後述する。
【0051】
ステップS104において通常のオペレーションが実行されていないと判定された場合、ステップS106に進み、被写体切り替えボタンが押下されたかどうか判定する。ステップS106において被写体切り替えボタンが押下されたと判定された場合、ステップS107に進み、操作カウントを+1とするとともに一つの顔を選択する状態となり、ステップS108に進む。この処理が、本発明でいうカウント手段による処理例である。この操作カウント数は、メモリ30に記録保持される。ステップS106において被写体切り替えボタンが押下されていないと判定された場合、ステップS103に戻って、顔の数をカウントしつつ通常オペレーション及び被写体切り替えボタンが押下されるのを待つ。これにより、最新の顔の数が認識され、記録保持されることになる。なお、被写体切り替えボタンが押下されるまでは、カメラ100が自動で対象物を選択する自動モードとなっているようにしてもよい。
【0052】
ステップS108では、操作カウント数と顔認識数とを比較する。ステップS108において操作カウント数がその時点での顔認識数を上回っている場合、顔の選択が一巡したと判定する。そして、ステップS101に戻って、操作カウント数を0とする(操作回数のカウント数をクリアする)とともに、顔の選択を解除して待機する。故に、ここで顔認識数が0であった場合、デジタルカメラ100は被写体切り替えボタンの押下に対しては無反応となる。
【0053】
ステップS108において操作カウント数がその時点での顔認識数を上回っていない場合、ステップS109に進み、操作カウント数が1、すなわち初めて一つの顔を選択する状態になったかどうかを判定する。ステップS109において初めて一つの顔を選択する状態となった場合、ステップS110に進む。ステップS110では、現在認識している顔で最も左に位置する顔を選択中の顔とする。これにより、図6Aに示すように、最も左に位置する人物Aの顔が選択状態となる。
【0054】
なお、最初に選択される顔の決定方法に関してはこの限りではなく、例えば画面中央に近い顔としても良いし、最も大きい顔としても良い。或いは、認識した顔に対して付加された優先度に基づいて自動的に一つの顔を選択している自動モードとなっている場合、ステップS110の時点でデジタルカメラ100が最も優先度が高いと判断していた顔を最初の顔としても良い。この優先度は、例えば認識している顔の大きさや位置、認識の確からしさ等から認識した顔に対して付加される。
【0055】
ステップS109において操作カウント数が1ではない、すなわち既に一つの顔を選択しており、その状態で何度か被写体切り替えボタンが押下された状態であった場合、ステップS111に進む。ステップS111では、現在選択中の顔より右方向に認識している顔があるかどうかを判定する。現在選択中の顔よりも右方向に顔があった場合、ステップS112に進み、選択中の顔を現在の顔よりも一つ右の顔に切り替える。これにより、図6Bの状態となる。もしそれ以上右に認識している顔がない場合、すなわち図6Cの状態であった場合、ステップS113に進み、反対方向に位置する最も左の顔(反対方向で最も遠くに位置する顔)を選択し、図6Aの状態となる。
【0056】
なお、本実施形態では対象物を切り替える特定方向として右方向を説明したが、ステップS111からの選択中の顔の切り替え方法に関してはこの限りではなく、例えば順に左に変化しても良いし、上下方向としても良い。或いはランダムに変化しても良いし、全く別な法則でも良く、対象物の選択が一巡したかどうかの判定が、操作カウント数とその時点での顔認識数とから一意に判断されれば良い。
【0057】
ここで、例えば図6Bの状態(操作カウント数が「2」、顔認識数が「3」)から被写体切り替えボタンを押下すると、操作カウント数が「3」となって(ステップS107)、図6Cの状態となる(ステップS112)。その後、ステップS103に戻るが、その時点で顔認識数に変化がなければ、次の被写体切り替えボタンを押下した後のステップS108で顔の選択が一巡したと判定し(操作カウント数「4」>顔認識数「3」となる)、顔の選択が解除となる。しかし、ステップS103で顔認識数が増え、人物Dが登場したとすると、人物Dが人物Cより右位置に登場した場合はステップS112を経て人物Dへと選択中の顔が切り替わる。逆に人物Dが人物Cより左側に登場した場合はステップS113を経て人物Aへと選択中の顔が切り替わる。
【0058】
また、図6Bの状態(操作カウント数が「2」、顔認識数が「3」)となって、ステップS112からステップS103に戻った時点で顔認識数に変化がなければ、次の被写体切り替えボタンを押下した後、選択中の顔は人物Cへと切り替わる。しかし、ステップS103で顔認識数が減り、例えば人物Aが居なくなったとすると、ステップS107にて操作カウント数は既に3となっているため、ステップS108で顔の選択が解除となる(操作カウント数「3」>顔認識数「2」となる)。
【0059】
更に、現在選択中の顔の人物が居なくなった場合の制御はここでは問題とせず、例えば操作カウンタ数はそのままで隣の顔に遷移するとしても良いし、次の被写体切り替えボタンが押下されるまでは選択枠がその場に留まるとしても良い。
【0060】
全ての人物が居なくなってしまった場合には、一定時間のタイマを持たせた上で、顔の選択を解除するとしても良い。
【0061】
以上述べたように、例えばこのフロー中で突然認識している顔の数が増減した場合でも、最新の顔認識数をそれまで保持している操作カウント数とリアルタイムで比較するため、一巡した後に必ず一旦選択状態が解除可能となる。
【0062】
次に、図4のフローチャートを参照して、ステップS105の通常オペレーション処理を説明する。図3のステップS103〜S106で顔認識数をカウントしつつ被写体切り替えボタンの押下を待っている際、ステップS104で通常の撮影動作に関連するオペレーションが行われた場合、その押下されたボタンによって対応する処理を行う。
【0063】
すなわち、上ボタンが押下された場合(ステップS201)、ISO感度の切り替えを行う(ステップS202)。下ボタンが押下された場合(ステップS201)、セルフタイマーの切り替えを行う(ステップS204)。右ボタンが押下された場合(ステップS205)、ストロボ設定の切り替えを行う(ステップS206)。左ボタンが押下された場合(ステップS207)、マクロの切り替えを行う(ステップS208)。
【0064】
ディスプレイボタン(Dispボタン)が押下された場合(ステップS209)、画像表示部28に表示している様々な情報表示の形態を切り替える(ステップS210)。メニューボタン(Menuボタン)が押下された場合(ステップS211)、カメラ100の様々な設定を行うための設定画面へと遷移し、再度メニューボタンを押下することにより元の状態へと戻る(ステップS212)。セットボタン(Setボタン)が押下された場合(ステップS213)、何も動作を行わない(ステップS214)。
【0065】
シャッターボタンが押下された場合(ステップS215)、現時点の設定にて撮影を行う(ステップS216)。例えば一つの顔が選択されている場合には、選択されている顔に対して顔AF、顔AE、顔FE、顔AWBの少なくとも1つを行い撮影する。顔が一つも選択されておらず、AF枠が画面の中央固定の場合には、画面中央に存在する被写体に対して測距(中央1点AF)及び測光を行い撮影する。
【0066】
モードダイヤルスイッチが操作された場合(ステップS217)、撮影モードを変更する(ステップS218)。ズームレバーが操作された場合(ステップS219)、画角を切り替える(ステップS220)。電源ボタンが押下された場合(ステップS221)、全ての処理を終了し、電源がOFFとなり(ステップS222)、本フローも終了となる。
【0067】
その他この撮影関連の通常オペレーションに対する処理、機能はここに挙げた限りではなく、また操作部材に対する機能の配置や操作方法の方法も問わない。
【0068】
このように本実施形態によれば、動画像から検出される複数の顔について、複数の顔のうち一つの顔を選択するか否かの切り替え操作、及び、一つの顔を選択する場合の顔の切り替え操作を、単一の操作部材を用いて行うことができる。したがって、高機能化による操作部材増大に伴う機器の大型化の抑制と、即時性を必要とする動画像中の対象物に対する迅速且つ容易な選択切り替え操作を行うことが可能となる。また、顔を切り替えるための専用のモードに切り替える必要がないので、被写体切り替えボタンを用いた被写体の切り替え操作と、被写体切り替えボタン以外の操作部材をもちいた通常オペレーション処理とが並行して実行可能となる。したがって即時性を求められる撮像に係る設定操作を、対象物の選択操作の途中でも迅速に行うことができる。
【0069】
なお、仮に本実施形態以外の方法によって顔の切り替え操作を単一の操作部材を用いて行おうとするならば、以下のような方法が考えられる。例えば、認識される複数の顔に対して選択順序を割りあて、単一の操作部材の操作回数に応じて選択順序の順に選択する方法である。しかし、動画像においてはリアルタイムに被写体が動き、認識精度の性能によっては頻繁に顔の認識数と位置が変化する。そのため、顔の認識数が増減する度に顔に対して選択順序を割りあて直さなければならない。しかしそうすると、状況によっては切り替え操作を行っても次の顔に進まなかったり、戻ったりする事となる。
【0070】
例えば図6Cの状態で、人物A、B、Cの顔に対して選択順序がそれぞれ「1」、「2」、「3」と割りあてられており、現在選択順序「3」である人物Cの顔を選択していたとする。そこに人物Dが人物Cと人物Bの間に登場したとすると、人物A、B、D、Cの顔に対して左から順に選択順序がそれぞれ「1」、「2」、「3」、「4」と割りあてなおされる。ここで被写体切り替えボタンが押下されると、次は選択順序「4」の人物を選択することになるため、再び人物Cの顔が選択されることになる。したがって見た目上は、被写体切り替えボタンを押下したにも関わらず人物Cの顔から選択が遷移しなかったことになり、被写体切り替えボタンへの操作が無効であったとユーザが誤認する可能性がある。
【0071】
また、例えば図6Cの状態で、人物A、B、Cの顔に対して選択順序がそれぞれ「1」、「2」、「3」と割りあてられており、現在選択順序「3」の人物Cの顔を選択していたとする。そこに人物DとEの2人が人物Cと人物Bの間に登場したとすると、人物A、B、D、E、Cの顔に対して左から順に選択順序がそれぞれ「1」、「2」、「3」、「4」、「5」と割りあてなおされる。ここで被写体切り替えボタンが押下されると、次は選択順序「4」の人物を選択することになるため、今度は前回選択されていた人物Cより左に位置する人物Eの顔が選択されることになる。さらに被写体切り替えボタンが押下されると次は選択順序「5」である人物Cの顔が再び選択される。したがって見た目上は、被写体切り替えボタンの押下で選択が1人分左に戻ってしまうように見え、使い勝手が良くない。なお、この場合において、人物A、B、D、E、Cに対して選択順序をそれぞれ「1」、「2」、「4」、「5」、「3」と割りあてることは、検出された5つの顔のうち最も右の顔が人物Cの顔であることを装置が識別できなくてはならない。しかし、このように個人の顔を識別する機能を用いるには装置のコストアップや処理の複雑化を招くこととなる。
【0072】
これに対し本実施形態によれば、個人の顔を識別する機能を用いることなく、被写体切り替えボタンの押下に応じて確実に1つ隣の顔へ遷移することができ、一巡したことに応じて選択を解除することもできる。
【0073】
(第2の実施形態)
次に、第2の実施形態を説明する。なお、デジタルカメラの構成は第1の実施形態と同様であり、ここではその説明を省略する。第1の実施形態では、被写体切り替えボタンを押下した際に、選択する顔を順に切り替えるとしている。この場合、目的の顔を通り過ぎてしまったときに、その顔を再度選択するには全ての顔を一巡しなければならず、特に顔が多い場合には操作数が多くなってしまう。第2の実施形態は、この点を解消するものである。
【0074】
図5は、第2の実施形態に係るデジタルカメラ100の撮影モード時の処理動作を説明する。図5のフローチャートも、モードダイヤルスイッチ60が撮影モードに設定されると開始される。
【0075】
ステップS301〜S306は、図3のステップS101〜S106と同様の処理である。第2の実施形態では、被写体切り替えボタンを押下した際(ステップS306)、その時点での顔認識数が所定数以上かどうかを判定し(ステップS307)、顔認識数が所定数より少ない場合はステップS309以降の処理に進む。ステップS309〜S315は、図3のステップS108〜S113と同様の処理である。
【0076】
ステップS307において顔認識数が所定数以上であれば、ステップS308に進み、顔選択モード処理に遷移して顔の選択を行う。顔選択モード処理では、通常のオペレーション処理と区別するために、一旦顔選択用の専用モードへ遷移し、そのモード内では左右ボタンにより、隣接する顔に選択を切り替えられるようになっている。
【0077】
第2の実施形態では、特に顔数が多い場合に、左右ボタンにより顔の選択を切り替えることができる。したがって例えば右ボタンを何回か押下して目的の顔を通り過ぎてしまったときに、その顔を再度選択するには左ボタンを押下すれば良く、操作数を減らすことができる。ただし、顔選択用の専用モードの間は、左右ボタンで行うストロボ切り替え、マクロ切り替えは行うことができない。
【0078】
なお、第2の実施形態では、顔認識数が所定数以下である場合、一つの顔を選択するか否かの切り替え操作、及び、一つの顔を選択する場合の顔の切り替え操作を被写体切り替えボタンによる入力によって受け付けるようにした。この、顔認識数が所定数以上である場合を、本発明でいう所定の条件に合致するとしている。しかし、例えば被写体切り替えボタンの長押しで顔選択モード処理に移行する等、その切り分け方法は特に問わない。
【0079】
また、上述の各実施の形態においては、入力される動画像として撮像時のライブ画像の例を述べたが、ライブ画像ではなく再生モード時における動画再生時の動画像に本発明を適用してもよいことは言うまでもない。
【0080】
本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。この場合、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。
【0081】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0082】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0083】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけに限らない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現されてもよい。
【0084】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる形態でもよい。この場合メモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される。
【図面の簡単な説明】
【0085】
【図1】第1の実施形態に係るデジタルカメラの外観図である。
【図2】第1の実施形態に係るデジタルカメラのハードウェア構成例を示すブロック図である。
【図3】第1の実施形態における撮影モード時の処理動作を説明するフローチャートである。
【図4】第1の実施形態における通常オペレーション処理を説明するフローチャートである。
【図5】第2の実施形態における撮影モード時の処理動作を説明するフローチャートである。
【図6A】一つの顔を選択するための切り替え時の画面推移例を示す図である。
【図6B】一つの顔を選択するための切り替え時の画面推移例を示す図である。
【図6C】一つの顔を選択するための切り替え時の画面推移例を示す図である。
【符号の説明】
【0086】
14 撮像素子
20 画像処理回路
28 表示部
30 メモリ
40 露光制御手段
42 測距制御手段
50 システム制御回路
60 モードダイヤルスイッチ
61 シャッターボタン
70 操作部
100 デジタルカメラ

【特許請求の範囲】
【請求項1】
動画像から対象物を検出する検出手段と、
前記検出手段により検出された複数の対象物のうち一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を、単一の操作部材による入力によって受け付ける操作受付手段とを備えたことを特徴とする撮像装置。
【請求項2】
前記動画像に含まれる対象物の最新の数を保持する保持手段と、
前記操作受付手段への操作回数をカウントするカウント手段とを備え、
対象物の前記最新の数と前記操作回数とを比較して、前記操作回数が多いと判定した場合、前記操作回数のカウント数をクリアするとともに、一つの対象物を選択することを解除することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記対象物の切り替え操作を受けて対象物を切り替える際に、現在選択中の対象物に対し特定方向で最も近い対象物か、該特定方向に対象物が存在しない場合は、該特定方向と反対方向で最も遠くに位置する対象物に切り替えることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記検出手段により検出する対象物が人物の顔であることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項5】
選択された一つの対象物に対して、焦点調節、露出調節、ホワイトバランス調節、調光のうち少なくともいずれか一つの処理を施す処理手段を備えたことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項6】
前記動画像は撮影時のライブ画像であることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
【請求項7】
前記動画像は動画再生時の動画像であることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
【請求項8】
前記操作受付手段は、所定の条件に合致したときのみ、一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を、単一の操作部材による入力によって受け付けることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
【請求項9】
前記所定の条件は前記検出手段で検出している対象物が所定数以下であることを特徴とする請求項8に記載の撮像装置。
【請求項10】
動画像から対象物を検出するステップと、
前記検出された複数の対象物のうち一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を、単一の操作部材による入力によって受け付けるステップとを有することを特徴とする撮像装置の制御方法。
【請求項11】
動画像から対象物を検出する処理と、
前記検出された複数の対象物のうち一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を、単一の操作部材による入力によって受け付ける処理とをコンピュータに実行させるためのプログラム。
【請求項12】
動画像から対象物を検出する処理と、
前記検出された複数の対象物のうち一つの対象物を選択するか否かの切り替え操作、及び、一つの対象物を選択する場合の対象物の切り替え操作を、単一の操作部材による入力によって受け付ける処理とをコンピュータに実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図6C】
image rotate


【公開番号】特開2010−41629(P2010−41629A)
【公開日】平成22年2月18日(2010.2.18)
【国際特許分類】
【出願番号】特願2008−204858(P2008−204858)
【出願日】平成20年8月7日(2008.8.7)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】