画像処理装置、撮像装置及び画像処理方法
【課題】 画面内に複数の被写体が存在している場合に、主被写体の選択方法に応じて、主たる被写体を見失ったときの処理を好適化すること。
【解決手段】 撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する画像処理部（２０）と、主被写体を自動的に選択する自動選択モードと、ユーザ入力に従って選択するマニュアル選択モードのいずれかの選択モードを設定するセットボタン（３０）と、設定された選択モードに従って、画像処理部により検出された被写体の中から主被写体を選択する選択手段（５０）と、選択された主被写体の領域表示を入力画像に重畳表示すると共に、主被写体を選択できなかった場合に、主被写体が最後に選択されてから予め設定された継続時間、領域表示の重畳表示を継続する表示制御手段（５０）とを有し、マニュアル選択モードにおける継続時間を、自動選択モードよりも長くしたことを特徴とする。
【解決手段】 撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する画像処理部（２０）と、主被写体を自動的に選択する自動選択モードと、ユーザ入力に従って選択するマニュアル選択モードのいずれかの選択モードを設定するセットボタン（３０）と、設定された選択モードに従って、画像処理部により検出された被写体の中から主被写体を選択する選択手段（５０）と、選択された主被写体の領域表示を入力画像に重畳表示すると共に、主被写体を選択できなかった場合に、主被写体が最後に選択されてから予め設定された継続時間、領域表示の重畳表示を継続する表示制御手段（５０）とを有し、マニュアル選択モードにおける継続時間を、自動選択モードよりも長くしたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予め設定された条件を満たす被写体を検出することが可能な画像処理装置、撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置の中には、例えば顔等の、予め設定された条件を有する被写体を検出する機能を備え、その検出結果を利用して被写体を自動的に捉えることができるものがある。
【０００３】
また、例えば被写体の顔を検出し、複数の顔が検出された場合には顔の大きさや画面の位置から優先順位をつけ、優先順位の高い顔の位置にフォーカス枠を自動的に設定するデジタルカメラが市販されている。このようにすることで、簡単に被写体の顔にフォーカスを合わせて撮影することができる。
【０００４】
また、一時的に被写体を検出できなくなってしまった場合に、すぐに被写体を検出したことを示す枠を消してしまうと見苦しくなってしまうことから、被写体を見失っても暫くは被写体を検出したことを示す枠を表示するものが提案されている。（例えば、特許文献１参照）。
【０００５】
さらに、連続して得られた画像の相関値から、特定の被写体を追尾する構成が従来知られている。この追尾技術と、予め設定された条件を有する被写体を検出する技術を組み合わせれば、検出された複数の被写体の中から特定の被写体のみを追尾することも可能である。
【０００６】
【特許文献１】特開２００７−０６８１４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
複数の被写体が検出できている場合には、最も優先順位の高い被写体が急に検出できなくなったとしても、検出できている残りの被写体の大きさや位置を用いて、随時被写体の優先順位を更新することで、いずれかの被写体を中心とした撮影を行うことができる。
【０００８】
例えば、知人と集合写真を撮るような場合であれば、優先順位が最も高い人を見失った場合に、その人を再度検出できるまで待つ必要はなく、検出できている顔の中で優先順位を更新して、フォーカス枠を再設定して撮影を行っても何ら問題はない。むしろ、見失った人を見つけようとして、無駄に時間を消費するほうが好ましくない。
【０００９】
これに対し、例えば運動会で自分の子供を追いかけて撮影する場面のように、特定の被写体のみを追尾する場合には、その特定の被写体が検出できなくなったからといって、他の被写体にフォーカス枠が勝手に変更されるとかえって使い勝手が良くない。つまり、上述した従来のカメラと異なり、特定の被写体を追尾するのであれば、その被写体を見失ったからといって、残りの被写体を用いて優先順位を更新することは好ましいとは言えない。
【課題を解決するための手段】
【００１０】
本発明は上記問題点を鑑みてなされたものであり、本発明の画像処理装置は、撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出手段と、主被写体を自動的に選択する自動選択モードと、ユーザ入力に従って選択するマニュアル選択モードのいずれかの選択モードを設定する設定手段と、前記設定手段により設定された選択モードに従って、前記検出手段により検出された被写体の中から主被写体を選択する選択手段と、前記選択手段により選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択手段により前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御手段とを有し、前記マニュアル選択モードにおける前記継続時間を、前記自動選択モードにおける前記継続時間よりも長くしたことを特徴とする。
【００１１】
また、本発明の撮像装置は、上記画像処理装置と、前記撮像素子と、前記表示された前記領域表示により示される領域の画像データに基づいて、露光を制御する露光制御手段と、前記表示された前記領域表示により示される領域の画像データに基づいて、焦点調節を行う焦点調節手段とを有することを特徴とする。
【００１２】
更に、本発明の画像処理方法は、撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出工程と、主被写体を自動的に判断する自動選択モードと、ユーザ入力に従って決定するマニュアル選択モードのいずれかの選択モードを設定する設定工程と、前記設定工程で設定された選択モードに従って、前記検出工程で検出された被写体の中から主被写体を選択する選択工程と、前記選択工程で選択された前記主被写体の領域表示を前記入力画像に重畳表示する表示工程と、前記選択工程で前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記表示工程で表示された前記領域表示の重畳表示を継続する継続工程とを有し、前記マニュアル選択モードにおける前記継続時間を、前記自動選択モードにおける前記継続時間よりも長くしたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画面内に複数の被写体が存在している場合に、主被写体の選択方法に応じて、主たる被写体を見失ったときの処理を好適化することができる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１５】
（装置構成）
図１は、本発明の実施の形態における画像処理機能を有する撮像装置の構成を示すブロック図である。
【００１６】
図１において、１００は撮像装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００１７】
１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。
【００１８】
２０は画像処理部であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、焦点調節部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行っている。さらに、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。さらに、画像処理部２０においては、撮像した画像データから被写体の顔の部分を顔領域として検出する顔検出処理も行っている。画像データから被写体の顔を検出すると、検出した顔の領域の位置やサイズ、顔の確からしさ等の顔情報を出力する。
【００１９】
２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理部２０、メモリ制御部２２を介して、或いはメモリ制御部２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００２０】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。
【００２１】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合、また、動画像撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。
【００２２】
３２は適応離散コサイン変換（ＡＤＣＴ）等、公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長部である。圧縮・伸長部３２は、メモリ３０に格納された画像を読み込んで、例えばＪＰＥＧ或いはＭＰＥＧ形式で圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。
【００２３】
４０は露光制御部であり、絞り機能を備えるシャッター１２を制御する。露光制御部４０は、フラッシュ４８と連携することによりフラッシュ調光機能も有する。４２は撮影レンズ１０のフォーカシングを制御する焦点調節部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリアである保護部１０２の動作を制御するバリア制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０及び焦点調節部４２はＴＴＬ方式を用いて制御されている。上述の通り、Ａ／Ｄ変換器１６からの画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０及び焦点調節部４２を制御する。
【００２４】
５０は撮像装置１００全体を制御するシステム制御部、５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶するメモリである。このシステム制御部５０は取得した画像データから人物の顔を検出する機能も備えている。
【００２５】
５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、これらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、撮像装置１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置されている。また、通知部５４は、その一部の機能が光学ファインダー１０４内に設置されている。
【００２６】
通知部５４の表示内容の内、ＬＣＤなどに表示するものとしては以下のものがある。まず、シングルショット／連写撮影表示、セルフタイマー表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示なども行われる。
【００２７】
また、通知部５４の表示内容の内、光学ファインダー１０４内に表示するものとしては、合焦表示、手ぶれ警告表示、フラッシュ充電表示などがある。
【００２８】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００２９】
６０、６２、６４、６６及び７０は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００３０】
ここで、これらの操作手段の具体的な説明を行う。
【００３１】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、プログラム撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
【００３２】
６２はレリーズスイッチＳＷ１で、不図示のレリーズボタンの操作途中（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。
【００３３】
６４はレリーズスイッチＳＷ２で、不図示のレリーズボタンの操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮・伸長部３２で圧縮を行い、記録媒体２００あるいは２１０に画像データを書き込む記録処理が行われる。
【００３４】
６６は傾斜センサからなる姿勢検知部で、撮像装置が構えられているのが横位置であるか、縦位置であるか等の装置の姿勢を検出する。
【００３５】
７０は各種ボタンやタッチパネルなどから成る操作部である。一例として、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、顔選択モード設定ボタンなども含む。
【００３６】
８０は電源制御部で、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。外部電源の接続の有無、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００３７】
８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター、又は外部バッテリー等からなる電源部である。
【００３８】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。
【００３９】
なお、本実施の形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【００４０】
インタフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等が挙げることができる。インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（登録商標）カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００４１】
１０２は、撮像装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護部である。
【００４２】
１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッタースピード、絞り値、露出補正などが表示される。
【００４３】
１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００４４】
１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００４５】
２００及び２１０はメモリカードやハードディスク等の記録媒体である。この記録媒体２００及び２１０は、それぞれ、半導体メモリや磁気ディスク等から構成される記録部２０２及び２１２、撮像装置１００とのインタフェース２０４及び２１４、撮像装置１００と接続を行うコネクタ２０６及び２１６を備えている。
【００４６】
記録媒体２００及び２１０としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。
【００４７】
図２は、上記構成を有する撮像装置１００の一例である電子カメラの背面構成を示す斜視図である。
【００４８】
図２において、３００は撮像装置１００の電源をＯＮ／ＯＦＦするための電源ボタン、６０は撮影モード、再生モード、動画撮影モード、静止画撮影モード等の各機能モードを切り換えるためのモードダイアルである。３０１はレリーズスイッチＳＷ１、ＳＷ２を操作するためのレリーズボタンである。３０２はセット（ＳＥＴ）ボタン、３０３はメニュー（ＭＥＮＵ）ボタン、３０４は十字ボタンで、操作部７０に対応し、撮像装置１００の設定変更や、再生モードにおける画像送りや動画再生の際の様々な操作に使用する。
【００４９】
画像表示部２８にはカメラの撮影画像が表示されると共に、静止画像及び或いは再生時の動画像もこの画像表示部２８に表示される。
【００５０】
＜第１の実施形態＞
次に、上記構成を有する撮像装置１００の本第１の実施形態における動作について説明する。
【００５１】
図３は、本第１の実施形態における撮影の全体動作を示すフローチャートである。
【００５２】
電源ボタン３００のＯＮ操作により撮像装置１００に電源が投入されて起動が完了すると、システム制御部５０は、ステップＳ１００にて、ＥＶＦ画像の（入力画像毎に）画像データから被写体として顔を検出する。更に、検出した顔の情報を基に顔枠（すなわち、主被写体を示す領域表示）を設定し、設定した顔枠をＥＶＦ画像に重畳表示する顔枠処理を行う。なお、顔枠処理の詳細については図４〜図１２を用いて後述する。
【００５３】
次に、システム制御部５０は、ステップＳ１０１にてレリーズスイッチＳＷ１（６２）がＯＮ状態であるか否かを判定する。レリーズスイッチＳＷ１（６２）がＯＮ状態であれば、システム制御部５０は処理をステップＳ１０２へ進め、ＯＦＦ状態であれば、システム制御部５０は処理をステップＳ１００へ戻して顔枠処理を繰り返す。
【００５４】
ユーザによりレリーズボタン３０１が押し込まれ、レリーズスイッチＳＷ１（６２）がＯＮ状態になると、システム制御部５０は、ステップＳ１０２にて、露光制御部４０と画像処理部２０を用いてＡＥ処理を行う。この際に、ステップＳ１００で顔枠が表示されていれば、顔枠内の輝度が適正になるように絞りとシャッタースピードを決定する。一方、ステップＳ１００で顔枠が表示されなければ、システム制御部５０は画像全体の輝度が適正になるように絞りとシャッタースピードを決定する。
【００５５】
ＡＥ処理が終了すると、システム制御部５０は、ステップＳ１０３にてＡＦ処理を行う。ＡＦ処理では、システム制御部５０は、焦点調節部４２により撮影レンズ１０の一部であるフォーカスレンズを一定量ずつ駆動しながら順次撮像を行ってＡＦ信号を生成する。そして、生成したＡＦ信号が最も大きくなるフォーカスレンズ位置を求めて、その位置を合焦位置と決定する。この際もＡＥ処理と同様に、ステップＳ１００で顔枠が表示されていれば、顔枠内の画像データにバンドパスフィルター等の処理を行ってＡＦ信号を生成する。一方、ステップＳ１００で顔枠が表示されなければ、例えば、予め設定された領域（例えば、画面中央など）の画像データを用いる等、公知の方法によりＡＦ処理を行う。
【００５６】
ＡＦ処理が終了すると、システム制御部５０は、ステップＳ１０４にてレリーズスイッチＳＷ２（６４）がＯＮ状態になるのを待つ。
【００５７】
ユーザによりレリーズボタン３０１が押し込まれ、レリーズスイッチＳＷ２（６４）がＯＮ状態になると、システム制御部５０は、処理をステップＳ１０５に進める。ステップＳ１０５では、ステップＳ１０２のＡＥ処理及びステップＳ１０３のＡＦ処理で決定した絞り、シャッタースピードおよび合焦位置を用いて、上述した露光処理、現像処理からなる撮影処理を行い、現像した画像データをメモリ３０に書き込む。
【００５８】
撮影処理が終了すると、ステップＳ１０６にて、システム制御部５０は、メモリ３０から画像データを読み出し、インタフェース９０あるいは９４、コネクタ９２あるいは９６を介して、記録媒体２００あるいは２１０へ書き込む記録処理を実行する。記録処理が終了すると、処理を終了する。
【００５９】
次に、図３のステップＳ１００で行われる顔枠処理の動作を説明する。
【００６０】
図４は、撮像装置１００における顔枠処理の動作を示すフローチャートである。
【００６１】
システム制御部５０は、ステップＳ２００にて、ＥＶＦ画像データから被写体の顔を検出する顔検出処理を行う。顔検出処理では、システム制御部５０は、画像処理部２０を用いてＥＶＦ画像データから被写体の顔を検出し、検出した全ての顔について、顔の領域の位置やサイズ、顔の確からしさ、顔の数等の顔情報を、メモリ３０に記録する。即ち、画像処理部２０は検出手段を構成する。
【００６２】
次に、システム制御部５０は、ステップＳ２０１にて、ステップＳ２００でメモリ３０に記録した顔情報を基に、検出した顔の中から主被写体とする顔を選択して主顔とする、主顔選択処理を行う。即ち、システム制御部５０は、選択手段としての役割を担う。なお、主顔選択処理の詳細については図５を用いて後述する。
【００６３】
続いて、システム制御部５０は、ステップＳ２０２にて顔選択モード切換処理を行う。この顔選択モード切換処理では、検出した顔の中から主顔（主被写体）を撮像装置１００が自動的に選択する自動選択モードと、検出した顔の中から主顔をユーザが選択し、ユーザ入力に従って主顔とするマニュアル選択モードとを切り換える。なお、顔選択モード切換処理の詳細については図６を用いて後述する。
【００６４】
最後に、システム制御部５０は、ステップＳ２０３にて、画像表示部２８に表示しているＥＶＦ画像に、ステップＳ２０１で検出された主顔の領域を示す顔枠を重ねて表示する顔枠表示処理を行う。ここでは、例えば図８（ａ）または図９（ａ）に示すＥＶＦ画面表示のように、設定されている顔選択モードに応じてＥＶＦ画像に顔枠４００または４０１を表示する。なお、顔枠表示処理の詳細については図７を用いて後述する。
【００６５】
以上の顔枠処理を繰り返し実行することにより、ＥＶＦ画像の被写体の顔部分に顔枠を重畳表示するとともに、顔枠を被写体の顔部分に追従させて表示し続けることができ、顔枠を使用してＡＦ処理およびＡＥ処理等を行って撮影することが可能となる。
【００６６】
図５は、図４のステップＳ２０１で行われる主顔選択処理の動作を示すフローチャートである。
【００６７】
先ずステップＳ３００において、システム制御部５０は、ステップＳ２００で顔が検出されたかどうかを判断する。検出されていなければ、そのまま主顔選択処理を終了し、検出されていれば、ステップＳ３０１に進む。
【００６８】
システム制御部５０は、ステップＳ３０１にて、現在の顔選択モードがマニュアル選択モードかどうかを判定する。
【００６９】
マニュアル選択モードでない場合（即ち、自動選択モードの場合）、システム制御部５０はステップＳ３０２に処理を進める。なお、本第１の実施形態においては、初期値として自動選択モードが設定されているものとする。ステップＳ３０２では、メモリ３０に記録されている検出された顔の位置やサイズ、顔の確からしさ等の顔情報を基にして、検出された顔の中から主顔を選択する。そして、ステップＳ３０８にて選択された主顔の現在位置をメモリ３０に記録すると共に、例えばシステム制御部５０内に含まれる不図示のタイマーをリセットして再スタートし、主顔選択処理を終了する。ここで、一つの顔しか検出されなければ、その顔が主顔として選択され、複数の顔が検出されれば、顔の位置、サイズ、確からしさのそれぞれの項目の合計点が最も高い顔が主顔として選択される。検出された顔の位置やサイズに変化が生じれば、そのたびに主顔が変更されることになる。
【００７０】
一方、顔選択モードがマニュアル選択モードの場合、システム制御部５０は、ステップＳ３０３に処理を進める。ステップＳ３０３では、すでに主顔が選択されている場合、選択されている主顔を現在検出できない状態（主顔ロスト中）であるか否かを判定する。ここで、マニュアル選択モード中は主顔の検出範囲を現在の主顔の周辺に限定している。
【００７１】
ステップＳ３０３にて主顔ロスト中でないと判定された場合、システム制御部５０は、ステップＳ３０４に処理を進め、主顔以外に顔を検出しているか否かを判定する。主顔以外に顔を検出していない場合、処理をステップＳ３０８に進めて主顔の現在位置をメモリ３０に記録すると共に、不図示のタイマーをリセットして再スタートし、主顔選択処理を終了する。一方、主顔以外に顔を検出している場合、処理をステップＳ３０５に進める。
【００７２】
ステップＳ３０５においては、システム制御部５０は、ユーザから十字ボタン３０４の操作により主顔の切り換えを指示されているか否かを判定する。このとき、図１２（ａ）に示すＥＶＦ画面表示例の顔枠４０２のように顔枠の左右両側に矢印が表示され、十字ボタン３０４の左右ボタンにより主顔を切り換え可能な状態であることが表示される。即ち、十字ボタン３０４が指示手段として機能する。この状態で、ユーザから主顔の切り換えが指示された場合、システム制御部５０は、ステップＳ３０６にて、図１２（ｂ）に示すＥＶＦ画面表示例のように顔枠４０２をユーザの指示に応じて切り換える。そして、処理をステップＳ３０８に進めて切り換え後の主顔の現在位置をメモリ３０に記録すると共に、不図示のタイマーをリセットして再スタートし、主顔選択処理を終了する。
【００７３】
一方、ユーザから主顔の切り換えが指示されていない場合は、処理をステップＳ３０８に進めて主顔の現在位置をメモリ３０に記録すると共に、不図示のタイマーをリセットして再スタートし、主顔選択処理を終了する。
【００７４】
また、ステップＳ３０３にて主顔ロスト中と判定された場合、システム制御部５０は、ステップＳ３０７に処理を進める。ステップＳ３０７では、図１３（ａ）に示すように、メモリ３０に記録されている主顔の位置の顔枠の左右両側に矢印が表示される。図１３（ａ）に示す例では、顔枠内の顔が横を向いているため、ステップＳ２００の顔検出処理では検出がされておらず、主顔ロスト中となっている。この状態で、ユーザから主顔の切り換えが指示された場合、システム制御部５０は、ステップＳ３０６にて、図１３（ｂ）に示すＥＶＦ画面表示例のように顔枠４０２をユーザの指示に応じて切り換える。そして、処理をステップＳ３０８に進めて切り換え後の主顔の現在位置をメモリ３０に記録すると共に、不図示のタイマーをリセットして再スタートし、主顔選択処理を終了する。
【００７５】
一方、ユーザから主顔の切り換えが指示されていない場合は、そのまま主顔選択処理を終了する。
【００７６】
次に、図６のフローチャートを参照して、図４のステップＳ２０２で行われる顔選択モード切換処理の動作について説明する。
【００７７】
システム制御部５０は、ステップＳ４００にて、現在の顔選択モードがマニュアル選択モードであるか否かを判定する。
【００７８】
顔選択モードがマニュアル選択モードでは無い場合、システム制御部５０は、ステップＳ４０１にて、ユーザからセットボタン３０２の操作によりマニュアル選択モードを開始する指示がなされているか否かを判定する。即ち、セットボタン３０２が設定手段として機能する。指示がなされていれば、処理をステップＳ４０２に進めて顔選択モードを自動選択モードからマニュアル選択モードに切り換えて、顔選択モード切換処理を終了する。顔選択モードがマニュアル選択モードに切り換えられると、ＥＶＦ画像表示において、図８（ａ）に示すような顔枠４００から、図９（ａ）に示すような顔枠４０１の表示に変わる。
【００７９】
また、現在の顔選択モードがマニュアル選択モードの場合、システム制御部５０は、ステップＳ４０３にて、ユーザからセットボタン３０２の操作によりマニュアル選択モードを解除する指示がなされているか否か判定する。指示がなされていれば、処理をステップＳ４０４に進めてマニュアル選択モードを解除し、自動選択モードに切り換えて、顔選択モード切換処理を終了する。顔選択モードが自動選択モードに切り換えられると、ＥＶＦ画像表示において、図９（ａ）に示すような顔枠４０１から、図８（ａ）に示すような顔枠４００の表示に変わる。
【００８０】
最後に、図７のフローチャートを参照して、図４のステップＳ２０３で行われる顔枠表示処理の動作について説明する。図７に示す処理はシステム制御部５０の制御により行われ、システム制御部５０は表示制御手段として機能する。
【００８１】
システム制御部５０は、ステップＳ５００にて、主顔を現在検出できない状態（主顔ロスト中）であるか否かを判定する。
【００８２】
主顔ロスト中でなければ、システム制御部５０は、ステップＳ５０１にて顔枠位置をメモリ３０に記録されている主顔の現在位置に更新し、ステップＳ５０２にて顔枠の表示を更新して、顔枠表示処理を終了する。この際に、設定されている顔選択モード（自動選択モードまたはマニュアル選択モード）に従って顔枠の種類を例えば図８（ａ）に示す顔枠４００と図９（ａ）に示す顔枠４０１のいずれかが表示される。これにより、主顔の位置に顔枠を重ねて表示するとともに、顔枠を主顔に追従させて表示し続けることが可能となる。
【００８３】
一方、主顔ロスト中の場合、システム制御部５０は、ステップＳ５０３にて、現在の顔選択モードがマニュアル選択モードであるか否かを判定する。
【００８４】
顔選択モードがマニュアル選択モードでは無い場合（自動選択モードの場合）、システム制御部５０は、処理をステップＳ５０４に進め、主顔ロスト中となってからのロスト時間が１秒を経過しているか否かを判定する。この判定は、図５のステップＳ３０８でスタートされるタイマーのカウントにより判定することができる。ロスト時間が１秒を経過していない場合は、顔枠表示を変更せずに顔枠表示処理を終了する。従って、顔選択モードが自動選択モードの場合、一時的に主顔を検出できない場合であっても、ロスト時間が１秒以内であれば図８（ａ）に示すＥＶＦ画面表示例のように顔枠４００が継続表示される。即ち、ロスト時間と比較される１秒が、自動選択モードにおいて顔枠４００が継続表示される継続時間となる。これにより、一時的に主顔を検出できない場合の顔枠のちらつきを抑えることができる。
【００８５】
一方、ロスト時間が１秒を経過している場合は、システム制御部５０は、ステップＳ５０５にて顔枠を消去して顔枠表示処理を終了する。これにより、顔選択モードが自動選択モードの場合、被写体が横を向く等の理由により主顔を検出できない状態が少し続くと図８（ｂ）に示すＥＶＦ画面表示例のように顔枠が消去されるので、顔枠で被写体を捉え続けることができなくなる。
【００８６】
なお、図１０（ａ）に示すＥＶＦ画面表示例のように主顔以外の顔が検出されている場合には、顔選択モードが自動選択モードの場合、ロスト時間に関わらずそれまでの主顔が検出できなくなると、別の顔が主顔として選択される。この処理は、図５の主顔選択処理におけるステップＳ３０１で行われる。従って、図１０（ｂ）に示すＥＶＦ画面表示例のように、顔枠４００が別の被写体の顔に移ることになる。このように、自動選択モードは、画像内に存在する複数の顔に対して、撮像装置が自動的に優先順位を設定して主顔を選択するモードである。そのため、それまで主顔として選択されていた顔を見失った場合には、すぐに他の顔を主顔として選択する。
【００８７】
一方、顔選択モードがマニュアル選択モードの場合（ステップＳ５０３でＹＥＳ）、システム制御部５０は、処理をステップＳ５０６に進め、主顔ロスト中となってからのロスト時間が６秒を経過しているか否かを判定する。ロスト時間が６秒を経過していない場合は、顔枠表示を変更せずに顔枠表示処理を終了する。これにより、顔選択モードがマニュアル選択モードの場合、被写体が横を向く等の理由により主顔をしばらく検出できない場合であっても、ロスト時間が６秒以内であれば図９（ｂ）に示すＥＶＦ画面表示例のように顔枠４０１が更新されること無く継続表示される。従って、その場合には表示されている顔枠により被写体を捉え続けることが可能となる。また、図１１（ａ）は、主顔以外に別の被写体の顔が検出されている場合であって、同様な理由により主顔を検出できず、且つ、主顔が変更されなかった場合のＥＶＦ画面表示例を示している。このような場合であっても、ロスト時間が６秒以内であれば図１１（ｂ）に示すＥＶＦ画面表示例のように顔枠４０１が更新されること無く表示され続ける。即ち、ロスト時間と比較される６秒が、マニュアル選択モードにおいて顔枠４０１が継続表示される継続時間となる。従って、一時的に主顔ロスト状態になった場合でも、表示されている顔枠で目的の被写体を捉え続けることが可能となる。
【００８８】
一方、ロスト時間が６秒を経過している場合は、システム制御部５０は、ステップＳ５０５にて顔枠を消去して顔枠表示処理を終了する。これにより、顔選択モードがマニュアル選択モードの場合、主顔を検出できない状態で６秒が経過すると図８（ｂ）に示すＥＶＦ画面表示例のように顔枠が消去される。また、この時点でマニュアル選択モードを解除しても良い。このように、マニュアル選択モードでは、それまで主顔として選択されていた顔は、撮像装置のユーザの意図によって選択された顔である可能性が高い。従って、それまで主顔として選択されていた顔を見失った場合でも、簡単には他の顔を主顔として選択しない構成となっている。そのため、顔枠が消去されるまでの時間も、自動選択モードよりも長く設定されている。
【００８９】
以上、図１〜図１３を用いて説明したように、本第１の実施形態によれば、主被写体を一時的に検出できなくなった場合に、検出不能となる直前の位置にて顔枠の表示を継続するため、表示されている顔枠で被写体を捉え続けることができる。
【００９０】
なお、上記第１の実施形態では、自動選択モードの場合にはロスト時間が１秒過ぎると顔枠を消去し、マニュアル選択モードの場合にはロスト時間が６秒過ぎると顔枠を消去する場合について説明した。しかしながら本発明はこれに限るものではなく、ロスト時間と比較する継続時間は任意に設定することが可能である。また、継続時間をユーザが設定できるように構成しても良い。
【００９１】
また、顔枠の種類は図８乃至図１３に示すものに限定されるものではなく、任意の種類の顔枠であって構わない。また、自動選択モードとマニュアル選択モードとで同種類の顔枠を用いても構わないが、異なる種類の枠で表現することによりユーザに選択されている選択モードを知らせることができるため、異なる種類の枠とする方が好ましい。
【００９２】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００９３】
第１の実施形態では、主顔を検出できない状態で所定の時間が経過すると顔枠を消去する場合について説明した。これに対し、本第２の実施形態では、顔選択モードがマニュアル選択モードの場合に、主顔の検出結果に関わらず顔枠を表示したまま、即ち、継続表示する時間制限を設けないようにする。なお、これ以外は上述した第１の実施形態と同様であるので、説明を省略する。
【００９４】
図１４は、本第２の実施形態における顔枠表示処理（図４のステップＳ２０３）の動作を示すフローチャートであり、図７の処理に代えて行われる。なお、図７と同様の処理には同じステップ番号を付し、適宜説明を省略する。
【００９５】
図１４に示す処理においては、ステップＳ５００で主顔を現在検出できない状態（主顔ロスト中）であると判定され、ステップＳ５０３でマニュアル選択モードが選択されていると判断されると、そのまま処理を終了する。これにより、顔選択モードがマニュアル選択モードの場合、主顔ロスト中であっても図９（ｂ）に示すＥＶＦ画面表示例のように顔枠４０１が表示され続ける。そのため、被写体の顔が検出できなくなった場合でも、表示されている顔枠で被写体を捉え続けることが可能となる。
【００９６】
なお、顔ロスト中は図９（ｃ）に示すＥＶＦ画像表示例の顔枠４０３のように顔枠の表示の仕方を変えることにより、ユーザに被写体の顔が検出できない状態であることを通知するようにしても良い。
【００９７】
また、便宜上、説明に用いた図では顔枠を一つのみ表示しているが、複数の顔枠を表示することも可能であり、その場合はどの顔が主顔であるかを何らかの方法により区別して表示するようにしても良い。
【００９８】
なお、上述した実施の形態では、被写体として顔を検出する場合について説明したが、本発明は顔に限るものではなく、予め設定された条件を満たす被写体を検出するものであれば、本発明を適用可能である。
【００９９】
＜他の実施形態＞
なお、本発明は、複数の機器（例えば、画像処理装置を構成するホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用してもよい。また、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【０１００】
また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０１】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図である。
【図２】本発明の実施の形態における撮像装置の背面を示す斜視図である。
【図３】本発明の第１の実施形態における撮影の全体動作を示すフローチャートである。
【図４】本発明の第１の実施形態における顔枠処理の動作を示すフローチャートである。
【図５】本発明の第１の実施形態における主顔選択処理の動作を示すフローチャートである。
【図６】本発明の第１の実施形態における顔選択モード切換処理の動作を示すフローチャートである。
【図７】本発明の第１の実施形態における顔枠表示処理の動作を示すフローチャートである。
【図８】本発明の第１の実施形態における自動選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図９】本発明の第１の実施形態におけるマニュアル選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図１０】本発明の第１の実施形態における自動選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図１１】本発明の第１の実施形態におけるマニュアル選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図１２】本発明の第１の実施形態におけるマニュアル選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図１３】本発明の第１の実施形態におけるマニュアル選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図１４】本発明の第２の実施形態における顔枠表示処理の動作を示すフローチャートである。
【符号の説明】
【０１０３】
１０：撮影レンズ、１２：シャッター、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生部、２０：画像処理部、２２：メモリ制御部、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：圧縮伸長部、４０：露光制御部、４２：焦点調節部、４４：ズーム制御部、４６：バリア制御部、４８：フラッシュ、５０：システム制御部、５２：メモリ、５４：通知部、５６：不揮発性メモリ、６０：モードダイアルスイッチ、６２：シャッタースイッチＳＷ１、６４：シャッタースイッチＳＷ２、６６：画像表示ＯＮ／ＯＦＦスイッチ、７０：操作部、８０：電源制御部、８２、８４：コネクタ、８６：電源、９０、９４：入出力Ｉ／Ｆ、９２、９６：コネクタ、９８：記録媒体着脱検知部、１００：撮像装置、１０２：保護部、１１０：通信部、１１２：コネクタ（アンテナ）、２００、２１０：記録媒体、２０２、２１２：記録部、２０４、２１４：インタフェース、２０６、２１６：コネクタ、３００：電源ボタン、３０１：レリーズボタン、３０２：セットボタン、３０３：メニューボタン、３０４：十字ボタン、４００、４０１、４０２、４０３：顔枠
【技術分野】
【０００１】
本発明は、予め設定された条件を満たす被写体を検出することが可能な画像処理装置、撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置の中には、例えば顔等の、予め設定された条件を有する被写体を検出する機能を備え、その検出結果を利用して被写体を自動的に捉えることができるものがある。
【０００３】
また、例えば被写体の顔を検出し、複数の顔が検出された場合には顔の大きさや画面の位置から優先順位をつけ、優先順位の高い顔の位置にフォーカス枠を自動的に設定するデジタルカメラが市販されている。このようにすることで、簡単に被写体の顔にフォーカスを合わせて撮影することができる。
【０００４】
また、一時的に被写体を検出できなくなってしまった場合に、すぐに被写体を検出したことを示す枠を消してしまうと見苦しくなってしまうことから、被写体を見失っても暫くは被写体を検出したことを示す枠を表示するものが提案されている。（例えば、特許文献１参照）。
【０００５】
さらに、連続して得られた画像の相関値から、特定の被写体を追尾する構成が従来知られている。この追尾技術と、予め設定された条件を有する被写体を検出する技術を組み合わせれば、検出された複数の被写体の中から特定の被写体のみを追尾することも可能である。
【０００６】
【特許文献１】特開２００７−０６８１４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
複数の被写体が検出できている場合には、最も優先順位の高い被写体が急に検出できなくなったとしても、検出できている残りの被写体の大きさや位置を用いて、随時被写体の優先順位を更新することで、いずれかの被写体を中心とした撮影を行うことができる。
【０００８】
例えば、知人と集合写真を撮るような場合であれば、優先順位が最も高い人を見失った場合に、その人を再度検出できるまで待つ必要はなく、検出できている顔の中で優先順位を更新して、フォーカス枠を再設定して撮影を行っても何ら問題はない。むしろ、見失った人を見つけようとして、無駄に時間を消費するほうが好ましくない。
【０００９】
これに対し、例えば運動会で自分の子供を追いかけて撮影する場面のように、特定の被写体のみを追尾する場合には、その特定の被写体が検出できなくなったからといって、他の被写体にフォーカス枠が勝手に変更されるとかえって使い勝手が良くない。つまり、上述した従来のカメラと異なり、特定の被写体を追尾するのであれば、その被写体を見失ったからといって、残りの被写体を用いて優先順位を更新することは好ましいとは言えない。
【課題を解決するための手段】
【００１０】
本発明は上記問題点を鑑みてなされたものであり、本発明の画像処理装置は、撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出手段と、主被写体を自動的に選択する自動選択モードと、ユーザ入力に従って選択するマニュアル選択モードのいずれかの選択モードを設定する設定手段と、前記設定手段により設定された選択モードに従って、前記検出手段により検出された被写体の中から主被写体を選択する選択手段と、前記選択手段により選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択手段により前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御手段とを有し、前記マニュアル選択モードにおける前記継続時間を、前記自動選択モードにおける前記継続時間よりも長くしたことを特徴とする。
【００１１】
また、本発明の撮像装置は、上記画像処理装置と、前記撮像素子と、前記表示された前記領域表示により示される領域の画像データに基づいて、露光を制御する露光制御手段と、前記表示された前記領域表示により示される領域の画像データに基づいて、焦点調節を行う焦点調節手段とを有することを特徴とする。
【００１２】
更に、本発明の画像処理方法は、撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出工程と、主被写体を自動的に判断する自動選択モードと、ユーザ入力に従って決定するマニュアル選択モードのいずれかの選択モードを設定する設定工程と、前記設定工程で設定された選択モードに従って、前記検出工程で検出された被写体の中から主被写体を選択する選択工程と、前記選択工程で選択された前記主被写体の領域表示を前記入力画像に重畳表示する表示工程と、前記選択工程で前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記表示工程で表示された前記領域表示の重畳表示を継続する継続工程とを有し、前記マニュアル選択モードにおける前記継続時間を、前記自動選択モードにおける前記継続時間よりも長くしたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画面内に複数の被写体が存在している場合に、主被写体の選択方法に応じて、主たる被写体を見失ったときの処理を好適化することができる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１５】
（装置構成）
図１は、本発明の実施の形態における画像処理機能を有する撮像装置の構成を示すブロック図である。
【００１６】
図１において、１００は撮像装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００１７】
１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。
【００１８】
２０は画像処理部であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、焦点調節部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行っている。さらに、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。さらに、画像処理部２０においては、撮像した画像データから被写体の顔の部分を顔領域として検出する顔検出処理も行っている。画像データから被写体の顔を検出すると、検出した顔の領域の位置やサイズ、顔の確からしさ等の顔情報を出力する。
【００１９】
２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理部２０、メモリ制御部２２を介して、或いはメモリ制御部２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００２０】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。
【００２１】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合、また、動画像撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。
【００２２】
３２は適応離散コサイン変換（ＡＤＣＴ）等、公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長部である。圧縮・伸長部３２は、メモリ３０に格納された画像を読み込んで、例えばＪＰＥＧ或いはＭＰＥＧ形式で圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。
【００２３】
４０は露光制御部であり、絞り機能を備えるシャッター１２を制御する。露光制御部４０は、フラッシュ４８と連携することによりフラッシュ調光機能も有する。４２は撮影レンズ１０のフォーカシングを制御する焦点調節部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリアである保護部１０２の動作を制御するバリア制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０及び焦点調節部４２はＴＴＬ方式を用いて制御されている。上述の通り、Ａ／Ｄ変換器１６からの画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０及び焦点調節部４２を制御する。
【００２４】
５０は撮像装置１００全体を制御するシステム制御部、５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶するメモリである。このシステム制御部５０は取得した画像データから人物の顔を検出する機能も備えている。
【００２５】
５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、これらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、撮像装置１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置されている。また、通知部５４は、その一部の機能が光学ファインダー１０４内に設置されている。
【００２６】
通知部５４の表示内容の内、ＬＣＤなどに表示するものとしては以下のものがある。まず、シングルショット／連写撮影表示、セルフタイマー表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示なども行われる。
【００２７】
また、通知部５４の表示内容の内、光学ファインダー１０４内に表示するものとしては、合焦表示、手ぶれ警告表示、フラッシュ充電表示などがある。
【００２８】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００２９】
６０、６２、６４、６６及び７０は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００３０】
ここで、これらの操作手段の具体的な説明を行う。
【００３１】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、プログラム撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
【００３２】
６２はレリーズスイッチＳＷ１で、不図示のレリーズボタンの操作途中（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。
【００３３】
６４はレリーズスイッチＳＷ２で、不図示のレリーズボタンの操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮・伸長部３２で圧縮を行い、記録媒体２００あるいは２１０に画像データを書き込む記録処理が行われる。
【００３４】
６６は傾斜センサからなる姿勢検知部で、撮像装置が構えられているのが横位置であるか、縦位置であるか等の装置の姿勢を検出する。
【００３５】
７０は各種ボタンやタッチパネルなどから成る操作部である。一例として、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、顔選択モード設定ボタンなども含む。
【００３６】
８０は電源制御部で、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。外部電源の接続の有無、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００３７】
８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター、又は外部バッテリー等からなる電源部である。
【００３８】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。
【００３９】
なお、本実施の形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【００４０】
インタフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等が挙げることができる。インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（登録商標）カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００４１】
１０２は、撮像装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護部である。
【００４２】
１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッタースピード、絞り値、露出補正などが表示される。
【００４３】
１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００４４】
１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００４５】
２００及び２１０はメモリカードやハードディスク等の記録媒体である。この記録媒体２００及び２１０は、それぞれ、半導体メモリや磁気ディスク等から構成される記録部２０２及び２１２、撮像装置１００とのインタフェース２０４及び２１４、撮像装置１００と接続を行うコネクタ２０６及び２１６を備えている。
【００４６】
記録媒体２００及び２１０としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。
【００４７】
図２は、上記構成を有する撮像装置１００の一例である電子カメラの背面構成を示す斜視図である。
【００４８】
図２において、３００は撮像装置１００の電源をＯＮ／ＯＦＦするための電源ボタン、６０は撮影モード、再生モード、動画撮影モード、静止画撮影モード等の各機能モードを切り換えるためのモードダイアルである。３０１はレリーズスイッチＳＷ１、ＳＷ２を操作するためのレリーズボタンである。３０２はセット（ＳＥＴ）ボタン、３０３はメニュー（ＭＥＮＵ）ボタン、３０４は十字ボタンで、操作部７０に対応し、撮像装置１００の設定変更や、再生モードにおける画像送りや動画再生の際の様々な操作に使用する。
【００４９】
画像表示部２８にはカメラの撮影画像が表示されると共に、静止画像及び或いは再生時の動画像もこの画像表示部２８に表示される。
【００５０】
＜第１の実施形態＞
次に、上記構成を有する撮像装置１００の本第１の実施形態における動作について説明する。
【００５１】
図３は、本第１の実施形態における撮影の全体動作を示すフローチャートである。
【００５２】
電源ボタン３００のＯＮ操作により撮像装置１００に電源が投入されて起動が完了すると、システム制御部５０は、ステップＳ１００にて、ＥＶＦ画像の（入力画像毎に）画像データから被写体として顔を検出する。更に、検出した顔の情報を基に顔枠（すなわち、主被写体を示す領域表示）を設定し、設定した顔枠をＥＶＦ画像に重畳表示する顔枠処理を行う。なお、顔枠処理の詳細については図４〜図１２を用いて後述する。
【００５３】
次に、システム制御部５０は、ステップＳ１０１にてレリーズスイッチＳＷ１（６２）がＯＮ状態であるか否かを判定する。レリーズスイッチＳＷ１（６２）がＯＮ状態であれば、システム制御部５０は処理をステップＳ１０２へ進め、ＯＦＦ状態であれば、システム制御部５０は処理をステップＳ１００へ戻して顔枠処理を繰り返す。
【００５４】
ユーザによりレリーズボタン３０１が押し込まれ、レリーズスイッチＳＷ１（６２）がＯＮ状態になると、システム制御部５０は、ステップＳ１０２にて、露光制御部４０と画像処理部２０を用いてＡＥ処理を行う。この際に、ステップＳ１００で顔枠が表示されていれば、顔枠内の輝度が適正になるように絞りとシャッタースピードを決定する。一方、ステップＳ１００で顔枠が表示されなければ、システム制御部５０は画像全体の輝度が適正になるように絞りとシャッタースピードを決定する。
【００５５】
ＡＥ処理が終了すると、システム制御部５０は、ステップＳ１０３にてＡＦ処理を行う。ＡＦ処理では、システム制御部５０は、焦点調節部４２により撮影レンズ１０の一部であるフォーカスレンズを一定量ずつ駆動しながら順次撮像を行ってＡＦ信号を生成する。そして、生成したＡＦ信号が最も大きくなるフォーカスレンズ位置を求めて、その位置を合焦位置と決定する。この際もＡＥ処理と同様に、ステップＳ１００で顔枠が表示されていれば、顔枠内の画像データにバンドパスフィルター等の処理を行ってＡＦ信号を生成する。一方、ステップＳ１００で顔枠が表示されなければ、例えば、予め設定された領域（例えば、画面中央など）の画像データを用いる等、公知の方法によりＡＦ処理を行う。
【００５６】
ＡＦ処理が終了すると、システム制御部５０は、ステップＳ１０４にてレリーズスイッチＳＷ２（６４）がＯＮ状態になるのを待つ。
【００５７】
ユーザによりレリーズボタン３０１が押し込まれ、レリーズスイッチＳＷ２（６４）がＯＮ状態になると、システム制御部５０は、処理をステップＳ１０５に進める。ステップＳ１０５では、ステップＳ１０２のＡＥ処理及びステップＳ１０３のＡＦ処理で決定した絞り、シャッタースピードおよび合焦位置を用いて、上述した露光処理、現像処理からなる撮影処理を行い、現像した画像データをメモリ３０に書き込む。
【００５８】
撮影処理が終了すると、ステップＳ１０６にて、システム制御部５０は、メモリ３０から画像データを読み出し、インタフェース９０あるいは９４、コネクタ９２あるいは９６を介して、記録媒体２００あるいは２１０へ書き込む記録処理を実行する。記録処理が終了すると、処理を終了する。
【００５９】
次に、図３のステップＳ１００で行われる顔枠処理の動作を説明する。
【００６０】
図４は、撮像装置１００における顔枠処理の動作を示すフローチャートである。
【００６１】
システム制御部５０は、ステップＳ２００にて、ＥＶＦ画像データから被写体の顔を検出する顔検出処理を行う。顔検出処理では、システム制御部５０は、画像処理部２０を用いてＥＶＦ画像データから被写体の顔を検出し、検出した全ての顔について、顔の領域の位置やサイズ、顔の確からしさ、顔の数等の顔情報を、メモリ３０に記録する。即ち、画像処理部２０は検出手段を構成する。
【００６２】
次に、システム制御部５０は、ステップＳ２０１にて、ステップＳ２００でメモリ３０に記録した顔情報を基に、検出した顔の中から主被写体とする顔を選択して主顔とする、主顔選択処理を行う。即ち、システム制御部５０は、選択手段としての役割を担う。なお、主顔選択処理の詳細については図５を用いて後述する。
【００６３】
続いて、システム制御部５０は、ステップＳ２０２にて顔選択モード切換処理を行う。この顔選択モード切換処理では、検出した顔の中から主顔（主被写体）を撮像装置１００が自動的に選択する自動選択モードと、検出した顔の中から主顔をユーザが選択し、ユーザ入力に従って主顔とするマニュアル選択モードとを切り換える。なお、顔選択モード切換処理の詳細については図６を用いて後述する。
【００６４】
最後に、システム制御部５０は、ステップＳ２０３にて、画像表示部２８に表示しているＥＶＦ画像に、ステップＳ２０１で検出された主顔の領域を示す顔枠を重ねて表示する顔枠表示処理を行う。ここでは、例えば図８（ａ）または図９（ａ）に示すＥＶＦ画面表示のように、設定されている顔選択モードに応じてＥＶＦ画像に顔枠４００または４０１を表示する。なお、顔枠表示処理の詳細については図７を用いて後述する。
【００６５】
以上の顔枠処理を繰り返し実行することにより、ＥＶＦ画像の被写体の顔部分に顔枠を重畳表示するとともに、顔枠を被写体の顔部分に追従させて表示し続けることができ、顔枠を使用してＡＦ処理およびＡＥ処理等を行って撮影することが可能となる。
【００６６】
図５は、図４のステップＳ２０１で行われる主顔選択処理の動作を示すフローチャートである。
【００６７】
先ずステップＳ３００において、システム制御部５０は、ステップＳ２００で顔が検出されたかどうかを判断する。検出されていなければ、そのまま主顔選択処理を終了し、検出されていれば、ステップＳ３０１に進む。
【００６８】
システム制御部５０は、ステップＳ３０１にて、現在の顔選択モードがマニュアル選択モードかどうかを判定する。
【００６９】
マニュアル選択モードでない場合（即ち、自動選択モードの場合）、システム制御部５０はステップＳ３０２に処理を進める。なお、本第１の実施形態においては、初期値として自動選択モードが設定されているものとする。ステップＳ３０２では、メモリ３０に記録されている検出された顔の位置やサイズ、顔の確からしさ等の顔情報を基にして、検出された顔の中から主顔を選択する。そして、ステップＳ３０８にて選択された主顔の現在位置をメモリ３０に記録すると共に、例えばシステム制御部５０内に含まれる不図示のタイマーをリセットして再スタートし、主顔選択処理を終了する。ここで、一つの顔しか検出されなければ、その顔が主顔として選択され、複数の顔が検出されれば、顔の位置、サイズ、確からしさのそれぞれの項目の合計点が最も高い顔が主顔として選択される。検出された顔の位置やサイズに変化が生じれば、そのたびに主顔が変更されることになる。
【００７０】
一方、顔選択モードがマニュアル選択モードの場合、システム制御部５０は、ステップＳ３０３に処理を進める。ステップＳ３０３では、すでに主顔が選択されている場合、選択されている主顔を現在検出できない状態（主顔ロスト中）であるか否かを判定する。ここで、マニュアル選択モード中は主顔の検出範囲を現在の主顔の周辺に限定している。
【００７１】
ステップＳ３０３にて主顔ロスト中でないと判定された場合、システム制御部５０は、ステップＳ３０４に処理を進め、主顔以外に顔を検出しているか否かを判定する。主顔以外に顔を検出していない場合、処理をステップＳ３０８に進めて主顔の現在位置をメモリ３０に記録すると共に、不図示のタイマーをリセットして再スタートし、主顔選択処理を終了する。一方、主顔以外に顔を検出している場合、処理をステップＳ３０５に進める。
【００７２】
ステップＳ３０５においては、システム制御部５０は、ユーザから十字ボタン３０４の操作により主顔の切り換えを指示されているか否かを判定する。このとき、図１２（ａ）に示すＥＶＦ画面表示例の顔枠４０２のように顔枠の左右両側に矢印が表示され、十字ボタン３０４の左右ボタンにより主顔を切り換え可能な状態であることが表示される。即ち、十字ボタン３０４が指示手段として機能する。この状態で、ユーザから主顔の切り換えが指示された場合、システム制御部５０は、ステップＳ３０６にて、図１２（ｂ）に示すＥＶＦ画面表示例のように顔枠４０２をユーザの指示に応じて切り換える。そして、処理をステップＳ３０８に進めて切り換え後の主顔の現在位置をメモリ３０に記録すると共に、不図示のタイマーをリセットして再スタートし、主顔選択処理を終了する。
【００７３】
一方、ユーザから主顔の切り換えが指示されていない場合は、処理をステップＳ３０８に進めて主顔の現在位置をメモリ３０に記録すると共に、不図示のタイマーをリセットして再スタートし、主顔選択処理を終了する。
【００７４】
また、ステップＳ３０３にて主顔ロスト中と判定された場合、システム制御部５０は、ステップＳ３０７に処理を進める。ステップＳ３０７では、図１３（ａ）に示すように、メモリ３０に記録されている主顔の位置の顔枠の左右両側に矢印が表示される。図１３（ａ）に示す例では、顔枠内の顔が横を向いているため、ステップＳ２００の顔検出処理では検出がされておらず、主顔ロスト中となっている。この状態で、ユーザから主顔の切り換えが指示された場合、システム制御部５０は、ステップＳ３０６にて、図１３（ｂ）に示すＥＶＦ画面表示例のように顔枠４０２をユーザの指示に応じて切り換える。そして、処理をステップＳ３０８に進めて切り換え後の主顔の現在位置をメモリ３０に記録すると共に、不図示のタイマーをリセットして再スタートし、主顔選択処理を終了する。
【００７５】
一方、ユーザから主顔の切り換えが指示されていない場合は、そのまま主顔選択処理を終了する。
【００７６】
次に、図６のフローチャートを参照して、図４のステップＳ２０２で行われる顔選択モード切換処理の動作について説明する。
【００７７】
システム制御部５０は、ステップＳ４００にて、現在の顔選択モードがマニュアル選択モードであるか否かを判定する。
【００７８】
顔選択モードがマニュアル選択モードでは無い場合、システム制御部５０は、ステップＳ４０１にて、ユーザからセットボタン３０２の操作によりマニュアル選択モードを開始する指示がなされているか否かを判定する。即ち、セットボタン３０２が設定手段として機能する。指示がなされていれば、処理をステップＳ４０２に進めて顔選択モードを自動選択モードからマニュアル選択モードに切り換えて、顔選択モード切換処理を終了する。顔選択モードがマニュアル選択モードに切り換えられると、ＥＶＦ画像表示において、図８（ａ）に示すような顔枠４００から、図９（ａ）に示すような顔枠４０１の表示に変わる。
【００７９】
また、現在の顔選択モードがマニュアル選択モードの場合、システム制御部５０は、ステップＳ４０３にて、ユーザからセットボタン３０２の操作によりマニュアル選択モードを解除する指示がなされているか否か判定する。指示がなされていれば、処理をステップＳ４０４に進めてマニュアル選択モードを解除し、自動選択モードに切り換えて、顔選択モード切換処理を終了する。顔選択モードが自動選択モードに切り換えられると、ＥＶＦ画像表示において、図９（ａ）に示すような顔枠４０１から、図８（ａ）に示すような顔枠４００の表示に変わる。
【００８０】
最後に、図７のフローチャートを参照して、図４のステップＳ２０３で行われる顔枠表示処理の動作について説明する。図７に示す処理はシステム制御部５０の制御により行われ、システム制御部５０は表示制御手段として機能する。
【００８１】
システム制御部５０は、ステップＳ５００にて、主顔を現在検出できない状態（主顔ロスト中）であるか否かを判定する。
【００８２】
主顔ロスト中でなければ、システム制御部５０は、ステップＳ５０１にて顔枠位置をメモリ３０に記録されている主顔の現在位置に更新し、ステップＳ５０２にて顔枠の表示を更新して、顔枠表示処理を終了する。この際に、設定されている顔選択モード（自動選択モードまたはマニュアル選択モード）に従って顔枠の種類を例えば図８（ａ）に示す顔枠４００と図９（ａ）に示す顔枠４０１のいずれかが表示される。これにより、主顔の位置に顔枠を重ねて表示するとともに、顔枠を主顔に追従させて表示し続けることが可能となる。
【００８３】
一方、主顔ロスト中の場合、システム制御部５０は、ステップＳ５０３にて、現在の顔選択モードがマニュアル選択モードであるか否かを判定する。
【００８４】
顔選択モードがマニュアル選択モードでは無い場合（自動選択モードの場合）、システム制御部５０は、処理をステップＳ５０４に進め、主顔ロスト中となってからのロスト時間が１秒を経過しているか否かを判定する。この判定は、図５のステップＳ３０８でスタートされるタイマーのカウントにより判定することができる。ロスト時間が１秒を経過していない場合は、顔枠表示を変更せずに顔枠表示処理を終了する。従って、顔選択モードが自動選択モードの場合、一時的に主顔を検出できない場合であっても、ロスト時間が１秒以内であれば図８（ａ）に示すＥＶＦ画面表示例のように顔枠４００が継続表示される。即ち、ロスト時間と比較される１秒が、自動選択モードにおいて顔枠４００が継続表示される継続時間となる。これにより、一時的に主顔を検出できない場合の顔枠のちらつきを抑えることができる。
【００８５】
一方、ロスト時間が１秒を経過している場合は、システム制御部５０は、ステップＳ５０５にて顔枠を消去して顔枠表示処理を終了する。これにより、顔選択モードが自動選択モードの場合、被写体が横を向く等の理由により主顔を検出できない状態が少し続くと図８（ｂ）に示すＥＶＦ画面表示例のように顔枠が消去されるので、顔枠で被写体を捉え続けることができなくなる。
【００８６】
なお、図１０（ａ）に示すＥＶＦ画面表示例のように主顔以外の顔が検出されている場合には、顔選択モードが自動選択モードの場合、ロスト時間に関わらずそれまでの主顔が検出できなくなると、別の顔が主顔として選択される。この処理は、図５の主顔選択処理におけるステップＳ３０１で行われる。従って、図１０（ｂ）に示すＥＶＦ画面表示例のように、顔枠４００が別の被写体の顔に移ることになる。このように、自動選択モードは、画像内に存在する複数の顔に対して、撮像装置が自動的に優先順位を設定して主顔を選択するモードである。そのため、それまで主顔として選択されていた顔を見失った場合には、すぐに他の顔を主顔として選択する。
【００８７】
一方、顔選択モードがマニュアル選択モードの場合（ステップＳ５０３でＹＥＳ）、システム制御部５０は、処理をステップＳ５０６に進め、主顔ロスト中となってからのロスト時間が６秒を経過しているか否かを判定する。ロスト時間が６秒を経過していない場合は、顔枠表示を変更せずに顔枠表示処理を終了する。これにより、顔選択モードがマニュアル選択モードの場合、被写体が横を向く等の理由により主顔をしばらく検出できない場合であっても、ロスト時間が６秒以内であれば図９（ｂ）に示すＥＶＦ画面表示例のように顔枠４０１が更新されること無く継続表示される。従って、その場合には表示されている顔枠により被写体を捉え続けることが可能となる。また、図１１（ａ）は、主顔以外に別の被写体の顔が検出されている場合であって、同様な理由により主顔を検出できず、且つ、主顔が変更されなかった場合のＥＶＦ画面表示例を示している。このような場合であっても、ロスト時間が６秒以内であれば図１１（ｂ）に示すＥＶＦ画面表示例のように顔枠４０１が更新されること無く表示され続ける。即ち、ロスト時間と比較される６秒が、マニュアル選択モードにおいて顔枠４０１が継続表示される継続時間となる。従って、一時的に主顔ロスト状態になった場合でも、表示されている顔枠で目的の被写体を捉え続けることが可能となる。
【００８８】
一方、ロスト時間が６秒を経過している場合は、システム制御部５０は、ステップＳ５０５にて顔枠を消去して顔枠表示処理を終了する。これにより、顔選択モードがマニュアル選択モードの場合、主顔を検出できない状態で６秒が経過すると図８（ｂ）に示すＥＶＦ画面表示例のように顔枠が消去される。また、この時点でマニュアル選択モードを解除しても良い。このように、マニュアル選択モードでは、それまで主顔として選択されていた顔は、撮像装置のユーザの意図によって選択された顔である可能性が高い。従って、それまで主顔として選択されていた顔を見失った場合でも、簡単には他の顔を主顔として選択しない構成となっている。そのため、顔枠が消去されるまでの時間も、自動選択モードよりも長く設定されている。
【００８９】
以上、図１〜図１３を用いて説明したように、本第１の実施形態によれば、主被写体を一時的に検出できなくなった場合に、検出不能となる直前の位置にて顔枠の表示を継続するため、表示されている顔枠で被写体を捉え続けることができる。
【００９０】
なお、上記第１の実施形態では、自動選択モードの場合にはロスト時間が１秒過ぎると顔枠を消去し、マニュアル選択モードの場合にはロスト時間が６秒過ぎると顔枠を消去する場合について説明した。しかしながら本発明はこれに限るものではなく、ロスト時間と比較する継続時間は任意に設定することが可能である。また、継続時間をユーザが設定できるように構成しても良い。
【００９１】
また、顔枠の種類は図８乃至図１３に示すものに限定されるものではなく、任意の種類の顔枠であって構わない。また、自動選択モードとマニュアル選択モードとで同種類の顔枠を用いても構わないが、異なる種類の枠で表現することによりユーザに選択されている選択モードを知らせることができるため、異なる種類の枠とする方が好ましい。
【００９２】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００９３】
第１の実施形態では、主顔を検出できない状態で所定の時間が経過すると顔枠を消去する場合について説明した。これに対し、本第２の実施形態では、顔選択モードがマニュアル選択モードの場合に、主顔の検出結果に関わらず顔枠を表示したまま、即ち、継続表示する時間制限を設けないようにする。なお、これ以外は上述した第１の実施形態と同様であるので、説明を省略する。
【００９４】
図１４は、本第２の実施形態における顔枠表示処理（図４のステップＳ２０３）の動作を示すフローチャートであり、図７の処理に代えて行われる。なお、図７と同様の処理には同じステップ番号を付し、適宜説明を省略する。
【００９５】
図１４に示す処理においては、ステップＳ５００で主顔を現在検出できない状態（主顔ロスト中）であると判定され、ステップＳ５０３でマニュアル選択モードが選択されていると判断されると、そのまま処理を終了する。これにより、顔選択モードがマニュアル選択モードの場合、主顔ロスト中であっても図９（ｂ）に示すＥＶＦ画面表示例のように顔枠４０１が表示され続ける。そのため、被写体の顔が検出できなくなった場合でも、表示されている顔枠で被写体を捉え続けることが可能となる。
【００９６】
なお、顔ロスト中は図９（ｃ）に示すＥＶＦ画像表示例の顔枠４０３のように顔枠の表示の仕方を変えることにより、ユーザに被写体の顔が検出できない状態であることを通知するようにしても良い。
【００９７】
また、便宜上、説明に用いた図では顔枠を一つのみ表示しているが、複数の顔枠を表示することも可能であり、その場合はどの顔が主顔であるかを何らかの方法により区別して表示するようにしても良い。
【００９８】
なお、上述した実施の形態では、被写体として顔を検出する場合について説明したが、本発明は顔に限るものではなく、予め設定された条件を満たす被写体を検出するものであれば、本発明を適用可能である。
【００９９】
＜他の実施形態＞
なお、本発明は、複数の機器（例えば、画像処理装置を構成するホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用してもよい。また、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【０１００】
また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０１】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図である。
【図２】本発明の実施の形態における撮像装置の背面を示す斜視図である。
【図３】本発明の第１の実施形態における撮影の全体動作を示すフローチャートである。
【図４】本発明の第１の実施形態における顔枠処理の動作を示すフローチャートである。
【図５】本発明の第１の実施形態における主顔選択処理の動作を示すフローチャートである。
【図６】本発明の第１の実施形態における顔選択モード切換処理の動作を示すフローチャートである。
【図７】本発明の第１の実施形態における顔枠表示処理の動作を示すフローチャートである。
【図８】本発明の第１の実施形態における自動選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図９】本発明の第１の実施形態におけるマニュアル選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図１０】本発明の第１の実施形態における自動選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図１１】本発明の第１の実施形態におけるマニュアル選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図１２】本発明の第１の実施形態におけるマニュアル選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図１３】本発明の第１の実施形態におけるマニュアル選択モード時のＥＶＦ画面での顔枠の表示例を示す図である。
【図１４】本発明の第２の実施形態における顔枠表示処理の動作を示すフローチャートである。
【符号の説明】
【０１０３】
１０：撮影レンズ、１２：シャッター、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生部、２０：画像処理部、２２：メモリ制御部、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：圧縮伸長部、４０：露光制御部、４２：焦点調節部、４４：ズーム制御部、４６：バリア制御部、４８：フラッシュ、５０：システム制御部、５２：メモリ、５４：通知部、５６：不揮発性メモリ、６０：モードダイアルスイッチ、６２：シャッタースイッチＳＷ１、６４：シャッタースイッチＳＷ２、６６：画像表示ＯＮ／ＯＦＦスイッチ、７０：操作部、８０：電源制御部、８２、８４：コネクタ、８６：電源、９０、９４：入出力Ｉ／Ｆ、９２、９６：コネクタ、９８：記録媒体着脱検知部、１００：撮像装置、１０２：保護部、１１０：通信部、１１２：コネクタ（アンテナ）、２００、２１０：記録媒体、２０２、２１２：記録部、２０４、２１４：インタフェース、２０６、２１６：コネクタ、３００：電源ボタン、３０１：レリーズボタン、３０２：セットボタン、３０３：メニューボタン、３０４：十字ボタン、４００、４０１、４０２、４０３：顔枠
【特許請求の範囲】
【請求項１】
撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出手段と、
主被写体を自動的に選択する自動選択モードと、ユーザ入力に従って選択するマニュアル選択モードのいずれかの選択モードを設定する設定手段と、
前記設定手段により設定された選択モードに従って、前記検出手段により検出された被写体の中から主被写体を選択する選択手段と、
前記選択手段により選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択手段により前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御手段とを有し、
前記マニュアル選択モードにおける前記継続時間を、前記自動選択モードにおける前記継続時間よりも長くしたことを特徴とする画像処理装置。
【請求項２】
前記マニュアル選択モードでは、前記継続時間として時間制限を設けない設定であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記継続時間は、前記マニュアル選択モードにおける継続時間が前記自動選択モードにおける継続時間よりも長くなるようにユーザが設定することが可能であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記マニュアル選択モードにおいて主被写体の切り換え指示を入力するための指示手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記継続時間における前記領域表示を、それ以外の時間における前記領域表示と表示の仕方を異ならせることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記被写体は、人の顔であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の画像処理装置と、
前記撮像素子と、
前記表示された前記領域表示により示される領域の画像データに基づいて、露光を制御する露光制御手段と、
前記表示された前記領域表示により示される領域の画像データに基づいて、焦点調節を行う焦点調節手段と
を有することを特徴とする撮像装置。
【請求項８】
撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出工程と、
主被写体を自動的に判断する自動選択モードと、ユーザ入力に従って決定するマニュアル選択モードのいずれかの選択モードを設定する設定工程と、
前記設定工程で設定された選択モードに従って、前記検出工程で検出された被写体の中から主被写体を選択する選択工程と、
前記選択工程で選択された前記主被写体の領域表示を前記入力画像に重畳表示する表示工程と、
前記選択工程で前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記表示工程で表示された前記領域表示の重畳表示を継続する継続工程とを有し、
前記マニュアル選択モードにおける前記継続時間を、前記自動選択モードにおける前記継続時間よりも長くしたことを特徴とする画像処理方法。
【請求項９】
コンピュータに、請求項８に記載の画像処理方法の各工程を実行させるプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。
【請求項１】
撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出手段と、
主被写体を自動的に選択する自動選択モードと、ユーザ入力に従って選択するマニュアル選択モードのいずれかの選択モードを設定する設定手段と、
前記設定手段により設定された選択モードに従って、前記検出手段により検出された被写体の中から主被写体を選択する選択手段と、
前記選択手段により選択された前記主被写体の領域表示を前記入力画像に重畳表示すると共に、前記選択手段により前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記領域表示の前記入力画像への重畳表示を継続する表示制御手段とを有し、
前記マニュアル選択モードにおける前記継続時間を、前記自動選択モードにおける前記継続時間よりも長くしたことを特徴とする画像処理装置。
【請求項２】
前記マニュアル選択モードでは、前記継続時間として時間制限を設けない設定であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記継続時間は、前記マニュアル選択モードにおける継続時間が前記自動選択モードにおける継続時間よりも長くなるようにユーザが設定することが可能であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記マニュアル選択モードにおいて主被写体の切り換え指示を入力するための指示手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記継続時間における前記領域表示を、それ以外の時間における前記領域表示と表示の仕方を異ならせることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記被写体は、人の顔であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の画像処理装置と、
前記撮像素子と、
前記表示された前記領域表示により示される領域の画像データに基づいて、露光を制御する露光制御手段と、
前記表示された前記領域表示により示される領域の画像データに基づいて、焦点調節を行う焦点調節手段と
を有することを特徴とする撮像装置。
【請求項８】
撮像素子から入力される入力画像毎に、予め設定された条件を満たす被写体を検出する検出工程と、
主被写体を自動的に判断する自動選択モードと、ユーザ入力に従って決定するマニュアル選択モードのいずれかの選択モードを設定する設定工程と、
前記設定工程で設定された選択モードに従って、前記検出工程で検出された被写体の中から主被写体を選択する選択工程と、
前記選択工程で選択された前記主被写体の領域表示を前記入力画像に重畳表示する表示工程と、
前記選択工程で前記主被写体を選択できなかった場合に、前記主被写体が最後に選択されてから予め設定された継続時間、前記表示工程で表示された前記領域表示の重畳表示を継続する継続工程とを有し、
前記マニュアル選択モードにおける前記継続時間を、前記自動選択モードにおける前記継続時間よりも長くしたことを特徴とする画像処理方法。
【請求項９】
コンピュータに、請求項８に記載の画像処理方法の各工程を実行させるプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−４４４６１（Ｐ２００９−４４４６１Ａ）
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００７−２０７１８４（Ｐ２００７−２０７１８４）
【出願日】平成１９年８月８日（２００７．８．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１９年８月８日（２００７．８．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]