撮像装置の画像取り込み方法とその方法を用いる撮像装置
【課題】撮像素子自体は、全体として高画素数を誇るものであっても、処理速度等の問題から画素数を落として画像取り込みをする結果、画像全体の中の一部を占める人物の顔などのタ−ゲットの判別に用いる部分については、解像度が悪かった。このため、そのタ−ゲットの判別が十分に行えないという問題があった。
【解決手段】撮像素子で受光する入射光を光電変換して画像を取り込む撮像装置であって、撮像素子から取り込んだ画像中に人物がいるかどうかを検出する検出部を備え、撮像素子は、記録又はモニタ−表示に用いる被写体を所定の画素密度で出力する低画素密度出力モ−ドと、検出部が検出する人物を所定の画素密度より高い画素密度で出力する高画素密度出力モ−ドとを備える撮像装置とする。
【解決手段】撮像素子で受光する入射光を光電変換して画像を取り込む撮像装置であって、撮像素子から取り込んだ画像中に人物がいるかどうかを検出する検出部を備え、撮像素子は、記録又はモニタ−表示に用いる被写体を所定の画素密度で出力する低画素密度出力モ−ドと、検出部が検出する人物を所定の画素密度より高い画素密度で出力する高画素密度出力モ−ドとを備える撮像装置とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の画像取り込み方法とその方法を用いる撮像装置に関し、特に人物の顔の認証をより適確に行う撮像装置とするための画像取り込み方法等に関する。
【背景技術】
【０００２】
ディジタルカメラを代表とする撮像装置において、ＣＣＤやＣＭＯＳ等の撮像素子の高画素化は昨今特に著しく、コンパクトカメラであっても約１０メガピクセル相当を謳う製品も出現しつつある。このように急激な撮像素子の高画素化による撮像デ−タの増大に対して、撮像素子で撮像デ−タを取得した後に後工程で処理される様様な画像処理や、表示機能が追いついていないのが現状である。
【０００３】
すなわち、撮像素子全体の１０メガピクセル相当の画素をすべて読み出して、画像処理や表示等していたのではＣＰＵ等の演算負荷が大きくなり、撮像装置内のデバイス間でのデ−タ通信にも遅延が生じることとなり、特に動画像の撮像記録やそのリアルタイム表示には適さないものとなる。
【０００４】
そこで、後工程での処理速度とマッチングを取るために、動画像の表示や記録、さらにスル−画像といわれる非撮像状況下における表示部への動画表示においては、撮像デ−タを間引きして取り込むことにより取り込み時間を低減し、また後工程で対応する取り扱い画像デ−タ量を実質上低減させる処理としている。
【０００５】
一方、昨今の撮像装置は、被写体中における人物の検出機能や、その人物が誰であるのかを判断する人物判別機能も備えている。このような撮像装置において、正確に人物の判別をするためには、特にその対象人物の顔の特徴を適確に抽出する必要がある。
【特許文献１】特開平９−２５１５３４
【特許文献２】特開２００４−３２０２８６
【発明の開示】
【発明が解決しようとする課題】
【０００６】
被写体像の中に人物がいても、人物像が小さい場合には、その人物の顔部分に対応する撮像素子の画素数が少なくなり、いわゆる解像度が悪くなる。このため、十分な特徴の抽出が行えず、当該人物が誰なのか人物の判別も行えなかった。
【０００７】
特に、撮像素子自体は、全体として高画素数を誇るものであっても、処理速度等の問題から画素数を落として画像取り込みをする結果、画像全体の中の一部を占める人物の顔などのタ−ゲットの判別に用いる部分については、解像度が悪かった。
【０００８】
このため、そのタ−ゲットの判別が十分に行えないという問題があった。
【課題を解決するための手段】
【０００９】
この発明にかかる撮像装置は、撮像素子で受光する入射光を光電変換して画像を取り込む撮像装置であって、撮像装置は、撮像素子から取り込んだ画像中に人物がいるかどうかを検出する検出部を備え、撮像素子は、記録又はモニタ−表示に用いる被写体を所定の画素密度で出力する低画素密度出力モ−ドと、検出部が検出する人物を所定の画素密度より高い画素密度で出力する高画素密度出力モ−ドとを備え、さらに撮像装置は、撮像素子が高画素密度出力モ−ドで出力する画像から、検出部が検出する人物の特徴を抽出する特徴抽出部を備えることを特徴とする。
【００１０】
また、この発明にかかる撮像装置は、さらに好ましくは撮像素子が高画素密度出力モ−ドで出力する画像により自動焦点合わせをするＡＦ部を備えることを特徴とする。
【００１１】
また、この発明にかかる撮像装置は、被写体からの入射光を撮像素子で光電変換して画像を取り込む撮像装置であって、撮像素子は、撮像素子から、記録又はモニタ−表示に用いる複数の被写体画像を順次出力する間に、被写体の特徴抽出に用いる被写体画像の一部を順次出力するよりも高画素密度で出力することを特徴とする。
【００１２】
また、この発明にかかる撮像装置は、好ましくは被写体の特徴抽出に用いる被写体画像の一部は、人物の顔であることを特徴とする。
【００１３】
また、この発明にかかる撮像装置は、さらに好ましくは被写体の特徴抽出に用いる高画素密度で出力される被写体画像の一部により自動焦点制御を行うＡＦ部を備えることを特徴とする。
【００１４】
また、この発明にかかる撮像装置は、さらに好ましくは被写体画像中の人物の顔の有無を検出する検出部と、検出部が検出した人物の顔の特徴を抽出する特徴抽出部と、特徴抽出部が抽出する人物の顔の特徴に基づいて被写体画像の人物の顔を判別する判別部と、特徴抽出部が人物の顔の特徴を抽出できないときに、人物に対応する画像を被写体画像より高画素密度で撮像素子に出力させるＣＰＵとを備え、ＡＦ部は、高画素密度で出力される画像を用いて自動焦点制御を行うことを特徴とする。
また、この発明にかかる撮像装置の画像取り込み方法は、被写体からの入射光を撮像素子で光電変換して画像を順次取り込む撮像装置において、記録又はモニタ−表示に用いる被写体画像を撮像素子から取り込む第一の取り込み工程と、被写体画像の一部に対して第一の取り込み工程で取り込んだ画素密度より大きな画素密度で、被写体画像の一部に対応する画像を取り込む第二の取り込み工程とを有することを特徴とする。
【００１５】
また、この発明にかかる撮像装置の画像取り込み方法は、好ましくは第一の取り込み工程で取り込んだ被写体画像中の人物の顔の有無を検出する工程と、人物の顔が検出されると人物の顔の特徴を抽出する工程と、人物の顔の特徴を抽出できないと、人物の顔に対応する被写体を取り込む第二の取り込み工程とを有することを特徴とする。
【００１６】
また、この発明にかかる撮像装置の画像取り込み方法は、さらに好ましくは複数の被写体画像を第一の取り込み工程により順次取り込む間に、第二の取り込み工程を行うことを特徴とする。
【００１７】
また、この発明にかかる人物の顔の特徴抽出方法は、撮像素子で受光する入射光を光電変換して被写体画像を順次取り込む撮像装置において、撮像装置は、取り込んだ被写体画像から人物の顔を検出する検出部と、検出部が検出する人物の顔の特徴を抽出する特徴抽出部とを備え、特徴抽出部が人物の顔の特徴を抽出できない場合に、ＣＰＵが、人物の顔をより高画素密度で撮像素子から出力させる工程と、特徴抽出部が、より高画素密度の人物の顔を取り込み、取り込んだ人物の顔の画像から人物の特徴を抽出する工程とを有することを特徴とする。
【発明の効果】
【００１８】
スル−画像等には、処理速度を優先させて低解像度の画像としつつ、画像の一部について人物の顔を高解像度で取り込むことにより、正確に人物等タ−ゲットの判別をすることができる。
【発明を実施するための最良の形態】
【００１９】
この実施形態にかかる撮像装置は、撮像素子自体は１０００万ピクセル相当の高画素を有する。動画の表示や記録に用いるいわゆるスル−画像については、例えば３０ｆｐｓ（frame per second）で３００万ピクセル相当の読み出しとする。これにより、全画素読み出しに伴う読み出し時間の増大を回避し、後処理において画像処理等の処理時間を低減しＣＰＵ等の演算処理部の負担を軽減する。従って、鑑賞に堪え得る程度の画質とフレ−ムレ−トを維持することが可能である。
【００２０】
また、撮像する画像の一部に人物の顔を検出した場合には、そこに自動焦点動作を行うとともに、その顔の特徴抽出を試みる。人物の判別に十分な特徴抽出が可能ならば、その画像により、人物を判別する。
【００２１】
一方、人物の顔が小さい等により信頼性の高い特徴抽出が不可能であれば、その人物の顔に対応する部分について、６０ｆｐｓの３００万ピクセル相当で部分的に全画素読み出しする。この場合、撮像画像全体ではなく、人物の顔部分に対応する被写体像の部分を高画素読み出しする。
【００２２】
高画素読み出しした画像を用いて、人物の顔の特徴抽出や自動焦点動作を行い、人物の判別を行う。従って、より正確に適確な人物判別が行え、自動焦点動作も精密かつ正確に行えることとなる。
【００２３】
また、スル−画像等については、３０ｆｐｓで３００万ピクセル相当の読み出しのままで処理速度を保つ。その間に必要に応じて別途３０ｆｐｓで３００万ピクセル相当で取り込んだ高精細な画像は、スル−画像等として表示したり動画記録に用いたりしないので、後工程での処理速度の低下を最低限に抑制する取り込み動作とできる。換言すれば、スル−画像表示用としては３０ｆｐｓで画像を取り込む一方、高画素密度用に別途３０ｆｐｓで画像を取り込むので、画像取り込みとしては併せて６０ｆｐｓの取り込み速度とする。
【００２４】
そこで、以下に図面を用いてさらに詳細に説明する。
（実施形態）
図１は、実施形態にかかる撮像装置１の全体構成について概念的に説明するブロック図である。この撮像装置１のレンズ１０は、その焦点距離を連続的に変更可能な不図示のズ−ムレンズ、ピントを調整するフォ−カシングレンズ、撮像時の手振れを補正するＶＲ（Vibration Reduction）レンズから構成される。
【００２５】
レンズ１０は、ＣＰＵ１７からの指示により不図示のレンズ駆動装置を駆動することにより制御され調整される。また、レンズ１０の位置は、不図示のレンズ位置検出器によりその位置が検出され、ＣＰＵ１７によりフィ−ドバック制御される。
【００２６】
レンズ１０は、撮像素子１１の撮像面に被写体像を結像させる。撮像素子１１は、撮像面上に結像された被写体像の光強度に応じて光電変換した電気信号を出力する。撮像素子１１は、ＣＭＯＳ等の固体撮像素子を用いる。また、撮像素子１１は、ＣＰＵ１７が有する不図示のタイミングジェネレ−タ等のクロック生成器からのトリガ−入力により、光電変換した電気信号を順次出力する。また、レンズ１０と撮像素子１１との間には、不図示の絞りが設けられ、ＣＰＵ１７により演算された適切な露出（自動露出ＡＥ：Auto Exposure）が指示され調整される。
【００２７】
撮像素子１１から出力される電気信号は、アナログ信号のままＣＤＳ部１２に入力されＣＤＳ（Correlated Double Sampling）処理によりノイズの低減処理がされる。また、Ａ／Ｄ変換部１３では、アナログ信号からディジタル信号へと変換処理される。ディジタル変換処理された画像デ−タは、画像処理部１４に入力される。ＣＤＳ部１２とＡ／Ｄ変換部１３は、撮像素子１１に組み込まれる場合もある。
【００２８】
画像処理部１４は、中央演算装置であるＣＰＵ１７からの指示に従い、Ａ／Ｄ変換部１３から得られたディジタル画像デ−タに、ホワイトバランス処理、ハイパスフィルタ処理やノイズ低減処理、エッジ処理、階調処理（ガンマ補正）等の様々な画像処理の演算を行う。また、画像処理部１４が備えるＡＷＢ（Auto White Balance）演算部１４ａでは、最適なホワイトバランス処理となるパラメ−タ値の演算と処理が行われる。
【００２９】
画像処理部１４で行われる種種の画像処理に必要なアルゴリズムやパラメ−タは、フラッシュメモリ１９等に予め記録されており、ＣＰＵ１７からの指示により必要に応じてそれぞれ最適なものが読み出され、適用される。
【００３０】
画像処理部１４で演算処理された画像デ−タは、ＲＡＭ１６等に記録することができる。ＲＡＭ１６は外付けのメモリとして構成してもよい。ＲＡＭ１６に記録しておくことで、画像デ−タを読み出して別途加工することも可能となる。また、画像処理部１４は、ＲＡＭ１６をバッファメモリとして用い、撮像された複数フレ−ム分の画像デ−タを一時記憶するフレ−ムメモリとして用いてもよい。画像処理部１４は、フレ−ムメモリから画像デ−タを適宜読み出し、画像処理後に適宜書き込みすることにより、所定の画像処理を行う。
【００３１】
また、撮像装置１全体の撮像動作シ−ケンスについての制御はＣＰＵ１７からの指示にかかり、図示しないレリ−ズスイッチや各種設定処理等の操作を行う操作部１８からの操作信号も、ＣＰＵ１７に入力され処理される。操作部１８は、撮像装置１の電源をオンオフする電源スイッチの他、レリ−ズ釦の全押しや半押し、さらには再生画像等を更新するためのアップダウン釦等を備える。アップダウン釦は、複数抽出されて表示部１５に表示された人物から所望の人物を選択したり、撮像時に手動でズ−ムレンズをテレ又はワイド側に駆動するためにも用いられる。
【００３２】
さらに、カ−ドインタ−フェ−ス１ａを介してメモリカ−ド１ｂ等に画像デ−タや画像処理にかかる様々な電子情報等を保存することも可能である。また、外部インタ−フェ−ス１ｃを介して、撮像装置１内の画像デ−タやプログラム等を外部媒体へ読み出し、又は書き込み、又は演算処理等を行うことができる。
【００３３】
また、表示部１５には、処理した画像を表示して撮像装置１のオペレ−タが画像の確認を行い、また必要な処理情報やメニュ−等の各種案内を表示できるように構成されている。また、表示部１５をタッチパネル等を用いることで入力操作が可能な構成とすることもできる。タッチパネル方式とする場合には、表示部１５は操作部１８の一部としても機能する。
【００３４】
表示部１５は、ＬＣＤや有機ＥＬ、無機ＥＬ等の各種表示デバイスで構成できる。表示部１５は、ＲＡＭ１６やメモリカ−ド１ｂに記録されている画像デ−タや、外部インタ−フェ−ス１ｃを通じて外部の撮像装置等から転送されてきた画像デ−タ等を再生表示する際にも用いられる。
【００３５】
撮像装置１のＣＰＵ１７は、ＡＦ演算部１７ｄを備え、撮像素子１１で撮像した画像デ−タを用いて最適な自動焦点調整を行うように演算し、レンズ１０を制御する。また、ＣＰＵ１７は、撮像した画像の中に人物の顔があるかないかを検出する検出部１７ａを備える。
【００３６】
検出部１７ａは、撮像画像の中に人物の顔の目や鼻などに相当する部分があるのかどうかを検出することができる。検出方法として、例えば顔を２次元パタ−ンとして捉えて文字認識で確立された複合類似度などのパタ−ン認識理論、あるいは予め学習させたニュ−ラルネットワ−クを用いた抽出方法等を用いてもよい。
【００３７】
また、ＣＰＵ１７は、検出部１７ａで検出する人物の顔の特徴を抽出する特徴抽出部１７ｂを備える。人物の顔の特徴とは、例えば目や鼻や口や耳、顔の輪郭やこれら相互の相対配置や相対的大きさ等である。特徴抽出には、例えばエッジ情報やカラ−情報、モデルマッチング等を用いることができる。
【００３８】
また、ＣＰＵ１７は、特徴抽出部１７ｂで抽出された人物の顔の特徴を、予めメモリカ−ド１ｂ等に記憶された人物の顔の特徴と比較することで、当該人物かどうかを判別する判別部１７ｃを備える。判別部１７ｃは、抽出された各特徴点の位置、形状、サイズをパラメ−タ化して特徴ベクトルを生成し、予めフラッシュメモリ１９等に記憶されている対象人物の特徴ベクトルとの類似度を計算する。最も類似度が高い辞書ベクトルを表す人物を当人と判別する構造的解析手法を用いることができる。
【００３９】
また、判別部１７ｃは、目、鼻などの特徴点を基準とした２次元ａｆｆｉｎｅ変換などの幾何学変換により位置、サイズが正規化された画像と予めフラッシュメモリ１９等に記憶されている辞書正規化画像とのパタ−ンの類似度に基づいたパタ−ン的判別方法を用いる。ここでも、最も類似度が高い辞書ベクトルを表す人物を当人と判別する。
【００４０】
判別部１７ｃは、特徴抽出部１７ｂで抽出された人物の顔の特徴に対応する記録された該当人物がいない場合、その特徴をＲＡＭ１６等に一時記録する。ＲＡＭ１６等への一時記録動作は、例えば表示部１５に表示する該当人物のモニタ−表示へのタッチパネル入力により、ＣＰＵ１７が行わせる。
【００４１】
判別部１７ｃは、ＲＡＭ１６等に一時記録された人物の特徴を読み出して、その後の撮像動作により取得された画像から特徴抽出部１７ｂにより抽出された特徴とを比較することで、特定の撮像対象であるタ−ゲットに該当するかどうかを判別する。
【００４２】
また、ＡＦ演算部１７ｄが行う自動焦点の演算は、撮像画像の中の所定の５個所又は９個所について行う。そして、検出部１７ａにより撮像画像中に人物の顔が検出された場合には、当該人物の顔について自動焦点動作を行う。人物の顔が複数検出された場合には、最も近接の顔又は撮像画像に占める面積が最も大きな顔について自動焦点合せを行う。
【００４３】
撮像装置１は、検出部１７ａで人物の顔が検出されたにも拘わらず、判別部１７ｃで当該人物の顔の判別を正確に行える程度に特徴抽出部１７ｂでの特徴抽出が行えなかった場合には、別途顔判別用の画像の取り込みを行うように、ＣＰＵ１７が撮像素子１１に画像デ−タの出力を指示する。
【００４４】
顔判別用の画像は、検出部１７ａが検出する顔に対応する部分について、ＣＰＵ１７がその顔部分をより高画素密度で高精細に撮像素子１１に出力させることにより取得する。これについて、図２に示すズ−ムアウトの撮像例を用いて説明する。
【００４５】
図２（ａ）は、運動会においてズ−ム撮影した撮像画像２０を示すものである。この撮像画像２０は、表示部１５にモニタ−表示されている。撮像画像２０では、被写体目標とするタ−ゲット２１が比較的大きい。すなわち、撮像画像２０に占めるタ−ゲット２１の面積が比較的大きい。従って、タ−ゲット２１の撮像に用いられる撮像素子１１の画素数（pixel）も比較的大きく、解像度もよい。このため、特徴抽出部１７ｂがタ−ゲット２１の顔の抽出を正確に、高精度に行うことができる。
【００４６】
図２（ｂ）は、図２（ａ）から少しズ−ムアウトした撮像画像２２を示すものである。ズ−ムアウトに伴い、撮像画像２２は、より広角になり撮像領域が増大する。一方、タ−ゲット２３は見かけ上相対的に小さく表示され、撮像素子１１でタ−ゲット２３の撮像に用いられる撮像素子１１の画素数は、より少なくなる。
【００４７】
図２（ｃ）は、図２（ｂ）からさらにズ−ムアウトした撮像画像２４を示すものである。ズ−ムアウトに伴い、撮像画像２４は、さらに広角になり撮像領域が増大する。一方、タ−ゲット２５は見かけ上相対的にさらに小さく表示され、撮像素子１１でタ−ゲット２５の撮像に用いられる撮像素子１１の画素数は、さらに少なくなる。
【００４８】
このため、タ−ゲット２５について、特徴抽出部１７ｂで特徴を抽出しようとしても、図２（ｃ）に示すタ−ゲット２５の画素数では解像度が十分でなく、抽出ができないか又は信頼できる特徴の抽出が行えない。従って、判定部１７ｃは、正確な人物の判別を行うことができず、判別不能としたり過った判別をする可能性が増大する。
【００４９】
撮像装置１は、特徴抽出部１７ｂが人物の特徴を信頼性高く抽出できない場合には、その人物の特徴を信頼性高く抽出できるよう高精細で高解像度の画像を取得する。具体的には、ＣＰＵ１７が、撮像素子１１に当該人物に対応する画素部分について、より高画素密度でデ−タ出力するよう指示する。
【００５０】
次に図３を用いて、表示部１５への表示等に用いるいわゆるスル−画像の取り込みと、特徴抽出部１７ｂでの特徴抽出用の高画素密度取り込みについて説明する。図３（ａ）と図３（ｃ）と図３（ｅ）は、順に例えば３０ｆｐｓで約３０ミリ秒ごとに撮像素子１１から出力され、表示部１５に表示等される撮像画像３１、撮像画像３３、撮像画像３５を示すものである。撮像画像３１、３３、３５は、表示部１５への表示等に用いられ、フレ−ムレ−トを向上させる等の目的から間引きして出力された画像デ−タを用いる。
【００５１】
このため、人物の顔３６が検出されても、特徴抽出部１７ｂで正確な特徴の抽出が行えない。そこで、ＣＰＵ１７が、撮像素子１１に図３（ｂ）や図３（ｄ）のような高画素密度のタ−ゲット画像である人物の顔の撮像画像３２、３４を出力するように指示する。撮像素子１１は、新たに撮像して光電変換した上で、人物の顔３６に対応する撮像画像３２や撮像画像３４の画像デ−タを、上述のスル−画像を出力する間に３０ｆｐｓで約３０ミリ秒ごとに出力することとなる。従って、撮像素子１１は、この場合６０ｆｐｓで約１５ミリ秒ごとの撮像デ−タの出力を行う。撮像画像３１と撮像画像３２との間では、特に設定変更等がない限り、撮像素子１１全体として見ればほぼ同じ被写体を同様に撮像する。
【００５２】
高画素密度の画像取り込みについて、概念的に説明するのが図５の画素密度説明図である。図５（ａ）は広角又はズ−ムアウト状態の撮像画像５３である。画素５２は、撮像画像５３の撮像に実効的に用いられる撮像素子１１の画素を示す。画素５１は、撮像画像５３の撮像に実効的に用いられない撮像素子１１の画素を示す。ここで、実効的に用いられる画素とは、撮像素子１１の撮像面での光電変換だけでなく、その電荷が読み出され、撮像画像５３として表示部１５での表示又はメモリカ−ド１ｂ等への記録に用いられるものをいう。
【００５３】
撮像装置１は、撮像素子１１が１０００万ピクセル等の大きな画素からなる場合、撮像素子１１の撮像面に結像する撮像画像５３に対応する像について、全ての画素を読み出すことはない。
【００５４】
１０００万ピクセル全てを撮像素子１１から読み出し、画像処理し、表示し、記録することは、その取り扱い処理にかかるデ−タ量が多大であるので、ＣＰＵ１７の負荷増大とともに処理時間等の遅延を生じる。このため、動画撮像時のいわゆるフレ−ムレ−トが低下したり、静止画撮像時のレリ−ズタイムラグが増大したりする。
【００５５】
これを防ぐため、一般に動画撮像時やいわゆるスル−画像撮像時やモニタ−表示用画像撮像時には、間引きしてデ−タ量を低減した画像デ−タを用いる。画像デ−タの間引きは、撮像素子１１の画素のうち所定の画素のみを読み出し画像処理等を行う。また、所定の画素以外の画素については、撮像素子１１から読み出ししない又は読み出しても画像処理や記録や表示に用いない等とする。
【００５６】
一方、ＣＰＵ１７が備える特徴抽出部１７ｂにおいては、より正確で信頼性の高い特徴抽出をするため、検出部１７ａで検出される顔部分について、より高精細で高解像度の画像、すなわち顔部分についてより高画素密度の画像であることが望ましい。
【００５７】
図５（ａ）においては、検出部１７ａで検出された人物の顔５４に用いられる撮像素子１１の画素が、少ないことが理解できる。撮像画像５３が、約１０００万ピクセルの撮像素子１１を用いて約３００万ピクセル相当の画素読み出し（すなわち約１／３間引き読み出し）で表示されている場合は、人物の顔５４は、例えば約１００万ピクセル相当となる。
【００５８】
図５（ｂ）は、人物の顔５４を高画素密度読み出しする撮像画像５６を示す概念図である。撮像画像５６は、特徴抽出部１７ｂでの人物の特徴抽出やＡＦ演算部１７ｄでの自動焦点制御の演算に用いられる。表示部１５での表示や動画記録等には用いない。
【００５９】
撮像画像５６は、撮像画像５３と同じ約３００万ピクセルで読み出されるが、タ−ゲットとする人物の顔５４部分について３００万ピクセルでの読み出しとなる。このため、この画像デ−タ５６を用いると、特徴抽出部１７ｂは正確な特徴抽出が行え、判別部１７ｃは正確で信頼性の高い人物の判別が可能となる。
【００６０】
すなわち、撮像画像５３において、人物の顔５４に対応する撮像素子１１の画素は、実際には約３００万ピクセル相当ある。しかし、上述のような理由から、約１／３間引きして読み出ししているため、このままでは特徴抽出部１７ｂは、人物の顔５４については約１００万ピクセル相当の画素デ−タしか用いることができない。
【００６１】
そこで撮像装置１のＣＰＵ１７は、撮像素子１１に人物の顔５４について全画素読み出しすることを指示する。そして、撮像素子１１が、人物の顔５４について約３００万ピクセルの全画素出力することにより、撮像画像５６が取得され、特徴抽出に用いることが可能となる。これにより、特徴抽出部１７ｂは、前述の約３倍の画像デ−タを基にした特徴抽出を行えるので、信頼性高く正確な抽出となる。
【００６２】
また、ＡＦ演算部１７ｄは、この画像デ−タ５６を用いて自動焦点演算を行うので、より信頼性高く正確な自動焦点とすることが可能となる。換言すると、撮像素子１１が高画素密度で出力するとは、被写体のあるタ−ゲットに対して、そのタ−ゲットの撮像にいくつの画素を用いて出力するのかについての高画素密度出力であるということである。
【００６３】
次に、図６に示す撮像装置１の動作フロ−の典型例について説明する。
（ステップ６１）撮像装置１のオペレ−タは、撮像を開始する場合に、その準備として撮像装置１の電源をオンにする。
（ステップ６２）撮像装置１のＣＰＵ１７に通電され、ＣＰＵ１７からの指示により撮像素子１１が、被写体からの入射光を光電変換してその光強度に応じた電気信号を順次出力する。この動作は、レリ−ズ動作の有無とはかかわり無く、電源オンにより実行される。これにより撮像装置１は、いわゆるスル−画像を取り込むことができる。この取り込み動作は、撮像素子１１の画素の全てではなく、所定の間引きにより低減された画素について撮像装置１に取り込むものである。画素数の低減によりＣＰＵ１７の負荷や、デバイス間の通信時間が低減され、いわゆるレリ−ズタイムラグの発生やフレ−ムレ−トの低下を抑制できる。
（ステップ６３）ステップ６２で取り込んだ画像を表示部１５に表示する。表示に用いる画像デ−タは、撮像素子１１から出力される間引かれた画像デ−タをＡ／Ｄ変換部１３でディジタル変換した後、画像処理部１４で所定の画像処理がされた画像デ−タをアナログ変換したものである。撮像素子１１の全画素読み出しにかかる画素デ−タではないので、表示部１５へ表示される画像はフレ−ムレ−トが高く維持されスム−ズであり、鑑賞に堪え得るものとなる。
（ステップ６４）撮像素子１１から間引かれて出力された画像デ−タ中に、人物像があるのかないのかを検出部１７ａが検出する。人物像とは、典型的には人の顔に相当する画像領域があるのかないのかということであるがこれに限られない。画像中に人物像が検出されればステップ６５に進み、画像中に人物像が検出されなければステップ６２に戻る。ステップ６４の動作は、検出部１７ａでの検出結果に替えて又はそれと共に、表示部１５へ表示する人物のタッチパネルによるオペレ−タの指示入力や操作部１８からの撮像素子１１のオペレ−タの入力によりタ−ゲットを指定するものであってもよい。オペレ−タからの指示入力があった場合には、検出部１７ａでの検出に優先させて、指定のあったタ−ゲットについてステップ６５における特徴抽出を行う。
【００６４】
すなわち、人物の有無の判断は、表示部１５に表示されるモニタ−画面からタッチパネル等で撮像装置１のオペレ−タが指定できるようにしてもよい。図４（ａ）に示すように、検出部１７ａは、撮像画像中の最も大きな至近にある顔４１を検出し、自動焦点等のタ−ゲットと設定するようデフォルトのアルゴリズムが設定されている。表示部１５には、自動焦点又は顔判別認証のタ−ゲットとなることを示すマ−ク４１が表示される。
【００６５】
しかし、撮像装置１のオペレ−タは、人物の顔４２をタ−ゲットとしたい場合がある。このような場合には、表示部１５に表示される画面において、手４３等で希望するタ−ゲットをタッチパネル入力する。この入力により、検出部１７ａが検出してタ−ゲットに設定する至近の顔４１に優先して、高画素密度で出力したりＡＦ演算部１７ｄが自動焦点の対象とするタ−ゲットが、図４（ｂ）に示す人物の顔４４となる。
【００６６】
典型的には、運動会等において全体を撮像したりズ−ムイン撮像したりする場合でも、タ−ゲットの表示画面中での大小に関わり無く、特定のタ−ゲットを追い続けることも可能となる。自動焦点もこのタ−ゲットに合せることもできる。
（ステップ６５）特徴抽出部１７ｂは、検出部１７ａがステップ６４で検出する人物について、その人物の特徴を抽出できるかどうかを判断する。人物の特徴とは、典型的には顔の目、鼻等の位置関係や配置などであるがこれに限られるものではない。人物の特徴が抽出できるのであればステップ６６へと進み、人物の特徴が抽出できなければステップ６ａへと進む。特徴抽出部１７ｂは、抽出する人物の特徴について一定の信頼性に関わる閾値を設けることで、信頼性が所定の閾値より高い抽出ができるのであればステップ６５へ進み、信頼性が所定の閾値より低い抽出しかできないのであればステップ６ａに進むこととしてもよい。
（ステップ６６）特徴抽出部１７ｂは、人物の顔の特徴抽出を行う。特徴抽出部１７ｂは、ソ−ベル等のエッジオペレ−タを用いて顔領域内のエッジを抽出し、モデル当てはめ等により目、鼻、口などを抽出してもよい。
（ステップ６７）判別部１７ｃは、特徴抽出部１７ｂで抽出する特徴が、フラッシュメモリ１９等に予め記憶されている人物の特徴と比較した結果、該当するものがあるのかないのかを判断する。記憶された特徴に該当するものがあればステップ６８に進み、記憶された特徴に該当するものがなければステップ７０に進む。
（ステップ６８）判別部１７ｃは、特徴抽出部１７ｂで抽出された特徴と、フラッシュメモリ等に予め記憶されている人物の特徴とを比較して判別し、最も一致点が多く信頼性の高い人物を該当人物として認定する。
（ステップ６９）撮像を終了する場合は電源をオフにし、撮影を終了しない場合はステップ６２に戻る。
（ステップ７０）ステップ６７で、特徴抽出部１７ｂが抽出した特徴に該当する特徴がフラッシュメモリ１９等に記憶されていなければ、ＣＰＵ１７の指示により、抽出した特徴をＲＡＭ１６等に記録する。これにより、次の取り込み画像に検出される人物についても、その抽出された特徴と記憶された特徴とを比較して判別することで、該当する同一人物（タ−ゲットに相当）であるかどうかを認定することができる。この記録動作は、ＣＰＵ１７自体の判断による以外に、例えば表示部１５に表示される人物について撮像装置１のオペレ−タがタ−ゲットを特定しタッチパネル入力等により指定することで、指定された人物について行ってもよい。特徴の記録をすれば、ステップ６２に戻り、次の画像フレ−ムの取り込みを開始する。
（ステップ６ａ）ステップ６５で特徴抽出部１７ｂが人物の顔の特徴を全く抽出できない場合、又は信頼性の高い特徴抽出ができない場合には、検出部１７ａが抽出したタ−ゲットについて撮像素子１１が高画素密度で出力する。典型的には、人物の顔及びその周囲を高画素密度で出力する。例えば、ステップ６２での画像取り込みにおいて、このタ−ゲットの撮像に使用する画素が１００万ピクセル相当だとすれば、このステップ６ａでの高画素密度取り込みでは、３００万ピクセル相当とする。このステップの後工程であるステップ６６では、ここで取り込んだ高画素密度の画像を用いて特徴の抽出を行う。
【００６７】
ここで、ステップ６４にてタ−ゲットを図４（ａ）の人物の顔４２と指定した場合には、図４（ｃ）に示すように人物の顔４４を高画素密度で取り込む。高画素密度で取り込む人物の顔４５は、その周囲部分も含めてやや余裕を持って取り込むことが好ましい。取り込み間隔は、約３３ミリ秒等と非常に短いものであるが、被写体のタ−ゲットも多少動くことが考えられ、また撮像装置１自体のアングル等がこの間に変わった場合でも対応できることとなる。この場合、ＣＰＵ１７が、タ−ゲットの周囲に少し余裕を持たせた領域を演算し、撮像素子１１に当該領域を高精細に出力させる。
（ステップ６ｂ）ＣＰＵ１７が自動焦点制御の対象を変更し、ＡＦ演算部１７ｄは、ステップ６ａで取り込んだ高画素密度の画像を用いてＡＦ制御をする。ＡＦ演算部１７ｄは、デフォルト撮像においては図７（ａ）に示すように被写体中の定点７１五箇所についての画像を基に、自動焦点演算を行う。
【００６８】
一方、自動焦点演算は、演算に用いる画像が高画素密度であればあるほど、より多くの画像デ−タから演算できるので、安定して高精度の自動焦点演算が可能となる。このため、ＣＰＵ１７は、自動焦点に用いるタ−ゲットを図７（ｂ）に示す人物の顔７２に変更し、ＡＦ演算部１７ｄは、人物の顔７２について高画素密度で取り込まれる画像デ−タにより自動焦点演算を行う。
【００６９】
ＡＦ演算部１７ｄは、例えばコントラスト法により自動焦点演算を行うことができる。コントラスト法とは、像のボケとコントラストと間の相関関係を利用して、コントラストが最大になる焦点位置を、最適な焦点であるとする自動焦点演算である。
【００７０】
なお、この実施形態で述べる撮像素子１１の全体画素数は、典型例として１ギガピクセルとして説明したが、これに限られることはなく所望の画素数の撮像素子を用いることができる。また、撮像素子１１は、ＣＭＯＳやＣＣＤ等の固体撮像素子の他、任意のイメ−ジセンサを用いてもよい。
【００７１】
また、フレ−ムレ−トは、３０ｆｐｓや６０ｆｐｓでなくても、９０ｆｐｓとしてもよく、その他任意のフレ−ムレ−トとすることができる。また、スル−画像用の画像デ−タと高精細の画像デ−タとを撮像素子１１から出力するに際し、必ずしも交互に出力する必要はない。例えば、高精細で出力したいタ−ゲットが二つある場合には、スル−画像用の画像デ−タの出力の間に、高精細な画像をそれぞれ出力してもよい。この場合には、撮像素子１１全体としては、９０ｆｐｓでの出力となる。また、高精細で出力したいタ−ゲットが三以上ある場合には、至近から上位三人を取り込むこととしてもよい。フレ−ムレ−トとの関係を適宜調整することにより、スル−画像間に高精細で取り込む画像数とその対象を適宜設計してもよい。また、タッチパネル等により指定された三人をタ−ゲットとして取り込むこととしてもよい。
【００７２】
また、この実施形態で説明するように、スル−画像用の画像デ−タの出力と高精細の画像デ−タの出力とを、別個独立の時間に出力しなくてもよい。スル−画像用の画像デ−タの出力の一部を高精細な画像デ−タの一部として共有することで、撮像素子１１から効率的な読み出しができる構成としてもよい。
【００７３】
撮像装置１は、光学ズ−ムを用いることなくタ−ゲット及びその周囲の被写体を高画素密度で取得することができる。これにより、安定して高精度な自動焦点とし、また高精度で正確なタ−ゲットの特徴抽出が安定して行える。従って、抽出するその特徴に基づき、正確な人物の判別、認証が安定して行える。
【００７４】
また、高画素密度で取り込むタ−ゲットの像は、仮に表示部に表示したと仮定する場合に、表示部１５に表示するスル−画像と比較して常に一定の拡大倍率となるように、予め所定の倍率を設定しておいてもよい。この場合には、撮像素子１１は、ＣＰＵ１７の指示により、タ−ゲットとその周囲について設定された一定の倍率となるように高画素密度で出力する。また、上記一定の拡大倍率は、標準の画像に対して任意に設定された拡大倍率となるようにしてもよい。
【００７５】
また、タ−ゲットとなる人物の顔等が、所定の画素数を用いた高画素密度出力となるように、表示部１５や操作部１８から設定する構成としてもよい。例えば、特徴抽出部１７ｂでの人物の顔の特徴抽出に、人物の顔を２００万ピクセル相当の画素数で撮像する画像デ−タが適するのであれば、高画素密度出力は、タ−ゲットを２００万ピクセルで出力することとできる。また、２００万ピクセルでなくても、特徴抽出部１７や判別部１７ｃでの処理に最適な画素密度でタ−ゲットの出力をするように設定してもよい。
【００７６】
また、撮像装置１は、スル−画像等について撮像素子１１からの出力時点でいわゆる画素間引きを行うが、これに限られず、間引く工程は任意に構成してもよい。ただし、撮像素子１１に近い前工程の段階で画像デ−タを間引いて処理する方が、その後の後工程すべてについて処理デ−タ量の低減につながるので好ましい。また、間引く方法は垂直間引き、水平間引き等任意の手法を用いることができる。撮像装置１は、自明な範囲で適宜設計変更し、設定調整し、構成を変更して用いてもよい。
【産業上の利用可能性】
【００７７】
本発明は、被写体からの入射光を撮像素子で光電変換して取り込む撮像装置に広く適用できる。
【図面の簡単な説明】
【００７８】
【図１】撮像装置の構成ブロック図
【図２】ズ−ムアウトの撮像例
【図３】スル−画像と高画素密度画像の説明概念図
【図４】オペレ−タにより人物指定の説明図
【図５】画素密度説明概念図
【図６】撮像装置の動作フロ−
【図７】自動焦点の説明概念図
【符号の説明】
【００７９】
１・・撮像装置、１０・・レンズ、１１・・撮像素子、１２・・ＣＤＳ部、１３・・Ａ／Ｄ変換部、１４・・画像処理部、１５・・表示部、１６・・ＲＡＭ、１７・・ＣＰＵ、１８・・操作部、１９・・フラッシュメモリ、１ａ・・カ−ドインタ−フェ−ス、１ｂ・・メモリ−カ−ド、１ｃ・・外部インタ−フェ−ス、１７ａ・・検出部、１７ｂ・・特徴抽出部、１７ｃ・・判別部、１７ｄ・・ＡＦ演算部
【技術分野】
【０００１】
本発明は、撮像装置の画像取り込み方法とその方法を用いる撮像装置に関し、特に人物の顔の認証をより適確に行う撮像装置とするための画像取り込み方法等に関する。
【背景技術】
【０００２】
ディジタルカメラを代表とする撮像装置において、ＣＣＤやＣＭＯＳ等の撮像素子の高画素化は昨今特に著しく、コンパクトカメラであっても約１０メガピクセル相当を謳う製品も出現しつつある。このように急激な撮像素子の高画素化による撮像デ−タの増大に対して、撮像素子で撮像デ−タを取得した後に後工程で処理される様様な画像処理や、表示機能が追いついていないのが現状である。
【０００３】
すなわち、撮像素子全体の１０メガピクセル相当の画素をすべて読み出して、画像処理や表示等していたのではＣＰＵ等の演算負荷が大きくなり、撮像装置内のデバイス間でのデ−タ通信にも遅延が生じることとなり、特に動画像の撮像記録やそのリアルタイム表示には適さないものとなる。
【０００４】
そこで、後工程での処理速度とマッチングを取るために、動画像の表示や記録、さらにスル−画像といわれる非撮像状況下における表示部への動画表示においては、撮像デ−タを間引きして取り込むことにより取り込み時間を低減し、また後工程で対応する取り扱い画像デ−タ量を実質上低減させる処理としている。
【０００５】
一方、昨今の撮像装置は、被写体中における人物の検出機能や、その人物が誰であるのかを判断する人物判別機能も備えている。このような撮像装置において、正確に人物の判別をするためには、特にその対象人物の顔の特徴を適確に抽出する必要がある。
【特許文献１】特開平９−２５１５３４
【特許文献２】特開２００４−３２０２８６
【発明の開示】
【発明が解決しようとする課題】
【０００６】
被写体像の中に人物がいても、人物像が小さい場合には、その人物の顔部分に対応する撮像素子の画素数が少なくなり、いわゆる解像度が悪くなる。このため、十分な特徴の抽出が行えず、当該人物が誰なのか人物の判別も行えなかった。
【０００７】
特に、撮像素子自体は、全体として高画素数を誇るものであっても、処理速度等の問題から画素数を落として画像取り込みをする結果、画像全体の中の一部を占める人物の顔などのタ−ゲットの判別に用いる部分については、解像度が悪かった。
【０００８】
このため、そのタ−ゲットの判別が十分に行えないという問題があった。
【課題を解決するための手段】
【０００９】
この発明にかかる撮像装置は、撮像素子で受光する入射光を光電変換して画像を取り込む撮像装置であって、撮像装置は、撮像素子から取り込んだ画像中に人物がいるかどうかを検出する検出部を備え、撮像素子は、記録又はモニタ−表示に用いる被写体を所定の画素密度で出力する低画素密度出力モ−ドと、検出部が検出する人物を所定の画素密度より高い画素密度で出力する高画素密度出力モ−ドとを備え、さらに撮像装置は、撮像素子が高画素密度出力モ−ドで出力する画像から、検出部が検出する人物の特徴を抽出する特徴抽出部を備えることを特徴とする。
【００１０】
また、この発明にかかる撮像装置は、さらに好ましくは撮像素子が高画素密度出力モ−ドで出力する画像により自動焦点合わせをするＡＦ部を備えることを特徴とする。
【００１１】
また、この発明にかかる撮像装置は、被写体からの入射光を撮像素子で光電変換して画像を取り込む撮像装置であって、撮像素子は、撮像素子から、記録又はモニタ−表示に用いる複数の被写体画像を順次出力する間に、被写体の特徴抽出に用いる被写体画像の一部を順次出力するよりも高画素密度で出力することを特徴とする。
【００１２】
また、この発明にかかる撮像装置は、好ましくは被写体の特徴抽出に用いる被写体画像の一部は、人物の顔であることを特徴とする。
【００１３】
また、この発明にかかる撮像装置は、さらに好ましくは被写体の特徴抽出に用いる高画素密度で出力される被写体画像の一部により自動焦点制御を行うＡＦ部を備えることを特徴とする。
【００１４】
また、この発明にかかる撮像装置は、さらに好ましくは被写体画像中の人物の顔の有無を検出する検出部と、検出部が検出した人物の顔の特徴を抽出する特徴抽出部と、特徴抽出部が抽出する人物の顔の特徴に基づいて被写体画像の人物の顔を判別する判別部と、特徴抽出部が人物の顔の特徴を抽出できないときに、人物に対応する画像を被写体画像より高画素密度で撮像素子に出力させるＣＰＵとを備え、ＡＦ部は、高画素密度で出力される画像を用いて自動焦点制御を行うことを特徴とする。
また、この発明にかかる撮像装置の画像取り込み方法は、被写体からの入射光を撮像素子で光電変換して画像を順次取り込む撮像装置において、記録又はモニタ−表示に用いる被写体画像を撮像素子から取り込む第一の取り込み工程と、被写体画像の一部に対して第一の取り込み工程で取り込んだ画素密度より大きな画素密度で、被写体画像の一部に対応する画像を取り込む第二の取り込み工程とを有することを特徴とする。
【００１５】
また、この発明にかかる撮像装置の画像取り込み方法は、好ましくは第一の取り込み工程で取り込んだ被写体画像中の人物の顔の有無を検出する工程と、人物の顔が検出されると人物の顔の特徴を抽出する工程と、人物の顔の特徴を抽出できないと、人物の顔に対応する被写体を取り込む第二の取り込み工程とを有することを特徴とする。
【００１６】
また、この発明にかかる撮像装置の画像取り込み方法は、さらに好ましくは複数の被写体画像を第一の取り込み工程により順次取り込む間に、第二の取り込み工程を行うことを特徴とする。
【００１７】
また、この発明にかかる人物の顔の特徴抽出方法は、撮像素子で受光する入射光を光電変換して被写体画像を順次取り込む撮像装置において、撮像装置は、取り込んだ被写体画像から人物の顔を検出する検出部と、検出部が検出する人物の顔の特徴を抽出する特徴抽出部とを備え、特徴抽出部が人物の顔の特徴を抽出できない場合に、ＣＰＵが、人物の顔をより高画素密度で撮像素子から出力させる工程と、特徴抽出部が、より高画素密度の人物の顔を取り込み、取り込んだ人物の顔の画像から人物の特徴を抽出する工程とを有することを特徴とする。
【発明の効果】
【００１８】
スル−画像等には、処理速度を優先させて低解像度の画像としつつ、画像の一部について人物の顔を高解像度で取り込むことにより、正確に人物等タ−ゲットの判別をすることができる。
【発明を実施するための最良の形態】
【００１９】
この実施形態にかかる撮像装置は、撮像素子自体は１０００万ピクセル相当の高画素を有する。動画の表示や記録に用いるいわゆるスル−画像については、例えば３０ｆｐｓ（frame per second）で３００万ピクセル相当の読み出しとする。これにより、全画素読み出しに伴う読み出し時間の増大を回避し、後処理において画像処理等の処理時間を低減しＣＰＵ等の演算処理部の負担を軽減する。従って、鑑賞に堪え得る程度の画質とフレ−ムレ−トを維持することが可能である。
【００２０】
また、撮像する画像の一部に人物の顔を検出した場合には、そこに自動焦点動作を行うとともに、その顔の特徴抽出を試みる。人物の判別に十分な特徴抽出が可能ならば、その画像により、人物を判別する。
【００２１】
一方、人物の顔が小さい等により信頼性の高い特徴抽出が不可能であれば、その人物の顔に対応する部分について、６０ｆｐｓの３００万ピクセル相当で部分的に全画素読み出しする。この場合、撮像画像全体ではなく、人物の顔部分に対応する被写体像の部分を高画素読み出しする。
【００２２】
高画素読み出しした画像を用いて、人物の顔の特徴抽出や自動焦点動作を行い、人物の判別を行う。従って、より正確に適確な人物判別が行え、自動焦点動作も精密かつ正確に行えることとなる。
【００２３】
また、スル−画像等については、３０ｆｐｓで３００万ピクセル相当の読み出しのままで処理速度を保つ。その間に必要に応じて別途３０ｆｐｓで３００万ピクセル相当で取り込んだ高精細な画像は、スル−画像等として表示したり動画記録に用いたりしないので、後工程での処理速度の低下を最低限に抑制する取り込み動作とできる。換言すれば、スル−画像表示用としては３０ｆｐｓで画像を取り込む一方、高画素密度用に別途３０ｆｐｓで画像を取り込むので、画像取り込みとしては併せて６０ｆｐｓの取り込み速度とする。
【００２４】
そこで、以下に図面を用いてさらに詳細に説明する。
（実施形態）
図１は、実施形態にかかる撮像装置１の全体構成について概念的に説明するブロック図である。この撮像装置１のレンズ１０は、その焦点距離を連続的に変更可能な不図示のズ−ムレンズ、ピントを調整するフォ−カシングレンズ、撮像時の手振れを補正するＶＲ（Vibration Reduction）レンズから構成される。
【００２５】
レンズ１０は、ＣＰＵ１７からの指示により不図示のレンズ駆動装置を駆動することにより制御され調整される。また、レンズ１０の位置は、不図示のレンズ位置検出器によりその位置が検出され、ＣＰＵ１７によりフィ−ドバック制御される。
【００２６】
レンズ１０は、撮像素子１１の撮像面に被写体像を結像させる。撮像素子１１は、撮像面上に結像された被写体像の光強度に応じて光電変換した電気信号を出力する。撮像素子１１は、ＣＭＯＳ等の固体撮像素子を用いる。また、撮像素子１１は、ＣＰＵ１７が有する不図示のタイミングジェネレ−タ等のクロック生成器からのトリガ−入力により、光電変換した電気信号を順次出力する。また、レンズ１０と撮像素子１１との間には、不図示の絞りが設けられ、ＣＰＵ１７により演算された適切な露出（自動露出ＡＥ：Auto Exposure）が指示され調整される。
【００２７】
撮像素子１１から出力される電気信号は、アナログ信号のままＣＤＳ部１２に入力されＣＤＳ（Correlated Double Sampling）処理によりノイズの低減処理がされる。また、Ａ／Ｄ変換部１３では、アナログ信号からディジタル信号へと変換処理される。ディジタル変換処理された画像デ−タは、画像処理部１４に入力される。ＣＤＳ部１２とＡ／Ｄ変換部１３は、撮像素子１１に組み込まれる場合もある。
【００２８】
画像処理部１４は、中央演算装置であるＣＰＵ１７からの指示に従い、Ａ／Ｄ変換部１３から得られたディジタル画像デ−タに、ホワイトバランス処理、ハイパスフィルタ処理やノイズ低減処理、エッジ処理、階調処理（ガンマ補正）等の様々な画像処理の演算を行う。また、画像処理部１４が備えるＡＷＢ（Auto White Balance）演算部１４ａでは、最適なホワイトバランス処理となるパラメ−タ値の演算と処理が行われる。
【００２９】
画像処理部１４で行われる種種の画像処理に必要なアルゴリズムやパラメ−タは、フラッシュメモリ１９等に予め記録されており、ＣＰＵ１７からの指示により必要に応じてそれぞれ最適なものが読み出され、適用される。
【００３０】
画像処理部１４で演算処理された画像デ−タは、ＲＡＭ１６等に記録することができる。ＲＡＭ１６は外付けのメモリとして構成してもよい。ＲＡＭ１６に記録しておくことで、画像デ−タを読み出して別途加工することも可能となる。また、画像処理部１４は、ＲＡＭ１６をバッファメモリとして用い、撮像された複数フレ−ム分の画像デ−タを一時記憶するフレ−ムメモリとして用いてもよい。画像処理部１４は、フレ−ムメモリから画像デ−タを適宜読み出し、画像処理後に適宜書き込みすることにより、所定の画像処理を行う。
【００３１】
また、撮像装置１全体の撮像動作シ−ケンスについての制御はＣＰＵ１７からの指示にかかり、図示しないレリ−ズスイッチや各種設定処理等の操作を行う操作部１８からの操作信号も、ＣＰＵ１７に入力され処理される。操作部１８は、撮像装置１の電源をオンオフする電源スイッチの他、レリ−ズ釦の全押しや半押し、さらには再生画像等を更新するためのアップダウン釦等を備える。アップダウン釦は、複数抽出されて表示部１５に表示された人物から所望の人物を選択したり、撮像時に手動でズ−ムレンズをテレ又はワイド側に駆動するためにも用いられる。
【００３２】
さらに、カ−ドインタ−フェ−ス１ａを介してメモリカ−ド１ｂ等に画像デ−タや画像処理にかかる様々な電子情報等を保存することも可能である。また、外部インタ−フェ−ス１ｃを介して、撮像装置１内の画像デ−タやプログラム等を外部媒体へ読み出し、又は書き込み、又は演算処理等を行うことができる。
【００３３】
また、表示部１５には、処理した画像を表示して撮像装置１のオペレ−タが画像の確認を行い、また必要な処理情報やメニュ−等の各種案内を表示できるように構成されている。また、表示部１５をタッチパネル等を用いることで入力操作が可能な構成とすることもできる。タッチパネル方式とする場合には、表示部１５は操作部１８の一部としても機能する。
【００３４】
表示部１５は、ＬＣＤや有機ＥＬ、無機ＥＬ等の各種表示デバイスで構成できる。表示部１５は、ＲＡＭ１６やメモリカ−ド１ｂに記録されている画像デ−タや、外部インタ−フェ−ス１ｃを通じて外部の撮像装置等から転送されてきた画像デ−タ等を再生表示する際にも用いられる。
【００３５】
撮像装置１のＣＰＵ１７は、ＡＦ演算部１７ｄを備え、撮像素子１１で撮像した画像デ−タを用いて最適な自動焦点調整を行うように演算し、レンズ１０を制御する。また、ＣＰＵ１７は、撮像した画像の中に人物の顔があるかないかを検出する検出部１７ａを備える。
【００３６】
検出部１７ａは、撮像画像の中に人物の顔の目や鼻などに相当する部分があるのかどうかを検出することができる。検出方法として、例えば顔を２次元パタ−ンとして捉えて文字認識で確立された複合類似度などのパタ−ン認識理論、あるいは予め学習させたニュ−ラルネットワ−クを用いた抽出方法等を用いてもよい。
【００３７】
また、ＣＰＵ１７は、検出部１７ａで検出する人物の顔の特徴を抽出する特徴抽出部１７ｂを備える。人物の顔の特徴とは、例えば目や鼻や口や耳、顔の輪郭やこれら相互の相対配置や相対的大きさ等である。特徴抽出には、例えばエッジ情報やカラ−情報、モデルマッチング等を用いることができる。
【００３８】
また、ＣＰＵ１７は、特徴抽出部１７ｂで抽出された人物の顔の特徴を、予めメモリカ−ド１ｂ等に記憶された人物の顔の特徴と比較することで、当該人物かどうかを判別する判別部１７ｃを備える。判別部１７ｃは、抽出された各特徴点の位置、形状、サイズをパラメ−タ化して特徴ベクトルを生成し、予めフラッシュメモリ１９等に記憶されている対象人物の特徴ベクトルとの類似度を計算する。最も類似度が高い辞書ベクトルを表す人物を当人と判別する構造的解析手法を用いることができる。
【００３９】
また、判別部１７ｃは、目、鼻などの特徴点を基準とした２次元ａｆｆｉｎｅ変換などの幾何学変換により位置、サイズが正規化された画像と予めフラッシュメモリ１９等に記憶されている辞書正規化画像とのパタ−ンの類似度に基づいたパタ−ン的判別方法を用いる。ここでも、最も類似度が高い辞書ベクトルを表す人物を当人と判別する。
【００４０】
判別部１７ｃは、特徴抽出部１７ｂで抽出された人物の顔の特徴に対応する記録された該当人物がいない場合、その特徴をＲＡＭ１６等に一時記録する。ＲＡＭ１６等への一時記録動作は、例えば表示部１５に表示する該当人物のモニタ−表示へのタッチパネル入力により、ＣＰＵ１７が行わせる。
【００４１】
判別部１７ｃは、ＲＡＭ１６等に一時記録された人物の特徴を読み出して、その後の撮像動作により取得された画像から特徴抽出部１７ｂにより抽出された特徴とを比較することで、特定の撮像対象であるタ−ゲットに該当するかどうかを判別する。
【００４２】
また、ＡＦ演算部１７ｄが行う自動焦点の演算は、撮像画像の中の所定の５個所又は９個所について行う。そして、検出部１７ａにより撮像画像中に人物の顔が検出された場合には、当該人物の顔について自動焦点動作を行う。人物の顔が複数検出された場合には、最も近接の顔又は撮像画像に占める面積が最も大きな顔について自動焦点合せを行う。
【００４３】
撮像装置１は、検出部１７ａで人物の顔が検出されたにも拘わらず、判別部１７ｃで当該人物の顔の判別を正確に行える程度に特徴抽出部１７ｂでの特徴抽出が行えなかった場合には、別途顔判別用の画像の取り込みを行うように、ＣＰＵ１７が撮像素子１１に画像デ−タの出力を指示する。
【００４４】
顔判別用の画像は、検出部１７ａが検出する顔に対応する部分について、ＣＰＵ１７がその顔部分をより高画素密度で高精細に撮像素子１１に出力させることにより取得する。これについて、図２に示すズ−ムアウトの撮像例を用いて説明する。
【００４５】
図２（ａ）は、運動会においてズ−ム撮影した撮像画像２０を示すものである。この撮像画像２０は、表示部１５にモニタ−表示されている。撮像画像２０では、被写体目標とするタ−ゲット２１が比較的大きい。すなわち、撮像画像２０に占めるタ−ゲット２１の面積が比較的大きい。従って、タ−ゲット２１の撮像に用いられる撮像素子１１の画素数（pixel）も比較的大きく、解像度もよい。このため、特徴抽出部１７ｂがタ−ゲット２１の顔の抽出を正確に、高精度に行うことができる。
【００４６】
図２（ｂ）は、図２（ａ）から少しズ−ムアウトした撮像画像２２を示すものである。ズ−ムアウトに伴い、撮像画像２２は、より広角になり撮像領域が増大する。一方、タ−ゲット２３は見かけ上相対的に小さく表示され、撮像素子１１でタ−ゲット２３の撮像に用いられる撮像素子１１の画素数は、より少なくなる。
【００４７】
図２（ｃ）は、図２（ｂ）からさらにズ−ムアウトした撮像画像２４を示すものである。ズ−ムアウトに伴い、撮像画像２４は、さらに広角になり撮像領域が増大する。一方、タ−ゲット２５は見かけ上相対的にさらに小さく表示され、撮像素子１１でタ−ゲット２５の撮像に用いられる撮像素子１１の画素数は、さらに少なくなる。
【００４８】
このため、タ−ゲット２５について、特徴抽出部１７ｂで特徴を抽出しようとしても、図２（ｃ）に示すタ−ゲット２５の画素数では解像度が十分でなく、抽出ができないか又は信頼できる特徴の抽出が行えない。従って、判定部１７ｃは、正確な人物の判別を行うことができず、判別不能としたり過った判別をする可能性が増大する。
【００４９】
撮像装置１は、特徴抽出部１７ｂが人物の特徴を信頼性高く抽出できない場合には、その人物の特徴を信頼性高く抽出できるよう高精細で高解像度の画像を取得する。具体的には、ＣＰＵ１７が、撮像素子１１に当該人物に対応する画素部分について、より高画素密度でデ−タ出力するよう指示する。
【００５０】
次に図３を用いて、表示部１５への表示等に用いるいわゆるスル−画像の取り込みと、特徴抽出部１７ｂでの特徴抽出用の高画素密度取り込みについて説明する。図３（ａ）と図３（ｃ）と図３（ｅ）は、順に例えば３０ｆｐｓで約３０ミリ秒ごとに撮像素子１１から出力され、表示部１５に表示等される撮像画像３１、撮像画像３３、撮像画像３５を示すものである。撮像画像３１、３３、３５は、表示部１５への表示等に用いられ、フレ−ムレ−トを向上させる等の目的から間引きして出力された画像デ−タを用いる。
【００５１】
このため、人物の顔３６が検出されても、特徴抽出部１７ｂで正確な特徴の抽出が行えない。そこで、ＣＰＵ１７が、撮像素子１１に図３（ｂ）や図３（ｄ）のような高画素密度のタ−ゲット画像である人物の顔の撮像画像３２、３４を出力するように指示する。撮像素子１１は、新たに撮像して光電変換した上で、人物の顔３６に対応する撮像画像３２や撮像画像３４の画像デ−タを、上述のスル−画像を出力する間に３０ｆｐｓで約３０ミリ秒ごとに出力することとなる。従って、撮像素子１１は、この場合６０ｆｐｓで約１５ミリ秒ごとの撮像デ−タの出力を行う。撮像画像３１と撮像画像３２との間では、特に設定変更等がない限り、撮像素子１１全体として見ればほぼ同じ被写体を同様に撮像する。
【００５２】
高画素密度の画像取り込みについて、概念的に説明するのが図５の画素密度説明図である。図５（ａ）は広角又はズ−ムアウト状態の撮像画像５３である。画素５２は、撮像画像５３の撮像に実効的に用いられる撮像素子１１の画素を示す。画素５１は、撮像画像５３の撮像に実効的に用いられない撮像素子１１の画素を示す。ここで、実効的に用いられる画素とは、撮像素子１１の撮像面での光電変換だけでなく、その電荷が読み出され、撮像画像５３として表示部１５での表示又はメモリカ−ド１ｂ等への記録に用いられるものをいう。
【００５３】
撮像装置１は、撮像素子１１が１０００万ピクセル等の大きな画素からなる場合、撮像素子１１の撮像面に結像する撮像画像５３に対応する像について、全ての画素を読み出すことはない。
【００５４】
１０００万ピクセル全てを撮像素子１１から読み出し、画像処理し、表示し、記録することは、その取り扱い処理にかかるデ−タ量が多大であるので、ＣＰＵ１７の負荷増大とともに処理時間等の遅延を生じる。このため、動画撮像時のいわゆるフレ−ムレ−トが低下したり、静止画撮像時のレリ−ズタイムラグが増大したりする。
【００５５】
これを防ぐため、一般に動画撮像時やいわゆるスル−画像撮像時やモニタ−表示用画像撮像時には、間引きしてデ−タ量を低減した画像デ−タを用いる。画像デ−タの間引きは、撮像素子１１の画素のうち所定の画素のみを読み出し画像処理等を行う。また、所定の画素以外の画素については、撮像素子１１から読み出ししない又は読み出しても画像処理や記録や表示に用いない等とする。
【００５６】
一方、ＣＰＵ１７が備える特徴抽出部１７ｂにおいては、より正確で信頼性の高い特徴抽出をするため、検出部１７ａで検出される顔部分について、より高精細で高解像度の画像、すなわち顔部分についてより高画素密度の画像であることが望ましい。
【００５７】
図５（ａ）においては、検出部１７ａで検出された人物の顔５４に用いられる撮像素子１１の画素が、少ないことが理解できる。撮像画像５３が、約１０００万ピクセルの撮像素子１１を用いて約３００万ピクセル相当の画素読み出し（すなわち約１／３間引き読み出し）で表示されている場合は、人物の顔５４は、例えば約１００万ピクセル相当となる。
【００５８】
図５（ｂ）は、人物の顔５４を高画素密度読み出しする撮像画像５６を示す概念図である。撮像画像５６は、特徴抽出部１７ｂでの人物の特徴抽出やＡＦ演算部１７ｄでの自動焦点制御の演算に用いられる。表示部１５での表示や動画記録等には用いない。
【００５９】
撮像画像５６は、撮像画像５３と同じ約３００万ピクセルで読み出されるが、タ−ゲットとする人物の顔５４部分について３００万ピクセルでの読み出しとなる。このため、この画像デ−タ５６を用いると、特徴抽出部１７ｂは正確な特徴抽出が行え、判別部１７ｃは正確で信頼性の高い人物の判別が可能となる。
【００６０】
すなわち、撮像画像５３において、人物の顔５４に対応する撮像素子１１の画素は、実際には約３００万ピクセル相当ある。しかし、上述のような理由から、約１／３間引きして読み出ししているため、このままでは特徴抽出部１７ｂは、人物の顔５４については約１００万ピクセル相当の画素デ−タしか用いることができない。
【００６１】
そこで撮像装置１のＣＰＵ１７は、撮像素子１１に人物の顔５４について全画素読み出しすることを指示する。そして、撮像素子１１が、人物の顔５４について約３００万ピクセルの全画素出力することにより、撮像画像５６が取得され、特徴抽出に用いることが可能となる。これにより、特徴抽出部１７ｂは、前述の約３倍の画像デ−タを基にした特徴抽出を行えるので、信頼性高く正確な抽出となる。
【００６２】
また、ＡＦ演算部１７ｄは、この画像デ−タ５６を用いて自動焦点演算を行うので、より信頼性高く正確な自動焦点とすることが可能となる。換言すると、撮像素子１１が高画素密度で出力するとは、被写体のあるタ−ゲットに対して、そのタ−ゲットの撮像にいくつの画素を用いて出力するのかについての高画素密度出力であるということである。
【００６３】
次に、図６に示す撮像装置１の動作フロ−の典型例について説明する。
（ステップ６１）撮像装置１のオペレ−タは、撮像を開始する場合に、その準備として撮像装置１の電源をオンにする。
（ステップ６２）撮像装置１のＣＰＵ１７に通電され、ＣＰＵ１７からの指示により撮像素子１１が、被写体からの入射光を光電変換してその光強度に応じた電気信号を順次出力する。この動作は、レリ−ズ動作の有無とはかかわり無く、電源オンにより実行される。これにより撮像装置１は、いわゆるスル−画像を取り込むことができる。この取り込み動作は、撮像素子１１の画素の全てではなく、所定の間引きにより低減された画素について撮像装置１に取り込むものである。画素数の低減によりＣＰＵ１７の負荷や、デバイス間の通信時間が低減され、いわゆるレリ−ズタイムラグの発生やフレ−ムレ−トの低下を抑制できる。
（ステップ６３）ステップ６２で取り込んだ画像を表示部１５に表示する。表示に用いる画像デ−タは、撮像素子１１から出力される間引かれた画像デ−タをＡ／Ｄ変換部１３でディジタル変換した後、画像処理部１４で所定の画像処理がされた画像デ−タをアナログ変換したものである。撮像素子１１の全画素読み出しにかかる画素デ−タではないので、表示部１５へ表示される画像はフレ−ムレ−トが高く維持されスム−ズであり、鑑賞に堪え得るものとなる。
（ステップ６４）撮像素子１１から間引かれて出力された画像デ−タ中に、人物像があるのかないのかを検出部１７ａが検出する。人物像とは、典型的には人の顔に相当する画像領域があるのかないのかということであるがこれに限られない。画像中に人物像が検出されればステップ６５に進み、画像中に人物像が検出されなければステップ６２に戻る。ステップ６４の動作は、検出部１７ａでの検出結果に替えて又はそれと共に、表示部１５へ表示する人物のタッチパネルによるオペレ−タの指示入力や操作部１８からの撮像素子１１のオペレ−タの入力によりタ−ゲットを指定するものであってもよい。オペレ−タからの指示入力があった場合には、検出部１７ａでの検出に優先させて、指定のあったタ−ゲットについてステップ６５における特徴抽出を行う。
【００６４】
すなわち、人物の有無の判断は、表示部１５に表示されるモニタ−画面からタッチパネル等で撮像装置１のオペレ−タが指定できるようにしてもよい。図４（ａ）に示すように、検出部１７ａは、撮像画像中の最も大きな至近にある顔４１を検出し、自動焦点等のタ−ゲットと設定するようデフォルトのアルゴリズムが設定されている。表示部１５には、自動焦点又は顔判別認証のタ−ゲットとなることを示すマ−ク４１が表示される。
【００６５】
しかし、撮像装置１のオペレ−タは、人物の顔４２をタ−ゲットとしたい場合がある。このような場合には、表示部１５に表示される画面において、手４３等で希望するタ−ゲットをタッチパネル入力する。この入力により、検出部１７ａが検出してタ−ゲットに設定する至近の顔４１に優先して、高画素密度で出力したりＡＦ演算部１７ｄが自動焦点の対象とするタ−ゲットが、図４（ｂ）に示す人物の顔４４となる。
【００６６】
典型的には、運動会等において全体を撮像したりズ−ムイン撮像したりする場合でも、タ−ゲットの表示画面中での大小に関わり無く、特定のタ−ゲットを追い続けることも可能となる。自動焦点もこのタ−ゲットに合せることもできる。
（ステップ６５）特徴抽出部１７ｂは、検出部１７ａがステップ６４で検出する人物について、その人物の特徴を抽出できるかどうかを判断する。人物の特徴とは、典型的には顔の目、鼻等の位置関係や配置などであるがこれに限られるものではない。人物の特徴が抽出できるのであればステップ６６へと進み、人物の特徴が抽出できなければステップ６ａへと進む。特徴抽出部１７ｂは、抽出する人物の特徴について一定の信頼性に関わる閾値を設けることで、信頼性が所定の閾値より高い抽出ができるのであればステップ６５へ進み、信頼性が所定の閾値より低い抽出しかできないのであればステップ６ａに進むこととしてもよい。
（ステップ６６）特徴抽出部１７ｂは、人物の顔の特徴抽出を行う。特徴抽出部１７ｂは、ソ−ベル等のエッジオペレ−タを用いて顔領域内のエッジを抽出し、モデル当てはめ等により目、鼻、口などを抽出してもよい。
（ステップ６７）判別部１７ｃは、特徴抽出部１７ｂで抽出する特徴が、フラッシュメモリ１９等に予め記憶されている人物の特徴と比較した結果、該当するものがあるのかないのかを判断する。記憶された特徴に該当するものがあればステップ６８に進み、記憶された特徴に該当するものがなければステップ７０に進む。
（ステップ６８）判別部１７ｃは、特徴抽出部１７ｂで抽出された特徴と、フラッシュメモリ等に予め記憶されている人物の特徴とを比較して判別し、最も一致点が多く信頼性の高い人物を該当人物として認定する。
（ステップ６９）撮像を終了する場合は電源をオフにし、撮影を終了しない場合はステップ６２に戻る。
（ステップ７０）ステップ６７で、特徴抽出部１７ｂが抽出した特徴に該当する特徴がフラッシュメモリ１９等に記憶されていなければ、ＣＰＵ１７の指示により、抽出した特徴をＲＡＭ１６等に記録する。これにより、次の取り込み画像に検出される人物についても、その抽出された特徴と記憶された特徴とを比較して判別することで、該当する同一人物（タ−ゲットに相当）であるかどうかを認定することができる。この記録動作は、ＣＰＵ１７自体の判断による以外に、例えば表示部１５に表示される人物について撮像装置１のオペレ−タがタ−ゲットを特定しタッチパネル入力等により指定することで、指定された人物について行ってもよい。特徴の記録をすれば、ステップ６２に戻り、次の画像フレ−ムの取り込みを開始する。
（ステップ６ａ）ステップ６５で特徴抽出部１７ｂが人物の顔の特徴を全く抽出できない場合、又は信頼性の高い特徴抽出ができない場合には、検出部１７ａが抽出したタ−ゲットについて撮像素子１１が高画素密度で出力する。典型的には、人物の顔及びその周囲を高画素密度で出力する。例えば、ステップ６２での画像取り込みにおいて、このタ−ゲットの撮像に使用する画素が１００万ピクセル相当だとすれば、このステップ６ａでの高画素密度取り込みでは、３００万ピクセル相当とする。このステップの後工程であるステップ６６では、ここで取り込んだ高画素密度の画像を用いて特徴の抽出を行う。
【００６７】
ここで、ステップ６４にてタ−ゲットを図４（ａ）の人物の顔４２と指定した場合には、図４（ｃ）に示すように人物の顔４４を高画素密度で取り込む。高画素密度で取り込む人物の顔４５は、その周囲部分も含めてやや余裕を持って取り込むことが好ましい。取り込み間隔は、約３３ミリ秒等と非常に短いものであるが、被写体のタ−ゲットも多少動くことが考えられ、また撮像装置１自体のアングル等がこの間に変わった場合でも対応できることとなる。この場合、ＣＰＵ１７が、タ−ゲットの周囲に少し余裕を持たせた領域を演算し、撮像素子１１に当該領域を高精細に出力させる。
（ステップ６ｂ）ＣＰＵ１７が自動焦点制御の対象を変更し、ＡＦ演算部１７ｄは、ステップ６ａで取り込んだ高画素密度の画像を用いてＡＦ制御をする。ＡＦ演算部１７ｄは、デフォルト撮像においては図７（ａ）に示すように被写体中の定点７１五箇所についての画像を基に、自動焦点演算を行う。
【００６８】
一方、自動焦点演算は、演算に用いる画像が高画素密度であればあるほど、より多くの画像デ−タから演算できるので、安定して高精度の自動焦点演算が可能となる。このため、ＣＰＵ１７は、自動焦点に用いるタ−ゲットを図７（ｂ）に示す人物の顔７２に変更し、ＡＦ演算部１７ｄは、人物の顔７２について高画素密度で取り込まれる画像デ−タにより自動焦点演算を行う。
【００６９】
ＡＦ演算部１７ｄは、例えばコントラスト法により自動焦点演算を行うことができる。コントラスト法とは、像のボケとコントラストと間の相関関係を利用して、コントラストが最大になる焦点位置を、最適な焦点であるとする自動焦点演算である。
【００７０】
なお、この実施形態で述べる撮像素子１１の全体画素数は、典型例として１ギガピクセルとして説明したが、これに限られることはなく所望の画素数の撮像素子を用いることができる。また、撮像素子１１は、ＣＭＯＳやＣＣＤ等の固体撮像素子の他、任意のイメ−ジセンサを用いてもよい。
【００７１】
また、フレ−ムレ−トは、３０ｆｐｓや６０ｆｐｓでなくても、９０ｆｐｓとしてもよく、その他任意のフレ−ムレ−トとすることができる。また、スル−画像用の画像デ−タと高精細の画像デ−タとを撮像素子１１から出力するに際し、必ずしも交互に出力する必要はない。例えば、高精細で出力したいタ−ゲットが二つある場合には、スル−画像用の画像デ−タの出力の間に、高精細な画像をそれぞれ出力してもよい。この場合には、撮像素子１１全体としては、９０ｆｐｓでの出力となる。また、高精細で出力したいタ−ゲットが三以上ある場合には、至近から上位三人を取り込むこととしてもよい。フレ−ムレ−トとの関係を適宜調整することにより、スル−画像間に高精細で取り込む画像数とその対象を適宜設計してもよい。また、タッチパネル等により指定された三人をタ−ゲットとして取り込むこととしてもよい。
【００７２】
また、この実施形態で説明するように、スル−画像用の画像デ−タの出力と高精細の画像デ−タの出力とを、別個独立の時間に出力しなくてもよい。スル−画像用の画像デ−タの出力の一部を高精細な画像デ−タの一部として共有することで、撮像素子１１から効率的な読み出しができる構成としてもよい。
【００７３】
撮像装置１は、光学ズ−ムを用いることなくタ−ゲット及びその周囲の被写体を高画素密度で取得することができる。これにより、安定して高精度な自動焦点とし、また高精度で正確なタ−ゲットの特徴抽出が安定して行える。従って、抽出するその特徴に基づき、正確な人物の判別、認証が安定して行える。
【００７４】
また、高画素密度で取り込むタ−ゲットの像は、仮に表示部に表示したと仮定する場合に、表示部１５に表示するスル−画像と比較して常に一定の拡大倍率となるように、予め所定の倍率を設定しておいてもよい。この場合には、撮像素子１１は、ＣＰＵ１７の指示により、タ−ゲットとその周囲について設定された一定の倍率となるように高画素密度で出力する。また、上記一定の拡大倍率は、標準の画像に対して任意に設定された拡大倍率となるようにしてもよい。
【００７５】
また、タ−ゲットとなる人物の顔等が、所定の画素数を用いた高画素密度出力となるように、表示部１５や操作部１８から設定する構成としてもよい。例えば、特徴抽出部１７ｂでの人物の顔の特徴抽出に、人物の顔を２００万ピクセル相当の画素数で撮像する画像デ−タが適するのであれば、高画素密度出力は、タ−ゲットを２００万ピクセルで出力することとできる。また、２００万ピクセルでなくても、特徴抽出部１７や判別部１７ｃでの処理に最適な画素密度でタ−ゲットの出力をするように設定してもよい。
【００７６】
また、撮像装置１は、スル−画像等について撮像素子１１からの出力時点でいわゆる画素間引きを行うが、これに限られず、間引く工程は任意に構成してもよい。ただし、撮像素子１１に近い前工程の段階で画像デ−タを間引いて処理する方が、その後の後工程すべてについて処理デ−タ量の低減につながるので好ましい。また、間引く方法は垂直間引き、水平間引き等任意の手法を用いることができる。撮像装置１は、自明な範囲で適宜設計変更し、設定調整し、構成を変更して用いてもよい。
【産業上の利用可能性】
【００７７】
本発明は、被写体からの入射光を撮像素子で光電変換して取り込む撮像装置に広く適用できる。
【図面の簡単な説明】
【００７８】
【図１】撮像装置の構成ブロック図
【図２】ズ−ムアウトの撮像例
【図３】スル−画像と高画素密度画像の説明概念図
【図４】オペレ−タにより人物指定の説明図
【図５】画素密度説明概念図
【図６】撮像装置の動作フロ−
【図７】自動焦点の説明概念図
【符号の説明】
【００７９】
１・・撮像装置、１０・・レンズ、１１・・撮像素子、１２・・ＣＤＳ部、１３・・Ａ／Ｄ変換部、１４・・画像処理部、１５・・表示部、１６・・ＲＡＭ、１７・・ＣＰＵ、１８・・操作部、１９・・フラッシュメモリ、１ａ・・カ−ドインタ−フェ−ス、１ｂ・・メモリ−カ−ド、１ｃ・・外部インタ−フェ−ス、１７ａ・・検出部、１７ｂ・・特徴抽出部、１７ｃ・・判別部、１７ｄ・・ＡＦ演算部
【特許請求の範囲】
【請求項１】
撮像素子で受光する入射光を光電変換して画像を取り込む撮像装置において、
該撮像装置は、
該撮像素子から取り込んだ画像中に人物がいるかどうかを検出する検出部を備え、
該撮像素子は、
記録又はモニタ−表示に用いる被写体を所定の画素密度で出力する低画素密度出力モ−ドと、
該検出部が検出する該人物を該所定の画素密度より高い画素密度で出力する高画素密度出力モ−ドとを備え、
さらに該撮像装置は、該撮像素子が高画素密度出力モ−ドで出力する画像から、該検出部が検出する人物の特徴を抽出する特徴抽出部を備える
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮像装置は、
前記撮像素子が高画素密度出力モ−ドで出力する画像により自動焦点合わせをするＡＦ部
を備えることを特徴とする撮像装置。
【請求項３】
被写体からの入射光を撮像素子で光電変換して画像を取り込む撮像装置において、
該撮像素子は、
該撮像素子から、記録又はモニタ−表示に用いる複数の被写体画像を順次出力する間に、
被写体の特徴抽出に用いる該被写体画像の一部を該順次出力するよりも高画素密度で出力する
ことを特徴とする撮像装置。
【請求項４】
請求項３に記載する撮像装置において、
被写体の特徴抽出に用いる前記被写体画像の一部は、人物の顔である
ことを特徴とする撮像装置。
【請求項５】
請求項３又は請求項４に記載する撮像装置において、
被写体の特徴抽出に用いる高画素密度で出力される前記被写体画像の一部により自動焦点制御を行うＡＦ部を備える
ことを特徴とする撮像装置。
【請求項６】
請求項５に記載する撮像装置において、
前記撮像装置は、
前記被写体画像中の人物の顔の有無を検出する検出部と、
該検出部が検出した人物の顔の特徴を抽出する特徴抽出部と、
該特徴抽出部が抽出する該人物の顔の特徴に基づいて該被写体画像の人物の顔を判別する判別部と、
該特徴抽出部が該人物の顔の特徴を抽出できないときに、該人物に対応する画像を該被写体画像より高画素密度で撮像素子に出力させるＣＰＵと
を備え、
前記ＡＦ部は、
該高画素密度で出力される画像を用いて自動焦点制御を行う
ことを特徴とする撮像装置。
【請求項７】
被写体からの入射光を撮像素子で光電変換して画像を順次取り込む撮像装置において、
記録又はモニタ−表示に用いる被写体画像を該撮像素子から取り込む第一の取り込み工程と、
該被写体画像の一部に対して該第一の取り込み工程で取り込んだ画素密度より大きな画素密度で、該被写体画像の一部に対応する画像を取り込む第二の取り込み工程と
を有する
ことを特徴とする撮像装置の画像取り込み方法。
【請求項８】
請求項７に記載する撮像装置の画像取り込み方法において、
前記第一の取り込み工程で取り込んだ被写体画像中の人物の顔の有無を検出する工程と、
人物の顔が検出されると該人物の顔の特徴を抽出する工程と、
該人物の顔の特徴を抽出できないと、該人物の顔に対応する被写体を取り込む第二の取り込み工程とを有する
ことを特徴とする撮像装置の画像取り込み方法。
【請求項９】
請求項７又は請求項８に記載する撮像装置の画像取り込み方法において、
複数の被写体画像を前記第一の取り込み工程により順次取り込む間に、前記第二の取り込み工程を行う
ことを特徴とする撮像装置の画像取り込み方法。
【請求項１０】
撮像素子で受光する入射光を光電変換して被写体画像を順次取り込む撮像装置であって、
該撮像装置は、取り込んだ被写体画像から人物の顔を検出する検出部と、
該検出部が検出する人物の顔の特徴を抽出する特徴抽出部とを備え、
該特徴抽出部が人物の顔の特徴を抽出できない場合に、ＣＰＵが、該人物の顔をより高画素密度で該撮像素子から出力させる工程と、
該特徴抽出部が、より高画素密度の該人物の顔を取り込み、取り込んだ該人物の顔の画像から該人物の特徴を抽出する工程と
を有することを特徴とする人物の顔の特徴抽出方法。
【請求項１】
撮像素子で受光する入射光を光電変換して画像を取り込む撮像装置において、
該撮像装置は、
該撮像素子から取り込んだ画像中に人物がいるかどうかを検出する検出部を備え、
該撮像素子は、
記録又はモニタ−表示に用いる被写体を所定の画素密度で出力する低画素密度出力モ−ドと、
該検出部が検出する該人物を該所定の画素密度より高い画素密度で出力する高画素密度出力モ−ドとを備え、
さらに該撮像装置は、該撮像素子が高画素密度出力モ−ドで出力する画像から、該検出部が検出する人物の特徴を抽出する特徴抽出部を備える
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮像装置は、
前記撮像素子が高画素密度出力モ−ドで出力する画像により自動焦点合わせをするＡＦ部
を備えることを特徴とする撮像装置。
【請求項３】
被写体からの入射光を撮像素子で光電変換して画像を取り込む撮像装置において、
該撮像素子は、
該撮像素子から、記録又はモニタ−表示に用いる複数の被写体画像を順次出力する間に、
被写体の特徴抽出に用いる該被写体画像の一部を該順次出力するよりも高画素密度で出力する
ことを特徴とする撮像装置。
【請求項４】
請求項３に記載する撮像装置において、
被写体の特徴抽出に用いる前記被写体画像の一部は、人物の顔である
ことを特徴とする撮像装置。
【請求項５】
請求項３又は請求項４に記載する撮像装置において、
被写体の特徴抽出に用いる高画素密度で出力される前記被写体画像の一部により自動焦点制御を行うＡＦ部を備える
ことを特徴とする撮像装置。
【請求項６】
請求項５に記載する撮像装置において、
前記撮像装置は、
前記被写体画像中の人物の顔の有無を検出する検出部と、
該検出部が検出した人物の顔の特徴を抽出する特徴抽出部と、
該特徴抽出部が抽出する該人物の顔の特徴に基づいて該被写体画像の人物の顔を判別する判別部と、
該特徴抽出部が該人物の顔の特徴を抽出できないときに、該人物に対応する画像を該被写体画像より高画素密度で撮像素子に出力させるＣＰＵと
を備え、
前記ＡＦ部は、
該高画素密度で出力される画像を用いて自動焦点制御を行う
ことを特徴とする撮像装置。
【請求項７】
被写体からの入射光を撮像素子で光電変換して画像を順次取り込む撮像装置において、
記録又はモニタ−表示に用いる被写体画像を該撮像素子から取り込む第一の取り込み工程と、
該被写体画像の一部に対して該第一の取り込み工程で取り込んだ画素密度より大きな画素密度で、該被写体画像の一部に対応する画像を取り込む第二の取り込み工程と
を有する
ことを特徴とする撮像装置の画像取り込み方法。
【請求項８】
請求項７に記載する撮像装置の画像取り込み方法において、
前記第一の取り込み工程で取り込んだ被写体画像中の人物の顔の有無を検出する工程と、
人物の顔が検出されると該人物の顔の特徴を抽出する工程と、
該人物の顔の特徴を抽出できないと、該人物の顔に対応する被写体を取り込む第二の取り込み工程とを有する
ことを特徴とする撮像装置の画像取り込み方法。
【請求項９】
請求項７又は請求項８に記載する撮像装置の画像取り込み方法において、
複数の被写体画像を前記第一の取り込み工程により順次取り込む間に、前記第二の取り込み工程を行う
ことを特徴とする撮像装置の画像取り込み方法。
【請求項１０】
撮像素子で受光する入射光を光電変換して被写体画像を順次取り込む撮像装置であって、
該撮像装置は、取り込んだ被写体画像から人物の顔を検出する検出部と、
該検出部が検出する人物の顔の特徴を抽出する特徴抽出部とを備え、
該特徴抽出部が人物の顔の特徴を抽出できない場合に、ＣＰＵが、該人物の顔をより高画素密度で該撮像素子から出力させる工程と、
該特徴抽出部が、より高画素密度の該人物の顔を取り込み、取り込んだ該人物の顔の画像から該人物の特徴を抽出する工程と
を有することを特徴とする人物の顔の特徴抽出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−７７０６６（Ｐ２００９−７７０６６Ａ）
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願番号】特願２００７−２４２８８５（Ｐ２００７−２４２８８５）
【出願日】平成１９年９月１９日（２００７．９．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願日】平成１９年９月１９日（２００７．９．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]