撮像装置、撮像方法、プログラムおよび記録媒体
【課題】撮像装置の傾きを考慮して人物の顔を正確に検出、追尾できるようにする。
【解決手段】撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶手段と、本体の姿勢を検出する姿勢検出手段と、被写体を撮像し、画像データを取得する撮像手段と、姿勢検出手段により検出された姿勢に基づいて記憶手段から対応する基準画像データを取得し、取得した基準画像データを用いて、撮像手段により取得された画像データから撮像対象物の検出を行う対象物検出手段と、を備える。
【解決手段】撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶手段と、本体の姿勢を検出する姿勢検出手段と、被写体を撮像し、画像データを取得する撮像手段と、姿勢検出手段により検出された姿勢に基づいて記憶手段から対応する基準画像データを取得し、取得した基準画像データを用いて、撮像手段により取得された画像データから撮像対象物の検出を行う対象物検出手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、この方法を実行するプログラムおよびコンピュータ読取可能な記録媒体に関し、特に顔検出機能および傾き検出機能を有する撮像装置、撮像方法、この方法を実行するプログラムおよびコンピュータ読取可能な記録媒体に関するものである。
【背景技術】
【０００２】
撮像装置で人物を撮影する際、必ずしも顔の正面から撮影を行うとは限らない。撮影者によってはわざと顔の正面以外から撮影を行う場合がある。また、顔追尾を行っている際に撮影構図を決めるために、撮像装置を傾けるように動かす場合がある。そこで、上述のような場合にも正確に顔検出や顔追尾を行うことができるよう、改良する余地がある。
【０００３】
従来のデジタルカメラ等の撮像装置で人物の顔に合わせた写真を撮影する技術としては、画面内で人物の顔を検出し、検出された顔に対して追尾を行い、撮影時には顔に対して最適な撮影条件を決定する方式等が使用されている。
【０００４】
顔検出を行う際に撮像装置の傾きを考慮する手法として、従来より、撮像装置の傾きによって、エッジ検出の方向を変えるなどの顔検出手段の検出方法を変更させる手法が提案されている（例えば特許文献１）。また、人物の顔の検出を行い、検出された人物の顔の少なくとも一部を測距エリアとして自動合焦を行う技術が提案されている（例えば特許文献２）。
【特許文献１】特開２００５−１３０４６８号公報
【特許文献２】特開２００３−１０７３３５号公報
【非特許文献１】松橋聡、外３名、「顔領域抽出に有効な修正ＨＳＶ表色系の提案」、テレビジョン学会誌、１９９５年、第４９巻、第６号、ｐ．７８７−７９７
【非特許文献２】安居院猛、外２名、「静止濃淡情景画像からの顔領域の抽出」、電子情報通信学会誌 Ｄ−II、１９９１年１１月、第７４巻、第１１号、ｐ．１６２５−１６２７
【非特許文献３】上野秀幸、「テレビ電話用顔領域検出とその効果」、画像ラボ、１９９１年１１月、ｐ．３９−４２
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、顔検出を行う際、一般的に顔の正面からの撮影のみ考慮し、顔の正面以外からの撮影（例えば上から角度をつけて撮影するなど）する場合等は考慮しておらず、その場合は、顔検出を行う際の基準データファイルと不一致と判断され、顔検出や顔追尾が正常に行えない場合があった。また、特許文献２では、顔検出を行う際に撮像装置の傾きは考慮されていない。
更には、近年、デジタルカメラなどの撮像装置において、撮影画像中から人物の顔を検出して検出した顔領域にフォーカスや露出等が合うように制御される機能や、検出された顔があらかじめ登録されている顔であるかどうかを認証する機能が実現されている。これらの機能をいろいろな向きの顔に対して実施しようとした場合、使用するテンプレートを顔の向きに応じて複数種類保持する必要があるが、顔の向きがわからなければ全てのテンプレートを用いて検出処理を実行しなくてはならず、時間がかかってしまう。そこで、カメラの姿勢を検出することで被写体の顔の向きを推定し、向きに応じて処理を変える手法が開発されている。
例えば、特許文献１のように、姿勢センサによって得られた姿勢情報に基づいて撮像装置が横置きか縦置きかを瞬時に判断し、判断結果に応じて異なるスキャン方向の２つのフィルタ処理のうち、いずれか一方のみのフィルタ処理を行うことで、カメラに対して縦向きの顔と横向きの顔の両方に対応した顔検出機能を実現する技術がある。しかし、縦向きなら縦向きの顔のみの検出となってしまい、縦向きのときに顔が横向きに近くなるように被写体がポーズをとっている場合には顔の検出ができなくなってしまう。
【０００６】
そこで本発明は、上記問題点に鑑みてなされたものであり、撮像装置の傾きを考慮して人物の顔を正確に検出、追尾できるようにする技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明における撮像装置は、撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶手段と、本体の姿勢を検出する姿勢検出手段と、被写体を撮像し、画像データを取得する撮像手段と、姿勢検出手段により検出された姿勢に基づいて記憶手段から対応する基準画像データを取得し、取得した基準画像データを用いて、撮像手段により取得された画像データから撮像対象物の検出を行う対象物検出手段と、を備えることを特徴とする。
【０００８】
姿勢検出手段により検出された姿勢に基づいて記憶手段から対応する基準画像データを取得し、取得した基準画像データを用いて、対象物検出手段により検出された撮像対象物を追尾する対象物追尾手段を備えることを特徴とする。
【０００９】
姿勢検出手段は、ロール角とピッチ角の両方、又は何れか一方を検出することを特徴とする。
【００１０】
撮像対象物は、人物の顔であることを特徴とする。
【００１１】
姿勢検出手段により検出された姿勢に基づいて記憶手段から取得する基準画像データの優先順位を決定することを特徴とする。
【００１２】
姿勢検出手段により検出された姿勢に基づいて検出領域を変更することを特徴とする。
【００１３】
また、本発明における撮像方法は、撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶ステップと、本体の姿勢を検出する姿勢検出ステップと、被写体を撮像し、画像データを取得する撮像ステップと、姿勢検出ステップにより検出された姿勢に基づいて記憶ステップにて記憶した対応する基準画像データを取得し、取得した基準画像データを用いて、撮像ステップにより取得された画像データから撮像対象物の検出を行う対象物検出ステップと、を備えることを特徴とする。
【００１４】
姿勢検出ステップにより検出された姿勢に基づいて記憶ステップからにて記憶した対応する基準画像データを取得し、取得した基準画像データを用いて、対象物検出ステップにより検出された撮像対象物を追尾する対象物追尾ステップを備えることを特徴とする。
【００１５】
姿勢検出ステップは、ロール角とピッチ角の両方、又は何れか一方を検出することを特徴とする。
【００１６】
撮像対象物は、人物の顔であることを特徴とする。
【００１７】
姿勢検出手段により検出された姿勢に基づいて記憶手段から取得する基準画像データの優先順位を決定することを特徴とする。
【００１８】
姿勢検出手段により検出された姿勢に基づいて検出領域を変更することを特徴とする。
【００１９】
また、本発明におけるプログラムは、上記いずれかに記載の撮像方法をコンピュータに実行させる。
【００２０】
また、本発明における記録媒体は、上記のプログラムを記録したコンピュータ読取可能な記録媒体である。
【発明の効果】
【００２１】
本発明により、撮像装置は検出された傾きに対し、最適な基準画像データを使用して顔検出を行うことで、顔検出の精度を向上することが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の好適な実施形態について図面を参照しながら詳細に説明する。
【００２３】
（カメラシステム説明）
まず、図を参照して本発明の第１の実施の形態について説明する。なお、各図の番号は、同じ部材や同じ処理に関しては、極力、同じ番号を付けている。
【００２４】
図１、２、３は、本発明の実施形態における撮像装置の一例であるデジタルカメラの外観図である。また、図４は、本発明の実施形態における撮像装置の一例であるデジタルカメラのブロック図、図５は本発明の実施形態における顔画像検出部の概略ブロック図の一例である。
【００２５】
まず、図１〜図５を使用して、本発明の実施形態の撮像装置の一例であるデジタルカメラの動作を説明する。
【００２６】
図１〜図４において、鏡胴ユニット７は、被写体の光学画像を取り込むズームレンズ７−１ａ、ズーム駆動モータ７−１ｂからなるズーム光学系７−１、フォーカスレンズ７−２ａ、フォーカス駆動モータ７−２ｂからなるフォーカス光学系７−２、絞り７−３ａ、絞りモータ７−３ｂからなる絞りユニット７−３、メカシャッタ７−４ａ、メカシャッタモータ７−４ｂからなるメカシャッタユニット７−４、各モータを駆動するモータドライバ７−５を有する。そして、モータドライバ７−５は、リモコン受光部６入力や操作部ＫｅｙユニットＳＷ１〜ＳＷ１３の操作入力に基づく、後述するディジタルスチルカメラプロセッサ１０４内にあるＣＰＵブロック１０４−３からの駆動指令により駆動制御される。
【００２７】
ＲＯＭ１０８には、ＣＰＵブロック１０４−３にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されている。このデジタルカメラの電源がオン状態になると、前記プログラムは不図示のメインメモリにロードされ、前記ＣＰＵブロック１０４−３はそのプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的に、ＲＡＭ１０７、及び後述するディジタルスチルカメラプロセッサ１０４内にあるＬｏｃａｌ ＳＲＡＭ１０４−４に保存する。ＲＯＭ１０８に書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のＶｅｒＵｐが容易に行える。
【００２８】
ＣＣＤ１０１は、光学画像を光電変換するための固体撮像素子であり、Ｆ／Ｅ（フロントエンド）−ＩＣ１０２は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ１０２−１、利得調整を行うＡＧＣ１０２−２、ディジタル信号変換を行うＡ／Ｄ１０２−３、ＣＣＤ１制御ブロック１０４−１より、垂直同期信号（以下、ＶＤと記す。）、水平同期信号（以下、ＨＤと記す。）を供給され、ＣＰＵブロック１０４−３によって制御されるＣＣＤ１０１、及びＦ／Ｅ−ＩＣ１０２の駆動タイミング信号を発生するＴＧ１０２−４を有する。
【００２９】
ディジタルスチルカメラプロセッサ１０４は、ＣＣＤ１０１よりＦ／Ｅ―ＩＣ１０２の出力データにホワイトバランス設定やガンマ設定を行い、又、前述したように、ＶＤ信号、ＨＤ信号を供給するＣＣＤ１制御ブロック１０４−１、フィルタリング処理により、輝度データ、色差データへの変換を行うＣＣＤ２制御ブロック１０４−２、前述した装置各部の動作を制御するＣＰＵブロック１０４−３、前述した制御に必要なデータ等を、一時的に保存するＬｏｃａｌ ＳＲＡＭ１０４−４、パソコンなどの外部機器とＵＳＢ通信を行うＵＳＢブロック１０４−５、パソコンなどの外部機器とシリアル通信を行うシリアルブロック１０４−６、ＪＰＥＧ圧縮、伸張を行うＪＰＥＧ ＣＯＤＥＣブロック１０４−７、画像データのサイズを補間処理により拡大／縮小するＲＥＳＩＺＥブロック１０４−８、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するＴＶ信号表示ブロック１０４−９、撮影された画像データを記録するメモリカードの制御を行うメモリカードブロック１０４−１０を有する。
【００３０】
ＳＤＲＡＭ１０３は、前述したディジタルスチルカメラプロセッサ１０４で画像データに各種処理を施す際に、画像データを一時的に保存する。保存される画像データは、例えば、ＣＣＤ１０１から、Ｆ／Ｅ−ＩＣ１０２を経由して取りこんで、ＣＣＤ１信号処理ブロック１０４−１でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２制御ブロック１０４−２で輝度データ、色差データ変換が行われた状態の「ＹＵＶ画像データ」、ＪＰＥＧ ＣＯＤＥＣブロック１０４−７で、ＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。メモリカードスロットル１２１は、着脱可能なメモリカードを装着するためのスロットルである。内蔵メモリ１２０は、前述したメモリカードスロットル１２１にメモリカードが装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。
【００３１】
ＬＣＤドライバ１１７は、後述するＬＣＤモニタ１０に駆動するドライブ回路であり、ＴＶ信号表示ブロック１０４−９から出力されたビデオ信号を、ＬＣＤモニタ１０に表示するための信号に変換する機能も有している。
【００３２】
ＬＣＤモニタ１０は、撮影前に被写体の状態を監視する、撮影した画像を確認する、メモリカードや前述した内臓メモリ１２０に記録した画像データを表示する、などを行うためのモニタである。ビデオＡＭＰ１１８は、ＴＶ信号表示ブロック１０４−９から出力されたビデオ信号を、７５Ωインピーダンス変換するためのアンプであり、ビデオジャック１１９は、ＴＶなどの外部表示機器と接続するためのジャックである。
【００３３】
ＵＳＢコネクタ１２２は、パソコンなどの外部機器とＵＳＢ接続を行う為のコネクタである。シリアルドライバ回路１２３−１は、パソコンなどの外部機器とシリアル通信を行うために、前述したシリアルブロック１０４−６の出力信号を電圧変換するための回路であり、ＲＳ−２３２Ｃコネクタは、パソコンなどの外部機器とシリアル接続を行う為のコネクタである。ＳＵＢ−ＣＰＵ１０９は、ＲＯＭ、ＲＡＭをワンチップに内蔵したＣＰＵであり、操作ＫｅｙユニットＳＷ１〜１３やリモコン受光部６の出力信号をユーザの操作情報として、前述したＣＰＵブロック１０４−３に出力し、また、前述したＣＰＵブロック１０４−３より出力されるカメラの状態を、後述するサブＬＣＤ１、ＡＦ ＬＥＤ８、ストロボＬＥＤ９，ブザー１１３の制御信号に変換して、出力する。
【００３４】
サブＬＣＤ１、例えば、撮影可能枚数など表示するための表示部であり、ＬＣＤドライバ１１１は、前述したＳＵＢ−ＣＰＵ１０９の出力信号より、前述したサブＬＣＤ１を駆動するためのドライブ回路である。
【００３５】
ＡＦ ＬＥＤ８は、撮影時の合焦状態を表示するためのＬＥＤであり、ストロボＬＥＤ９は、ストロボ充電状態を表すためのＬＥＤである。尚、このＡＦ ＬＥＤ８とストロボＬＥＤ９を、メモリカードアクセス中などの別の表示用途に使用しても良い。
【００３６】
操作ＫｅｙユニットＳＷ１〜１３は、ユーザが操作するＫｅｙ回路であり、リモコン受光部６は、ユーザが操作したリモコン送信機の信号の受信部である。
【００３７】
音声記録ユニット１１５は、ユーザが音声信号を入力するマイク１１５−３、入力された音声信号を増幅するマイクＡＭＰ１１５−２、増幅された音声信号を記録する音声記録回路１１５―３からなる。
【００３８】
音声再生ユニット１１６は、記録された音声信号をスピーカーから出力できる信号に変換する音声再生回路１１６−１、変換された音声信号を増幅し、スピーカーを駆動するためのオーディオＡＭＰ１１６−２、音声信号を出力するスピーカー１１６−３からなる。
【００３９】
加速度センサ１２４はPCB上に実装され、2軸X,Yと温度Tのデータを出力する。そのデータからカメラのロール角、ピッチ角等の傾きを演算し、LCDモニタ１０等に表示する。加速度センサの水平に対するロール角θは以下の式で表される。
【００４０】
【数１】
【００４１】
G0は重力ゼロ時の出力である。
【００４２】
カメラが図２、図３の姿勢のときに、カメラのロール角θが０度であるとし、ＬＣＤモニタ１０が時計回り方向に傾いた場合に正の傾き、反時計回りに傾いた場合に負の傾きであるとする。
【００４３】
図５は、本発明の実施の形態における顔画像検出部の概略ブロック図である。この構成は、被写体の画像を１枚分以上記憶する画像メモリ２００と、そのメモリから所定の単位で他のメモリあるいはレジスタに取り込む画像取り込み部２０１と、全体の制御を司る制御部２０２と、複数の顔の特徴を格納する顔特徴記憶部２０４と、画像取り込み部２０１からのデータと顔特徴記憶部２０４からのデータを比較してその結果を制御部２０２に伝える比較部２０３と、最終的な判断結果を外部に出力する出力部２０５から構成されている。ここで、画像メモリ２００は図４のＲＡＭ１０７を使用しても良い。また、その他の部分は図４のディジタルスチルカメラプロセッサ１０４により実現しても構わないし、あるいは専用のＬＳＩにより実現しても良い。
【００４４】
（顔検出方法の説明）
本発明の実施形態での顔認識は従来の個人の顔として確実に認識できるレベルである必要は無く、被写体が顔か、あるいはそれ以外の他の物体かの２者択一の認識レベルで充分である。顔画像認識における対象項目は大きく分けると次の２つとなる。
１）人物の識別：対象人物が誰であるかを識別する。
２）表情識別：人物がどのような表情をしているかを識別する。
【００４５】
すなわち、１）の人物識別は顔の構造認識であり静的識別といえる。また、２）の表情識別は顔の形状変化の認識であり、動的識別ともいえる。本発明の実施形態の場合は、前記よりさらに単純な識別といえる。また、これらの識別の手法として、１）２次元的手法、２）３次元的手法があり、コンピュータでは主に１）２次元的手法が使用されている。これらの詳しい内容はここでは省略する。
【００４６】
次に、本発明の実施形態における顔画像の検出方法について説明する。被写体の画像データは、ＣＣＤ１０１により光電変換され、画像処理されてＲＡＭ１０７に一時的に保存される。その画像データは、ある所定の単位（フレーム、バイト）で画像取り込み部に取り込まれる。
【００４７】
一般に、人物を撮影する際、被写体となる人物の顔は頭部が上となるように撮影されることが多いが、そのような場合に撮影時にカメラの姿勢が変化することで、カメラの取得画像において顔の向きが必ずしも頭部が上とはならない。カメラが水平状態であるときは、図６のように取得画像において被写体となる人物５００の頭部５０１が上側となるが、カメラのロール角が＋９０度であるときは、取得画像において被写体となる人物５００の顔５０１は図７のように左回転した状態で写り、カメラのロール角が−９０度であるときは、図８のように取得画像において被写体となる人物の顔は右回転した状態で写る。本発明の実施形態によると、取得されたカメラのロール角から、人物５００の顔５０１の向きを予測し、カメラが水平の場合に図６、カメラのロール角が＋９０度の場合に図７、カメラのロール角が−９０度の場合に図８のような顔の向きを優先的に顔検出できるように、検出時に使用する顔特徴記憶部２０４のデータをロール角により変更することで、顔検出の速度および精度を向上することができる。
【００４８】
本発明における実施の形態で、被写体像の中から人物像を検出する方法は、以下に示す手法のいずれかにより実装を行う。
【００４９】
非特許文献１の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
【００５０】
非特許文献２の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
【００５１】
非特許文献３の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
【００５２】
（フローチャートの説明）
図９においてまず、ＣＰＵ１０４−３は人物の顔検出を実行する顔検出動作モードであるか否かを判断する（ステップＳ１０１）。この判断の結果、顔検出動作モードであると判断した場合には、ＣＰＵ１０４−３は、加速度センサから計測（ステップＳ１０２）されたデータをもとにカメラのロール角θを計算し、カメラのロール角θから顔認識に使用する顔特徴記憶部データを判断する（ステップＳ１０３）。
【００５３】
ステップＳ１０３での判断の結果、カメラのロール角θが、−４５°≦θ＜＋４５°であるときは、図１０のように人物５００が写っていると判断し、顔特徴記憶部データＤｖを使用して顔検出処理を実行し（ステップＳ１０４）、ＣＰＵ１０４−３は、顔を検出したかどうかを判断する（ステップＳ１０５）。図１０の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔５０１を検出したと判断した場合にレリーズ１が押されたら（ステップＳ１０６）、検出された顔５０１を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ１０７）、その後レリーズ２が押されたら（ステップＳ１０８）画像を取り込み（ステップＳ１０９）、検出された顔５０１を対象にＡＷＢ等の制御を行い（ステップＳ１１０）、画像を記録する（ステップＳ１１１）。
【００５４】
また、ステップＳ１０２での判断の結果、カメラのロール角θが、θ≧＋４５°である場合は、図１１のように人物５００が写っていると判断し、顔特徴記憶部データＤｈ１を使用して顔検出処理を実行し（ステップＳ１１２）、ＣＰＵ１０４−３は、顔５０１を検出したかどうかを判断する（ステップＳ１０５）。図１１の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔５０１を検出したと判断した場合にレリーズ１が押されたら（ステップＳ１０６）、検出された顔５０１を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ１０７）、その後レリーズ２が押されたら（ステップＳ１０８）画像を取り込み（ステップＳ１０９）、検出された顔５０１を対象にＡＷＢ等の制御を行い（ステップＳ１１０）、画像を記録する（ステップＳ１１１）。
【００５５】
また、ステップＳ１０２での判断の結果、カメラのロール角θが、θ＜−４５°である場合は、図１２のように人物５００が写っていると判断し、顔特徴記憶部データＤｈ２を使用して顔検出処理を実行し（ステップＳ１１３）、ＣＰＵ１０４−３は、顔５０１を検出したかどうかを判断する（ステップＳ１０５）。図１２の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔を検出したと判断した場合にレリーズ１が押されたら（ステップＳ１０６）、検出された顔を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ１０７）、その後レリーズ２が押されたら（ステップＳ１０８）画像を取り込み（ステップＳ１０９）、検出された顔５０１を対象にＡＷＢ等の制御を行い（ステップＳ１１０）、画像を記録する（ステップＳ１１１）。
【００５６】
なお、ステップＳ１０１で顔検出動作モードでない場合、または、ステップＳ１０４、Ｓ１１２、Ｓ１１３のいずれかで顔を検出していないと判断した場合には、レリーズ１が押されたら（ステップＳ１１２）通常のＡＦ、ＡＥ等の制御を行い（ステップＳ１１３）、その後レリーズ２が押されたら（ステップＳ１１４）、画像を取り込み（ステップＳ１１５）、通常のＡＷＢ等の制御を行い（ステップＳ１１６）、画像を記録する（ステップＳ１１１）。
【００５７】
以上説明したように、上記実施の形態によればＣＰＵ１０４−３は、カメラのロール角θから最適な顔特徴記憶部データを用いて顔検出を行うことで顔検出の精度および速度を向上させ、検出された顔に対して最適な条件で撮影した画像を得ることが可能となる。
【００５８】
続いて、本発明の第２の実施の形態について説明する。なお、本発明の実施形態における撮像装置の一例であるデジタルカメラの外観図、ブロック図、および顔画像検出部の概略ブロック図は第１の実施の形態と同様で、図１から図５で示したとおりである。
【００５９】
（顔検出方法の説明）
人物を撮影する際、被写体となる人物に対して、斜め上方向からカメラにピッチ角をつけて撮影を行う際には、顔の正面から撮影を行う際（図６）と比較して、人物５００の顔５０１部分の縦横比が異なって撮影されることがある（図１３）。このように撮影を行う場合、図１４のように顔特徴記憶部２０４のデータと画像の顔部分の縦横比が一致せず、顔の正面から撮影を行う際と比較して顔検出の精度が劣化する可能性がある。本発明の実施形態によると、カメラは加速度センサから得られたデータをもとにカメラのピッチ角の取得を行い、ピッチ角が３０度以上である場合に顔検出時に使用する顔特徴記憶部データを変更することで、顔検出の速度および精度を向上することができる。
【００６０】
（フローチャートの説明）
図１５において、第１の実施の形態と同様に顔検出モードであるかの判断を行い（ステップＳ２０１）、顔検出モードであると判断した場合にＣＰＵ１０４−３は加速度センサから計測された（ステップＳ２０２）データをもとにカメラのピッチ角ψを計算し、カメラのピッチ角ψから顔検出に最初に使用する顔特徴記憶部データを判断する（ステップＳ２０３）。なお、本実施の形態ではカメラのロール角は０度であるとする。
【００６１】
ステップＳ２０３での判断の結果、カメラのピッチ角ψが３０度未満であるときは、図１０のように正面から人物５００が撮影されていると判断し、顔特徴記憶部データＤｖ１を使用して顔検出処理を実行し（ステップＳ２０４）、ＣＰＵ１０４−３は、顔５０１を検出したかどうかを判断する（ステップＳ２０５）。図１０の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔を検出したと判断した場合にレリーズ１が押されたら（ステップＳ２０６）、検出された顔を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ２０７）、その後レリーズ２が押されたら（ステップＳ２０８）画像を取り込み（ステップＳ２０９）、検出された顔を対象にＡＷＢ等の制御を行い（ステップＳ２１０）、画像を記録する（ステップＳ２１１）。
【００６２】
また、ステップＳ２０３での判断の結果、カメラのピッチ角ψが３０度以上であるときは、最初に図１６のように撮影されていると判断し、顔特徴記憶部データＤｖ２を使用して顔検出処理を実行し（ステップＳ２１２）、ＣＰＵ１０４−３は、顔を検出したかどうかを判断する（ステップＳ２１３）。図１６の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔５０１を検出したと判断した場合にレリーズ１が押されたら（ステップＳ２０６）、検出された顔を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ２０７）、その後レリーズ２が押されたら（ステップＳ２０８）、画像を取り込み（ステップＳ２０９）、検出された顔を対象にＡＷＢ等の制御を行い（ステップＳ２１０）、画像を記録する（ステップＳ２１１）。
【００６３】
ステップＳ２１３で顔を検出できなかったと判断した場合には、続いて顔特徴記憶部データＤｖ１を使用して顔検出処理を実行し（ステップＳ２０４）、ＣＰＵ１０４−３は、顔を検出したかどうかを判断する（ステップＳ２０５）。図１０の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔５０１を検出したと判断した場合にレリーズ１が押されたら（ステップＳ２０６）、検出された顔を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ２０７）、その後レリーズ２が押されたら（ステップＳ２０８）画像を取り込み（ステップＳ２０９）、検出された顔を対象にＡＷＢ等の制御を行い（ステップＳ２１０）、画像を記録する（ステップＳ２）。
【００６４】
なお、ステップＳ２０１で顔検出動作モードでない場合、または、ステップＳ２０５で顔５０１を検出していないと判断した場合には、レリーズ１が押されたら（ステップＳ２１４）通常のＡＦ、ＡＥ等の制御を行い（ステップＳ２１５）、その後レリーズ２が押されたら（ステップＳ２１６）、画像を取り込み（ステップＳ２１７）、通常のＡＷＢ等の制御を行い（ステップＳ２１８）、画像を記録する（ステップＳ２１１）。
【００６５】
以上説明したように、上記実施の形態によればＣＰＵ１０４−３は、カメラのピッチ角ψから最適な顔特徴記憶部データを用いて顔検出を行うことで顔検出の精度および速度を向上させ、検出された顔に対して最適な条件で撮影した画像を得ることが可能となる。
【００６６】
続いて、本発明の第３の実施の形態について説明する。なお、本発明の実施形態における撮像装置の一例であるデジタルカメラの外観図、ブロック図、および顔画像検出部の概略ブロック図は実施例１および２と同様で、図１から図５で示したとおりである。
【００６７】
（顔追尾方法の説明）
顔検出を行った後に、カメラの姿勢情報を用いて検出された人物の顔の追尾を行う例について説明する。なお、顔追尾の手法については本実施の形態に記載した限りではなく、別の手法を用いても良い。
【００６８】
前記顔検出手法により人物の顔が検出された後、撮影を行うまでの間、検出された人物の顔を追尾する必要がある。追尾時は、顔検出を行ったスキャンよりも簡易的にスキャンを行うことで高速に顔情報の検出を行い、追尾する必要がある。たとえば、図１７において、顔検出を行う際には実線と破線の矢印を使って画像のスキャンを行っているが、顔追尾を行う際には実線部のみを用いて画像のスキャンを行うことや、検出された人物の顔情報やカメラの移動量等の情報から画像内で顔追尾を行う範囲を限定してスキャンを行うなどの方法を用いることで、顔検出時より高速に行うことができる。
【００６９】
人物の顔を追尾する際にカメラのロール角が急変した場合、同じ座標にある同じ顔に対しても、ロール角急変前のスキャン方法では追尾を行うのは困難であり、再度顔検出を行う必要がある。カメラが水平の状態から、ロール角＋９０度の状態に急変した場合、図６から図７のように構図が変化するが、ロール角急変前後で顔追尾に使用する顔特徴記憶部データを変更せずに図６の構図と同じ顔特徴記憶部データを用いてスキャンを行うと、図７のような構図では人物の顔を追尾できない。本発明の実施形態によると、カメラが水平である状態からロール角＋９０度の状態にロール角が急変した場合にも、ロール角の変化を検出した時点で顔追尾に使用する顔特徴記憶部データを変更することで、顔検出をやりなおすことなく人物の顔を追尾することが可能となる。
【００７０】
（フローチャートの説明）
図１８において、第１の実施の形態と同様に顔検出モードであるかの判断を行い（ステップＳ３０１）、顔検出モードであると判断した場合に、顔検出動作を行う（ステップＳ３０２）。次に、顔検出できたかどうかの判断を行い（ステップＳ３０３）、顔検出できた場合に、ＣＰＵ１０４−３は加速度センサから計測されたデータをもとにカメラのロール角θを計算し（ステップＳ３０４）、カメラのロール角から顔認識制御手段を判断する（ステップＳ３０５）。
【００７１】
ステップＳ３０５での判断の結果、カメラのロール角θが、−４５°≦θ＜＋４５°であるときは、図１０のように人物５００が写っていると判断し、顔特徴記憶部データＤｖを用いて顔追尾処理を実行し（ステップＳ３０６）、ＣＰＵ１０４−３は、顔５０１を追尾できたかどうかを判断する（ステップＳ３０７）。顔を追尾できたと判断した場合、レリーズ１が押されたかどうかの判断を行い（ステップＳ３０８）、レリーズ１が押されたと判断したら追尾された人物の顔からＡＦやＡＥ等の制御を行い（ステップＳ３０９）、レリーズ２が押されたかどうかの判断を行い（ステップＳ３１０）、レリーズ２が押されたと判断したら（ステップＳ３１０）、画像の取り込みを行い（ステップＳ３１１）、追尾された人物の顔からＷＢ等の制御を行い（ステップＳ３１２）、画像を記録する（ステップＳ３１３）。
【００７２】
ステップＳ３０５での判断の結果、カメラのロール角θが、θ≧＋４５°であるときは、図１１のように人物５００が写っていると判断し、顔特徴記憶部データＤｈ1を用いて顔追尾処理を実行し（ステップＳ３１４）、ＣＰＵ１０４−３は、顔を追尾できたかどうかを判断する（ステップＳ３０７）。顔を追尾できたと判断した場合、レリーズ１が押されたかどうかの判断を行い（ステップＳ３０８）、レリーズ１が押されたと判断したら追尾された人物の顔からＡＦやＡＥ等の制御を行い（ステップＳ３０９）、レリーズ２が押されたかどうかの判断を行い（ステップＳ３１０）、レリーズ２が押されたと判断したら画像の取り込みを行い（ステップＳ３１１）、追尾された人物の顔５０１からＡＷＢ等の制御を行い（ステップＳ３１２）、画像を記録する（ステップＳ３１３）。
【００７３】
ステップＳ３０５での判断の結果、カメラのロール角θが、θ＜−４５°であるときは、図１２のように人物５００が写っていると判断し、顔特徴記憶部データＤｈ2を用いて顔追尾処理を実行し（ステップＳ３１５）、ＣＰＵ１０４−３は、顔５０１を追尾できたかどうかを判断する（ステップＳ３２０７）。顔を追尾できたと判断した場合、レリーズ１が押されたかどうかの判断を行い（ステップＳ３０８）、レリーズ１が押されたと判断したら追尾された人物の顔からＡＦやＡＥ等の制御を行い（ステップＳ３０９）、レリーズ２が押されたかどうかの判断を行い（ステップＳ３１０）、レリーズ２が押されたと判断したら画像の取り込みを行い（ステップＳ３１１）、追尾された人物の顔からＡＷＢ等の制御を行い（ステップＳ３１２）、画像を記録する（ステップＳ３１３）。
【００７４】
ステップＳ３０１で顔検出モードでないと判断した場合には、顔検出動作および顔追尾動作を行わずに、レリーズ１が押されたら（ステップＳ３１６）通常のＡＦ、ＡＥ等の制御を行い（ステップＳ３３１７）、その後レリーズ２が押されたら（ステップＳ３１８）、画像を取り込み（ステップＳ３１９）、通常のＡＷＢ等の制御を行い（ステップＳ３２０）、画像を記録する（ステップＳ３１３）。
【００７５】
ステップＳ３０７で顔追尾できなかったと判断した場合は、ステップＳ３０２に戻り、顔検出の動作以降を行う。また、ステップＳ３０８でレリーズ１が押されなかったと判断した場合はステップＳ３０４に戻り、カメラのロール角計測動作以降を行う。
【００７６】
以上のように、上記実施の形態によれば、ＣＰＵ１０４−３は、カメラのロール角θから最適な顔特徴記憶部データを用いて顔追尾を行うことで顔追尾の精度および速度を向上させ、追尾された顔に対して最適な条件で撮影した画像を得ることが可能となる。
【００７７】
本発明の実施形態は、例えばポートレートモード等、基本的には人がカメラの前で正面を向いている状態で撮影を行う場合を想定しており、その場合に、カメラの傾き（ロール、ピッチ）が変化した場合の顔検出に用いられるものである。
【００７８】
そこで、本発明の実施の形態においては、まず、予めカメラの傾き（ロール、ピッチのそれぞれの角度について）に対応する顔特徴データを複数記憶しておく。この顔特徴データは、ロール角、ピッチ角がそれぞれ０°のカメラの前で人が正面を向いている状態を基準として、人は動かないまま、ロール角、ピッチ角をそれぞれ変更させて撮影して、取得する。そして、カメラで撮影を行う際に、カメラ本体の傾き（ロール角、ピッチ角）を検出し、検出された傾きに応じて、用いる顔特徴データを変えて、顔検出処理を行うようにしている。
【００７９】
続いて、本発明の第４の実施の形態について説明する。
まず、顔検出の方法について説明する。
被写体像の中から人物像を検出する方法は、多くの手法が公知となっており、例えば以下の方法が用いられてよい。
【００８０】
P.Viola and M.Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", Proc. IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518 2001 に示されているように、AdaBoost学習により多数の弱識別器をカスケード型に線形結合したものを識別器として作成し、識別器に基づいてHaar-Like特徴量を計算し、顔を検出する方法がある。
【００８１】
以下、ここでは、上記手法における弱識別器を特徴データ、弱識別器をカスケード型に線形結合した識別器を特徴データ群として記述する。
【００８２】
次に、顔検出処理について説明する。
図１９は撮像光学系によって撮像された画像に対し、顔検出処理を実施して画像の中から人物の顔を検出する顔検出処理のフローである。
【００８３】
カメラの動作モードが顔検出処理を実施するモードである時、顔検出モジュールはモニタリング画像の中からあるタイミングで一枚の画像をコピーする（ステップＳ４０１）。CPUはコピーした画像に対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。
【００８４】
顔検出処理はあらかじめメモリ内に保持している人物の顔の特徴データ群の中の一つ一つの特徴データと画像内の対称矩形との類似度を算出していくが、本実施例では特徴データ群が顔の向きに応じて±0度の顔用、+90度の顔用、-90度の顔用の3種類の特徴データ群があるものとする。
【００８５】
まず、加速度センサからの出力により顔検出処理開始時のカメラの姿勢を判断する（ステップＳ４０２）。ここでは、カメラの姿勢は±0度、-90度、プラス90度の何れか3種類、一番近いものに分類する。180度に関しては通常のカメラ使用上、まずありえない状態であるため、ここでは考慮せず、±0度と同等の動作になるものとする。これにより得られたカメラの姿勢から、顔の向きとして可能性の高いものから順番になるように、３種類の特徴データ群の優先順位を決定する（ステップＳ４０３）。図２１は、カメラの姿勢に基づいて決定される特徴データ群の優先順位の例であり、（a）はカメラの姿勢が±0度の時の例である。カメラの姿勢が±0どれある時は、顔の向きも0度付近である可能性が高いため、±0度の顔用の特徴データ群が最も高い優先度となる。それに続いて-90度の顔用の特徴データ群、+90度の顔用の特徴データ群、といった順番となる。（b）はカメラの向きが-90度（撮影者側から見てカメラが反時計回りに90度倒れた状態）の時の例である。ここでは、顔の向きも90度傾いている可能性が高いため、-90度の顔用の特徴データ群が最も高い優先順位となる。続いて、±0度の顔用の特徴データ群が2番目に高い優先順位となり、-90度から180度離れている+90度は優先順位が最も低い特徴データ群となる。
【００８６】
次に、画像の中から最初の対象矩形を決定する(ステップＳ４０４)。ここでは画像の左上の端とする。本実施の形態では、図２０に示すように画像の左上の端から右下の端まで順に対象矩形領域を少しずつずらしながらスキャンしていくものとする。なお、図２１の（ｂ）右側に示すように、画像内のスキャン方向は、カメラの姿勢によらず、一定であるものとする。
【００８７】
最初は優先順位xが1である特徴データ群を使用して顔検出処理を実施する（ステップＳ４０５〜Ｓ４０７）。ここでは、特徴データ群の中の一つ一つの特徴データと対象矩形領域の類似度を算出して行き、類似度が特徴データごとに定められた所定の閾値を超えたものの数が、特徴データ群ごとに定められた所定の閾値を超えれば、当該対象矩形領域が顔であると判断される。
【００８８】
顔であったと判断された場合にはその対象領域を顔として登録し、画像中の座標とサイズを記録する（ステップＳ４１１）。顔検出処理を実施した対象矩形領域が顔でなかった場合、使用した特徴データ群よりも優先順位の低い特徴データ群がまだ残っているかどうかを判断し（ステップＳ４０９）、まだ残っていた場合には次の優先順位の特徴データ群を選択し（ステップＳ４１０、Ｓ４０６）、再び顔検出処理を実施する（ステップＳ４０７）。もし使用した特徴データ群が最も低い優先順位のものであった場合には、ここで顔検出処理を実施した対象矩形領域は顔でなかったと判断される。1つの対象矩形領域について顔検出処理が終了したら、画像中の全ての領域をスキャンしたかどうかを判断し（ステップＳ４１２）、まだスキャン領域が残っている場合には対象矩形領域をずらした上で、再度同様の顔検出処理を実施する。
【００８９】
画像中の全ての領域をスキャンし終わった場合、顔検出モードを継続するかどうかを判断し（ステップＳ４１３）、継続するのであれば再びモニタリング画像から顔検出用画像をコピーして顔検出処理を実施する。顔検出モードを終了するのであればここで一連の処理を終了する。なお、顔検出モード継続か終了かの判断は、ユーザから顔検出モードから抜ける旨の操作があったかどうかにより判断する。
【００９０】
本実施の形態ではカメラの姿勢および特徴データ群を±0度、-90度、+90度の3種類、としたが、もちろんもっと細かい分類、例えば±0度、-45度、+45度、-90度、+90度、-135度、+135度、±180度の8種類などとしてもよい。
【００９１】
続いて、本発明の第５の実施の形態について説明する。
顔を検出する方法は、上記と同様に、公知の手法を用いることとする。
図２２に本実施の形態における顔検出・顔認証処理のフローを示す。
【００９２】
カメラの動作モードが顔検出処理を実施するモードである時、顔検出モジュールはモニタリング画像の中からあるタイミングで一枚の画像をコピーする（ステップＳ５０１）。CPUはコピーした画像に対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。
【００９３】
顔検出処理はあらかじめメモリ内に多数保持している人物の顔の特徴データ群の一つ一つの特徴データと画像内の対称矩形領域との類似度を算出していく。
【００９４】
まず、カメラに実装されている加速度センサの出力からカメラの姿勢を判断する（ステップＳ５０２）。ここでは、第４の実施の形態と同様に±0度、-90度、+90度の3種類にカメラの姿勢を分類するものとする。次に、カメラの姿勢に基づき、画像内で顔検出処理をする領域を限定する（ステップＳ５０２）。図２３はカメラの姿勢に基づいて顔検出処理をする領域を限定している例である。ここでは、破線矩形枠が顔検出処理をする領域を表しており、画角の下端側に顔が写っている可能性が少ないものとしてそれぞれの姿勢において下側となる領域を顔検出処理をする領域から外している。即ち、顔検出領域は、全体の画角から、画角の下端側の所定画素分幅の領域を除いた領域である。
【００９５】
次に、前段で限定された顔検出領域の中から顔検出処理を実施する対象矩形を決定する（ステップＳ５０４）。この対象矩形と特徴データの類似度を算出し（ステップＳ５０５）、類似度が所定の閾値よりも高い場合には対象矩形が特徴にマッチしたと判断される。対象矩形が特徴にマッチしたと判断された場合には対象矩形を顔として登録する（ステップＳ５０７）。
【００９６】
以上のようにしてステップＳ５０３で限定した顔検出領域全てをスキャンする。本実施の形態では第４の実施の形態と同様に、カメラの姿勢が±0度であるときの左上から右下に向かって順次少しずつ対象矩形領域をずらしながらスキャンしていくものとする。顔検出領域を全てスキャンした後、顔検出モードを継続するか否かを判断する。もしユーザから顔検出モードを抜ける旨の操作があった場合には顔検出処理を終了し、そうでなければ再びモニタリング画像から顔検出用画像をコピーし、顔検出処理を実施していく。
【００９７】
以上説明したように、本発明の実施の形態によれば、次の効果を得ることができる。
【００９８】
（１）撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶手段と、前記本体の姿勢を検出する姿勢検出手段と、被写体を撮像し、画像データを取得する撮像手段と、前記姿勢検出手段により検出された前記姿勢に基づいて前記記憶手段から対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記撮像手段により取得された画像データから前記撮像対象物の検出を行う対象物検出手段と、を備えるようにしたので、撮像装置は検出された傾き（姿勢）に対し、最適な基準画像データを使用して顔検出を行うことで、顔検出の精度を向上することが可能となる。
【００９９】
（２）上記の撮像装置において、前記姿勢検出手段により検出された姿勢に基づいて前記記憶手段から対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記対象物検出手段により検出された前記撮像対象物を追尾する対象物追尾手段を備えるようにしたので、撮像装置は検出された傾き（姿勢）に対し、最適な基準画像データを使用して顔追尾を行うことで、顔追尾の精度を向上することが可能となる。
【０１００】
（３）上記の撮像装置において、前記姿勢検出手段から出力された姿勢情報が変化した際に、検出された姿勢情報をもとに、検出または追尾されている顔の追尾時に特徴抽出を行うための基準画像データを変更すると、顔追尾時に撮像装置の傾きが変化した場合にも高精度で顔追尾を行うことが可能となる。
【０１０１】
（４）上記の撮像装置において、動きを検知する手段を有し、前記対象物追尾手段は、前記動き検出手段から出力された撮像装置の動き情報と、前記姿勢検出手段から出力された姿勢情報と、検出または追尾された人物の顔の位置情報に基づき、特徴点抽出を行うブロックを決定するようにすると、撮像装置は検出された動きや傾き、検出された顔の位置情報から決定した画素ブロックに対してのみ顔追尾を行うことで、高速な顔追尾を行うことが可能となる。
【０１０２】
（５）上記の撮像装置において、前記対象物検出手段、または前記対象物追尾手段により検出または追尾された人物の顔情報に基づき、前記撮像手段の撮像条件を決定する制御手段を有するようにすると、撮像装置は前記対象物検出手段および対象物追尾手段により検出された人物の顔に対して最適な画像を撮像することが可能となる。
【０１０３】
（６）上記の撮像装置では、カメラの縦横を瞬時に判断して最適な特徴データ群（基準画像データ）を選択することで無駄な処理を減らして検出を高速化し、さらにカメラに対する顔の向きが異なってしまう場合においても顔の検出を可能とする撮像装置を実現する。 すなわち、センサによってカメラの姿勢を検出することにより、カメラに対する顔の向きを推定し、最適な基準特徴データ群（基準画像データ）を即時に選択することを可能とする。
【０１０４】
また、上記の撮像装置において、前記対象物検出手段によりある特徴データ群（基準画像データ）に基づいて対象物（顔）が検出された場合にはその特徴データ群よりも優先順位の低い特徴データ群での顔検出処理は実施しないこととすれば、不要な処理を省くことで顔検出処理を高速化することを可能とする。
【０１０５】
また、上記の撮像装置において、姿勢検出手段によって判断された自身の姿勢に基づいて前記対象物検出手段において使用される基準特徴データ群をひとつだけ選択することとすれば、不要な処理を省くことで顔検出処理を高速化することを可能とする。
【０１０６】
また、上記の撮像装置において、AF・AE・AWBの少なくとも1つの処理を対象物検出手段において検出された顔領域の情報に基づいて実施することとすれば、顔検出の結果に基づいてAF・AE・AWB処理をすることで、人物が画像の中央付近にいない場合においても人物に容易に合焦させたり適正露出にしたりすることを可能とする。
【０１０７】
また、上記の撮像装置において、姿勢検出手段（姿勢検出センサ）はロール角とピッチ角の両方、又は何れか一方を検出することとすれば、被写体に向けて変えられうる撮像装置の姿勢を検出することを可能とする。
【０１０８】
尚、各フローチャートに示す処理を、ＣＰＵが実行するためのプログラムは本発明の実施形態によるプログラムを構成する。また、このプログラムを記録する記録媒体は、本発明によるコンピュータ読み取り可能な記録媒体を構成する。この記録媒体としては、半導体記憶装置や光学的及び／又は磁気的な記憶装置等を用いることができる。このようなプログラム及び記録媒体を、前述した実施の形態とは異なる構成の装置やシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。
【０１０９】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施の形態による撮像装置の上面図である。
【図２】本発明の実施の形態による撮像装置の正面図である。
【図３】本発明の実施の形態による撮像装置の背面図である。
【図４】本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。
【図５】本発明の実施の形態による顔認識検出部の構成を示すブロック図である。
【図６】撮像装置のロール角に応じて得られる画像の向きを説明する構成図である。
【図７】撮像装置のロール角に応じて得られる画像の向きを説明する構成図である。
【図８】撮像装置のロール角に応じて得られる画像の向きを説明する構成図である。
【図９】本発明の第１の実施の形態による処理手順を示すフローチャートである。
【図１０】画像スキャンと顔特徴点抽出を示す構成図である。
【図１１】画像スキャンと顔特徴点抽出を示す構成図である。
【図１２】画像スキャンと顔特徴点抽出を示す構成図である。
【図１３】撮像装置にピッチ角がついた場合に得られる画像を示す構成図である。
【図１４】撮像装置にピッチ角がついた場合に得られる画像に対する従来の顔特徴点抽出結果を示す構成図である。
【図１５】本発明の第２の実施の形態による処理手順を示すフローチャートである。
【図１６】本発明の第２の実施の形態による画像スキャンと顔特徴点抽出を示す構成図である。
【図１７】本発明の第３の実施の形態による画像スキャンを示す構成図である。
【図１８】本発明の第３の実施の形態による処理手順を示すフローチャートである。
【図１９】本発明の第４の実施の形態による処理手順を示すフローチャートである。
【図２０】画像のスキャンの手法を示す図である。
【図２１】カメラの姿勢に応じた特徴データ群の優先順位を示す図である。
【図２２】本発明の第５の実施の形態による処理手順を示すフローチャートである。
【図２３】カメラの姿勢に基づいた画像中の顔検出対象領域を示す図である。
【符号の説明】
【０１１１】
７ 鏡胴ユニット
ＳＷ１〜ＳＷ１３ 操作部Ｋｅｙユニット
１０１ ＣＣＤ
１０４ ディジタルスチルカメラプロセッサ
１０８ ＲＯＭ
１２４ 加速度センサ
２００ 画像メモリ
２０１ 画像取り込み部
２０２ 制御部
２０３ 比較部
２０４ 顔特徴記憶部
２０５ 出力部
５００ 人物
５０１ 顔
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、この方法を実行するプログラムおよびコンピュータ読取可能な記録媒体に関し、特に顔検出機能および傾き検出機能を有する撮像装置、撮像方法、この方法を実行するプログラムおよびコンピュータ読取可能な記録媒体に関するものである。
【背景技術】
【０００２】
撮像装置で人物を撮影する際、必ずしも顔の正面から撮影を行うとは限らない。撮影者によってはわざと顔の正面以外から撮影を行う場合がある。また、顔追尾を行っている際に撮影構図を決めるために、撮像装置を傾けるように動かす場合がある。そこで、上述のような場合にも正確に顔検出や顔追尾を行うことができるよう、改良する余地がある。
【０００３】
従来のデジタルカメラ等の撮像装置で人物の顔に合わせた写真を撮影する技術としては、画面内で人物の顔を検出し、検出された顔に対して追尾を行い、撮影時には顔に対して最適な撮影条件を決定する方式等が使用されている。
【０００４】
顔検出を行う際に撮像装置の傾きを考慮する手法として、従来より、撮像装置の傾きによって、エッジ検出の方向を変えるなどの顔検出手段の検出方法を変更させる手法が提案されている（例えば特許文献１）。また、人物の顔の検出を行い、検出された人物の顔の少なくとも一部を測距エリアとして自動合焦を行う技術が提案されている（例えば特許文献２）。
【特許文献１】特開２００５−１３０４６８号公報
【特許文献２】特開２００３−１０７３３５号公報
【非特許文献１】松橋聡、外３名、「顔領域抽出に有効な修正ＨＳＶ表色系の提案」、テレビジョン学会誌、１９９５年、第４９巻、第６号、ｐ．７８７−７９７
【非特許文献２】安居院猛、外２名、「静止濃淡情景画像からの顔領域の抽出」、電子情報通信学会誌 Ｄ−II、１９９１年１１月、第７４巻、第１１号、ｐ．１６２５−１６２７
【非特許文献３】上野秀幸、「テレビ電話用顔領域検出とその効果」、画像ラボ、１９９１年１１月、ｐ．３９−４２
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、顔検出を行う際、一般的に顔の正面からの撮影のみ考慮し、顔の正面以外からの撮影（例えば上から角度をつけて撮影するなど）する場合等は考慮しておらず、その場合は、顔検出を行う際の基準データファイルと不一致と判断され、顔検出や顔追尾が正常に行えない場合があった。また、特許文献２では、顔検出を行う際に撮像装置の傾きは考慮されていない。
更には、近年、デジタルカメラなどの撮像装置において、撮影画像中から人物の顔を検出して検出した顔領域にフォーカスや露出等が合うように制御される機能や、検出された顔があらかじめ登録されている顔であるかどうかを認証する機能が実現されている。これらの機能をいろいろな向きの顔に対して実施しようとした場合、使用するテンプレートを顔の向きに応じて複数種類保持する必要があるが、顔の向きがわからなければ全てのテンプレートを用いて検出処理を実行しなくてはならず、時間がかかってしまう。そこで、カメラの姿勢を検出することで被写体の顔の向きを推定し、向きに応じて処理を変える手法が開発されている。
例えば、特許文献１のように、姿勢センサによって得られた姿勢情報に基づいて撮像装置が横置きか縦置きかを瞬時に判断し、判断結果に応じて異なるスキャン方向の２つのフィルタ処理のうち、いずれか一方のみのフィルタ処理を行うことで、カメラに対して縦向きの顔と横向きの顔の両方に対応した顔検出機能を実現する技術がある。しかし、縦向きなら縦向きの顔のみの検出となってしまい、縦向きのときに顔が横向きに近くなるように被写体がポーズをとっている場合には顔の検出ができなくなってしまう。
【０００６】
そこで本発明は、上記問題点に鑑みてなされたものであり、撮像装置の傾きを考慮して人物の顔を正確に検出、追尾できるようにする技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明における撮像装置は、撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶手段と、本体の姿勢を検出する姿勢検出手段と、被写体を撮像し、画像データを取得する撮像手段と、姿勢検出手段により検出された姿勢に基づいて記憶手段から対応する基準画像データを取得し、取得した基準画像データを用いて、撮像手段により取得された画像データから撮像対象物の検出を行う対象物検出手段と、を備えることを特徴とする。
【０００８】
姿勢検出手段により検出された姿勢に基づいて記憶手段から対応する基準画像データを取得し、取得した基準画像データを用いて、対象物検出手段により検出された撮像対象物を追尾する対象物追尾手段を備えることを特徴とする。
【０００９】
姿勢検出手段は、ロール角とピッチ角の両方、又は何れか一方を検出することを特徴とする。
【００１０】
撮像対象物は、人物の顔であることを特徴とする。
【００１１】
姿勢検出手段により検出された姿勢に基づいて記憶手段から取得する基準画像データの優先順位を決定することを特徴とする。
【００１２】
姿勢検出手段により検出された姿勢に基づいて検出領域を変更することを特徴とする。
【００１３】
また、本発明における撮像方法は、撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶ステップと、本体の姿勢を検出する姿勢検出ステップと、被写体を撮像し、画像データを取得する撮像ステップと、姿勢検出ステップにより検出された姿勢に基づいて記憶ステップにて記憶した対応する基準画像データを取得し、取得した基準画像データを用いて、撮像ステップにより取得された画像データから撮像対象物の検出を行う対象物検出ステップと、を備えることを特徴とする。
【００１４】
姿勢検出ステップにより検出された姿勢に基づいて記憶ステップからにて記憶した対応する基準画像データを取得し、取得した基準画像データを用いて、対象物検出ステップにより検出された撮像対象物を追尾する対象物追尾ステップを備えることを特徴とする。
【００１５】
姿勢検出ステップは、ロール角とピッチ角の両方、又は何れか一方を検出することを特徴とする。
【００１６】
撮像対象物は、人物の顔であることを特徴とする。
【００１７】
姿勢検出手段により検出された姿勢に基づいて記憶手段から取得する基準画像データの優先順位を決定することを特徴とする。
【００１８】
姿勢検出手段により検出された姿勢に基づいて検出領域を変更することを特徴とする。
【００１９】
また、本発明におけるプログラムは、上記いずれかに記載の撮像方法をコンピュータに実行させる。
【００２０】
また、本発明における記録媒体は、上記のプログラムを記録したコンピュータ読取可能な記録媒体である。
【発明の効果】
【００２１】
本発明により、撮像装置は検出された傾きに対し、最適な基準画像データを使用して顔検出を行うことで、顔検出の精度を向上することが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の好適な実施形態について図面を参照しながら詳細に説明する。
【００２３】
（カメラシステム説明）
まず、図を参照して本発明の第１の実施の形態について説明する。なお、各図の番号は、同じ部材や同じ処理に関しては、極力、同じ番号を付けている。
【００２４】
図１、２、３は、本発明の実施形態における撮像装置の一例であるデジタルカメラの外観図である。また、図４は、本発明の実施形態における撮像装置の一例であるデジタルカメラのブロック図、図５は本発明の実施形態における顔画像検出部の概略ブロック図の一例である。
【００２５】
まず、図１〜図５を使用して、本発明の実施形態の撮像装置の一例であるデジタルカメラの動作を説明する。
【００２６】
図１〜図４において、鏡胴ユニット７は、被写体の光学画像を取り込むズームレンズ７−１ａ、ズーム駆動モータ７−１ｂからなるズーム光学系７−１、フォーカスレンズ７−２ａ、フォーカス駆動モータ７−２ｂからなるフォーカス光学系７−２、絞り７−３ａ、絞りモータ７−３ｂからなる絞りユニット７−３、メカシャッタ７−４ａ、メカシャッタモータ７−４ｂからなるメカシャッタユニット７−４、各モータを駆動するモータドライバ７−５を有する。そして、モータドライバ７−５は、リモコン受光部６入力や操作部ＫｅｙユニットＳＷ１〜ＳＷ１３の操作入力に基づく、後述するディジタルスチルカメラプロセッサ１０４内にあるＣＰＵブロック１０４−３からの駆動指令により駆動制御される。
【００２７】
ＲＯＭ１０８には、ＣＰＵブロック１０４−３にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されている。このデジタルカメラの電源がオン状態になると、前記プログラムは不図示のメインメモリにロードされ、前記ＣＰＵブロック１０４−３はそのプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的に、ＲＡＭ１０７、及び後述するディジタルスチルカメラプロセッサ１０４内にあるＬｏｃａｌ ＳＲＡＭ１０４−４に保存する。ＲＯＭ１０８に書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のＶｅｒＵｐが容易に行える。
【００２８】
ＣＣＤ１０１は、光学画像を光電変換するための固体撮像素子であり、Ｆ／Ｅ（フロントエンド）−ＩＣ１０２は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ１０２−１、利得調整を行うＡＧＣ１０２−２、ディジタル信号変換を行うＡ／Ｄ１０２−３、ＣＣＤ１制御ブロック１０４−１より、垂直同期信号（以下、ＶＤと記す。）、水平同期信号（以下、ＨＤと記す。）を供給され、ＣＰＵブロック１０４−３によって制御されるＣＣＤ１０１、及びＦ／Ｅ−ＩＣ１０２の駆動タイミング信号を発生するＴＧ１０２−４を有する。
【００２９】
ディジタルスチルカメラプロセッサ１０４は、ＣＣＤ１０１よりＦ／Ｅ―ＩＣ１０２の出力データにホワイトバランス設定やガンマ設定を行い、又、前述したように、ＶＤ信号、ＨＤ信号を供給するＣＣＤ１制御ブロック１０４−１、フィルタリング処理により、輝度データ、色差データへの変換を行うＣＣＤ２制御ブロック１０４−２、前述した装置各部の動作を制御するＣＰＵブロック１０４−３、前述した制御に必要なデータ等を、一時的に保存するＬｏｃａｌ ＳＲＡＭ１０４−４、パソコンなどの外部機器とＵＳＢ通信を行うＵＳＢブロック１０４−５、パソコンなどの外部機器とシリアル通信を行うシリアルブロック１０４−６、ＪＰＥＧ圧縮、伸張を行うＪＰＥＧ ＣＯＤＥＣブロック１０４−７、画像データのサイズを補間処理により拡大／縮小するＲＥＳＩＺＥブロック１０４−８、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するＴＶ信号表示ブロック１０４−９、撮影された画像データを記録するメモリカードの制御を行うメモリカードブロック１０４−１０を有する。
【００３０】
ＳＤＲＡＭ１０３は、前述したディジタルスチルカメラプロセッサ１０４で画像データに各種処理を施す際に、画像データを一時的に保存する。保存される画像データは、例えば、ＣＣＤ１０１から、Ｆ／Ｅ−ＩＣ１０２を経由して取りこんで、ＣＣＤ１信号処理ブロック１０４−１でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２制御ブロック１０４−２で輝度データ、色差データ変換が行われた状態の「ＹＵＶ画像データ」、ＪＰＥＧ ＣＯＤＥＣブロック１０４−７で、ＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。メモリカードスロットル１２１は、着脱可能なメモリカードを装着するためのスロットルである。内蔵メモリ１２０は、前述したメモリカードスロットル１２１にメモリカードが装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。
【００３１】
ＬＣＤドライバ１１７は、後述するＬＣＤモニタ１０に駆動するドライブ回路であり、ＴＶ信号表示ブロック１０４−９から出力されたビデオ信号を、ＬＣＤモニタ１０に表示するための信号に変換する機能も有している。
【００３２】
ＬＣＤモニタ１０は、撮影前に被写体の状態を監視する、撮影した画像を確認する、メモリカードや前述した内臓メモリ１２０に記録した画像データを表示する、などを行うためのモニタである。ビデオＡＭＰ１１８は、ＴＶ信号表示ブロック１０４−９から出力されたビデオ信号を、７５Ωインピーダンス変換するためのアンプであり、ビデオジャック１１９は、ＴＶなどの外部表示機器と接続するためのジャックである。
【００３３】
ＵＳＢコネクタ１２２は、パソコンなどの外部機器とＵＳＢ接続を行う為のコネクタである。シリアルドライバ回路１２３−１は、パソコンなどの外部機器とシリアル通信を行うために、前述したシリアルブロック１０４−６の出力信号を電圧変換するための回路であり、ＲＳ−２３２Ｃコネクタは、パソコンなどの外部機器とシリアル接続を行う為のコネクタである。ＳＵＢ−ＣＰＵ１０９は、ＲＯＭ、ＲＡＭをワンチップに内蔵したＣＰＵであり、操作ＫｅｙユニットＳＷ１〜１３やリモコン受光部６の出力信号をユーザの操作情報として、前述したＣＰＵブロック１０４−３に出力し、また、前述したＣＰＵブロック１０４−３より出力されるカメラの状態を、後述するサブＬＣＤ１、ＡＦ ＬＥＤ８、ストロボＬＥＤ９，ブザー１１３の制御信号に変換して、出力する。
【００３４】
サブＬＣＤ１、例えば、撮影可能枚数など表示するための表示部であり、ＬＣＤドライバ１１１は、前述したＳＵＢ−ＣＰＵ１０９の出力信号より、前述したサブＬＣＤ１を駆動するためのドライブ回路である。
【００３５】
ＡＦ ＬＥＤ８は、撮影時の合焦状態を表示するためのＬＥＤであり、ストロボＬＥＤ９は、ストロボ充電状態を表すためのＬＥＤである。尚、このＡＦ ＬＥＤ８とストロボＬＥＤ９を、メモリカードアクセス中などの別の表示用途に使用しても良い。
【００３６】
操作ＫｅｙユニットＳＷ１〜１３は、ユーザが操作するＫｅｙ回路であり、リモコン受光部６は、ユーザが操作したリモコン送信機の信号の受信部である。
【００３７】
音声記録ユニット１１５は、ユーザが音声信号を入力するマイク１１５−３、入力された音声信号を増幅するマイクＡＭＰ１１５−２、増幅された音声信号を記録する音声記録回路１１５―３からなる。
【００３８】
音声再生ユニット１１６は、記録された音声信号をスピーカーから出力できる信号に変換する音声再生回路１１６−１、変換された音声信号を増幅し、スピーカーを駆動するためのオーディオＡＭＰ１１６−２、音声信号を出力するスピーカー１１６−３からなる。
【００３９】
加速度センサ１２４はPCB上に実装され、2軸X,Yと温度Tのデータを出力する。そのデータからカメラのロール角、ピッチ角等の傾きを演算し、LCDモニタ１０等に表示する。加速度センサの水平に対するロール角θは以下の式で表される。
【００４０】
【数１】
【００４１】
G0は重力ゼロ時の出力である。
【００４２】
カメラが図２、図３の姿勢のときに、カメラのロール角θが０度であるとし、ＬＣＤモニタ１０が時計回り方向に傾いた場合に正の傾き、反時計回りに傾いた場合に負の傾きであるとする。
【００４３】
図５は、本発明の実施の形態における顔画像検出部の概略ブロック図である。この構成は、被写体の画像を１枚分以上記憶する画像メモリ２００と、そのメモリから所定の単位で他のメモリあるいはレジスタに取り込む画像取り込み部２０１と、全体の制御を司る制御部２０２と、複数の顔の特徴を格納する顔特徴記憶部２０４と、画像取り込み部２０１からのデータと顔特徴記憶部２０４からのデータを比較してその結果を制御部２０２に伝える比較部２０３と、最終的な判断結果を外部に出力する出力部２０５から構成されている。ここで、画像メモリ２００は図４のＲＡＭ１０７を使用しても良い。また、その他の部分は図４のディジタルスチルカメラプロセッサ１０４により実現しても構わないし、あるいは専用のＬＳＩにより実現しても良い。
【００４４】
（顔検出方法の説明）
本発明の実施形態での顔認識は従来の個人の顔として確実に認識できるレベルである必要は無く、被写体が顔か、あるいはそれ以外の他の物体かの２者択一の認識レベルで充分である。顔画像認識における対象項目は大きく分けると次の２つとなる。
１）人物の識別：対象人物が誰であるかを識別する。
２）表情識別：人物がどのような表情をしているかを識別する。
【００４５】
すなわち、１）の人物識別は顔の構造認識であり静的識別といえる。また、２）の表情識別は顔の形状変化の認識であり、動的識別ともいえる。本発明の実施形態の場合は、前記よりさらに単純な識別といえる。また、これらの識別の手法として、１）２次元的手法、２）３次元的手法があり、コンピュータでは主に１）２次元的手法が使用されている。これらの詳しい内容はここでは省略する。
【００４６】
次に、本発明の実施形態における顔画像の検出方法について説明する。被写体の画像データは、ＣＣＤ１０１により光電変換され、画像処理されてＲＡＭ１０７に一時的に保存される。その画像データは、ある所定の単位（フレーム、バイト）で画像取り込み部に取り込まれる。
【００４７】
一般に、人物を撮影する際、被写体となる人物の顔は頭部が上となるように撮影されることが多いが、そのような場合に撮影時にカメラの姿勢が変化することで、カメラの取得画像において顔の向きが必ずしも頭部が上とはならない。カメラが水平状態であるときは、図６のように取得画像において被写体となる人物５００の頭部５０１が上側となるが、カメラのロール角が＋９０度であるときは、取得画像において被写体となる人物５００の顔５０１は図７のように左回転した状態で写り、カメラのロール角が−９０度であるときは、図８のように取得画像において被写体となる人物の顔は右回転した状態で写る。本発明の実施形態によると、取得されたカメラのロール角から、人物５００の顔５０１の向きを予測し、カメラが水平の場合に図６、カメラのロール角が＋９０度の場合に図７、カメラのロール角が−９０度の場合に図８のような顔の向きを優先的に顔検出できるように、検出時に使用する顔特徴記憶部２０４のデータをロール角により変更することで、顔検出の速度および精度を向上することができる。
【００４８】
本発明における実施の形態で、被写体像の中から人物像を検出する方法は、以下に示す手法のいずれかにより実装を行う。
【００４９】
非特許文献１の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
【００５０】
非特許文献２の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
【００５１】
非特許文献３の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
【００５２】
（フローチャートの説明）
図９においてまず、ＣＰＵ１０４−３は人物の顔検出を実行する顔検出動作モードであるか否かを判断する（ステップＳ１０１）。この判断の結果、顔検出動作モードであると判断した場合には、ＣＰＵ１０４−３は、加速度センサから計測（ステップＳ１０２）されたデータをもとにカメラのロール角θを計算し、カメラのロール角θから顔認識に使用する顔特徴記憶部データを判断する（ステップＳ１０３）。
【００５３】
ステップＳ１０３での判断の結果、カメラのロール角θが、−４５°≦θ＜＋４５°であるときは、図１０のように人物５００が写っていると判断し、顔特徴記憶部データＤｖを使用して顔検出処理を実行し（ステップＳ１０４）、ＣＰＵ１０４−３は、顔を検出したかどうかを判断する（ステップＳ１０５）。図１０の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔５０１を検出したと判断した場合にレリーズ１が押されたら（ステップＳ１０６）、検出された顔５０１を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ１０７）、その後レリーズ２が押されたら（ステップＳ１０８）画像を取り込み（ステップＳ１０９）、検出された顔５０１を対象にＡＷＢ等の制御を行い（ステップＳ１１０）、画像を記録する（ステップＳ１１１）。
【００５４】
また、ステップＳ１０２での判断の結果、カメラのロール角θが、θ≧＋４５°である場合は、図１１のように人物５００が写っていると判断し、顔特徴記憶部データＤｈ１を使用して顔検出処理を実行し（ステップＳ１１２）、ＣＰＵ１０４−３は、顔５０１を検出したかどうかを判断する（ステップＳ１０５）。図１１の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔５０１を検出したと判断した場合にレリーズ１が押されたら（ステップＳ１０６）、検出された顔５０１を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ１０７）、その後レリーズ２が押されたら（ステップＳ１０８）画像を取り込み（ステップＳ１０９）、検出された顔５０１を対象にＡＷＢ等の制御を行い（ステップＳ１１０）、画像を記録する（ステップＳ１１１）。
【００５５】
また、ステップＳ１０２での判断の結果、カメラのロール角θが、θ＜−４５°である場合は、図１２のように人物５００が写っていると判断し、顔特徴記憶部データＤｈ２を使用して顔検出処理を実行し（ステップＳ１１３）、ＣＰＵ１０４−３は、顔５０１を検出したかどうかを判断する（ステップＳ１０５）。図１２の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔を検出したと判断した場合にレリーズ１が押されたら（ステップＳ１０６）、検出された顔を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ１０７）、その後レリーズ２が押されたら（ステップＳ１０８）画像を取り込み（ステップＳ１０９）、検出された顔５０１を対象にＡＷＢ等の制御を行い（ステップＳ１１０）、画像を記録する（ステップＳ１１１）。
【００５６】
なお、ステップＳ１０１で顔検出動作モードでない場合、または、ステップＳ１０４、Ｓ１１２、Ｓ１１３のいずれかで顔を検出していないと判断した場合には、レリーズ１が押されたら（ステップＳ１１２）通常のＡＦ、ＡＥ等の制御を行い（ステップＳ１１３）、その後レリーズ２が押されたら（ステップＳ１１４）、画像を取り込み（ステップＳ１１５）、通常のＡＷＢ等の制御を行い（ステップＳ１１６）、画像を記録する（ステップＳ１１１）。
【００５７】
以上説明したように、上記実施の形態によればＣＰＵ１０４−３は、カメラのロール角θから最適な顔特徴記憶部データを用いて顔検出を行うことで顔検出の精度および速度を向上させ、検出された顔に対して最適な条件で撮影した画像を得ることが可能となる。
【００５８】
続いて、本発明の第２の実施の形態について説明する。なお、本発明の実施形態における撮像装置の一例であるデジタルカメラの外観図、ブロック図、および顔画像検出部の概略ブロック図は第１の実施の形態と同様で、図１から図５で示したとおりである。
【００５９】
（顔検出方法の説明）
人物を撮影する際、被写体となる人物に対して、斜め上方向からカメラにピッチ角をつけて撮影を行う際には、顔の正面から撮影を行う際（図６）と比較して、人物５００の顔５０１部分の縦横比が異なって撮影されることがある（図１３）。このように撮影を行う場合、図１４のように顔特徴記憶部２０４のデータと画像の顔部分の縦横比が一致せず、顔の正面から撮影を行う際と比較して顔検出の精度が劣化する可能性がある。本発明の実施形態によると、カメラは加速度センサから得られたデータをもとにカメラのピッチ角の取得を行い、ピッチ角が３０度以上である場合に顔検出時に使用する顔特徴記憶部データを変更することで、顔検出の速度および精度を向上することができる。
【００６０】
（フローチャートの説明）
図１５において、第１の実施の形態と同様に顔検出モードであるかの判断を行い（ステップＳ２０１）、顔検出モードであると判断した場合にＣＰＵ１０４−３は加速度センサから計測された（ステップＳ２０２）データをもとにカメラのピッチ角ψを計算し、カメラのピッチ角ψから顔検出に最初に使用する顔特徴記憶部データを判断する（ステップＳ２０３）。なお、本実施の形態ではカメラのロール角は０度であるとする。
【００６１】
ステップＳ２０３での判断の結果、カメラのピッチ角ψが３０度未満であるときは、図１０のように正面から人物５００が撮影されていると判断し、顔特徴記憶部データＤｖ１を使用して顔検出処理を実行し（ステップＳ２０４）、ＣＰＵ１０４−３は、顔５０１を検出したかどうかを判断する（ステップＳ２０５）。図１０の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔を検出したと判断した場合にレリーズ１が押されたら（ステップＳ２０６）、検出された顔を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ２０７）、その後レリーズ２が押されたら（ステップＳ２０８）画像を取り込み（ステップＳ２０９）、検出された顔を対象にＡＷＢ等の制御を行い（ステップＳ２１０）、画像を記録する（ステップＳ２１１）。
【００６２】
また、ステップＳ２０３での判断の結果、カメラのピッチ角ψが３０度以上であるときは、最初に図１６のように撮影されていると判断し、顔特徴記憶部データＤｖ２を使用して顔検出処理を実行し（ステップＳ２１２）、ＣＰＵ１０４−３は、顔を検出したかどうかを判断する（ステップＳ２１３）。図１６の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔５０１を検出したと判断した場合にレリーズ１が押されたら（ステップＳ２０６）、検出された顔を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ２０７）、その後レリーズ２が押されたら（ステップＳ２０８）、画像を取り込み（ステップＳ２０９）、検出された顔を対象にＡＷＢ等の制御を行い（ステップＳ２１０）、画像を記録する（ステップＳ２１１）。
【００６３】
ステップＳ２１３で顔を検出できなかったと判断した場合には、続いて顔特徴記憶部データＤｖ１を使用して顔検出処理を実行し（ステップＳ２０４）、ＣＰＵ１０４−３は、顔を検出したかどうかを判断する（ステップＳ２０５）。図１０の矢印は、撮影された画像から顔特徴点を抽出する際の、画像のスキャン方向である。顔５０１を検出したと判断した場合にレリーズ１が押されたら（ステップＳ２０６）、検出された顔を対象としてＡＦ、ＡＥ等の制御を行い（ステップＳ２０７）、その後レリーズ２が押されたら（ステップＳ２０８）画像を取り込み（ステップＳ２０９）、検出された顔を対象にＡＷＢ等の制御を行い（ステップＳ２１０）、画像を記録する（ステップＳ２）。
【００６４】
なお、ステップＳ２０１で顔検出動作モードでない場合、または、ステップＳ２０５で顔５０１を検出していないと判断した場合には、レリーズ１が押されたら（ステップＳ２１４）通常のＡＦ、ＡＥ等の制御を行い（ステップＳ２１５）、その後レリーズ２が押されたら（ステップＳ２１６）、画像を取り込み（ステップＳ２１７）、通常のＡＷＢ等の制御を行い（ステップＳ２１８）、画像を記録する（ステップＳ２１１）。
【００６５】
以上説明したように、上記実施の形態によればＣＰＵ１０４−３は、カメラのピッチ角ψから最適な顔特徴記憶部データを用いて顔検出を行うことで顔検出の精度および速度を向上させ、検出された顔に対して最適な条件で撮影した画像を得ることが可能となる。
【００６６】
続いて、本発明の第３の実施の形態について説明する。なお、本発明の実施形態における撮像装置の一例であるデジタルカメラの外観図、ブロック図、および顔画像検出部の概略ブロック図は実施例１および２と同様で、図１から図５で示したとおりである。
【００６７】
（顔追尾方法の説明）
顔検出を行った後に、カメラの姿勢情報を用いて検出された人物の顔の追尾を行う例について説明する。なお、顔追尾の手法については本実施の形態に記載した限りではなく、別の手法を用いても良い。
【００６８】
前記顔検出手法により人物の顔が検出された後、撮影を行うまでの間、検出された人物の顔を追尾する必要がある。追尾時は、顔検出を行ったスキャンよりも簡易的にスキャンを行うことで高速に顔情報の検出を行い、追尾する必要がある。たとえば、図１７において、顔検出を行う際には実線と破線の矢印を使って画像のスキャンを行っているが、顔追尾を行う際には実線部のみを用いて画像のスキャンを行うことや、検出された人物の顔情報やカメラの移動量等の情報から画像内で顔追尾を行う範囲を限定してスキャンを行うなどの方法を用いることで、顔検出時より高速に行うことができる。
【００６９】
人物の顔を追尾する際にカメラのロール角が急変した場合、同じ座標にある同じ顔に対しても、ロール角急変前のスキャン方法では追尾を行うのは困難であり、再度顔検出を行う必要がある。カメラが水平の状態から、ロール角＋９０度の状態に急変した場合、図６から図７のように構図が変化するが、ロール角急変前後で顔追尾に使用する顔特徴記憶部データを変更せずに図６の構図と同じ顔特徴記憶部データを用いてスキャンを行うと、図７のような構図では人物の顔を追尾できない。本発明の実施形態によると、カメラが水平である状態からロール角＋９０度の状態にロール角が急変した場合にも、ロール角の変化を検出した時点で顔追尾に使用する顔特徴記憶部データを変更することで、顔検出をやりなおすことなく人物の顔を追尾することが可能となる。
【００７０】
（フローチャートの説明）
図１８において、第１の実施の形態と同様に顔検出モードであるかの判断を行い（ステップＳ３０１）、顔検出モードであると判断した場合に、顔検出動作を行う（ステップＳ３０２）。次に、顔検出できたかどうかの判断を行い（ステップＳ３０３）、顔検出できた場合に、ＣＰＵ１０４−３は加速度センサから計測されたデータをもとにカメラのロール角θを計算し（ステップＳ３０４）、カメラのロール角から顔認識制御手段を判断する（ステップＳ３０５）。
【００７１】
ステップＳ３０５での判断の結果、カメラのロール角θが、−４５°≦θ＜＋４５°であるときは、図１０のように人物５００が写っていると判断し、顔特徴記憶部データＤｖを用いて顔追尾処理を実行し（ステップＳ３０６）、ＣＰＵ１０４−３は、顔５０１を追尾できたかどうかを判断する（ステップＳ３０７）。顔を追尾できたと判断した場合、レリーズ１が押されたかどうかの判断を行い（ステップＳ３０８）、レリーズ１が押されたと判断したら追尾された人物の顔からＡＦやＡＥ等の制御を行い（ステップＳ３０９）、レリーズ２が押されたかどうかの判断を行い（ステップＳ３１０）、レリーズ２が押されたと判断したら（ステップＳ３１０）、画像の取り込みを行い（ステップＳ３１１）、追尾された人物の顔からＷＢ等の制御を行い（ステップＳ３１２）、画像を記録する（ステップＳ３１３）。
【００７２】
ステップＳ３０５での判断の結果、カメラのロール角θが、θ≧＋４５°であるときは、図１１のように人物５００が写っていると判断し、顔特徴記憶部データＤｈ1を用いて顔追尾処理を実行し（ステップＳ３１４）、ＣＰＵ１０４−３は、顔を追尾できたかどうかを判断する（ステップＳ３０７）。顔を追尾できたと判断した場合、レリーズ１が押されたかどうかの判断を行い（ステップＳ３０８）、レリーズ１が押されたと判断したら追尾された人物の顔からＡＦやＡＥ等の制御を行い（ステップＳ３０９）、レリーズ２が押されたかどうかの判断を行い（ステップＳ３１０）、レリーズ２が押されたと判断したら画像の取り込みを行い（ステップＳ３１１）、追尾された人物の顔５０１からＡＷＢ等の制御を行い（ステップＳ３１２）、画像を記録する（ステップＳ３１３）。
【００７３】
ステップＳ３０５での判断の結果、カメラのロール角θが、θ＜−４５°であるときは、図１２のように人物５００が写っていると判断し、顔特徴記憶部データＤｈ2を用いて顔追尾処理を実行し（ステップＳ３１５）、ＣＰＵ１０４−３は、顔５０１を追尾できたかどうかを判断する（ステップＳ３２０７）。顔を追尾できたと判断した場合、レリーズ１が押されたかどうかの判断を行い（ステップＳ３０８）、レリーズ１が押されたと判断したら追尾された人物の顔からＡＦやＡＥ等の制御を行い（ステップＳ３０９）、レリーズ２が押されたかどうかの判断を行い（ステップＳ３１０）、レリーズ２が押されたと判断したら画像の取り込みを行い（ステップＳ３１１）、追尾された人物の顔からＡＷＢ等の制御を行い（ステップＳ３１２）、画像を記録する（ステップＳ３１３）。
【００７４】
ステップＳ３０１で顔検出モードでないと判断した場合には、顔検出動作および顔追尾動作を行わずに、レリーズ１が押されたら（ステップＳ３１６）通常のＡＦ、ＡＥ等の制御を行い（ステップＳ３３１７）、その後レリーズ２が押されたら（ステップＳ３１８）、画像を取り込み（ステップＳ３１９）、通常のＡＷＢ等の制御を行い（ステップＳ３２０）、画像を記録する（ステップＳ３１３）。
【００７５】
ステップＳ３０７で顔追尾できなかったと判断した場合は、ステップＳ３０２に戻り、顔検出の動作以降を行う。また、ステップＳ３０８でレリーズ１が押されなかったと判断した場合はステップＳ３０４に戻り、カメラのロール角計測動作以降を行う。
【００７６】
以上のように、上記実施の形態によれば、ＣＰＵ１０４−３は、カメラのロール角θから最適な顔特徴記憶部データを用いて顔追尾を行うことで顔追尾の精度および速度を向上させ、追尾された顔に対して最適な条件で撮影した画像を得ることが可能となる。
【００７７】
本発明の実施形態は、例えばポートレートモード等、基本的には人がカメラの前で正面を向いている状態で撮影を行う場合を想定しており、その場合に、カメラの傾き（ロール、ピッチ）が変化した場合の顔検出に用いられるものである。
【００７８】
そこで、本発明の実施の形態においては、まず、予めカメラの傾き（ロール、ピッチのそれぞれの角度について）に対応する顔特徴データを複数記憶しておく。この顔特徴データは、ロール角、ピッチ角がそれぞれ０°のカメラの前で人が正面を向いている状態を基準として、人は動かないまま、ロール角、ピッチ角をそれぞれ変更させて撮影して、取得する。そして、カメラで撮影を行う際に、カメラ本体の傾き（ロール角、ピッチ角）を検出し、検出された傾きに応じて、用いる顔特徴データを変えて、顔検出処理を行うようにしている。
【００７９】
続いて、本発明の第４の実施の形態について説明する。
まず、顔検出の方法について説明する。
被写体像の中から人物像を検出する方法は、多くの手法が公知となっており、例えば以下の方法が用いられてよい。
【００８０】
P.Viola and M.Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", Proc. IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518 2001 に示されているように、AdaBoost学習により多数の弱識別器をカスケード型に線形結合したものを識別器として作成し、識別器に基づいてHaar-Like特徴量を計算し、顔を検出する方法がある。
【００８１】
以下、ここでは、上記手法における弱識別器を特徴データ、弱識別器をカスケード型に線形結合した識別器を特徴データ群として記述する。
【００８２】
次に、顔検出処理について説明する。
図１９は撮像光学系によって撮像された画像に対し、顔検出処理を実施して画像の中から人物の顔を検出する顔検出処理のフローである。
【００８３】
カメラの動作モードが顔検出処理を実施するモードである時、顔検出モジュールはモニタリング画像の中からあるタイミングで一枚の画像をコピーする（ステップＳ４０１）。CPUはコピーした画像に対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。
【００８４】
顔検出処理はあらかじめメモリ内に保持している人物の顔の特徴データ群の中の一つ一つの特徴データと画像内の対称矩形との類似度を算出していくが、本実施例では特徴データ群が顔の向きに応じて±0度の顔用、+90度の顔用、-90度の顔用の3種類の特徴データ群があるものとする。
【００８５】
まず、加速度センサからの出力により顔検出処理開始時のカメラの姿勢を判断する（ステップＳ４０２）。ここでは、カメラの姿勢は±0度、-90度、プラス90度の何れか3種類、一番近いものに分類する。180度に関しては通常のカメラ使用上、まずありえない状態であるため、ここでは考慮せず、±0度と同等の動作になるものとする。これにより得られたカメラの姿勢から、顔の向きとして可能性の高いものから順番になるように、３種類の特徴データ群の優先順位を決定する（ステップＳ４０３）。図２１は、カメラの姿勢に基づいて決定される特徴データ群の優先順位の例であり、（a）はカメラの姿勢が±0度の時の例である。カメラの姿勢が±0どれある時は、顔の向きも0度付近である可能性が高いため、±0度の顔用の特徴データ群が最も高い優先度となる。それに続いて-90度の顔用の特徴データ群、+90度の顔用の特徴データ群、といった順番となる。（b）はカメラの向きが-90度（撮影者側から見てカメラが反時計回りに90度倒れた状態）の時の例である。ここでは、顔の向きも90度傾いている可能性が高いため、-90度の顔用の特徴データ群が最も高い優先順位となる。続いて、±0度の顔用の特徴データ群が2番目に高い優先順位となり、-90度から180度離れている+90度は優先順位が最も低い特徴データ群となる。
【００８６】
次に、画像の中から最初の対象矩形を決定する(ステップＳ４０４)。ここでは画像の左上の端とする。本実施の形態では、図２０に示すように画像の左上の端から右下の端まで順に対象矩形領域を少しずつずらしながらスキャンしていくものとする。なお、図２１の（ｂ）右側に示すように、画像内のスキャン方向は、カメラの姿勢によらず、一定であるものとする。
【００８７】
最初は優先順位xが1である特徴データ群を使用して顔検出処理を実施する（ステップＳ４０５〜Ｓ４０７）。ここでは、特徴データ群の中の一つ一つの特徴データと対象矩形領域の類似度を算出して行き、類似度が特徴データごとに定められた所定の閾値を超えたものの数が、特徴データ群ごとに定められた所定の閾値を超えれば、当該対象矩形領域が顔であると判断される。
【００８８】
顔であったと判断された場合にはその対象領域を顔として登録し、画像中の座標とサイズを記録する（ステップＳ４１１）。顔検出処理を実施した対象矩形領域が顔でなかった場合、使用した特徴データ群よりも優先順位の低い特徴データ群がまだ残っているかどうかを判断し（ステップＳ４０９）、まだ残っていた場合には次の優先順位の特徴データ群を選択し（ステップＳ４１０、Ｓ４０６）、再び顔検出処理を実施する（ステップＳ４０７）。もし使用した特徴データ群が最も低い優先順位のものであった場合には、ここで顔検出処理を実施した対象矩形領域は顔でなかったと判断される。1つの対象矩形領域について顔検出処理が終了したら、画像中の全ての領域をスキャンしたかどうかを判断し（ステップＳ４１２）、まだスキャン領域が残っている場合には対象矩形領域をずらした上で、再度同様の顔検出処理を実施する。
【００８９】
画像中の全ての領域をスキャンし終わった場合、顔検出モードを継続するかどうかを判断し（ステップＳ４１３）、継続するのであれば再びモニタリング画像から顔検出用画像をコピーして顔検出処理を実施する。顔検出モードを終了するのであればここで一連の処理を終了する。なお、顔検出モード継続か終了かの判断は、ユーザから顔検出モードから抜ける旨の操作があったかどうかにより判断する。
【００９０】
本実施の形態ではカメラの姿勢および特徴データ群を±0度、-90度、+90度の3種類、としたが、もちろんもっと細かい分類、例えば±0度、-45度、+45度、-90度、+90度、-135度、+135度、±180度の8種類などとしてもよい。
【００９１】
続いて、本発明の第５の実施の形態について説明する。
顔を検出する方法は、上記と同様に、公知の手法を用いることとする。
図２２に本実施の形態における顔検出・顔認証処理のフローを示す。
【００９２】
カメラの動作モードが顔検出処理を実施するモードである時、顔検出モジュールはモニタリング画像の中からあるタイミングで一枚の画像をコピーする（ステップＳ５０１）。CPUはコピーした画像に対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。
【００９３】
顔検出処理はあらかじめメモリ内に多数保持している人物の顔の特徴データ群の一つ一つの特徴データと画像内の対称矩形領域との類似度を算出していく。
【００９４】
まず、カメラに実装されている加速度センサの出力からカメラの姿勢を判断する（ステップＳ５０２）。ここでは、第４の実施の形態と同様に±0度、-90度、+90度の3種類にカメラの姿勢を分類するものとする。次に、カメラの姿勢に基づき、画像内で顔検出処理をする領域を限定する（ステップＳ５０２）。図２３はカメラの姿勢に基づいて顔検出処理をする領域を限定している例である。ここでは、破線矩形枠が顔検出処理をする領域を表しており、画角の下端側に顔が写っている可能性が少ないものとしてそれぞれの姿勢において下側となる領域を顔検出処理をする領域から外している。即ち、顔検出領域は、全体の画角から、画角の下端側の所定画素分幅の領域を除いた領域である。
【００９５】
次に、前段で限定された顔検出領域の中から顔検出処理を実施する対象矩形を決定する（ステップＳ５０４）。この対象矩形と特徴データの類似度を算出し（ステップＳ５０５）、類似度が所定の閾値よりも高い場合には対象矩形が特徴にマッチしたと判断される。対象矩形が特徴にマッチしたと判断された場合には対象矩形を顔として登録する（ステップＳ５０７）。
【００９６】
以上のようにしてステップＳ５０３で限定した顔検出領域全てをスキャンする。本実施の形態では第４の実施の形態と同様に、カメラの姿勢が±0度であるときの左上から右下に向かって順次少しずつ対象矩形領域をずらしながらスキャンしていくものとする。顔検出領域を全てスキャンした後、顔検出モードを継続するか否かを判断する。もしユーザから顔検出モードを抜ける旨の操作があった場合には顔検出処理を終了し、そうでなければ再びモニタリング画像から顔検出用画像をコピーし、顔検出処理を実施していく。
【００９７】
以上説明したように、本発明の実施の形態によれば、次の効果を得ることができる。
【００９８】
（１）撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶手段と、前記本体の姿勢を検出する姿勢検出手段と、被写体を撮像し、画像データを取得する撮像手段と、前記姿勢検出手段により検出された前記姿勢に基づいて前記記憶手段から対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記撮像手段により取得された画像データから前記撮像対象物の検出を行う対象物検出手段と、を備えるようにしたので、撮像装置は検出された傾き（姿勢）に対し、最適な基準画像データを使用して顔検出を行うことで、顔検出の精度を向上することが可能となる。
【００９９】
（２）上記の撮像装置において、前記姿勢検出手段により検出された姿勢に基づいて前記記憶手段から対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記対象物検出手段により検出された前記撮像対象物を追尾する対象物追尾手段を備えるようにしたので、撮像装置は検出された傾き（姿勢）に対し、最適な基準画像データを使用して顔追尾を行うことで、顔追尾の精度を向上することが可能となる。
【０１００】
（３）上記の撮像装置において、前記姿勢検出手段から出力された姿勢情報が変化した際に、検出された姿勢情報をもとに、検出または追尾されている顔の追尾時に特徴抽出を行うための基準画像データを変更すると、顔追尾時に撮像装置の傾きが変化した場合にも高精度で顔追尾を行うことが可能となる。
【０１０１】
（４）上記の撮像装置において、動きを検知する手段を有し、前記対象物追尾手段は、前記動き検出手段から出力された撮像装置の動き情報と、前記姿勢検出手段から出力された姿勢情報と、検出または追尾された人物の顔の位置情報に基づき、特徴点抽出を行うブロックを決定するようにすると、撮像装置は検出された動きや傾き、検出された顔の位置情報から決定した画素ブロックに対してのみ顔追尾を行うことで、高速な顔追尾を行うことが可能となる。
【０１０２】
（５）上記の撮像装置において、前記対象物検出手段、または前記対象物追尾手段により検出または追尾された人物の顔情報に基づき、前記撮像手段の撮像条件を決定する制御手段を有するようにすると、撮像装置は前記対象物検出手段および対象物追尾手段により検出された人物の顔に対して最適な画像を撮像することが可能となる。
【０１０３】
（６）上記の撮像装置では、カメラの縦横を瞬時に判断して最適な特徴データ群（基準画像データ）を選択することで無駄な処理を減らして検出を高速化し、さらにカメラに対する顔の向きが異なってしまう場合においても顔の検出を可能とする撮像装置を実現する。 すなわち、センサによってカメラの姿勢を検出することにより、カメラに対する顔の向きを推定し、最適な基準特徴データ群（基準画像データ）を即時に選択することを可能とする。
【０１０４】
また、上記の撮像装置において、前記対象物検出手段によりある特徴データ群（基準画像データ）に基づいて対象物（顔）が検出された場合にはその特徴データ群よりも優先順位の低い特徴データ群での顔検出処理は実施しないこととすれば、不要な処理を省くことで顔検出処理を高速化することを可能とする。
【０１０５】
また、上記の撮像装置において、姿勢検出手段によって判断された自身の姿勢に基づいて前記対象物検出手段において使用される基準特徴データ群をひとつだけ選択することとすれば、不要な処理を省くことで顔検出処理を高速化することを可能とする。
【０１０６】
また、上記の撮像装置において、AF・AE・AWBの少なくとも1つの処理を対象物検出手段において検出された顔領域の情報に基づいて実施することとすれば、顔検出の結果に基づいてAF・AE・AWB処理をすることで、人物が画像の中央付近にいない場合においても人物に容易に合焦させたり適正露出にしたりすることを可能とする。
【０１０７】
また、上記の撮像装置において、姿勢検出手段（姿勢検出センサ）はロール角とピッチ角の両方、又は何れか一方を検出することとすれば、被写体に向けて変えられうる撮像装置の姿勢を検出することを可能とする。
【０１０８】
尚、各フローチャートに示す処理を、ＣＰＵが実行するためのプログラムは本発明の実施形態によるプログラムを構成する。また、このプログラムを記録する記録媒体は、本発明によるコンピュータ読み取り可能な記録媒体を構成する。この記録媒体としては、半導体記憶装置や光学的及び／又は磁気的な記憶装置等を用いることができる。このようなプログラム及び記録媒体を、前述した実施の形態とは異なる構成の装置やシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。
【０１０９】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施の形態による撮像装置の上面図である。
【図２】本発明の実施の形態による撮像装置の正面図である。
【図３】本発明の実施の形態による撮像装置の背面図である。
【図４】本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。
【図５】本発明の実施の形態による顔認識検出部の構成を示すブロック図である。
【図６】撮像装置のロール角に応じて得られる画像の向きを説明する構成図である。
【図７】撮像装置のロール角に応じて得られる画像の向きを説明する構成図である。
【図８】撮像装置のロール角に応じて得られる画像の向きを説明する構成図である。
【図９】本発明の第１の実施の形態による処理手順を示すフローチャートである。
【図１０】画像スキャンと顔特徴点抽出を示す構成図である。
【図１１】画像スキャンと顔特徴点抽出を示す構成図である。
【図１２】画像スキャンと顔特徴点抽出を示す構成図である。
【図１３】撮像装置にピッチ角がついた場合に得られる画像を示す構成図である。
【図１４】撮像装置にピッチ角がついた場合に得られる画像に対する従来の顔特徴点抽出結果を示す構成図である。
【図１５】本発明の第２の実施の形態による処理手順を示すフローチャートである。
【図１６】本発明の第２の実施の形態による画像スキャンと顔特徴点抽出を示す構成図である。
【図１７】本発明の第３の実施の形態による画像スキャンを示す構成図である。
【図１８】本発明の第３の実施の形態による処理手順を示すフローチャートである。
【図１９】本発明の第４の実施の形態による処理手順を示すフローチャートである。
【図２０】画像のスキャンの手法を示す図である。
【図２１】カメラの姿勢に応じた特徴データ群の優先順位を示す図である。
【図２２】本発明の第５の実施の形態による処理手順を示すフローチャートである。
【図２３】カメラの姿勢に基づいた画像中の顔検出対象領域を示す図である。
【符号の説明】
【０１１１】
７ 鏡胴ユニット
ＳＷ１〜ＳＷ１３ 操作部Ｋｅｙユニット
１０１ ＣＣＤ
１０４ ディジタルスチルカメラプロセッサ
１０８ ＲＯＭ
１２４ 加速度センサ
２００ 画像メモリ
２０１ 画像取り込み部
２０２ 制御部
２０３ 比較部
２０４ 顔特徴記憶部
２０５ 出力部
５００ 人物
５０１ 顔
【特許請求の範囲】
【請求項１】
撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶手段と、
前記本体の姿勢を検出する姿勢検出手段と、
被写体を撮像し、画像データを取得する撮像手段と、
前記姿勢検出手段により検出された前記姿勢に基づいて前記記憶手段から対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記撮像手段により取得された画像データから前記撮像対象物の検出を行う対象物検出手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記姿勢検出手段により検出された姿勢に基づいて前記記憶手段から対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記対象物検出手段により検出された前記撮像対象物を追尾する対象物追尾手段を備えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記姿勢検出手段は、ロール角とピッチ角の両方、又は何れか一方を検出することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮像対象物は、人物の顔であることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記対象物検出手段は、前記姿勢検出手段により検出された姿勢に基づいて前記記憶手段から取得する前記基準画像データの優先順位を決定することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記対象物検出手段は、前記画像データ内の検出領域から前記撮像対象物の検出を行い、前記姿勢検出手段により検出された姿勢に基づいて前記検出領域を変更することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶ステップと、
前記本体の姿勢を検出する姿勢検出ステップと、
被写体を撮像し、画像データを取得する撮像ステップと、
前記姿勢検出ステップにより検出された前記姿勢に基づいて前記記憶ステップにて記憶した対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記撮像ステップにより取得された画像データから撮像対象物の検出を行う対象物検出ステップと、
を備えることを特徴とする撮像方法。
【請求項８】
前記姿勢検出ステップにより検出された姿勢に基づいて前記記憶ステップにて記憶した対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記対象物検出ステップにより検出された前記撮像対象物を追尾する対象物追尾ステップを備えることを特徴とする請求項７記載の撮像方法。
【請求項９】
前記姿勢検出ステップは、ロール角とピッチ角の両方、又は何れか一方を検出することを特徴とする請求項７又は８記載の撮像方法。
【請求項１０】
前記撮像対象物は、人物の顔であることを特徴とする請求項７から９のいずれか１項に記載の撮像方法。
【請求項１１】
前記対象物検出ステップは、前記姿勢検出ステップにより検出された姿勢に基づいて、取得する前記基準画像データの優先順位を決定することを特徴とする請求項７から１０のいずれか１項に記載の撮像方法。
【請求項１２】
前記対象物検出ステップは、前記画像データ内の検出領域から前記撮像対象物の検出を行い、前記姿勢検出ステップにより検出された姿勢に基づいて前記検出領域を変更することを特徴とする請求項７から１１のいずれか１項に記載の撮像方法。
【請求項１３】
請求項７から１２のいずれか１項に記載の撮像方法をコンピュータに実行させるプログラム。
【請求項１４】
請求項１３記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【請求項１】
撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶手段と、
前記本体の姿勢を検出する姿勢検出手段と、
被写体を撮像し、画像データを取得する撮像手段と、
前記姿勢検出手段により検出された前記姿勢に基づいて前記記憶手段から対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記撮像手段により取得された画像データから前記撮像対象物の検出を行う対象物検出手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記姿勢検出手段により検出された姿勢に基づいて前記記憶手段から対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記対象物検出手段により検出された前記撮像対象物を追尾する対象物追尾手段を備えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記姿勢検出手段は、ロール角とピッチ角の両方、又は何れか一方を検出することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮像対象物は、人物の顔であることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記対象物検出手段は、前記姿勢検出手段により検出された姿勢に基づいて前記記憶手段から取得する前記基準画像データの優先順位を決定することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記対象物検出手段は、前記画像データ内の検出領域から前記撮像対象物の検出を行い、前記姿勢検出手段により検出された姿勢に基づいて前記検出領域を変更することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
撮像対象物について、本体の姿勢に対応する基準画像データを複数記憶する記憶ステップと、
前記本体の姿勢を検出する姿勢検出ステップと、
被写体を撮像し、画像データを取得する撮像ステップと、
前記姿勢検出ステップにより検出された前記姿勢に基づいて前記記憶ステップにて記憶した対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記撮像ステップにより取得された画像データから撮像対象物の検出を行う対象物検出ステップと、
を備えることを特徴とする撮像方法。
【請求項８】
前記姿勢検出ステップにより検出された姿勢に基づいて前記記憶ステップにて記憶した対応する前記基準画像データを取得し、取得した基準画像データを用いて、前記対象物検出ステップにより検出された前記撮像対象物を追尾する対象物追尾ステップを備えることを特徴とする請求項７記載の撮像方法。
【請求項９】
前記姿勢検出ステップは、ロール角とピッチ角の両方、又は何れか一方を検出することを特徴とする請求項７又は８記載の撮像方法。
【請求項１０】
前記撮像対象物は、人物の顔であることを特徴とする請求項７から９のいずれか１項に記載の撮像方法。
【請求項１１】
前記対象物検出ステップは、前記姿勢検出ステップにより検出された姿勢に基づいて、取得する前記基準画像データの優先順位を決定することを特徴とする請求項７から１０のいずれか１項に記載の撮像方法。
【請求項１２】
前記対象物検出ステップは、前記画像データ内の検出領域から前記撮像対象物の検出を行い、前記姿勢検出ステップにより検出された姿勢に基づいて前記検出領域を変更することを特徴とする請求項７から１１のいずれか１項に記載の撮像方法。
【請求項１３】
請求項７から１２のいずれか１項に記載の撮像方法をコンピュータに実行させるプログラム。
【請求項１４】
請求項１３記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１０−８８０９３（Ｐ２０１０−８８０９３Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−３１８３６７（Ｐ２００８−３１８３６７）
【出願日】平成２０年１２月１５日（２００８．１２．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年１２月１５日（２００８．１２．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]