撮像装置
【課題】集合写真等にて、フレーミングをより高度に自動化してユーザの負荷を軽減し、利便性を高めた撮像装置を提供する。
【解決手段】Ｎ個の顔認識領域を取得し（Ｓ１１）、認識したＮ個の顔認識領域の構造体Ｆｒｅｃｔ（ｉ）：（ｉ＝０〜Ｎ−１）のソートを行う（Ｓ１２）。ソートの基準は各構造体の領域縦横サイズ（Ｘｄｉｍ，Ｙｄｉｍ）の面積で判定、面積に応じてＦｒｅｃｔ（０）＞Ｆｒｅｃｔ（１）＞…＞Ｆｒｅｃｔ（Ｎ−１）に並び変える。面積最大の顔認識領域Ｆｒｅｃｔ（０）と所定の閾値ＴｈＳ（０＜ＴｈＳ＜１）を用いた領域の面積比で評価する。ソートした顔認識領域の各々の面積と判定面積（面積最大の画像認識領域×ＴｈＳ）とを比較、後者より前者が大きなｋ個（１≦ｋ≦Ｎ、少なくとも１個（Ｆｒｅｃｔ（０）））の顔認識領域を重要被写体とし（Ｓ１４）、この顔認識領域を包含した矩形領域が収まる正規化フレームを判定してズームする。
【解決手段】Ｎ個の顔認識領域を取得し（Ｓ１１）、認識したＮ個の顔認識領域の構造体Ｆｒｅｃｔ（ｉ）：（ｉ＝０〜Ｎ−１）のソートを行う（Ｓ１２）。ソートの基準は各構造体の領域縦横サイズ（Ｘｄｉｍ，Ｙｄｉｍ）の面積で判定、面積に応じてＦｒｅｃｔ（０）＞Ｆｒｅｃｔ（１）＞…＞Ｆｒｅｃｔ（Ｎ−１）に並び変える。面積最大の顔認識領域Ｆｒｅｃｔ（０）と所定の閾値ＴｈＳ（０＜ＴｈＳ＜１）を用いた領域の面積比で評価する。ソートした顔認識領域の各々の面積と判定面積（面積最大の画像認識領域×ＴｈＳ）とを比較、後者より前者が大きなｋ個（１≦ｋ≦Ｎ、少なくとも１個（Ｆｒｅｃｔ（０）））の顔認識領域を重要被写体とし（Ｓ１４）、この顔認識領域を包含した矩形領域が収まる正規化フレームを判定してズームする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における顔認識機能に係り、特に、顔認識する手段を有する撮像装置において、複数の顔を認識した場合にフレーミングを自動化する機能を有する撮像装置に関するものである。
【背景技術】
【０００２】
近年の電子スチルカメラなど撮像装置の主用途の１つに、ポートレート撮影、すなわち人物の顔を主被写体として撮影することが挙げられる。また、複数人が並んだ状態で撮影する集合写真の撮影も頻繁に行われている。これらの撮影用途は、背景にあたる部分の重要性は比較的低く、一方で被写体となる人物の顔の重要性は比較的高い。
【０００３】
そして、被写体に対して適切な画角を得られるようにする発明としては、特許文献１のように顔を認識して警告を与えてフレーミングを再度行うよう促す発明や、特許文献２のように認識した領域について、大きさを計測し適正、かつ自動的にズームさせ、さらに顔が中心になるよう手振れ補正レンズを駆動させる、あるいは電子ズームを用いて画角を調節する発明もなされている。
【特許文献１】特開平１１−００８７８８号公報
【特許文献２】特開２００４−３２０２８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された構成は、手作業で再度フレーミングするために、ズーム操作を含む手作業による調節が必要であり、操作性が悪く面倒である。また特許文献２に記載された構成は、特に被写体となる人物が複数ある場合に、一人一人に対して画角を調節する機能が提供されているが、集合写真を意図した撮影を含め、顔認識する領域が広く分散する場合、それらのうち撮影に適した複数の人数に対して１枚の画像に収めるための適切な対応が示されていないとう課題があった。
【０００５】
本発明は、前記従来技術の問題を解決することに指向するものであり、顔を含む人物被写体の撮影、特に集合写真において、フレーミングをより高度に自動化することでユーザの負荷を軽減し、利便性を高めた撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明に係る請求項１に記載した撮像装置は、撮像面を所定の範囲内で移動する移動手段と、光学的に焦点距離を変更するズーム手段と、モニタリング中の画像データから複数の顔を認識し、顔認識領域を抽出する抽出手段とを有する撮像装置において、画像データから複数の顔認識領域を抽出した場合、各々認識した顔認識領域の面積または周長に基づいて、画角に含むべき顔の領域とするか判定する判定手段と、画角に含むべき顔の領域の一部またはすべてを含む画角になるように自動的にズームするまたは撮像面を移動する駆動手段と、を備えたことにより、集合写真のように複数の顔がある場合に最適なズーミングを自動的に行うことができる。
【０００７】
また、請求項２に記載した撮像装置は、請求項１の撮像装置であって、判定手段は、抽出した複数の顔認識領域の中で最大の面積となる顔認識領域に対する所定の比率を閾値とした顔認識領域面積の比較により判定することにより、集合写真の特徴である、顔認識領域の比較的近似する被写体環境で、ズーム動作の適合率を向上することができる
また、請求項３に記載した撮像装置は、請求項１，２の撮像装置であって、ズーム手段により望遠側にズーム動作するまたは移動手段により撮像面の移動位置を決定するための顔認識処理の実行前に、最も広角側にズーム動作を行うことにより、最も広い画角から顔認識領域を抽出することで、ズーム動作の適合率を向上させることができる。
【０００８】
また、請求項４，５に記載した撮像装置は、請求項１〜３の撮像装置であって、画像データから複数の顔認識領域を抽出した場合、順次画角に含まれる顔の数が減少するように望遠側にズーム動作すること、さらに、順次画角に含まれる顔の数が増加するように広角側にズーム動作することにより、注目したい顔の数に応じて、ユーザの意図する構図の候補を段階的に、かつ容易な操作で自動的に設定できる。
【発明の効果】
【０００９】
本発明によれば、集合写真等の複数の顔がある被写体に対して最適なズーミングを自動的に行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明における実施の形態を詳細に説明する。
【００１１】
図１は本発明の実施の形態における撮像装置の概略構成を示すブロック図である。図１において、１００Ａ，１００Ｂはズーム／フォーカス機能を有する撮影レンズとそれを駆動するモータである。１０１Ａ，１０１ＢはＣＣＤ１０３へ露光する光量を制御する絞り兼シャッタとそれを駆動するモータである。モータ１００Ｂ，１０１ＢはＣＰＵ２００の制御信号に基づき、モータドライバ１０２によって駆動を制御される。
【００１２】
ズームポジションは（表１）に示すようにＺｐ０（広角側）ないしＺｐ８（望遠側）の全９段階ある。ここで、Ｚｐ０（広角側）におけるモニタリング中の画像データ（幅３２０×高さ２４０ピクセル）の座標空間を基準として、各ズームポジションＺｐにおける画角に相当する領域を正規化フレームＦ（０）〜Ｆ（８）として定義する。概念例として、図２に正規化フレームＦ（０），Ｆ（４），Ｆ（８）の領域例を示した。
【００１３】
【表１】
撮像部はＣＣＤ１０３によって生成される画像信号に対し、増幅器１０４Ａで信号を増幅された後にＡ／Ｄ変換器１０４Ｂでデジタル画像信号に変換される。以上の各回路の同期はシグナルジェネレータ１０５により制御する。また、デジタル画像信号はＶＲＡＭコントローラ１０６を経由してＶＲＡＭ１０７にピクセルごとの輝度色差画像データとして格納される。
【００１４】
ＣＣＤ１０３は、ＣＣＤ駆動機構１０３Ａによって光軸と垂直な平面上を一定の範囲内で連続的に移動することができる。また、ＣＣＤ駆動機構１０３Ａは、例えばセンサにホール素子、アクチュエータにボイスコイルと永久磁石を用いて、モータドライバ１０２により撮像面の駆動をサーボ制御する公知の手振れ補正機構を流用することで充当する。
【００１５】
撮像系を含む全体の制御はＣＰＵ２００が行う。ＣＰＵ２００にはバスがあり、そこにＶＲＡＭ１０７、画像データを拡大縮小するリサイズモジュール２００Ａ、画像データをＪＰＥＧコードに圧縮変換するＪＰＥＧコーダ２００Ｂ、汎用メモリのＳＤＲＡＭ２００Ｃ、ＤＭＡ制御を行うＤＭＡコントローラ２００Ｄ、着脱が可能なメモリカード２０１との書き込み／読み出しを制御するカードコントローラ２００Ｅ、ＬＣＤモニタ２０２へ出力するビデオ信号を生成するビデオコントローラ２００Ｆ、および制御プログラムやシーン別に画像データが格納されたフラッシュメモリ２００Ｇが接続されている。
【００１６】
また、ＣＰＵ２００への割り込み信号として、撮影記録を指向するレリーズキー１２０、および撮影シーンを設定するシーンボタン１２１等が操作ユニット１０９に設けられ、またタイマ割り込みを実施するためのクロックジェネレータ１０８がある。
【００１７】
本実施の形態における撮像装置の顔認識の判断には、モニタリング中に１フレームごとに更新されるＶＲＡＭ１０７にある画像データをもとに所定時間ごとに行う。顔に相当すると思われる領域は、所定の局所窓をテンプレートとして、画素値に基づいた評価値算出によって検出する。以下にその方法について説明する。
【００１８】
判定評価する画像データ内の一部分に相当する位置および大きさに関して任意の矩形領域ｘに対し、領域の顔認識評価値ｆ（ｘ）を求める。ｆ（ｘ）の導出には、図３で示す４つのパターンＡ，Ｂ，Ｃ，Ｄからなる矩形領域ｘの局所窓ｉを用いる。
【００１９】
なお、局所窓ｉの大きさ、領域内の相対位置は同一のパターンも含めて複数あり、それぞれ検出する顔の部位が異なるため、独立して特徴量を評価する。それぞれの局所窓ｉは２つの領域で構成され、正領域Ａｐと逆領域Ａｎがある（正逆の標記は識別のための便宜的なもので、正逆を反対に割り当てても同義である）。各局所窓ｉの特徴量ｈ（ｉ）は、局所窓ｉの正領域Ａｐにおける画素値の総和ｓ（ｉ，Ａｐ）と、逆領域Ａｎにおける画素値の総和ｓ（ｉ，Ａｎ）の差分、すなわち（数１）
【００２０】
【数１】
で求める。
【００２１】
すべての局所窓ｉにおいて、特徴量ｈ（ｉ）が求まれば、局所窓ｉごとに所定の重み係数ａ（ｉ）を用いて、領域の顔認識評価値ｆを局所窓ｉに関する加重総和を（数２）
【００２２】
【数２】
にて求める。各局所窓ｉの大きさ、相対位置、重み係数ａ（ｉ）は予め顔画像のデータベースから学習によって得たデータを与える。例えば、本実施の形態では、（表２）のようなデータ群を与え、プログラム上では、それぞれ（表２）のＳ５０に示すような等価な構造体の形式で扱う。
【００２３】
【表２】
そして、本実施の形態では、図２に示した画像データを３２０×２４０ピクセル、評価する顔認識領域の最小サイズを４０×４０ピクセル、同最大サイズ２４０×２４０ピクセルとして、４ピクセル単位で評価する（図４参照）。また、（表２）に示す局所窓フレームの適用概念を図５に示す。
【００２４】
また、図６，図７は顔認識領域を判定して登録する処理の流れを示したフローチャートである。図６のフローチャートは顔認識領域のサイズが小さい領域から順次大きい領域へ、また画像の左上から順次右下へ、評価対象とする矩形領域ｘを決定する処理であり、図７のフローチャートは評価対象となる矩形領域ｘについて、（数２）により顔認識評価値ｆ（ｘ）を算出し、所定の閾値Ｔｈより大きい場合に顔認識領域としてデータ構造Ｆｒｅｃｔの配列として追加登録する手続きを示している。
【００２５】
本処理では画像空間の位置、サイズについて多様な部分領域について独立して評価するため、顔認識領域は複数抽出されることもある。すなわち、本実施の形態では、認識手法が想定する効果の範囲内で、複数の顔を認識することが可能である。
【００２６】
そして、以上の処理により顔認識領域として抽出したＮ個の顔認識領域は、構造体の配列Ｆｒｅｃｔ（ｉ）（ｉ＝０，１，２，…，Ｎ）として格納される。また、各顔認識判定領域Ｆｒｅｃｔ（ｉ）のデータ形式は図８で示すように、起点となる画像空間の左上の座標（Ｘｂ，Ｙｂ）、矩形の幅および高さ（Ｘｄｉｍ，Ｙｄｉｍ）、前記処理で得られた顔認識評価値Ｖにより構成される。
【００２７】
さらに、ズーム位置Ｚｐを決定するためには、認識した顔認識領域から、その一部を重要被写体として決定する処理を行う。重要被写体の決定方法として、本実施の形態では、第１に顔認識領域の面積に基づく方法、第２に顔認識評価値に基づく方法を提示する。これらの方法はいずれの方法を用いても構わない。
【００２８】
以後は、便宜的にＦｒｅｃｔ（ｉ）のパラメータ（起点（Ｘｂ，Ｙｂ）、サイズ（Ｘｄｉｍ，Ｙｄｉｍ）、評価値ＶをそれぞれＦｒｅｃｔ（ｉ）．Ｘｂという形で表現する。）
第１の方法として、図９のフローチャートに示すように、所定の閾値ＴｈＳ（０＜ＴｈＳ＜１であり、代表的にはＴｈＳ＝０．５とする）を用いた領域の面積比で評価する。まず、前述した図７に示したフローチャートに基づきＮ個の顔認識領域を取得し（Ｓ１１）、認識したＮ個の顔認識領域の構造体Ｆｒｅｃｔ（ｉ）：（ｉ＝０〜Ｎ−１）のソートを行う（Ｓ１２）。ソートの基準は各構造体の領域縦横サイズ（Ｘｄｉｍ，Ｙｄｉｍ）から求まる領域の面積（Ｘｄｉｍ×Ｙｄｉｍ）で判定する。その結果、構造体が面積に応じてＦｒｅｃｔ（０）＞Ｆｒｅｃｔ（１）＞…＞Ｆｒｅｃｔ（Ｎ−１）に並び変えられる。
【００２９】
この時点で、面積が最大となる顔認識領域は、Ｆｒｅｃｔ（０）となるので、Ｆｒｅｃｔ（１）〜Ｆｒｅｃｔ（Ｎ−１）の各々の面積（Ｆｒｅｃｔ（ｉ）．Ｘｄｉｍ×Ｆｒｅｃｔ（ｉ）．Ｙｄｉｍ）と判定面積（Ｆｒｅｃｔ（０）．Ｘｄｉｍ×Ｆｒｅｃｔ（０）．Ｙｄｉｍ×ＴｈＳ）を比較する（Ｓ１３）。後者より前者が大きなｋ個（１≦ｋ≦Ｎ、少なくとも１個（Ｆｒｅｃｔ（０））は条件を満たす）の顔認識領域Ｆｒｅｃｔ（０），Ｆｒｅｃｔ（１），…，Ｆｒｅｃｔ（ｋ−１）を重要被写体と判定する（Ｓ１４）。
【００３０】
なお、前述した第２の顔認識評価値に基づく処理においても、図１０に示すフローチャートのように、顔認識評価値Ｖを用いて図９のフローチャートと同様な処理行う。
【００３１】
そして、図１１は重要被写体として認識した領域を含むようにズームポジションを決定する処理を示すフローチャート、図１２（ａ）〜（ｄ），図１３（ａ）〜（ｄ），図１４が状態遷移図である。
【００３２】
図１１のフローチャートに示すように、集合写真のズーム処理として、まず、広角側（Ｚｐ０）へズームさせる（図１２（ａ）に示す初期状態）（Ｓ２１）。これは、顔認識評価するためのモニタリング画像を取得することを目的とする。この後、モニタリング画像から、評価する（３２０×２４０ピクセル）の画像データを取得する（Ｓ２２）。次に重要被写体領域を取得するための重要被写体を判定するフローチャート（図９または図１０）に入り、重要被写体となる顔認識領域の構造体Ｆｒｅｃｔ（０），Ｆｒｅｃｔ（１），…，Ｆｒｅｃｔ（ｋ）を取得する（Ｓ２３）。
【００３３】
この後、Ｆｒｅｃｔ（０）ないしＦｒｅｃｔ（ｋ−１）を含むすべての領域を包含する最も広角側のズーム位置Ｚｐを判定するため矩形領域Ｒを計算する（図１２（ｂ）参照）。さらに、（表１）に示す各ズーム位置Ｚｐ（０ないし８の９段階）に対応する前述の正規化フレームＦ（Ｚｐ）を用いて、矩形領域Ｒが収まる正規化フレームを判定する（図１２（ｃ）参照）（Ｓ２４）。最後に、判定したズーム位置Ｚｐへズームして、完了となる（図１２（ｄ）に示すＺｐ１までズームした状態１）（Ｓ２５）。
【００３４】
また、本実施の形態では、Ｆｒｅｃｔ（０）のみを重要被写体として、前記と同様の方法により例えばＦｒｅｃｔ（０）の領域を包含する最も広角側のズーム位置Ｚｐへ駆動する方法（図１３（ａ）〜（ｄ）参照）も提供する。この場合にモニタリング画像データで認識した顔認識領域において、複数の中の１つを選択し、これを矩形領域Ｒとし前述した処理を行うことで、ユーザの意図する重要被写体のズーム処理を行うことができる。
【００３５】
この動作を、「ＷＩＤＥキー」と「ＴＥＬＥキー」を用いて、図１４に示すように双方向の状態遷移をすることで、特徴とする顔の数に応じた多段階のズームを提供することができる。
【００３６】
また、前述した処理において、矩形領域Ｒの収まる正規化フレームを判定してズーム処理を行ったが、矩形領域Ｒの中心位置を求めて、移動手段による撮像面の移動可能な範囲で画角の中央に移動させ、移動した矩形領域Ｒの収まる正規化フレームを判定してズーム処理を行ってもよく、ユーザの意図する重要被写体を中央に配置したズームを行うことができる。
【産業上の利用可能性】
【００３７】
本発明に係る撮像装置は、集合写真等の複数の顔がある被写体に対して最適なズーミングを自動的に行うことができ、顔認識手段を有する撮像装置において、複数の顔を認識した場合にフレーミングを自動化する機能として有用である。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態における撮像装置の概略構成を示すブロック図
【図２】正規化フレームの概念を示す図
【図３】顔認識判定フレームのパターンを示す図
【図４】内部処理データの構造例を示す図
【図５】顔認識判定フレームの適用概念を示す図
【図６】顔認識領域を判定して登録する処理における評価対象領域の取得処理を示すフローチャート
【図７】顔認識領域を判定して登録する処理における顔認識領域の取得処理を示すフローチャート
【図８】顔認識矩形領域のデータ構造例を示す図
【図９】重要被写体判定処理を示すフローチャート
【図１０】別の重要被写体判定処理を示すフローチャート
【図１１】自動ズーム処理を示すフローチャート
【図１２】自動ズーム処理した状態遷移（ａ）〜（ｄ）を示す図
【図１３】図１２からさらに自動ズーム処理した状態遷移（ａ）〜（ｄ）を示す図
【図１４】「ＷＩＤＥキー」、「ＴＥＬＥキー」を用いた双方向の状態遷移を説明する図
【符号の説明】
【００３９】
１００Ａ ズーム／フォーカスレンズ
１００Ｂ，１０１Ｂ モータ
１０１Ａ シャッタ／絞り
１０２ モータドライバ
１０３ ＣＣＤ
１０３Ａ ＣＣＤ駆動機構
１０４Ａ 増幅器
１０４ｂ Ａ／Ｄ変換器
１０５ シグナルジェネレータ
１０６ ＶＲＡＭコントローラ
１０７ ＶＲＡＭ
１０８ クロックジェネレータ
１０９ 操作ユニット
２００ ＣＰＵ
２００Ａ リサイズモジュール
２００Ｂ ＪＰＥＧコーダ
２００Ｃ ＳＤＲＡＭ
２００Ｄ ＤＭＡコントローラ
２００Ｅ カードコントローラ
２００Ｆ ビデオコントローラ
２０１ メモリカード
２０２ ＬＣＤモニタ
【技術分野】
【０００１】
本発明は、撮像装置における顔認識機能に係り、特に、顔認識する手段を有する撮像装置において、複数の顔を認識した場合にフレーミングを自動化する機能を有する撮像装置に関するものである。
【背景技術】
【０００２】
近年の電子スチルカメラなど撮像装置の主用途の１つに、ポートレート撮影、すなわち人物の顔を主被写体として撮影することが挙げられる。また、複数人が並んだ状態で撮影する集合写真の撮影も頻繁に行われている。これらの撮影用途は、背景にあたる部分の重要性は比較的低く、一方で被写体となる人物の顔の重要性は比較的高い。
【０００３】
そして、被写体に対して適切な画角を得られるようにする発明としては、特許文献１のように顔を認識して警告を与えてフレーミングを再度行うよう促す発明や、特許文献２のように認識した領域について、大きさを計測し適正、かつ自動的にズームさせ、さらに顔が中心になるよう手振れ補正レンズを駆動させる、あるいは電子ズームを用いて画角を調節する発明もなされている。
【特許文献１】特開平１１−００８７８８号公報
【特許文献２】特開２００４−３２０２８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された構成は、手作業で再度フレーミングするために、ズーム操作を含む手作業による調節が必要であり、操作性が悪く面倒である。また特許文献２に記載された構成は、特に被写体となる人物が複数ある場合に、一人一人に対して画角を調節する機能が提供されているが、集合写真を意図した撮影を含め、顔認識する領域が広く分散する場合、それらのうち撮影に適した複数の人数に対して１枚の画像に収めるための適切な対応が示されていないとう課題があった。
【０００５】
本発明は、前記従来技術の問題を解決することに指向するものであり、顔を含む人物被写体の撮影、特に集合写真において、フレーミングをより高度に自動化することでユーザの負荷を軽減し、利便性を高めた撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明に係る請求項１に記載した撮像装置は、撮像面を所定の範囲内で移動する移動手段と、光学的に焦点距離を変更するズーム手段と、モニタリング中の画像データから複数の顔を認識し、顔認識領域を抽出する抽出手段とを有する撮像装置において、画像データから複数の顔認識領域を抽出した場合、各々認識した顔認識領域の面積または周長に基づいて、画角に含むべき顔の領域とするか判定する判定手段と、画角に含むべき顔の領域の一部またはすべてを含む画角になるように自動的にズームするまたは撮像面を移動する駆動手段と、を備えたことにより、集合写真のように複数の顔がある場合に最適なズーミングを自動的に行うことができる。
【０００７】
また、請求項２に記載した撮像装置は、請求項１の撮像装置であって、判定手段は、抽出した複数の顔認識領域の中で最大の面積となる顔認識領域に対する所定の比率を閾値とした顔認識領域面積の比較により判定することにより、集合写真の特徴である、顔認識領域の比較的近似する被写体環境で、ズーム動作の適合率を向上することができる
また、請求項３に記載した撮像装置は、請求項１，２の撮像装置であって、ズーム手段により望遠側にズーム動作するまたは移動手段により撮像面の移動位置を決定するための顔認識処理の実行前に、最も広角側にズーム動作を行うことにより、最も広い画角から顔認識領域を抽出することで、ズーム動作の適合率を向上させることができる。
【０００８】
また、請求項４，５に記載した撮像装置は、請求項１〜３の撮像装置であって、画像データから複数の顔認識領域を抽出した場合、順次画角に含まれる顔の数が減少するように望遠側にズーム動作すること、さらに、順次画角に含まれる顔の数が増加するように広角側にズーム動作することにより、注目したい顔の数に応じて、ユーザの意図する構図の候補を段階的に、かつ容易な操作で自動的に設定できる。
【発明の効果】
【０００９】
本発明によれば、集合写真等の複数の顔がある被写体に対して最適なズーミングを自動的に行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明における実施の形態を詳細に説明する。
【００１１】
図１は本発明の実施の形態における撮像装置の概略構成を示すブロック図である。図１において、１００Ａ，１００Ｂはズーム／フォーカス機能を有する撮影レンズとそれを駆動するモータである。１０１Ａ，１０１ＢはＣＣＤ１０３へ露光する光量を制御する絞り兼シャッタとそれを駆動するモータである。モータ１００Ｂ，１０１ＢはＣＰＵ２００の制御信号に基づき、モータドライバ１０２によって駆動を制御される。
【００１２】
ズームポジションは（表１）に示すようにＺｐ０（広角側）ないしＺｐ８（望遠側）の全９段階ある。ここで、Ｚｐ０（広角側）におけるモニタリング中の画像データ（幅３２０×高さ２４０ピクセル）の座標空間を基準として、各ズームポジションＺｐにおける画角に相当する領域を正規化フレームＦ（０）〜Ｆ（８）として定義する。概念例として、図２に正規化フレームＦ（０），Ｆ（４），Ｆ（８）の領域例を示した。
【００１３】
【表１】
撮像部はＣＣＤ１０３によって生成される画像信号に対し、増幅器１０４Ａで信号を増幅された後にＡ／Ｄ変換器１０４Ｂでデジタル画像信号に変換される。以上の各回路の同期はシグナルジェネレータ１０５により制御する。また、デジタル画像信号はＶＲＡＭコントローラ１０６を経由してＶＲＡＭ１０７にピクセルごとの輝度色差画像データとして格納される。
【００１４】
ＣＣＤ１０３は、ＣＣＤ駆動機構１０３Ａによって光軸と垂直な平面上を一定の範囲内で連続的に移動することができる。また、ＣＣＤ駆動機構１０３Ａは、例えばセンサにホール素子、アクチュエータにボイスコイルと永久磁石を用いて、モータドライバ１０２により撮像面の駆動をサーボ制御する公知の手振れ補正機構を流用することで充当する。
【００１５】
撮像系を含む全体の制御はＣＰＵ２００が行う。ＣＰＵ２００にはバスがあり、そこにＶＲＡＭ１０７、画像データを拡大縮小するリサイズモジュール２００Ａ、画像データをＪＰＥＧコードに圧縮変換するＪＰＥＧコーダ２００Ｂ、汎用メモリのＳＤＲＡＭ２００Ｃ、ＤＭＡ制御を行うＤＭＡコントローラ２００Ｄ、着脱が可能なメモリカード２０１との書き込み／読み出しを制御するカードコントローラ２００Ｅ、ＬＣＤモニタ２０２へ出力するビデオ信号を生成するビデオコントローラ２００Ｆ、および制御プログラムやシーン別に画像データが格納されたフラッシュメモリ２００Ｇが接続されている。
【００１６】
また、ＣＰＵ２００への割り込み信号として、撮影記録を指向するレリーズキー１２０、および撮影シーンを設定するシーンボタン１２１等が操作ユニット１０９に設けられ、またタイマ割り込みを実施するためのクロックジェネレータ１０８がある。
【００１７】
本実施の形態における撮像装置の顔認識の判断には、モニタリング中に１フレームごとに更新されるＶＲＡＭ１０７にある画像データをもとに所定時間ごとに行う。顔に相当すると思われる領域は、所定の局所窓をテンプレートとして、画素値に基づいた評価値算出によって検出する。以下にその方法について説明する。
【００１８】
判定評価する画像データ内の一部分に相当する位置および大きさに関して任意の矩形領域ｘに対し、領域の顔認識評価値ｆ（ｘ）を求める。ｆ（ｘ）の導出には、図３で示す４つのパターンＡ，Ｂ，Ｃ，Ｄからなる矩形領域ｘの局所窓ｉを用いる。
【００１９】
なお、局所窓ｉの大きさ、領域内の相対位置は同一のパターンも含めて複数あり、それぞれ検出する顔の部位が異なるため、独立して特徴量を評価する。それぞれの局所窓ｉは２つの領域で構成され、正領域Ａｐと逆領域Ａｎがある（正逆の標記は識別のための便宜的なもので、正逆を反対に割り当てても同義である）。各局所窓ｉの特徴量ｈ（ｉ）は、局所窓ｉの正領域Ａｐにおける画素値の総和ｓ（ｉ，Ａｐ）と、逆領域Ａｎにおける画素値の総和ｓ（ｉ，Ａｎ）の差分、すなわち（数１）
【００２０】
【数１】
で求める。
【００２１】
すべての局所窓ｉにおいて、特徴量ｈ（ｉ）が求まれば、局所窓ｉごとに所定の重み係数ａ（ｉ）を用いて、領域の顔認識評価値ｆを局所窓ｉに関する加重総和を（数２）
【００２２】
【数２】
にて求める。各局所窓ｉの大きさ、相対位置、重み係数ａ（ｉ）は予め顔画像のデータベースから学習によって得たデータを与える。例えば、本実施の形態では、（表２）のようなデータ群を与え、プログラム上では、それぞれ（表２）のＳ５０に示すような等価な構造体の形式で扱う。
【００２３】
【表２】
そして、本実施の形態では、図２に示した画像データを３２０×２４０ピクセル、評価する顔認識領域の最小サイズを４０×４０ピクセル、同最大サイズ２４０×２４０ピクセルとして、４ピクセル単位で評価する（図４参照）。また、（表２）に示す局所窓フレームの適用概念を図５に示す。
【００２４】
また、図６，図７は顔認識領域を判定して登録する処理の流れを示したフローチャートである。図６のフローチャートは顔認識領域のサイズが小さい領域から順次大きい領域へ、また画像の左上から順次右下へ、評価対象とする矩形領域ｘを決定する処理であり、図７のフローチャートは評価対象となる矩形領域ｘについて、（数２）により顔認識評価値ｆ（ｘ）を算出し、所定の閾値Ｔｈより大きい場合に顔認識領域としてデータ構造Ｆｒｅｃｔの配列として追加登録する手続きを示している。
【００２５】
本処理では画像空間の位置、サイズについて多様な部分領域について独立して評価するため、顔認識領域は複数抽出されることもある。すなわち、本実施の形態では、認識手法が想定する効果の範囲内で、複数の顔を認識することが可能である。
【００２６】
そして、以上の処理により顔認識領域として抽出したＮ個の顔認識領域は、構造体の配列Ｆｒｅｃｔ（ｉ）（ｉ＝０，１，２，…，Ｎ）として格納される。また、各顔認識判定領域Ｆｒｅｃｔ（ｉ）のデータ形式は図８で示すように、起点となる画像空間の左上の座標（Ｘｂ，Ｙｂ）、矩形の幅および高さ（Ｘｄｉｍ，Ｙｄｉｍ）、前記処理で得られた顔認識評価値Ｖにより構成される。
【００２７】
さらに、ズーム位置Ｚｐを決定するためには、認識した顔認識領域から、その一部を重要被写体として決定する処理を行う。重要被写体の決定方法として、本実施の形態では、第１に顔認識領域の面積に基づく方法、第２に顔認識評価値に基づく方法を提示する。これらの方法はいずれの方法を用いても構わない。
【００２８】
以後は、便宜的にＦｒｅｃｔ（ｉ）のパラメータ（起点（Ｘｂ，Ｙｂ）、サイズ（Ｘｄｉｍ，Ｙｄｉｍ）、評価値ＶをそれぞれＦｒｅｃｔ（ｉ）．Ｘｂという形で表現する。）
第１の方法として、図９のフローチャートに示すように、所定の閾値ＴｈＳ（０＜ＴｈＳ＜１であり、代表的にはＴｈＳ＝０．５とする）を用いた領域の面積比で評価する。まず、前述した図７に示したフローチャートに基づきＮ個の顔認識領域を取得し（Ｓ１１）、認識したＮ個の顔認識領域の構造体Ｆｒｅｃｔ（ｉ）：（ｉ＝０〜Ｎ−１）のソートを行う（Ｓ１２）。ソートの基準は各構造体の領域縦横サイズ（Ｘｄｉｍ，Ｙｄｉｍ）から求まる領域の面積（Ｘｄｉｍ×Ｙｄｉｍ）で判定する。その結果、構造体が面積に応じてＦｒｅｃｔ（０）＞Ｆｒｅｃｔ（１）＞…＞Ｆｒｅｃｔ（Ｎ−１）に並び変えられる。
【００２９】
この時点で、面積が最大となる顔認識領域は、Ｆｒｅｃｔ（０）となるので、Ｆｒｅｃｔ（１）〜Ｆｒｅｃｔ（Ｎ−１）の各々の面積（Ｆｒｅｃｔ（ｉ）．Ｘｄｉｍ×Ｆｒｅｃｔ（ｉ）．Ｙｄｉｍ）と判定面積（Ｆｒｅｃｔ（０）．Ｘｄｉｍ×Ｆｒｅｃｔ（０）．Ｙｄｉｍ×ＴｈＳ）を比較する（Ｓ１３）。後者より前者が大きなｋ個（１≦ｋ≦Ｎ、少なくとも１個（Ｆｒｅｃｔ（０））は条件を満たす）の顔認識領域Ｆｒｅｃｔ（０），Ｆｒｅｃｔ（１），…，Ｆｒｅｃｔ（ｋ−１）を重要被写体と判定する（Ｓ１４）。
【００３０】
なお、前述した第２の顔認識評価値に基づく処理においても、図１０に示すフローチャートのように、顔認識評価値Ｖを用いて図９のフローチャートと同様な処理行う。
【００３１】
そして、図１１は重要被写体として認識した領域を含むようにズームポジションを決定する処理を示すフローチャート、図１２（ａ）〜（ｄ），図１３（ａ）〜（ｄ），図１４が状態遷移図である。
【００３２】
図１１のフローチャートに示すように、集合写真のズーム処理として、まず、広角側（Ｚｐ０）へズームさせる（図１２（ａ）に示す初期状態）（Ｓ２１）。これは、顔認識評価するためのモニタリング画像を取得することを目的とする。この後、モニタリング画像から、評価する（３２０×２４０ピクセル）の画像データを取得する（Ｓ２２）。次に重要被写体領域を取得するための重要被写体を判定するフローチャート（図９または図１０）に入り、重要被写体となる顔認識領域の構造体Ｆｒｅｃｔ（０），Ｆｒｅｃｔ（１），…，Ｆｒｅｃｔ（ｋ）を取得する（Ｓ２３）。
【００３３】
この後、Ｆｒｅｃｔ（０）ないしＦｒｅｃｔ（ｋ−１）を含むすべての領域を包含する最も広角側のズーム位置Ｚｐを判定するため矩形領域Ｒを計算する（図１２（ｂ）参照）。さらに、（表１）に示す各ズーム位置Ｚｐ（０ないし８の９段階）に対応する前述の正規化フレームＦ（Ｚｐ）を用いて、矩形領域Ｒが収まる正規化フレームを判定する（図１２（ｃ）参照）（Ｓ２４）。最後に、判定したズーム位置Ｚｐへズームして、完了となる（図１２（ｄ）に示すＺｐ１までズームした状態１）（Ｓ２５）。
【００３４】
また、本実施の形態では、Ｆｒｅｃｔ（０）のみを重要被写体として、前記と同様の方法により例えばＦｒｅｃｔ（０）の領域を包含する最も広角側のズーム位置Ｚｐへ駆動する方法（図１３（ａ）〜（ｄ）参照）も提供する。この場合にモニタリング画像データで認識した顔認識領域において、複数の中の１つを選択し、これを矩形領域Ｒとし前述した処理を行うことで、ユーザの意図する重要被写体のズーム処理を行うことができる。
【００３５】
この動作を、「ＷＩＤＥキー」と「ＴＥＬＥキー」を用いて、図１４に示すように双方向の状態遷移をすることで、特徴とする顔の数に応じた多段階のズームを提供することができる。
【００３６】
また、前述した処理において、矩形領域Ｒの収まる正規化フレームを判定してズーム処理を行ったが、矩形領域Ｒの中心位置を求めて、移動手段による撮像面の移動可能な範囲で画角の中央に移動させ、移動した矩形領域Ｒの収まる正規化フレームを判定してズーム処理を行ってもよく、ユーザの意図する重要被写体を中央に配置したズームを行うことができる。
【産業上の利用可能性】
【００３７】
本発明に係る撮像装置は、集合写真等の複数の顔がある被写体に対して最適なズーミングを自動的に行うことができ、顔認識手段を有する撮像装置において、複数の顔を認識した場合にフレーミングを自動化する機能として有用である。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態における撮像装置の概略構成を示すブロック図
【図２】正規化フレームの概念を示す図
【図３】顔認識判定フレームのパターンを示す図
【図４】内部処理データの構造例を示す図
【図５】顔認識判定フレームの適用概念を示す図
【図６】顔認識領域を判定して登録する処理における評価対象領域の取得処理を示すフローチャート
【図７】顔認識領域を判定して登録する処理における顔認識領域の取得処理を示すフローチャート
【図８】顔認識矩形領域のデータ構造例を示す図
【図９】重要被写体判定処理を示すフローチャート
【図１０】別の重要被写体判定処理を示すフローチャート
【図１１】自動ズーム処理を示すフローチャート
【図１２】自動ズーム処理した状態遷移（ａ）〜（ｄ）を示す図
【図１３】図１２からさらに自動ズーム処理した状態遷移（ａ）〜（ｄ）を示す図
【図１４】「ＷＩＤＥキー」、「ＴＥＬＥキー」を用いた双方向の状態遷移を説明する図
【符号の説明】
【００３９】
１００Ａ ズーム／フォーカスレンズ
１００Ｂ，１０１Ｂ モータ
１０１Ａ シャッタ／絞り
１０２ モータドライバ
１０３ ＣＣＤ
１０３Ａ ＣＣＤ駆動機構
１０４Ａ 増幅器
１０４ｂ Ａ／Ｄ変換器
１０５ シグナルジェネレータ
１０６ ＶＲＡＭコントローラ
１０７ ＶＲＡＭ
１０８ クロックジェネレータ
１０９ 操作ユニット
２００ ＣＰＵ
２００Ａ リサイズモジュール
２００Ｂ ＪＰＥＧコーダ
２００Ｃ ＳＤＲＡＭ
２００Ｄ ＤＭＡコントローラ
２００Ｅ カードコントローラ
２００Ｆ ビデオコントローラ
２０１ メモリカード
２０２ ＬＣＤモニタ
【特許請求の範囲】
【請求項１】
撮像面を所定の範囲内で移動する移動手段と、光学的に焦点距離を変更するズーム手段と、モニタリング中の画像データから複数の顔を認識し、顔認識領域を抽出する抽出手段とを有する撮像装置において、
前記画像データから複数の顔認識領域を抽出した場合、各々認識した顔認識領域の面積または周長に基づいて、画角に含むべき顔の領域とするか判定する判定手段と、
前記画角に含むべき顔の領域の一部またはすべてを含む画角になるように自動的にズームするまたは撮像面を移動する駆動手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記判定手段は、抽出した複数の顔認識領域の中で最大の面積となる顔認識領域に対する所定の比率を閾値とした顔認識領域面積の比較により判定することを特徴とする請求項１の撮像装置。
【請求項３】
前記ズーム手段により望遠側にズーム動作するまたは前記移動手段により撮像面の移動位置を決定するための顔認識処理の実行前に、最も広角側にズーム動作を行うことを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記画像データから複数の顔認識領域を抽出した場合、順次画角に含まれる顔の数が減少するように望遠側にズーム動作することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像データから複数の顔認識領域を抽出した場合、順次画角に含まれる顔の数が増加するように広角側にズーム動作することを特徴とする請求項４記載の撮像装置。
【請求項１】
撮像面を所定の範囲内で移動する移動手段と、光学的に焦点距離を変更するズーム手段と、モニタリング中の画像データから複数の顔を認識し、顔認識領域を抽出する抽出手段とを有する撮像装置において、
前記画像データから複数の顔認識領域を抽出した場合、各々認識した顔認識領域の面積または周長に基づいて、画角に含むべき顔の領域とするか判定する判定手段と、
前記画角に含むべき顔の領域の一部またはすべてを含む画角になるように自動的にズームするまたは撮像面を移動する駆動手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記判定手段は、抽出した複数の顔認識領域の中で最大の面積となる顔認識領域に対する所定の比率を閾値とした顔認識領域面積の比較により判定することを特徴とする請求項１の撮像装置。
【請求項３】
前記ズーム手段により望遠側にズーム動作するまたは前記移動手段により撮像面の移動位置を決定するための顔認識処理の実行前に、最も広角側にズーム動作を行うことを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記画像データから複数の顔認識領域を抽出した場合、順次画角に含まれる顔の数が減少するように望遠側にズーム動作することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像データから複数の顔認識領域を抽出した場合、順次画角に含まれる顔の数が増加するように広角側にズーム動作することを特徴とする請求項４記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−２２７９１８（Ｐ２００８−２２７９１８Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６３２８２（Ｐ２００７−６３２８２）
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]