撮像装置及び撮像方法
【課題】複数の人物を撮影する際に、主被写体を特定してカメラ制御を行うことができるようにする。
【解決手段】主被写体認識部１０８により、検出された人物の表情の変化量（特徴ベクトル）を算出し、表情の変化量が最も大きい人物を主被写体と特定する。もしくは、検出された人物の表情の変化量及び動作の変化量を算出し、重み付けに従って、表情及び動作の変化量が最も大きい人物を主被写体と特定するようにして、複数の人物を撮影する際に、撮影者が撮影状況を十分に把握していない場合でも、特定した主被写体を基準にしてカメラ制御を行うことができるようにする。
【解決手段】主被写体認識部１０８により、検出された人物の表情の変化量（特徴ベクトル）を算出し、表情の変化量が最も大きい人物を主被写体と特定する。もしくは、検出された人物の表情の変化量及び動作の変化量を算出し、重み付けに従って、表情及び動作の変化量が最も大きい人物を主被写体と特定するようにして、複数の人物を撮影する際に、撮影者が撮影状況を十分に把握していない場合でも、特定した主被写体を基準にしてカメラ制御を行うことができるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、撮像方法、プログラム及び記録媒体に関し、特に、顔検出機能を用いて撮影を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
顔画像の自動認識は、建物への入退出を監視したり、銀行のＡＴＭ（Automated Teller Machine）などで個人認識を行ったりするために応用されている。さらに、マンマシンインタフェイスや、ロボットとの対話、ビデオ画像の検索のためのキーとして利用されるなど、様々な分野で応用され、盛んに研究されている。実環境下で顔画像の自動認識をロバストに行うことは難しい課題であるが、ある程度制限された環境下では高い認識率が得られることが報告されている（例えば、非特許文献１参照）。一方、撮像装置に顔検出機能を搭載し、顔検出の結果に応じて主被写体を特定し、より安定したカメラ制御を行う撮像装置が提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００３−１８９３２５号公報
【特許文献２】特開２００２−２５１３８０号公報
【特許文献３】特開２００５−２９３５３９号公報
【非特許文献１】M.turk and A.Pentland "Eigenface for recognition," Journal of Cognitive Neuroscience, Vol.3, No.1, pp.71-86（1991）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記特許文献１に記載の撮像装置では、複数の人物がシーンの中に存在する場合に主被写体を特定してカメラ制御を行うことが困難である。例えば、パーティ会場などにおいて、様々な人のグループの集まりを撮影する場合、撮影者は様々なグループを順番に撮影する場合がある。撮影者は、必ずしも全てのグループの会話の文脈（コンテクスト）を理解しているわけではなく、雰囲気を壊さないよう気を遣って撮影対象とは距離をおいて撮影していることが多い。このため、どの人物がグループの会話の中心となって盛り上がっているか撮影を開始した直後に理解することは難しい。
【０００５】
本発明は前述の問題点に鑑み、複数の人物を撮影する際に、主被写体を特定してカメラ制御を行うことができるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、複数の人物を撮像して画像データを生成する撮像手段と、前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定手段と、前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする。
また、本発明の撮像装置の他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像手段と、前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定手段と、前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像手段と、前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け手段と、前記重み付け手段によって重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定手段と、前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする。
【０００７】
本発明の撮像方法は、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする。
また、本発明の撮像方法の他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする。
また、本発明の撮像方法のその他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け工程と、前記重み付け工程において重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする。
【０００８】
本発明のプログラムは、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とする。
また、本発明のプログラムの他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とする。
また、本発明のプログラムのその他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け工程と、前記重み付け工程において重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とする。
【０００９】
本発明の記録媒体は、前記の何れかに記載のプログラムを記録したことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数の人物を撮影する際に、撮影者が撮影状況を十分に把握していない場合でも、主被写体を特定し、特定した主被写体を基準にしてカメラ制御を行うことができる。
【発明を実施するための最良の形態】
【００１１】
（第１の実施形態）
以下、本発明の実施形態について図面を参照しながら詳述する。
まず、本実施形態に係る撮像装置の構成及び動作について図１を参照しながら説明する。図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。
図１において、レンズ１０１及び絞り１０２を介した光は、撮像素子１０３の結像面上に被写体像として結像される。撮像素子１０３は、光電変換機能を有する素子であり、結像された光学像に応じた電荷を電気信号（アナログ信号）に変換する。
【００１２】
Ａ／Ｄ変換回路１０４は、撮像素子１０３に接続されており、撮像素子１０３から電気信号（アナログ信号）を入力する。そして、Ａ／Ｄ変換回路１０４は、アナログ信号をデジタルデータ（デジタル信号）に変換する。
【００１３】
カメラ信号処理部１０５は、Ａ／Ｄ変換回路１０４、ＣＰＵ１０６及びコーデック部１１２に接続されている。カメラ信号処理部１０５は、デジタルデータをＡ／Ｄ変換回路１０４から入力し、ＣＰＵ１０６から受け取った制御信号に基づき、デジタルデータの信号処理を行う。コーデック部１１２は、カメラ信号処理部１０５において信号処理された画像データの圧縮・符号化を行い、記憶部１１４に記憶する。また、信号処理された画像信号を表示部１１３に表示させる。なお、記憶部１１４は、着脱可能なメモリカードや、内蔵のハードディスクなどである。
【００１４】
顔検出回路１０７は、シーンにおいて人物の顔を検出し、被写体の人数と顔領域とを特定するためのものである。なお、顔検出については公知の顔検出方法を用いる。顔検出の公知技術としては、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法や、ニューラルネットに代表される学習アルゴリズムにより顔検出を行うための識別器を構成する方法などがある。そして、認識率を向上させるためにこれらの方法を組み合わせて顔認識を行うのが一般的である。具体的には、例えば、特許文献２に記載のウェーブレット変換と画像特徴量とを利用して顔検出する方法などが挙げられる。また、顔検出を行う際に、画面を横切る人物及び背後の群衆や単なる通行人といったエキストラを顔検出の対象から除くようにしてもよい。
【００１５】
主被写体認識部１０８は、顔検出回路１０７で得られたシーンにおける複数の被写体の中から、主被写体である人物を特定するためのものであり、表情変化量測定部１０９と優先順位決定部１１０とから構成されている。
【００１６】
表情変化量測定部１０９は、表情の検出を行い、検出結果に基づいて一定の撮影時間の経過に応じた複数の被写体の表情の変化量を測定する。コンピュータビジョンの分野では顔の表情の認識や表情の変化量に着目した研究が古くから行われている。特に、表情の変化量の定量的記述に関しては、Ekmanらの顔動作記述法（ＦＡＣＳ：Facial Action Coding System）が有名である。
【００１７】
このＦＡＣＳでは、顔の筋肉の動きを４４種の標準動作単位（ＡＵ：Action unit）に分割し、その組み合わせにより任意の顔表情の定量的記述を可能にしている。顔の表情の変化量を測定するときにＦＡＣＳを用いる場合、顔の動き検出に３次元計測が必要となってしまうため、２次元の顔の動画像から特徴点抽出を行う手法が一般的である。
【００１８】
図５は、表情変化量測定部１０９の詳細な構成例を示すブロック図である。
図５において、表情変化量測定部１０９は、顔器官抽出部５０１と、顔器官特徴点抽出部５０２と、特徴点変化量測定部５０３とを備えている。顔器官抽出部５０１では、顔検出回路１０７において検出された画像情報を元に、顔の中でも表情を表すのに最も重要な役割を果たす、眉、目、口の３つの器官を抽出する。なお、眉、目、口の検出は、色情報や形状情報を用いて行う。
【００１９】
次に、顔器官特徴点抽出部５０２は、顔器官抽出部５０１において検出された眉、目、口の３つの器官に対して特徴点をプロットする。特徴点をプロットした例を図６に示す。特徴点変化量測定部５０３は、表情変化を表す特徴量関数を予め用意しておき、顔器官特徴点抽出部５０２において得られた各特徴点を用いて、特徴点と特徴点との変化量を測定し、表情の変化量（特徴ベクトル）を測定する。
【００２０】
ここで、特徴ベクトルを測定する場合には、表情による位置の変化がほとんどない両眼両端の端点である特徴点Ｐ１１、Ｐ１３、Ｐ１５、Ｐ１７の平均値を基準とする。例えば、表情変化を表す特徴量関数としてＰ１とＰ１１との差分を特徴量関数Ｖ１として設定し、このような特徴量関数を用いて表情の変化量（特徴ベクトル）を測定する。
【００２１】
また、例えば特許文献３に記載の公知の表情検出技術などを用いて、目、眉、口の形状情報を検出する際に、顔領域にＬＰＦ（ローパスフィルタ）を施すなどし、顔の構成要素の形状情報である特定周波成分を抽出してもよい。そして、表情の検出が行われた後に、一定時間の検出結果の差分を表情の変化量（特徴ベクトル）として算出する方法を用いてもよい。例えば、映像撮影中の各フレームのフレーム間の差分量を表情の変化量として用いてもよい。
【００２２】
優先順位決定部１１０は特定手段として機能し、表情変化量測定部１０９において得られた全被写体の各々の変化量をもとに、変化量の大きいものから優先順位をつけ、最大の変化量を持つ被写体を主被写体として特定する。
【００２３】
測距・測光・測色枠検出部１１１は、カメラ信号処理部１０５から出力された画像データに対して、主被写体認識部１０８にて決定された主被写体に対応した、測距・測光・測色枠をそれぞれ設定する。その後、ＣＰＵ１０６は制御手段として機能し、撮像手段として機能するレンズ１０１、絞り１０２、撮像素子１０３、及びカメラ信号処理部１０５を制御する。そして、測距・測光・測色枠検出部１１１において設定された枠に合わせ、ＡＦ（Auto Focus）／ＡＥ（Auto Exposure）／ＡＷＢ（Auto White Balance）それぞれにおいて、最適なカメラ制御を行う。なお、ＡＦ、ＡＥ、ＡＷＢ以外に、さらに電子ズーム制御を行い、さらに最適なカメラ制御を行うようにしてもよい。
【００２４】
コーデック部１１２は、生成された画像データの情報量を圧縮する際に符号量の割り当てを行うものであり、主被写体認識部１０８において特定された主被写体を中心に、ＣＰＵ１０６の制御により情報量圧縮の際に最適な符号量の割り当てを行う。
【００２５】
次に、本実施形態における撮像装置１００における顔検出によるカメラ制御について、図２のフローチャートを参照しながら説明する。図２は、本実施形態に係る撮像装置１００における顔検出によるカメラ制御の処理手順の一例を示すフローチャートである。
まず、撮影を開始することにより処理を開始する。そして、ステップＳ２０１において、顔検出回路１０７は、顔検出を行い、シーンの人物の顔領域を特定する。そして、ステップＳ２０２において、顔検出の結果から人物の数を特定する。
【００２６】
次に、ステップＳ２０３において、表情変化量測定部１０９は、特定された顔領域の表情検出を開始する。そして、ステップＳ２０４において、特定した人数分の表情検出を行ったか否かを判断する。この判断の結果、特定した人数分の表情検出を行っていない場合は、そのまま処理を繰り返す。一方、ステップＳ２０４の判断の結果、特定した人数分の表情検出を行った場合は、ステップＳ２０５に進む。
【００２７】
次に、ステップＳ２０５において、表情変化量測定部１０９は、それぞれの人物の表情の変化量（特徴ベクトル）を算出する。次に、ステップＳ２０６において、優先順位決定部１１０は、人物毎に表情の変化量が大きい順に優先順位をつける。そして、ステップＳ２０７において、ステップＳ２０６でつけた優先順位の一番高かった人物を主被写体として特定する。
【００２８】
次に、ステップＳ２０８において、測距・測光・測色枠検出部１１１は、ステップＳ２０７で特定された主被写体を中心とした測距・測光・測色枠を設定する。そして、ステップＳ２０９において、ＣＰＵ１０６により、ステップＳ２０８で設定された測距枠・測光枠・測色枠に応じてそれぞれ最適なカメラ制御を行う。
【００２９】
以下、カメラ制御についてそれぞれ具体的に述べる。焦点制御（ＡＦ）においては、ステップＳ２０８で設定された測距枠をもとに制御を行う。そして、合焦していると判断すると、合焦制御値（フォーカスレンズ駆動量）を算出してＣＰＵ１０６の内部メモリに記憶する。
【００３０】
また、露出制御（ＡＥ）においては、ステップＳ２０８で設定された測光枠をもとに制御を行う。そして、露出が適正であると判断すると、露出制御値（シャッタースピードＴｖ及び絞り値Ａｖ）を算出してＣＰＵ１０６の内部メモリに記憶する。
【００３１】
さらに、ホワイトバランス制御（ＡＷＢ）においては、ステップＳ２０８で設定された測色枠をもとに制御を行う。そして、ホワイトバランスが適正であると判断すると、ホワイトバランス制御値（ホワイトバランスゲイン）を算出してＣＰＵ１０６の内部メモリに記憶する。
【００３２】
次に、ステップＳ２１０において、ステップＳ２０７で決定された主被写体に応じて、コーデック部１１２は、ＣＰＵ１０６の制御により情報量を圧縮する際に最適な符号量の割り当てを行う。具体的には、主被写体の人物に対して多くの符号量を割り当てられるように符号量を制御する。そして、割当てられた符号量に応じて、入力された画像データの情報量を圧縮符号化し、記憶部１１４に記憶して、処理を終了する。
【００３３】
また、ステップＳ２０５における表情の変化量の算出は、人の大きさや位置に共通性がある被写体群を処理対象とするものとする。さらに、ステップＳ２０６における主被写体の優先順位付けには、画面内での中心あるいは周辺などの位置も判定基準に加えてもよい。
【００３４】
ここで、本実施形態では、複数人で会話しているときにおける表情の変化量の大きさから主被写体を特定したが、話し手が次々に変わり主被写体の特定が難しい場合もある。この場合、ある一定の長さの撮影時間を設け、その撮像時間内での平均値を用いて主被写体を特定し、その人物に対して徐々にカメラ制御を行うようにしてもよい。また、状況によっては、顔の器官のパーツのうち、口の動きだけに限定するなど顔の器官に重み付けして、主被写体を特定してもよい。
【００３５】
また、表情の変化量により主被写体と特定された人物が、よそ見などをした場合は、ある一定期間検出を続けた後に検出が困難となる場合もある。この場合は、主被写体はそのシーンを離れ、主被写体が別の人物に移ったとみなし、再度、表情の変化量を測定し、主被写体を特定する。
【００３６】
以上のように本実施形態によれば、主被写体認識部１０８により、検出された人物の表情の変化量（特徴ベクトル）を算出し、表情の変化量が最も大きい人物を主被写体と特定するようにした。これにより、複数の人物を撮影する際に、撮影者が撮影状況を十分に把握していない場合でも、特定した主被写体を基準にしてカメラ制御を行うことができる。
【００３７】
（第２の実施形態）
次に、本実施形態における撮像装置について、図３のブロック図及び図４のフローチャートを参照しながら説明する。図３は、本実施形態に係る撮像装置の構成例を示すブロック図である。以下、第１の実施形態と共通の構成に関しては、説明を割愛する。なお、第１の実施形態との相違点は、主被写体認識部３０８に人物変化量検出部３０９を設け、さらに、人物変化量検出部３０９に表情変化量測定部１０９と動作変化量測定部３１１とを設けている点である。人物変化量検出部３０９では、人物の表情の変化量と動作の変化量とを検出する。
【００３８】
図４は、本実施形態に係る撮像装置３００における顔検出によるカメラ制御の処理手順の一例を示すフローチャートである。
まず、撮影を開始することにより処理を開始する。そして、ステップＳ４０１において、顔検出回路１０７は、顔検出を行い、シーンの人物の顔領域を特定する。そして、ステップＳ４０２において、顔検出の結果から人物の数を特定する。
【００３９】
次に、ステップＳ４０３において、表情変化量測定部１０９は、特定された人物の顔領域の表情検出を開始する。そして、ステップＳ４０４において、動作変化量測定部３１１は、特定された人物の動作検出を開始する。次に、ステップＳ４０５において、特定した人数分の表情検出及び動作検出を行ったか否かを判断する。この判断の結果、特定した人数分の表情検出及び動作検出を行っていない場合は、そのまま処理を繰り返す。一方、ステップＳ４０５の判断の結果、特定した人数分の表情検出及び動作検出を行った場合は、ステップＳ４０６に進む。
【００４０】
次に、ステップＳ４０６において、表情変化量測定部１０９は、それぞれの人物の表情の変化量を算出する。そして、ステップＳ４０７において、動作変化量測定部３１１は、それぞれの人物の動作の変化量を算出する。
【００４１】
次に、ステップＳ４０８において、人物変化量検出部３０９は重み付け手段として機能し、ステップＳ４０６及びＳ４０７において算出された表情及び動作の変化量に対して重み付けを行う。この重み付けを行う方法としては、顔の大きさ（画面に占める割合）に応じて両者の重み付けを切り替える方法や、顔を検出できない（見失った）場合に「動作の変化」を参照する方法、ズーム倍率が高いほど表情の変化を優先させる方法などがある。
【００４２】
画面に占める顔の割合に応じて重み付けを行う場合は、顔の割合が大きいほど表情の変化量の重み付けを大きくし、顔の割合が小さいほど動作の変化量の重み付けを大きくする。また、顔を検出できない場合（顔の誤検出の場合）は、表情の変化量の重み付けをなくして、動作の変化量を用いる。さらに、ズーム倍率によって重み付けを行う場合は、拡大ズームであるほど画面に占める顔の割合が大きくなるため、表情の変化量の重み付けを大きくし、縮小ズームであるほど画面に占める顔の割合が小さくなるため、動作の変化量の重み付けを大きくする。本実施形態では、どの重み付け方法を用いてもよい。
【００４３】
次に、ステップＳ４０９において、優先順位決定部１１０は、ステップＳ４０８で得られた重み付けに従って、人物毎に表情及び動作の変化量の優先順位をそれぞれつける。そして、ステップＳ４１０において、ステップＳ４０９でつけた優先順位の一番高かった人物を主被写体として特定する。なお、ステップＳ４１１〜ステップＳ４１３の処理については、第１の実施形態で説明した図２のステップＳ２０８〜ステップＳ２１０と同じなので説明は割愛する。
【００４４】
また、ステップＳ４０６における表情の変化量の算出は、人の大きさや位置に共通性がある被写体群を処理対象とするものとする。さらに、ステップＳ４０９における主被写体の優先順位付けには、画面内での中心あるいは周辺などの位置も判定基準に加えてもよい。
【００４５】
さらに、本実施形態では、表情の変化量及び動作の変化量の重み付けを行い、主被写体を特定した。一方、表情の変化量、動作の変化量の何れか一方を用いて主被写体を特定するようにしてもよい。例えば、ある人物における画面に占める顔の割合が所定値よりも大きい場合には表情の変化量を算出し、所定値よりも小さい場合は、動作の変化量を算出し、主被写体を特定してもよい。
【００４６】
以上のように本実施形態によれば、主被写体認識部１０８により、検出された人物の表情の変化量及び動作の変化量を算出し、重み付けに従って、表情及び動作の変化量が最も大きい人物を主被写体と特定するようにした。これにより、複数の人物を撮影する際に、撮影者が撮影状況を十分に把握していない場合でも、特定した主被写体を基準にしてカメラ制御を行うことができる。
【００４７】
（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００４８】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００４９】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２、４に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５０】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００５１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００５３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００５４】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００５５】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００５６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００５７】
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００５８】
【図１】本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る撮像装置における顔検出によるカメラ制御の処理手順の一例を示すフローチャートである。
【図３】本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。
【図４】本発明の第２の実施形態に係る撮像装置における顔検出によるカメラ制御の処理手順の一例を示すフローチャートである。
【図５】本発明の第１の実施形態における表情変化量測定部の詳細な構成例を示すブロック図である。
【図６】眉、目、口の３つの器官に対して特徴点をプロットした例を示す図である。
【符号の説明】
【００５９】
１０１ レンズ
１０２ 絞り
１０３ 撮像素子
１０４ Ａ／Ｄ変換回路
１０５ カメラ信号処理部
１０６ ＣＰＵ
１０７ 顔検出回路
１０８ 主被写体認識部
１０９ 表情変化量測定部
１１０ 優先順位決定部
１１１ 測距・測光・測色枠検出部
１１２ コーデック部
１１３ 表示部
１１４ 記憶部
３０９ 人物変化量検出部
３１１ 動作変化量測定部
５０１ 顔器官抽出部
５０２ 顔器官特徴点抽出部
５０３ 特徴点変化量測定部
【技術分野】
【０００１】
本発明は撮像装置、撮像方法、プログラム及び記録媒体に関し、特に、顔検出機能を用いて撮影を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
顔画像の自動認識は、建物への入退出を監視したり、銀行のＡＴＭ（Automated Teller Machine）などで個人認識を行ったりするために応用されている。さらに、マンマシンインタフェイスや、ロボットとの対話、ビデオ画像の検索のためのキーとして利用されるなど、様々な分野で応用され、盛んに研究されている。実環境下で顔画像の自動認識をロバストに行うことは難しい課題であるが、ある程度制限された環境下では高い認識率が得られることが報告されている（例えば、非特許文献１参照）。一方、撮像装置に顔検出機能を搭載し、顔検出の結果に応じて主被写体を特定し、より安定したカメラ制御を行う撮像装置が提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００３−１８９３２５号公報
【特許文献２】特開２００２−２５１３８０号公報
【特許文献３】特開２００５−２９３５３９号公報
【非特許文献１】M.turk and A.Pentland "Eigenface for recognition," Journal of Cognitive Neuroscience, Vol.3, No.1, pp.71-86（1991）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記特許文献１に記載の撮像装置では、複数の人物がシーンの中に存在する場合に主被写体を特定してカメラ制御を行うことが困難である。例えば、パーティ会場などにおいて、様々な人のグループの集まりを撮影する場合、撮影者は様々なグループを順番に撮影する場合がある。撮影者は、必ずしも全てのグループの会話の文脈（コンテクスト）を理解しているわけではなく、雰囲気を壊さないよう気を遣って撮影対象とは距離をおいて撮影していることが多い。このため、どの人物がグループの会話の中心となって盛り上がっているか撮影を開始した直後に理解することは難しい。
【０００５】
本発明は前述の問題点に鑑み、複数の人物を撮影する際に、主被写体を特定してカメラ制御を行うことができるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、複数の人物を撮像して画像データを生成する撮像手段と、前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定手段と、前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする。
また、本発明の撮像装置の他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像手段と、前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定手段と、前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像手段と、前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け手段と、前記重み付け手段によって重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定手段と、前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする。
【０００７】
本発明の撮像方法は、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする。
また、本発明の撮像方法の他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする。
また、本発明の撮像方法のその他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け工程と、前記重み付け工程において重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする。
【０００８】
本発明のプログラムは、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とする。
また、本発明のプログラムの他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とする。
また、本発明のプログラムのその他の特徴とするところは、複数の人物を撮像して画像データを生成する撮像工程と、前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け工程と、前記重み付け工程において重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定工程と、前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とする。
【０００９】
本発明の記録媒体は、前記の何れかに記載のプログラムを記録したことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数の人物を撮影する際に、撮影者が撮影状況を十分に把握していない場合でも、主被写体を特定し、特定した主被写体を基準にしてカメラ制御を行うことができる。
【発明を実施するための最良の形態】
【００１１】
（第１の実施形態）
以下、本発明の実施形態について図面を参照しながら詳述する。
まず、本実施形態に係る撮像装置の構成及び動作について図１を参照しながら説明する。図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。
図１において、レンズ１０１及び絞り１０２を介した光は、撮像素子１０３の結像面上に被写体像として結像される。撮像素子１０３は、光電変換機能を有する素子であり、結像された光学像に応じた電荷を電気信号（アナログ信号）に変換する。
【００１２】
Ａ／Ｄ変換回路１０４は、撮像素子１０３に接続されており、撮像素子１０３から電気信号（アナログ信号）を入力する。そして、Ａ／Ｄ変換回路１０４は、アナログ信号をデジタルデータ（デジタル信号）に変換する。
【００１３】
カメラ信号処理部１０５は、Ａ／Ｄ変換回路１０４、ＣＰＵ１０６及びコーデック部１１２に接続されている。カメラ信号処理部１０５は、デジタルデータをＡ／Ｄ変換回路１０４から入力し、ＣＰＵ１０６から受け取った制御信号に基づき、デジタルデータの信号処理を行う。コーデック部１１２は、カメラ信号処理部１０５において信号処理された画像データの圧縮・符号化を行い、記憶部１１４に記憶する。また、信号処理された画像信号を表示部１１３に表示させる。なお、記憶部１１４は、着脱可能なメモリカードや、内蔵のハードディスクなどである。
【００１４】
顔検出回路１０７は、シーンにおいて人物の顔を検出し、被写体の人数と顔領域とを特定するためのものである。なお、顔検出については公知の顔検出方法を用いる。顔検出の公知技術としては、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法や、ニューラルネットに代表される学習アルゴリズムにより顔検出を行うための識別器を構成する方法などがある。そして、認識率を向上させるためにこれらの方法を組み合わせて顔認識を行うのが一般的である。具体的には、例えば、特許文献２に記載のウェーブレット変換と画像特徴量とを利用して顔検出する方法などが挙げられる。また、顔検出を行う際に、画面を横切る人物及び背後の群衆や単なる通行人といったエキストラを顔検出の対象から除くようにしてもよい。
【００１５】
主被写体認識部１０８は、顔検出回路１０７で得られたシーンにおける複数の被写体の中から、主被写体である人物を特定するためのものであり、表情変化量測定部１０９と優先順位決定部１１０とから構成されている。
【００１６】
表情変化量測定部１０９は、表情の検出を行い、検出結果に基づいて一定の撮影時間の経過に応じた複数の被写体の表情の変化量を測定する。コンピュータビジョンの分野では顔の表情の認識や表情の変化量に着目した研究が古くから行われている。特に、表情の変化量の定量的記述に関しては、Ekmanらの顔動作記述法（ＦＡＣＳ：Facial Action Coding System）が有名である。
【００１７】
このＦＡＣＳでは、顔の筋肉の動きを４４種の標準動作単位（ＡＵ：Action unit）に分割し、その組み合わせにより任意の顔表情の定量的記述を可能にしている。顔の表情の変化量を測定するときにＦＡＣＳを用いる場合、顔の動き検出に３次元計測が必要となってしまうため、２次元の顔の動画像から特徴点抽出を行う手法が一般的である。
【００１８】
図５は、表情変化量測定部１０９の詳細な構成例を示すブロック図である。
図５において、表情変化量測定部１０９は、顔器官抽出部５０１と、顔器官特徴点抽出部５０２と、特徴点変化量測定部５０３とを備えている。顔器官抽出部５０１では、顔検出回路１０７において検出された画像情報を元に、顔の中でも表情を表すのに最も重要な役割を果たす、眉、目、口の３つの器官を抽出する。なお、眉、目、口の検出は、色情報や形状情報を用いて行う。
【００１９】
次に、顔器官特徴点抽出部５０２は、顔器官抽出部５０１において検出された眉、目、口の３つの器官に対して特徴点をプロットする。特徴点をプロットした例を図６に示す。特徴点変化量測定部５０３は、表情変化を表す特徴量関数を予め用意しておき、顔器官特徴点抽出部５０２において得られた各特徴点を用いて、特徴点と特徴点との変化量を測定し、表情の変化量（特徴ベクトル）を測定する。
【００２０】
ここで、特徴ベクトルを測定する場合には、表情による位置の変化がほとんどない両眼両端の端点である特徴点Ｐ１１、Ｐ１３、Ｐ１５、Ｐ１７の平均値を基準とする。例えば、表情変化を表す特徴量関数としてＰ１とＰ１１との差分を特徴量関数Ｖ１として設定し、このような特徴量関数を用いて表情の変化量（特徴ベクトル）を測定する。
【００２１】
また、例えば特許文献３に記載の公知の表情検出技術などを用いて、目、眉、口の形状情報を検出する際に、顔領域にＬＰＦ（ローパスフィルタ）を施すなどし、顔の構成要素の形状情報である特定周波成分を抽出してもよい。そして、表情の検出が行われた後に、一定時間の検出結果の差分を表情の変化量（特徴ベクトル）として算出する方法を用いてもよい。例えば、映像撮影中の各フレームのフレーム間の差分量を表情の変化量として用いてもよい。
【００２２】
優先順位決定部１１０は特定手段として機能し、表情変化量測定部１０９において得られた全被写体の各々の変化量をもとに、変化量の大きいものから優先順位をつけ、最大の変化量を持つ被写体を主被写体として特定する。
【００２３】
測距・測光・測色枠検出部１１１は、カメラ信号処理部１０５から出力された画像データに対して、主被写体認識部１０８にて決定された主被写体に対応した、測距・測光・測色枠をそれぞれ設定する。その後、ＣＰＵ１０６は制御手段として機能し、撮像手段として機能するレンズ１０１、絞り１０２、撮像素子１０３、及びカメラ信号処理部１０５を制御する。そして、測距・測光・測色枠検出部１１１において設定された枠に合わせ、ＡＦ（Auto Focus）／ＡＥ（Auto Exposure）／ＡＷＢ（Auto White Balance）それぞれにおいて、最適なカメラ制御を行う。なお、ＡＦ、ＡＥ、ＡＷＢ以外に、さらに電子ズーム制御を行い、さらに最適なカメラ制御を行うようにしてもよい。
【００２４】
コーデック部１１２は、生成された画像データの情報量を圧縮する際に符号量の割り当てを行うものであり、主被写体認識部１０８において特定された主被写体を中心に、ＣＰＵ１０６の制御により情報量圧縮の際に最適な符号量の割り当てを行う。
【００２５】
次に、本実施形態における撮像装置１００における顔検出によるカメラ制御について、図２のフローチャートを参照しながら説明する。図２は、本実施形態に係る撮像装置１００における顔検出によるカメラ制御の処理手順の一例を示すフローチャートである。
まず、撮影を開始することにより処理を開始する。そして、ステップＳ２０１において、顔検出回路１０７は、顔検出を行い、シーンの人物の顔領域を特定する。そして、ステップＳ２０２において、顔検出の結果から人物の数を特定する。
【００２６】
次に、ステップＳ２０３において、表情変化量測定部１０９は、特定された顔領域の表情検出を開始する。そして、ステップＳ２０４において、特定した人数分の表情検出を行ったか否かを判断する。この判断の結果、特定した人数分の表情検出を行っていない場合は、そのまま処理を繰り返す。一方、ステップＳ２０４の判断の結果、特定した人数分の表情検出を行った場合は、ステップＳ２０５に進む。
【００２７】
次に、ステップＳ２０５において、表情変化量測定部１０９は、それぞれの人物の表情の変化量（特徴ベクトル）を算出する。次に、ステップＳ２０６において、優先順位決定部１１０は、人物毎に表情の変化量が大きい順に優先順位をつける。そして、ステップＳ２０７において、ステップＳ２０６でつけた優先順位の一番高かった人物を主被写体として特定する。
【００２８】
次に、ステップＳ２０８において、測距・測光・測色枠検出部１１１は、ステップＳ２０７で特定された主被写体を中心とした測距・測光・測色枠を設定する。そして、ステップＳ２０９において、ＣＰＵ１０６により、ステップＳ２０８で設定された測距枠・測光枠・測色枠に応じてそれぞれ最適なカメラ制御を行う。
【００２９】
以下、カメラ制御についてそれぞれ具体的に述べる。焦点制御（ＡＦ）においては、ステップＳ２０８で設定された測距枠をもとに制御を行う。そして、合焦していると判断すると、合焦制御値（フォーカスレンズ駆動量）を算出してＣＰＵ１０６の内部メモリに記憶する。
【００３０】
また、露出制御（ＡＥ）においては、ステップＳ２０８で設定された測光枠をもとに制御を行う。そして、露出が適正であると判断すると、露出制御値（シャッタースピードＴｖ及び絞り値Ａｖ）を算出してＣＰＵ１０６の内部メモリに記憶する。
【００３１】
さらに、ホワイトバランス制御（ＡＷＢ）においては、ステップＳ２０８で設定された測色枠をもとに制御を行う。そして、ホワイトバランスが適正であると判断すると、ホワイトバランス制御値（ホワイトバランスゲイン）を算出してＣＰＵ１０６の内部メモリに記憶する。
【００３２】
次に、ステップＳ２１０において、ステップＳ２０７で決定された主被写体に応じて、コーデック部１１２は、ＣＰＵ１０６の制御により情報量を圧縮する際に最適な符号量の割り当てを行う。具体的には、主被写体の人物に対して多くの符号量を割り当てられるように符号量を制御する。そして、割当てられた符号量に応じて、入力された画像データの情報量を圧縮符号化し、記憶部１１４に記憶して、処理を終了する。
【００３３】
また、ステップＳ２０５における表情の変化量の算出は、人の大きさや位置に共通性がある被写体群を処理対象とするものとする。さらに、ステップＳ２０６における主被写体の優先順位付けには、画面内での中心あるいは周辺などの位置も判定基準に加えてもよい。
【００３４】
ここで、本実施形態では、複数人で会話しているときにおける表情の変化量の大きさから主被写体を特定したが、話し手が次々に変わり主被写体の特定が難しい場合もある。この場合、ある一定の長さの撮影時間を設け、その撮像時間内での平均値を用いて主被写体を特定し、その人物に対して徐々にカメラ制御を行うようにしてもよい。また、状況によっては、顔の器官のパーツのうち、口の動きだけに限定するなど顔の器官に重み付けして、主被写体を特定してもよい。
【００３５】
また、表情の変化量により主被写体と特定された人物が、よそ見などをした場合は、ある一定期間検出を続けた後に検出が困難となる場合もある。この場合は、主被写体はそのシーンを離れ、主被写体が別の人物に移ったとみなし、再度、表情の変化量を測定し、主被写体を特定する。
【００３６】
以上のように本実施形態によれば、主被写体認識部１０８により、検出された人物の表情の変化量（特徴ベクトル）を算出し、表情の変化量が最も大きい人物を主被写体と特定するようにした。これにより、複数の人物を撮影する際に、撮影者が撮影状況を十分に把握していない場合でも、特定した主被写体を基準にしてカメラ制御を行うことができる。
【００３７】
（第２の実施形態）
次に、本実施形態における撮像装置について、図３のブロック図及び図４のフローチャートを参照しながら説明する。図３は、本実施形態に係る撮像装置の構成例を示すブロック図である。以下、第１の実施形態と共通の構成に関しては、説明を割愛する。なお、第１の実施形態との相違点は、主被写体認識部３０８に人物変化量検出部３０９を設け、さらに、人物変化量検出部３０９に表情変化量測定部１０９と動作変化量測定部３１１とを設けている点である。人物変化量検出部３０９では、人物の表情の変化量と動作の変化量とを検出する。
【００３８】
図４は、本実施形態に係る撮像装置３００における顔検出によるカメラ制御の処理手順の一例を示すフローチャートである。
まず、撮影を開始することにより処理を開始する。そして、ステップＳ４０１において、顔検出回路１０７は、顔検出を行い、シーンの人物の顔領域を特定する。そして、ステップＳ４０２において、顔検出の結果から人物の数を特定する。
【００３９】
次に、ステップＳ４０３において、表情変化量測定部１０９は、特定された人物の顔領域の表情検出を開始する。そして、ステップＳ４０４において、動作変化量測定部３１１は、特定された人物の動作検出を開始する。次に、ステップＳ４０５において、特定した人数分の表情検出及び動作検出を行ったか否かを判断する。この判断の結果、特定した人数分の表情検出及び動作検出を行っていない場合は、そのまま処理を繰り返す。一方、ステップＳ４０５の判断の結果、特定した人数分の表情検出及び動作検出を行った場合は、ステップＳ４０６に進む。
【００４０】
次に、ステップＳ４０６において、表情変化量測定部１０９は、それぞれの人物の表情の変化量を算出する。そして、ステップＳ４０７において、動作変化量測定部３１１は、それぞれの人物の動作の変化量を算出する。
【００４１】
次に、ステップＳ４０８において、人物変化量検出部３０９は重み付け手段として機能し、ステップＳ４０６及びＳ４０７において算出された表情及び動作の変化量に対して重み付けを行う。この重み付けを行う方法としては、顔の大きさ（画面に占める割合）に応じて両者の重み付けを切り替える方法や、顔を検出できない（見失った）場合に「動作の変化」を参照する方法、ズーム倍率が高いほど表情の変化を優先させる方法などがある。
【００４２】
画面に占める顔の割合に応じて重み付けを行う場合は、顔の割合が大きいほど表情の変化量の重み付けを大きくし、顔の割合が小さいほど動作の変化量の重み付けを大きくする。また、顔を検出できない場合（顔の誤検出の場合）は、表情の変化量の重み付けをなくして、動作の変化量を用いる。さらに、ズーム倍率によって重み付けを行う場合は、拡大ズームであるほど画面に占める顔の割合が大きくなるため、表情の変化量の重み付けを大きくし、縮小ズームであるほど画面に占める顔の割合が小さくなるため、動作の変化量の重み付けを大きくする。本実施形態では、どの重み付け方法を用いてもよい。
【００４３】
次に、ステップＳ４０９において、優先順位決定部１１０は、ステップＳ４０８で得られた重み付けに従って、人物毎に表情及び動作の変化量の優先順位をそれぞれつける。そして、ステップＳ４１０において、ステップＳ４０９でつけた優先順位の一番高かった人物を主被写体として特定する。なお、ステップＳ４１１〜ステップＳ４１３の処理については、第１の実施形態で説明した図２のステップＳ２０８〜ステップＳ２１０と同じなので説明は割愛する。
【００４４】
また、ステップＳ４０６における表情の変化量の算出は、人の大きさや位置に共通性がある被写体群を処理対象とするものとする。さらに、ステップＳ４０９における主被写体の優先順位付けには、画面内での中心あるいは周辺などの位置も判定基準に加えてもよい。
【００４５】
さらに、本実施形態では、表情の変化量及び動作の変化量の重み付けを行い、主被写体を特定した。一方、表情の変化量、動作の変化量の何れか一方を用いて主被写体を特定するようにしてもよい。例えば、ある人物における画面に占める顔の割合が所定値よりも大きい場合には表情の変化量を算出し、所定値よりも小さい場合は、動作の変化量を算出し、主被写体を特定してもよい。
【００４６】
以上のように本実施形態によれば、主被写体認識部１０８により、検出された人物の表情の変化量及び動作の変化量を算出し、重み付けに従って、表情及び動作の変化量が最も大きい人物を主被写体と特定するようにした。これにより、複数の人物を撮影する際に、撮影者が撮影状況を十分に把握していない場合でも、特定した主被写体を基準にしてカメラ制御を行うことができる。
【００４７】
（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００４８】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００４９】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２、４に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５０】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００５１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００５３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００５４】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００５５】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００５６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００５７】
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００５８】
【図１】本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る撮像装置における顔検出によるカメラ制御の処理手順の一例を示すフローチャートである。
【図３】本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。
【図４】本発明の第２の実施形態に係る撮像装置における顔検出によるカメラ制御の処理手順の一例を示すフローチャートである。
【図５】本発明の第１の実施形態における表情変化量測定部の詳細な構成例を示すブロック図である。
【図６】眉、目、口の３つの器官に対して特徴点をプロットした例を示す図である。
【符号の説明】
【００５９】
１０１ レンズ
１０２ 絞り
１０３ 撮像素子
１０４ Ａ／Ｄ変換回路
１０５ カメラ信号処理部
１０６ ＣＰＵ
１０７ 顔検出回路
１０８ 主被写体認識部
１０９ 表情変化量測定部
１１０ 優先順位決定部
１１１ 測距・測光・測色枠検出部
１１２ コーデック部
１１３ 表示部
１１４ 記憶部
３０９ 人物変化量検出部
３１１ 動作変化量測定部
５０１ 顔器官抽出部
５０２ 顔器官特徴点抽出部
５０３ 特徴点変化量測定部
【特許請求の範囲】
【請求項１】
複数の人物を撮像して画像データを生成する撮像手段と、
前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定手段と、
前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記撮影時間の経過に応じた前記複数の人物の表情の変化量は、フレーム間におけるシーンの差分量であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特定手段は、画面を横切る人物及びエキストラを除く、画面内に留まっている被写体から前記主被写体を特定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記特定手段は、人物の大きさ及び位置が共通している被写体群を対象として、前記主被写体を特定することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記特定手段は、前記表情の変化量とともに、画面内での位置も判定して前記主被写体を特定することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記主被写体を基準とした焦点制御、露出制御、ホワイトバランス制御または電子ズーム制御となるように前記撮像手段を制御することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
複数の人物を撮像して画像データを生成する撮像手段と、
前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定手段と、
前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする撮像装置。
【請求項８】
複数の人物を撮像して画像データを生成する撮像手段と、
前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け手段と、
前記重み付け手段によって重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定手段と、
前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする撮像装置。
【請求項９】
前記重み付け手段による重み付けを行う条件とは、画面に占める顔の割合、顔の誤検出、またはズーム倍率であることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記重み付け手段は、重み付けを行う条件として前記画面に占める顔の割合とした場合は、顔の割合が大きいほど前記表情の変化量の重み付けを大きくし、顔の割合が小さいほど前記動作の変化量の重み付けを大きくすることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記重み付け手段は、重み付けを行う条件として前記顔の誤検出とした場合は、前記表情の変化量の重み付けをなくして、前記動作の変化量を用いることを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記重み付け手段は、重み付けを行う条件として前記ズーム倍率とした場合は、拡大ズームであるほど前記表情の変化量の重み付けを大きくし、縮小ズームであるほど前記動作の変化量の重み付けを大きくすることを特徴とする請求項９に記載の撮像装置。
【請求項１３】
前記制御手段はさらに、前記特定手段によって特定された主被写体に基づいて、前記撮像手段によって生成される画像データの符号量を制御することを特徴とする請求項１〜１２の何れか１項に記載の撮像装置。
【請求項１４】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする撮像方法。
【請求項１５】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする撮像方法。
【請求項１６】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け工程と、
前記重み付け工程において重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする撮像方法。
【請求項１７】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１８】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１９】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け工程と、
前記重み付け工程において重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項２０】
請求項１７〜１９の何れか１項に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１】
複数の人物を撮像して画像データを生成する撮像手段と、
前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定手段と、
前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記撮影時間の経過に応じた前記複数の人物の表情の変化量は、フレーム間におけるシーンの差分量であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特定手段は、画面を横切る人物及びエキストラを除く、画面内に留まっている被写体から前記主被写体を特定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記特定手段は、人物の大きさ及び位置が共通している被写体群を対象として、前記主被写体を特定することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記特定手段は、前記表情の変化量とともに、画面内での位置も判定して前記主被写体を特定することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記主被写体を基準とした焦点制御、露出制御、ホワイトバランス制御または電子ズーム制御となるように前記撮像手段を制御することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
複数の人物を撮像して画像データを生成する撮像手段と、
前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定手段と、
前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする撮像装置。
【請求項８】
複数の人物を撮像して画像データを生成する撮像手段と、
前記撮像手段による撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け手段と、
前記重み付け手段によって重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定手段と、
前記特定手段によって特定された主被写体を基準としたカメラ制御となるように前記撮像手段を制御する制御手段とを有することを特徴とする撮像装置。
【請求項９】
前記重み付け手段による重み付けを行う条件とは、画面に占める顔の割合、顔の誤検出、またはズーム倍率であることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記重み付け手段は、重み付けを行う条件として前記画面に占める顔の割合とした場合は、顔の割合が大きいほど前記表情の変化量の重み付けを大きくし、顔の割合が小さいほど前記動作の変化量の重み付けを大きくすることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記重み付け手段は、重み付けを行う条件として前記顔の誤検出とした場合は、前記表情の変化量の重み付けをなくして、前記動作の変化量を用いることを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記重み付け手段は、重み付けを行う条件として前記ズーム倍率とした場合は、拡大ズームであるほど前記表情の変化量の重み付けを大きくし、縮小ズームであるほど前記動作の変化量の重み付けを大きくすることを特徴とする請求項９に記載の撮像装置。
【請求項１３】
前記制御手段はさらに、前記特定手段によって特定された主被写体に基づいて、前記撮像手段によって生成される画像データの符号量を制御することを特徴とする請求項１〜１２の何れか１項に記載の撮像装置。
【請求項１４】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする撮像方法。
【請求項１５】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする撮像方法。
【請求項１６】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け工程と、
前記重み付け工程において重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とを有することを特徴とする撮像方法。
【請求項１７】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量に基づいて、主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１８】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量または動作の変化量に基づいて、主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１９】
複数の人物を撮像して画像データを生成する撮像工程と、
前記撮像工程における撮影時間の経過に応じた前記複数の人物の表情の変化量及び動作の変化量の重み付けを行う重み付け工程と、
前記重み付け工程において重み付けされた条件に従って、前記複数の人物の表情の変化量及び動作の変化量に基づいて主被写体を特定する特定工程と、
前記特定工程において特定した主被写体を基準としたカメラ制御となるように前記撮像工程における処理を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項２０】
請求項１７〜１９の何れか１項に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２７８２８７（Ｐ２００９−２７８２８７Ａ）
【公開日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願番号】特願２００８−１２６４３６（Ｐ２００８−１２６４３６）
【出願日】平成２０年５月１３日（２００８．５．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願日】平成２０年５月１３日（２００８．５．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]