撮像装置およびプログラム
【課題】 撮影に要する時間を短縮しつつ、主要被写体を良好に撮影可能な撮像装置および撮像装置に対する制御を行うためのプログラムを提供すること。
【解決手段】 複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部と、複数の撮影対象の少なくとも１つを含む領域を選択する選択部と、撮像部により生成された画像データのうち、選択部により選択された領域において被写体の特定を行う特定部と、特定部により特定された被写体の特徴を示す特徴量を抽出する抽出部と、抽出部により抽出された特徴量が、閾値を超えたか否かを判定する判定部とを備え、撮像部は、判定部により特徴量が閾値を超えたと判定されると撮像を行う。
【解決手段】 複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部と、複数の撮影対象の少なくとも１つを含む領域を選択する選択部と、撮像部により生成された画像データのうち、選択部により選択された領域において被写体の特定を行う特定部と、特定部により特定された被写体の特徴を示す特徴量を抽出する抽出部と、抽出部により抽出された特徴量が、閾値を超えたか否かを判定する判定部とを備え、撮像部は、判定部により特徴量が閾値を超えたと判定されると撮像を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写界内の被写体を特定する機能を備えた撮像装置および撮像装置に対する制御を行うためのプログラムに関する。
【背景技術】
【０００２】
従来、記念写真や集合写真など複数の撮影対象を含む被写界を撮影する場合には、熟練した撮影者（カメラマン）の技術を必要とする場合が多かった。また、同様の場合に、セルフタイマを用いて撮影を行うと、目を閉じている人がいたり、よそ見をしている人がいるなど、複数の撮影対象の状態が揃いにくい場合が多かった。
そこで、顔認識技術などの技術を用いることが提案されている（例えば、特許文献１参照）。
【特許文献１】特開２０００−２５９８３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、前述した顔認識は画像処理などに基づいて行われるため、時間を要する。そのため、前述した記念写真や集合写真などを撮影する際に、撮影に要する時間が長くなってしまうという問題があった。
本発明は、撮影に要する時間を短縮しつつ、主要被写体を良好に撮影可能な撮像装置および撮像装置に対する制御を行うためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
請求項１に記載の撮像装置は、複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部と、前記複数の撮影対象の少なくとも１つを含む領域を選択する選択部と、前記撮像部により生成された前記画像データのうち、前記選択部により選択された領域において被写体の特定を行う特定部と、前記特定部により特定された前記被写体の特徴を示す特徴量を抽出する抽出部と、前記抽出部により抽出された前記特徴量が、閾値を超えたか否かを判定する判定部とを備え、前記撮像部は、前記判定部により前記特徴量が前記閾値を超えたと判定されると前記撮像を行うことを特徴とする。
【０００５】
請求項２に記載の撮像装置は、請求項１に記載の撮像装置において、前記選択部は、前記撮像部により生成された前記画像データに対する被写体認識と、前記撮像部により生成された前記画像データに対するパターンマッチングと、領域指定に関わるユーザ操作との少なくとも１つに基づいて、前記被写界における領域を選択することを特徴とする。
請求項３に記載の撮像装置は、請求項１または請求項２に記載の撮像装置において、前記判定部は、前記選択部による選択の方法と、前記抽出部により抽出される前記特徴量の種類との少なくとも一方に基づいて前記閾値を決定して、前記判定を行うことを特徴とする。
【０００６】
請求項４に記載の撮像装置は、請求項１から請求項３のいずれか１項に記載の撮像装置において、前記判定部による判定結果に応じて、前記被写体の注意を喚起する動作を行う注意喚起部をさらに備えることを特徴とする。
請求項５に記載の撮像装置は、請求項１から請求項４のいずれか１項に記載の撮像装置において、前記特定部による被写体の特定が開始されてからの経過時間を所定の限界時間と比較する比較部をさらに備え、前記撮像部は、前記比較部による比較の結果、前記経過時間が前記所定の限界時間よりも長くなると前記撮像を行うことを特徴とする。
【０００７】
請求項６に記載の撮像装置は、請求項１から請求項５のいずれか１項に記載の撮像装置において、前記特定部は、前記被写体の特定を少なくとも２回行い、前記抽出部は、前記特徴量の抽出を前記特定部が前記被写体の特定を行うたびに行い、前記抽出部による前記特徴量の抽出結果に基づいて最適な撮影タイミングを予測するタイミング予測部をさらに備えることを特徴とする。
【０００８】
請求項７に記載の撮像装置は、請求項１から請求項６のいずれか１項に記載の撮像装置において、前記撮像部は、前記被写体の予備撮像を、前記判定部による判定の前後に少なくとも１回ずつ行うことを特徴とする。
請求項８に記載のプログラムは、複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部を備えた撮像装置に対する制御をコンピュータで実現するプログラムであって、前記複数の撮影対象の少なくとも１つを含む領域を選択する選択手順と、前記撮像部により生成された前記画像データのうち、前記選択手順において選択された領域において被写体の特定を行う特定手順と、前記特定手順において特定された前記被写体の特徴を示す特徴量を抽出する抽出手順と、前記抽出手順において抽出された前記特徴量が、閾値を超えたか否かを判定する判定手順と、前記判定手順において前記特徴量が前記閾値を超えたと判定されると、前記撮像部に前記撮像を指示する指示手順とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影に要する時間を短縮しつつ、主要被写体を良好に撮影可能な撮像装置および撮像装置に対する制御を行うためのプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を用いて、本発明の実施形態について詳細な説明を行う。
本実施形態では、本発明の撮像装置の一例として、電子カメラを用いて説明を行う。
図１は、本発明の実施形態における電子カメラ１の構成を示すブロック図である。
電子カメラ１は、図１に示すように、撮像部１０、制御部１１、画像処理部１２、表示処理部１３、記録部１４、音声出力部１５を備え、これらはバスを介して相互に接続されている。
【００１１】
なお、撮像部１０は、不図示のレンズ、被写体の明るさや撮影距離などを測定する各種センサ、撮像素子、Ａ／Ｄ変換器などを備え、被写体を撮像して画像データを生成する。
また、電子カメラ１は、操作部２０と液晶モニタ２５とを備える。図１において、操作部２０の出力は制御部１１に接続され、液晶モニタ２５には表示処理部１３の出力が接続される。なお、操作部２０は、不図示の電源ボタン、レリーズボタン、後述するユーザ操作にかかわる十字キーなどを含む。また、操作部２０にタッチパネルを採用しても良い。
【００１２】
また、制御部１１は、メモリ５０を備え、各設定時のメニュー画面などを予め記録する。また、制御部１１は、本発明の特徴である被写体の特定および特徴量の抽出を行う（詳細は後述する）。
なお、本実施形態の電子カメラ１は、各種設定を自動で行ういわゆるオート撮影機能の他に、本発明の特徴である「記念写真や集合写真など複数の撮影対象を含む被写界を撮影する機能」を備える。
【００１３】
なお、撮像部１０、制御部１１は、請求項の「撮像部」に対応し、制御部１１、操作部２０は、請求項の「選択部」に対応する。また、制御部１１は、請求項の「特定部」、「抽出部」、「判定部」、「比較部」、「タイミング予測部」に対応し、制御部１１、音声出力部１５は、請求項の「注意喚起部」に対応する。
以上説明したような構成の電子カメラ１において、操作部２０の不図示の電源ボタンが操作されると、制御部１１はこれを検知し、撮像部１０を介したスルー画像の撮像および表示処理部１３を介した液晶モニタ２５への画像の表示を開始する。
【００１４】
以下、本発明の特徴である「記念写真や集合写真など複数の撮影対象を含む被写界の撮影」について説明する。電子カメラ１は、このような撮影を行うモードを設ける。
また、電子カメラ１は、前述した被写体の特定を行うために必要な情報および後述する特徴量の閾値を制御部１１のメモリ５０に予め記録する。また、電子カメラ１は、後述する被写体の注意喚起を行うために、音声情報（例えば、警告音など）を、制御部１１のメモリ５０に予め記録する。
【００１５】
以下ではこのモードの実行が指示された場合の動作について、図２のフローチャートを参照して説明する。なお、このモードでは、ユーザは、撮影を行う際に操作部２０の不図示のレリーズボタンを全押し（最深部まで押圧すること）するものとする。このように、レリーズボタンの全押しで撮影を開始することにより、より確実に撮影タイミングを捉えることができ、また、レリーズボタンの半押しを正しくできないユーザにも対応可能となる。
【００１６】
まず、制御部１１は、操作部２０を介したユーザ操作によって領域の選択が行われたか否かを判定する（ステップＳ１）。ユーザは、必ず良好に撮影したい撮影対象（主要被写体）を含む領域を指定する。具体的には、制御部１１は、図３に示すように、液晶モニタ２５に表示されたスルー画像に枠Ｆを重ねて表示する。ユーザは、操作部２０を操作することにより枠Ｆの位置を移動し、所望の撮影対象を枠Ｆ内に納めて、選択を行う。図３では、被写体ａ〜ｇの７人のうち、被写体ｂおよびｃの２人が主要被写体であり、この２人を含む領域を枠Ｆに納める場合を示す。なお、枠Ｆの大きさは、適宜変更可能とする。また、領域の選択を繰り返し行って、領域を複数選択するようにしても良い。例えば、図３において、被写体ａと被写体ｇのように離れた位置に主要被写体が存在する場合、それぞれの主要被写体を含む領域を選択すれば良い。
【００１７】
制御部１１は、領域の選択が行われるまで待機し、選択されたと判定する（ステップＳ１ＹＥＳ）と、操作部２０の不図示のレリーズボタンが全押しされたか否かを判定する（ステップＳ２）。そして、レリーズボタンが全押しされるまで待機し、レリーズボタンが全押しされたと判定する（ステップＳ２ＹＥＳ）と、制御部１１は、顔認識を行う（ステップＳ３）。この顔認識は、請求項の「被写体の特定」に対応する。制御部１１は、スルー画像のうち、ステップＳ１において選択された領域において顔認識を行う。なお、ステップＳ１において、領域が複数選択された場合、それぞれの領域において、顔認識を行う。顔認識の具体的な方法については、従来技術と同様であるため、説明を省略する。
【００１８】
なお、撮像部１０は、後述する撮影を行う際に、顔認識で認識した顔部分を中心として焦点検出を行うようにすると良い。このように焦点検出を行うことにより、焦点検出の精度を向上させるとともに、焦点検出に必要な時間を短縮し、効率的に焦点検出を行うことができる。
次に、制御部１１は、スルー画像のうち、ステップＳ３で認識した顔部分を中心として、被写体の特徴を示す特徴量を抽出する（ステップＳ４）。具体的には、制御部１１は、特徴量として、目の開き具合を示す値を求める。制御部１１は、まず、ステップＳ３で認識した顔部分の画像から、メモリ５０に予め記録された顔に対する目の相対的な位置を示す情報（被写体の特定を行うために必要な情報）を読み出し、目の部分を特定する。そして、図４Ａに示すように目の縦方向の長さＬ（１）を求める。なお、ステップＳ１において、領域が複数選択された場合、それぞれの領域において、ステップＳ３で認識された顔部分について特徴量を抽出する。
【００１９】
次に、制御部１１は、抽出した特徴量が閾値を超えたか否かを判定する（ステップＳ５）。閾値は、前述したように予めメモリ５０に記録されており、目の開き具合として十分な値の経験値が定められている。例えば、図４Ｂに示すように、目が十分に開いている状態の目の縦方向の長さＬ（ｂｅｓｔ）が記録されている。目が十分に開いている状態とは、例えば、最も開いた状態の８０％程度であり、特徴量が閾値を超えたと判定する（目がそれ以上開いている場合）（ステップＳ５ＹＥＳ）と、制御部１１は、ステップＳ７に進む。なお、ステップＳ１において、領域が複数選択された場合、ステップＳ４で抽出した複数の特徴量に適当な重み付けを行うか平均を求めてから閾値と比較する。または、複数の領域の優先順位をユーザに指定させて、その順位を反映させた代表特徴量を求めて閾値と比較する。
【００２０】
一方、特徴量が閾値を超えない場合（ステップＳ５ＮＯ）、制御部１１は、音声出力部１５を介して音声出力を行う（ステップＳ６）。制御部１１は、メモリ５０から、音声情報を読み出し、音声出力部１５を介して出力する。このような音声の出力は、請求項の「被写体の注意を喚起する動作」に対応する。そして、制御部１１は、ステップＳ４に戻り、ステップＳ４以降の動作を再び行う。
【００２１】
特徴量が閾値を超えたと判定する（ステップＳ５ＹＥＳ）と、制御部１１は、撮像部１０を介して撮影を開始し（ステップＳ７）、一連の処理を終了する。なお、ステップＳ１において、領域が複数選択された場合、撮像部１０は、複数の領域を焦点検出対象とした多点ＡＦを行う。または、至近の領域を優先したＡＦとしたり、重み付けを行ったりしても良い。
【００２２】
なお、本実施形態では、被写体の注意を喚起するために音声出力を行う例を示したが、被写体の注意を喚起することができれば、画像や光や匂いなどを用いるようにしても良い。また、注意喚起の方法を、ユーザ操作に応じて変更するようにしても良い。例えば、被写体が子供である場合、最も注意を喚起することができると考えられる母親の声に変更すると、より効果的に注意を喚起することが可能となる。
【００２３】
また、注意を喚起する動作は、連続的であっても良いし、断続的であっても良いし、繰り返しでも良いし、時間の経過とともに変化させても良い。さらに、特徴量の抽出結果を考慮して、変更するようにしても良い。
次に、図５に示すフローチャートを参照して、変形例について説明する。
なお、図５のフローチャートによって示す変形例では、ユーザは、撮影を行う際に操作部２０の不図示のレリーズボタンを半押しするものとする。
【００２４】
また、この変形例では、後述する顔認識および特徴量の抽出に用いるために、ユーザは、必ず良好に撮影したい撮影対象（主要被写体）を予め撮影し、画像（以下、「基準画像」と称する）を制御部１１のメモリ５０に記録する。なお、基準画像は、必ず良好に撮影したい撮影対象が良好な状態（表情、向きなど）で撮影された画像とする。また、複数の撮影対象の基準画像を記録するようにしても良い。
【００２５】
まず、制御部１１は、操作部２０の不図示のレリーズボタンが半押しされたか否かを判定する（ステップＳ１１）。そして、レリーズボタンが半押しされるまで待機し、レリーズボタンが半押しされたと判定する（ステップＳ１１ＹＥＳ）と、制御部１１は、顔認識を行う（ステップＳ１２）。
制御部１１は、まずメモリ５０から基準画像を読み出し、スルー画像に対してパターンマッチングを行う。なお、パターンマッチングの精度はそれほど高くする必要はなく、例えば、同一の人物であると推定できる程度で良い。そして、スルー画像のうち、パターンマッチングの結果により、基準画像と同様であると推定できる部分に対して、顔認識を行う。この顔認識は、図２ステップＳ３で説明した顔認識と同様に行われる。なお、複数の基準画像が予め記録されている場合、それぞれの基準画像についてパターンマッチングおよび顔認識を行う。
【００２６】
次に、制御部１１は、スルー画像のうち、ステップＳ１２で認識した顔部分を中心として、被写体の特徴を示す特徴量を抽出する（ステップＳ１３）。具体的には、制御部１１は、特徴量として、基準画像との合致度を求める。制御部１１は、まず、ステップＳ１２で認識した顔部分の画像から、メモリ５０に予め記録された顔に対する目および口の相対的な位置を示す情報（被写体の特定を行うために必要な情報）を読み出し、目および口の部分を特定する。そして、これらの部分について、基準画像とパターンマッチングを行い、合致度を求める。
【００２７】
なお、複数の基準画像が予め記録されている場合、それぞれの基準画像ごとにステップＳ１２で認識された顔部分について特徴量を抽出する。
次に、制御部１１は、撮像部１０を介して被写体の予備撮像を行い（ステップＳ１４）、予備撮像により生成された画像を制御部１１のメモリ５０に一時記録する。
そして、制御部１１は、抽出した特徴量が閾値を超えたか否かを判定する（ステップＳ１５）。閾値は、前述したように予めメモリ５０に記録されており、前述した基準画像との最低合致度の経験値が定められている。ステップＳ１３で求めた合致度が最低合致度を超えていれば、良好な状態（表情、向きなど）であると判定できる。
【００２８】
なお、複数の基準画像が予め記録されている場合、ステップＳ１３で抽出した複数の特徴量に適当な重み付けを行うか平均を求めてから閾値と比較する。または、複数の基準画像の優先順位をユーザに指定させて、その順位を反映させた代表特徴量を求めて閾値と比較する。
そして、特徴量が閾値を超えたと判定する（ステップＳ１５ＹＥＳ）と、制御部１１は、ステップＳ１７に進む。一方、特徴量が閾値を超えない場合（ステップＳ１５ＮＯ）、制御部１１は、ステップＳ１１でレリーズボタンが半押しされてからの経過時間が、所定の限界時間αよりも長いか否かを判定する（ステップＳ１６）。そして、経過時間が、所定の限界時間αよりも長い場合（ステップＳ１６ＹＥＳ）には、制御部１１は、撮影を開始するためにステップＳ１７に進む。一方、経過時間が、所定の限界時間αよりも短い場合（ステップＳ１６ＮＯ）には、制御部１１は、ステップＳ１３に戻り、ステップＳ１３以降の動作を再び行う。なお、限界時間αとは、ユーザの忍耐力や心理的要素なども加味した経験値である。
【００２９】
特徴量が閾値を超えたと判定する（ステップＳ１５ＹＥＳ）か、経過時間が、所定の限界時間αよりも長い場合（ステップＳ１６ＹＥＳ）には、制御部１１は、撮像部１０を介して連続的な撮影を開始する（ステップＳ１７）。このとき、制御部１１は、所定の時間間隔で連続的に撮影を行う。そして、連続的な撮影により生成された複数の画像を制御部１１のメモリ５０に一時記録する。なお、この連続的な撮影は、請求項の「予備撮像」に対応する。
【００３０】
なお、複数の基準画像が予め記録されている場合、撮像部１０は、複数の基準画像に対応する複数の領域を焦点検出対象とした多点ＡＦを行う。または、至近の領域を優先したＡＦとしたり、重み付けを行ったりしても良い。
次に、制御部１１は、ステップＳ１４の予備撮像およびステップＳ１７で開始した連続的な撮影により生成された複数の画像をメモリ５０から読み出し、顔認識や鮮鋭度の検出などの手法を用いて画像の評価を行って、最も評価の良い１枚の画像を記録部１４に記録し（ステップＳ１８）、一連の処理を終了する。
【００３１】
なお、複数の基準画像が予め記録されている場合、前述した画像の評価に換えて、画像の合成を行っても良い。すなわち、制御部１１は、複数の画像のそれぞれから、基準画像に対応する部分の画像を抜き出し、鮮鋭度の検出などの手法を用いて画像の評価を行って、最も評価の良い画像を選択する。このような選択を、複数の基準画像のそれぞれに対して行って、画像を合成する。このような合成を行うことにより、複数の基準画像ごとに最も評価の高い画像を採用することができる。なお、画像の合成の一部または全部をユーザ操作に基づいて行うようにしても良い。
【００３２】
なお、この変形例では、ステップＳ１８において、ステップＳ１４の予備撮像およびステップＳ１７で開始した連続的な撮影により生成された複数の画像に対して画像の評価を行って、最も評価の良い１枚の画像を記録部１４に記録する例を示したが、複数の画像のうち、記録部１４に記録する画像をユーザにより選択させるようにしても良い。さらに、他のタイミングで予備撮像を行うようにしても良い。
【００３３】
次に、図６に示すフローチャートを参照して、別の変形例について説明する。
なお、図６のフローチャートによって示す変形例では、ユーザは、撮影を行う際にＡＦの対象となる領域に対して操作部２０の不図示のレリーズボタンを半押しし、さらにレリーズボタンを全押しすることにより実際の撮影を開始するものとする。このようなレリーズボタンの半押し、全押しによる撮影は従来と同様の撮影手順である。また、制御部１１は、後述する反応時間の予測を行う。
【００３４】
まず、制御部１１は、操作部２０の不図示のレリーズボタンが半押しされたか否かを判定する（ステップＳ２１）。そして、レリーズボタンが半押しされるまで待機し、レリーズボタンが半押しされたと判定する（ステップＳ２１ＹＥＳ）と、制御部１１は、顔認識を行う（ステップＳ２２）。
制御部１１は、まず、最も新しく撮像されたスルー画像全体に対して被写体認識を行い、その結果に基づいて顔認識を行う。この顔認識は、図２ステップＳ３で説明した顔認識と同様に行われる。なお、被写体認識の負荷を軽減するため、画像内の位置を限定して（例えば、中心から８０％の部分に限定して）被写体認識を行うようにしても良い。
【００３５】
次に、制御部１１は、スルー画像のうち、ステップＳ２２で認識した顔部分を中心として、被写体の特徴を示す特徴量を抽出する（ステップＳ２３）。具体的には、制御部１１は、特徴量として、顔の向きを示す値を求める。制御部１１は、まず、ステップＳ２２で認識した顔部分の画像から、メモリ５０に予め記録された顔に対する目の相対的な位置を示す情報（被写体の特定を行うために必要な情報）を読み出し、目の部分を特定する。さらに、そして、図７Ａに示すように両眼の間の長さＭ（１）を求める。
【００３６】
なお、ステップＳ２２で説明した被写体認識において、複数の撮影対象が認識された場合（領域が複数選択された場合）、それぞれの領域において、ステップＳ２２で認識された顔部分について特徴量を抽出する。
そして、制御部１１は、抽出した特徴量が閾値を超えたか否かを判定する（ステップＳ２４）。閾値は、前述したように予めメモリ５０に記録されており、顔が十分に正面を向いている場合の値の経験値が定められている。例えば、図７Ｃに示すように、顔が十分に正面を向いている状態の両眼の間の長さＭ（ｂｅｓｔ）が記録されている。
【００３７】
なお、ステップＳ２２で説明した被写体認識において、複数の撮影対象が認識された場合（領域が複数選択された場合）、ステップＳ２３で抽出した複数の特徴量に適当な重み付けを行うか平均を求めてから閾値と比較する。または、複数の撮影対象の優先順位をユーザに指定させて、その順位を反映させた代表特徴量を求めて閾値と比較する。
そして、制御部１１は、特徴量が閾値を超えたと判定する（ステップＳ２４ＹＥＳ）と、ステップＳ２５に進み、特徴量が閾値を超えない場合（ステップＳ２４ＮＯ）、ステップＳ２８に進む。
【００３８】
特徴量が閾値を超えたと判定する（ステップＳ２４ＹＥＳ）と、制御部１１は、液晶モニタ２５や不図示の点灯部や音声出力部１５などを介して、撮影可能状態であることをユーザに通知する（ステップＳ２５）。
次に、制御部１１は、操作部２０の不図示のレリーズボタンが全押しされたか否かを判定する（ステップＳ２６）。そして、レリーズボタンが全押しされるまで待機し、レリーズボタンが全押しされたと判定する（ステップＳ２６ＹＥＳ）と、制御部１１は、撮像部１０を介して撮影を開始し（ステップＳ２７）、一連の処理を終了する。なお、ステップＳ２２で説明した被写体認識において、複数の撮影対象が認識された場合（領域が複数選択された場合）、撮像部１０は、複数の撮影対象に対応する複数の領域を焦点検出対象とした多点ＡＦを行う。または、至近の領域を優先したＡＦとしたり、重み付けを行ったりしても良い。
【００３９】
一方、ステップＳ２４の判定において、特徴量が閾値を超えない場合（ステップＳ２４ＮＯ）、制御部１１は、ステップＳ２３と同様の特徴量の抽出を再び行う（ステップＳ２８）。なお、制御部１１は、最も新しく撮像されたスルー画像に基づいて特徴量を抽出する。そして、図７Ｂに示す両眼の間の長さＭ（２）が抽出されたものとして、以下の説明を行う。
【００４０】
次に、制御部１１は、２回の特徴量の抽出（ステップＳ２３およびステップＳ２８参照）の結果を比較し、反応時間を予測する（ステップＳ２９）。具体的には、制御部１１は、顔の向きを示す値としてステップＳ２３およびステップＳ２８で求めた両眼の間の長さＭ（１）およびＭ（２）と、２回の特徴量の抽出が行われた際の時刻ｔ(１)およびｔ(２)と、前述した顔が十分に正面を向いている状態の両眼の間の長さＭ（ｂｅｓｔ）とに基づいて、反応時間を求める。このようにして求めた反応時間が示すのは、予測される最適な撮影タイミングまでの時間である。したがって、例えば、反応時間がΔｔ秒である場合、２回目の特徴量の抽出を行ってからΔｔ秒後に撮像を開始すれば、最適な撮影タイミングで撮影を行うことができる。
【００４１】
なお、ステップＳ２２で説明した被写体認識において、複数の撮影対象が認識された場合（領域が複数選択された場合）、ステップＳ２３およびステップＳ２８で抽出した複数の特徴量に適当な重み付けを行うか平均を求めてから反応時間を求める。または、複数の撮影対象の優先順位をユーザに指定させて、その順位を反映させた反応時間を求める。
次に、制御部１１は、ステップＳ２９で予測した反応時間が、撮影可能時間よりも短いか否かを判定する（ステップＳ３０）。そして、予測した反応時間が、撮影可能時間よりも短い場合（ステップＳ３０ＹＥＳ）には、前述したステップＳ２７に進み、反応時間を優先して、撮像部１０を介して撮影を開始する。
【００４２】
なお、ステップＳ２９で予測した反応時間とは、ステップＳ２９で説明した反応時間Δｔに、所定の予備時間を加算した時間である。予備時間を加算するのは、すぐに撮像を開始する際にも発生すると考えられるタイムラグを補うためであり、この予備時間は経験値に基づいて予め定める。一方、撮影可能時間とは、撮像部１０による通常の撮影におけるシャッタ速度、閃光発光、画像処理などに必要な時間を示す。
【００４３】
一方、予測した反応時間が、撮影可能時間よりも長い場合（ステップＳ３０ＮＯ）には、ステップＳ２３に戻り、ステップＳ２３以降の動作を再び行う。なお、予測した反応時間が、撮影可能時間よりも長い場合とは、まだ撮影タイミングにならないと予測される状態である。したがって、再び特徴量の抽出を行うことで、被写体の動きをリアルタイムでより正確に捉えて、撮影に備えることができる。
【００４４】
なお、この変形例では、予測した反応時間が、撮影可能時間よりも長い場合（ステップＳ３０ＮＯ）には、再び特徴量の抽出を行う例を示したが、図５のステップＳ１６と同様に何らかの限界時間を設けて、経過時間がこの限界時間を超えた場合には、ユーザに対して警告音を出したり、撮影を開始するようにしても良い。
また、この変形例において、反応時間を予測する（ステップＳ２９参照）際に、ＡＦ補正量を算出し、撮影を開始する（ステップＳ２７参照）際に、このＡＦ補正量を加味して撮影を行うようにしても良い。
【００４５】
以上説明したように、本実施形態によれば、複数の撮影対象を含む被写界を撮像する際に、複数の撮影対象の少なくとも１つを含む領域を選択して被写体の特定を行い、特定された被写体の特徴を示す特徴量を抽出する。そして、特徴量が閾値を超えたと判定されると撮像を行う。したがって、被写体の特定対象を限定することができるので、撮影に要する時間を短縮することができる。また、主要被写体を含む領域を選択して、その領域において特徴量の抽出と判定とを行った後に撮影を実行するので、主要被写体を良好に撮影することができる。
【００４６】
また、本実施形態によれば、画像データに対する被写体認識と、パターンマッチングと、領域指定に関わるユーザ操作との少なくとも１つに基づいて、前述した領域の選択を行う。したがって、主要被写体を含む領域を適切に選択することができる。
また、本実施形態によれば、判定結果に応じて、被写体の注意を喚起する動作を行う。したがって、被写体の注意を喚起して撮像装置の方を向かせることが可能になるので、子供やペットなどが主要被写体である場合にも、撮影が困難な被写体の顔を撮像装置の方に向かせて、撮影を行うことができる。
【００４７】
また、本実施形態によれば、被写体の特定が開始されてからの経過時間を所定の限界時間と比較し、経過時間が限界時間よりも長くなると撮像を行う。したがって、被写体が予想外の動きをしている場合や、誤検出が起こっている場合でも適切な撮影を行うことができる。また、限界時間を定めることにより、撮影に要する時間が過剰に長くなるのを防ぎ、撮影時の雰囲気を守りながら撮影を行うことができる。
【００４８】
また、本実施形態によれば、被写体の特定を少なくとも２回行い、さらに、特徴量の抽出を被写体の特定を行うたびに行い、抽出結果に基づいて最適な撮影タイミングを予測する。すなわち、抽出結果から反応時間を算出して、撮影タイミングを予測するので、正確な撮影タイミングを予測することができる。さらに、この撮影タイミングで撮影を行うことにより、最適なタイミングで撮影を行い、良好な画像を得ることができる。
【００４９】
また、本実施形態によれば、被写体の予備撮像を、判定の前後に少なくとも１回ずつ行う。したがって、被写体が予想外の動きをした場合でも、撮影タイミングを逃さずに撮影を行い、良好な画像を得ることができる。
なお、本実施形態では、領域の選択の方法（被写体認識、パターンマッチング、ユーザ操作など）と、特徴量の種類（目の開き具合、顔の向きなど）とが予め定められている例を示したが、領域の選択の方法および特徴量の種類を、ユーザ操作に応じて選択および変更可能にしても良い。
【００５０】
また、本実施形態で説明した特徴量以外でも、撮影に最適な状態を判別可能な特徴量であれば、鼻の位置を示す値や、両眼の鼻または顔の中央に対する非対称度合値や、顔の回転角度を示す値などどのようなものを用いても良い。
また、本実施形態では、特徴量の閾値が予め定められている例を示したが、以下のようにしても良い。すなわち、領域の選択の方法（被写体認識、パターンマッチング、ユーザ操作など）と、特徴量の種類（目の開き具合、顔の向きなど）との少なくとも一方に基づいて閾値を決定して判定を行うようにしても良い。このように閾値を決定すれば、被写体の特定および特徴量の抽出の難易度に応じて、適切な閾値を設定することができる。また、ユーザ操作に応じて閾値を設定可能にしても良い。
【００５１】
また、本実施形態で説明した顔認識および抽出した特徴量と閾値との比較・判定に際して、ある程度の幅を設ける。実際に撮影を行う際には、多少の誤差があっても問題ない。したがって、ある程度の幅を持たせることにより、顔認識および抽出した特徴量と閾値との比較・判定を必要以上に厳密にしてしまうのを防ぎ、適切な撮影を行うことができる。
また、本実施形態の図２、図５、図６で説明した各ステップを、必要に応じて、組み合わせて実行しても良いし、順番を入れ替えて実行しても良いし、一部の処理を並行で実行しても良い。
【００５２】
また、本実施形態では、「記念写真や集合写真など複数の撮影対象を含む被写界の撮影」を行うモードを備える例を示したが、従来からあるシーンモードなどに組み合わせて使用するようにしても良い。また、図６のフローチャートによって示した変形例で説明した被写体認識の結果に基づいて、モードの選択などを自動化するようにしても良い。
また、本実施形態では、人を撮影対象とする例を挙げて説明を行ったが、ペットなどを撮影する場合にも、本発明を適用することができる。
【００５３】
また、本実施形態では、本発明の撮像装置の一例として電子カメラ１を用いて説明を行ったが、動画を撮影可能な電子カメラなど、他の撮像装置に適用しても良い。例えば、動画を撮影可能な電子カメラに適用した場合、被写体の特定結果をＡＦに用いれば、動画撮影におけるＡＦの処理速度および精度の向上というさらなる効果も期待できる。
また、本発明を、カメラとコンピュータとからなる撮像装置に適用し、本実施形態の電子カメラ１が行った制御の一部または全てをコンピュータで実現するようにしても良い。
【図面の簡単な説明】
【００５４】
【図１】電子カメラ１の構成を示すブロック図である。
【図２】電子カメラ１の動作を示すフローチャートである。
【図３】領域の選択について説明する図である。
【図４】目の開き具合について説明する図である。
【図５】電子カメラ１の動作の変形例を示すフローチャートである。
【図６】電子カメラ１の動作の別の変形例を示すフローチャートである。
【図７】顔の向きについて説明する図である。
【符号の説明】
【００５５】
１ 電子カメラ
１０ 撮像部
１１ 制御部
１２ 画像処理部
１３ 表示処理部
１４ 記録部
１５ 音声出力部
２０ 操作部
２５ 液晶モニタ
５０ メモリ
【技術分野】
【０００１】
本発明は、被写界内の被写体を特定する機能を備えた撮像装置および撮像装置に対する制御を行うためのプログラムに関する。
【背景技術】
【０００２】
従来、記念写真や集合写真など複数の撮影対象を含む被写界を撮影する場合には、熟練した撮影者（カメラマン）の技術を必要とする場合が多かった。また、同様の場合に、セルフタイマを用いて撮影を行うと、目を閉じている人がいたり、よそ見をしている人がいるなど、複数の撮影対象の状態が揃いにくい場合が多かった。
そこで、顔認識技術などの技術を用いることが提案されている（例えば、特許文献１参照）。
【特許文献１】特開２０００−２５９８３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、前述した顔認識は画像処理などに基づいて行われるため、時間を要する。そのため、前述した記念写真や集合写真などを撮影する際に、撮影に要する時間が長くなってしまうという問題があった。
本発明は、撮影に要する時間を短縮しつつ、主要被写体を良好に撮影可能な撮像装置および撮像装置に対する制御を行うためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
請求項１に記載の撮像装置は、複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部と、前記複数の撮影対象の少なくとも１つを含む領域を選択する選択部と、前記撮像部により生成された前記画像データのうち、前記選択部により選択された領域において被写体の特定を行う特定部と、前記特定部により特定された前記被写体の特徴を示す特徴量を抽出する抽出部と、前記抽出部により抽出された前記特徴量が、閾値を超えたか否かを判定する判定部とを備え、前記撮像部は、前記判定部により前記特徴量が前記閾値を超えたと判定されると前記撮像を行うことを特徴とする。
【０００５】
請求項２に記載の撮像装置は、請求項１に記載の撮像装置において、前記選択部は、前記撮像部により生成された前記画像データに対する被写体認識と、前記撮像部により生成された前記画像データに対するパターンマッチングと、領域指定に関わるユーザ操作との少なくとも１つに基づいて、前記被写界における領域を選択することを特徴とする。
請求項３に記載の撮像装置は、請求項１または請求項２に記載の撮像装置において、前記判定部は、前記選択部による選択の方法と、前記抽出部により抽出される前記特徴量の種類との少なくとも一方に基づいて前記閾値を決定して、前記判定を行うことを特徴とする。
【０００６】
請求項４に記載の撮像装置は、請求項１から請求項３のいずれか１項に記載の撮像装置において、前記判定部による判定結果に応じて、前記被写体の注意を喚起する動作を行う注意喚起部をさらに備えることを特徴とする。
請求項５に記載の撮像装置は、請求項１から請求項４のいずれか１項に記載の撮像装置において、前記特定部による被写体の特定が開始されてからの経過時間を所定の限界時間と比較する比較部をさらに備え、前記撮像部は、前記比較部による比較の結果、前記経過時間が前記所定の限界時間よりも長くなると前記撮像を行うことを特徴とする。
【０００７】
請求項６に記載の撮像装置は、請求項１から請求項５のいずれか１項に記載の撮像装置において、前記特定部は、前記被写体の特定を少なくとも２回行い、前記抽出部は、前記特徴量の抽出を前記特定部が前記被写体の特定を行うたびに行い、前記抽出部による前記特徴量の抽出結果に基づいて最適な撮影タイミングを予測するタイミング予測部をさらに備えることを特徴とする。
【０００８】
請求項７に記載の撮像装置は、請求項１から請求項６のいずれか１項に記載の撮像装置において、前記撮像部は、前記被写体の予備撮像を、前記判定部による判定の前後に少なくとも１回ずつ行うことを特徴とする。
請求項８に記載のプログラムは、複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部を備えた撮像装置に対する制御をコンピュータで実現するプログラムであって、前記複数の撮影対象の少なくとも１つを含む領域を選択する選択手順と、前記撮像部により生成された前記画像データのうち、前記選択手順において選択された領域において被写体の特定を行う特定手順と、前記特定手順において特定された前記被写体の特徴を示す特徴量を抽出する抽出手順と、前記抽出手順において抽出された前記特徴量が、閾値を超えたか否かを判定する判定手順と、前記判定手順において前記特徴量が前記閾値を超えたと判定されると、前記撮像部に前記撮像を指示する指示手順とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影に要する時間を短縮しつつ、主要被写体を良好に撮影可能な撮像装置および撮像装置に対する制御を行うためのプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を用いて、本発明の実施形態について詳細な説明を行う。
本実施形態では、本発明の撮像装置の一例として、電子カメラを用いて説明を行う。
図１は、本発明の実施形態における電子カメラ１の構成を示すブロック図である。
電子カメラ１は、図１に示すように、撮像部１０、制御部１１、画像処理部１２、表示処理部１３、記録部１４、音声出力部１５を備え、これらはバスを介して相互に接続されている。
【００１１】
なお、撮像部１０は、不図示のレンズ、被写体の明るさや撮影距離などを測定する各種センサ、撮像素子、Ａ／Ｄ変換器などを備え、被写体を撮像して画像データを生成する。
また、電子カメラ１は、操作部２０と液晶モニタ２５とを備える。図１において、操作部２０の出力は制御部１１に接続され、液晶モニタ２５には表示処理部１３の出力が接続される。なお、操作部２０は、不図示の電源ボタン、レリーズボタン、後述するユーザ操作にかかわる十字キーなどを含む。また、操作部２０にタッチパネルを採用しても良い。
【００１２】
また、制御部１１は、メモリ５０を備え、各設定時のメニュー画面などを予め記録する。また、制御部１１は、本発明の特徴である被写体の特定および特徴量の抽出を行う（詳細は後述する）。
なお、本実施形態の電子カメラ１は、各種設定を自動で行ういわゆるオート撮影機能の他に、本発明の特徴である「記念写真や集合写真など複数の撮影対象を含む被写界を撮影する機能」を備える。
【００１３】
なお、撮像部１０、制御部１１は、請求項の「撮像部」に対応し、制御部１１、操作部２０は、請求項の「選択部」に対応する。また、制御部１１は、請求項の「特定部」、「抽出部」、「判定部」、「比較部」、「タイミング予測部」に対応し、制御部１１、音声出力部１５は、請求項の「注意喚起部」に対応する。
以上説明したような構成の電子カメラ１において、操作部２０の不図示の電源ボタンが操作されると、制御部１１はこれを検知し、撮像部１０を介したスルー画像の撮像および表示処理部１３を介した液晶モニタ２５への画像の表示を開始する。
【００１４】
以下、本発明の特徴である「記念写真や集合写真など複数の撮影対象を含む被写界の撮影」について説明する。電子カメラ１は、このような撮影を行うモードを設ける。
また、電子カメラ１は、前述した被写体の特定を行うために必要な情報および後述する特徴量の閾値を制御部１１のメモリ５０に予め記録する。また、電子カメラ１は、後述する被写体の注意喚起を行うために、音声情報（例えば、警告音など）を、制御部１１のメモリ５０に予め記録する。
【００１５】
以下ではこのモードの実行が指示された場合の動作について、図２のフローチャートを参照して説明する。なお、このモードでは、ユーザは、撮影を行う際に操作部２０の不図示のレリーズボタンを全押し（最深部まで押圧すること）するものとする。このように、レリーズボタンの全押しで撮影を開始することにより、より確実に撮影タイミングを捉えることができ、また、レリーズボタンの半押しを正しくできないユーザにも対応可能となる。
【００１６】
まず、制御部１１は、操作部２０を介したユーザ操作によって領域の選択が行われたか否かを判定する（ステップＳ１）。ユーザは、必ず良好に撮影したい撮影対象（主要被写体）を含む領域を指定する。具体的には、制御部１１は、図３に示すように、液晶モニタ２５に表示されたスルー画像に枠Ｆを重ねて表示する。ユーザは、操作部２０を操作することにより枠Ｆの位置を移動し、所望の撮影対象を枠Ｆ内に納めて、選択を行う。図３では、被写体ａ〜ｇの７人のうち、被写体ｂおよびｃの２人が主要被写体であり、この２人を含む領域を枠Ｆに納める場合を示す。なお、枠Ｆの大きさは、適宜変更可能とする。また、領域の選択を繰り返し行って、領域を複数選択するようにしても良い。例えば、図３において、被写体ａと被写体ｇのように離れた位置に主要被写体が存在する場合、それぞれの主要被写体を含む領域を選択すれば良い。
【００１７】
制御部１１は、領域の選択が行われるまで待機し、選択されたと判定する（ステップＳ１ＹＥＳ）と、操作部２０の不図示のレリーズボタンが全押しされたか否かを判定する（ステップＳ２）。そして、レリーズボタンが全押しされるまで待機し、レリーズボタンが全押しされたと判定する（ステップＳ２ＹＥＳ）と、制御部１１は、顔認識を行う（ステップＳ３）。この顔認識は、請求項の「被写体の特定」に対応する。制御部１１は、スルー画像のうち、ステップＳ１において選択された領域において顔認識を行う。なお、ステップＳ１において、領域が複数選択された場合、それぞれの領域において、顔認識を行う。顔認識の具体的な方法については、従来技術と同様であるため、説明を省略する。
【００１８】
なお、撮像部１０は、後述する撮影を行う際に、顔認識で認識した顔部分を中心として焦点検出を行うようにすると良い。このように焦点検出を行うことにより、焦点検出の精度を向上させるとともに、焦点検出に必要な時間を短縮し、効率的に焦点検出を行うことができる。
次に、制御部１１は、スルー画像のうち、ステップＳ３で認識した顔部分を中心として、被写体の特徴を示す特徴量を抽出する（ステップＳ４）。具体的には、制御部１１は、特徴量として、目の開き具合を示す値を求める。制御部１１は、まず、ステップＳ３で認識した顔部分の画像から、メモリ５０に予め記録された顔に対する目の相対的な位置を示す情報（被写体の特定を行うために必要な情報）を読み出し、目の部分を特定する。そして、図４Ａに示すように目の縦方向の長さＬ（１）を求める。なお、ステップＳ１において、領域が複数選択された場合、それぞれの領域において、ステップＳ３で認識された顔部分について特徴量を抽出する。
【００１９】
次に、制御部１１は、抽出した特徴量が閾値を超えたか否かを判定する（ステップＳ５）。閾値は、前述したように予めメモリ５０に記録されており、目の開き具合として十分な値の経験値が定められている。例えば、図４Ｂに示すように、目が十分に開いている状態の目の縦方向の長さＬ（ｂｅｓｔ）が記録されている。目が十分に開いている状態とは、例えば、最も開いた状態の８０％程度であり、特徴量が閾値を超えたと判定する（目がそれ以上開いている場合）（ステップＳ５ＹＥＳ）と、制御部１１は、ステップＳ７に進む。なお、ステップＳ１において、領域が複数選択された場合、ステップＳ４で抽出した複数の特徴量に適当な重み付けを行うか平均を求めてから閾値と比較する。または、複数の領域の優先順位をユーザに指定させて、その順位を反映させた代表特徴量を求めて閾値と比較する。
【００２０】
一方、特徴量が閾値を超えない場合（ステップＳ５ＮＯ）、制御部１１は、音声出力部１５を介して音声出力を行う（ステップＳ６）。制御部１１は、メモリ５０から、音声情報を読み出し、音声出力部１５を介して出力する。このような音声の出力は、請求項の「被写体の注意を喚起する動作」に対応する。そして、制御部１１は、ステップＳ４に戻り、ステップＳ４以降の動作を再び行う。
【００２１】
特徴量が閾値を超えたと判定する（ステップＳ５ＹＥＳ）と、制御部１１は、撮像部１０を介して撮影を開始し（ステップＳ７）、一連の処理を終了する。なお、ステップＳ１において、領域が複数選択された場合、撮像部１０は、複数の領域を焦点検出対象とした多点ＡＦを行う。または、至近の領域を優先したＡＦとしたり、重み付けを行ったりしても良い。
【００２２】
なお、本実施形態では、被写体の注意を喚起するために音声出力を行う例を示したが、被写体の注意を喚起することができれば、画像や光や匂いなどを用いるようにしても良い。また、注意喚起の方法を、ユーザ操作に応じて変更するようにしても良い。例えば、被写体が子供である場合、最も注意を喚起することができると考えられる母親の声に変更すると、より効果的に注意を喚起することが可能となる。
【００２３】
また、注意を喚起する動作は、連続的であっても良いし、断続的であっても良いし、繰り返しでも良いし、時間の経過とともに変化させても良い。さらに、特徴量の抽出結果を考慮して、変更するようにしても良い。
次に、図５に示すフローチャートを参照して、変形例について説明する。
なお、図５のフローチャートによって示す変形例では、ユーザは、撮影を行う際に操作部２０の不図示のレリーズボタンを半押しするものとする。
【００２４】
また、この変形例では、後述する顔認識および特徴量の抽出に用いるために、ユーザは、必ず良好に撮影したい撮影対象（主要被写体）を予め撮影し、画像（以下、「基準画像」と称する）を制御部１１のメモリ５０に記録する。なお、基準画像は、必ず良好に撮影したい撮影対象が良好な状態（表情、向きなど）で撮影された画像とする。また、複数の撮影対象の基準画像を記録するようにしても良い。
【００２５】
まず、制御部１１は、操作部２０の不図示のレリーズボタンが半押しされたか否かを判定する（ステップＳ１１）。そして、レリーズボタンが半押しされるまで待機し、レリーズボタンが半押しされたと判定する（ステップＳ１１ＹＥＳ）と、制御部１１は、顔認識を行う（ステップＳ１２）。
制御部１１は、まずメモリ５０から基準画像を読み出し、スルー画像に対してパターンマッチングを行う。なお、パターンマッチングの精度はそれほど高くする必要はなく、例えば、同一の人物であると推定できる程度で良い。そして、スルー画像のうち、パターンマッチングの結果により、基準画像と同様であると推定できる部分に対して、顔認識を行う。この顔認識は、図２ステップＳ３で説明した顔認識と同様に行われる。なお、複数の基準画像が予め記録されている場合、それぞれの基準画像についてパターンマッチングおよび顔認識を行う。
【００２６】
次に、制御部１１は、スルー画像のうち、ステップＳ１２で認識した顔部分を中心として、被写体の特徴を示す特徴量を抽出する（ステップＳ１３）。具体的には、制御部１１は、特徴量として、基準画像との合致度を求める。制御部１１は、まず、ステップＳ１２で認識した顔部分の画像から、メモリ５０に予め記録された顔に対する目および口の相対的な位置を示す情報（被写体の特定を行うために必要な情報）を読み出し、目および口の部分を特定する。そして、これらの部分について、基準画像とパターンマッチングを行い、合致度を求める。
【００２７】
なお、複数の基準画像が予め記録されている場合、それぞれの基準画像ごとにステップＳ１２で認識された顔部分について特徴量を抽出する。
次に、制御部１１は、撮像部１０を介して被写体の予備撮像を行い（ステップＳ１４）、予備撮像により生成された画像を制御部１１のメモリ５０に一時記録する。
そして、制御部１１は、抽出した特徴量が閾値を超えたか否かを判定する（ステップＳ１５）。閾値は、前述したように予めメモリ５０に記録されており、前述した基準画像との最低合致度の経験値が定められている。ステップＳ１３で求めた合致度が最低合致度を超えていれば、良好な状態（表情、向きなど）であると判定できる。
【００２８】
なお、複数の基準画像が予め記録されている場合、ステップＳ１３で抽出した複数の特徴量に適当な重み付けを行うか平均を求めてから閾値と比較する。または、複数の基準画像の優先順位をユーザに指定させて、その順位を反映させた代表特徴量を求めて閾値と比較する。
そして、特徴量が閾値を超えたと判定する（ステップＳ１５ＹＥＳ）と、制御部１１は、ステップＳ１７に進む。一方、特徴量が閾値を超えない場合（ステップＳ１５ＮＯ）、制御部１１は、ステップＳ１１でレリーズボタンが半押しされてからの経過時間が、所定の限界時間αよりも長いか否かを判定する（ステップＳ１６）。そして、経過時間が、所定の限界時間αよりも長い場合（ステップＳ１６ＹＥＳ）には、制御部１１は、撮影を開始するためにステップＳ１７に進む。一方、経過時間が、所定の限界時間αよりも短い場合（ステップＳ１６ＮＯ）には、制御部１１は、ステップＳ１３に戻り、ステップＳ１３以降の動作を再び行う。なお、限界時間αとは、ユーザの忍耐力や心理的要素なども加味した経験値である。
【００２９】
特徴量が閾値を超えたと判定する（ステップＳ１５ＹＥＳ）か、経過時間が、所定の限界時間αよりも長い場合（ステップＳ１６ＹＥＳ）には、制御部１１は、撮像部１０を介して連続的な撮影を開始する（ステップＳ１７）。このとき、制御部１１は、所定の時間間隔で連続的に撮影を行う。そして、連続的な撮影により生成された複数の画像を制御部１１のメモリ５０に一時記録する。なお、この連続的な撮影は、請求項の「予備撮像」に対応する。
【００３０】
なお、複数の基準画像が予め記録されている場合、撮像部１０は、複数の基準画像に対応する複数の領域を焦点検出対象とした多点ＡＦを行う。または、至近の領域を優先したＡＦとしたり、重み付けを行ったりしても良い。
次に、制御部１１は、ステップＳ１４の予備撮像およびステップＳ１７で開始した連続的な撮影により生成された複数の画像をメモリ５０から読み出し、顔認識や鮮鋭度の検出などの手法を用いて画像の評価を行って、最も評価の良い１枚の画像を記録部１４に記録し（ステップＳ１８）、一連の処理を終了する。
【００３１】
なお、複数の基準画像が予め記録されている場合、前述した画像の評価に換えて、画像の合成を行っても良い。すなわち、制御部１１は、複数の画像のそれぞれから、基準画像に対応する部分の画像を抜き出し、鮮鋭度の検出などの手法を用いて画像の評価を行って、最も評価の良い画像を選択する。このような選択を、複数の基準画像のそれぞれに対して行って、画像を合成する。このような合成を行うことにより、複数の基準画像ごとに最も評価の高い画像を採用することができる。なお、画像の合成の一部または全部をユーザ操作に基づいて行うようにしても良い。
【００３２】
なお、この変形例では、ステップＳ１８において、ステップＳ１４の予備撮像およびステップＳ１７で開始した連続的な撮影により生成された複数の画像に対して画像の評価を行って、最も評価の良い１枚の画像を記録部１４に記録する例を示したが、複数の画像のうち、記録部１４に記録する画像をユーザにより選択させるようにしても良い。さらに、他のタイミングで予備撮像を行うようにしても良い。
【００３３】
次に、図６に示すフローチャートを参照して、別の変形例について説明する。
なお、図６のフローチャートによって示す変形例では、ユーザは、撮影を行う際にＡＦの対象となる領域に対して操作部２０の不図示のレリーズボタンを半押しし、さらにレリーズボタンを全押しすることにより実際の撮影を開始するものとする。このようなレリーズボタンの半押し、全押しによる撮影は従来と同様の撮影手順である。また、制御部１１は、後述する反応時間の予測を行う。
【００３４】
まず、制御部１１は、操作部２０の不図示のレリーズボタンが半押しされたか否かを判定する（ステップＳ２１）。そして、レリーズボタンが半押しされるまで待機し、レリーズボタンが半押しされたと判定する（ステップＳ２１ＹＥＳ）と、制御部１１は、顔認識を行う（ステップＳ２２）。
制御部１１は、まず、最も新しく撮像されたスルー画像全体に対して被写体認識を行い、その結果に基づいて顔認識を行う。この顔認識は、図２ステップＳ３で説明した顔認識と同様に行われる。なお、被写体認識の負荷を軽減するため、画像内の位置を限定して（例えば、中心から８０％の部分に限定して）被写体認識を行うようにしても良い。
【００３５】
次に、制御部１１は、スルー画像のうち、ステップＳ２２で認識した顔部分を中心として、被写体の特徴を示す特徴量を抽出する（ステップＳ２３）。具体的には、制御部１１は、特徴量として、顔の向きを示す値を求める。制御部１１は、まず、ステップＳ２２で認識した顔部分の画像から、メモリ５０に予め記録された顔に対する目の相対的な位置を示す情報（被写体の特定を行うために必要な情報）を読み出し、目の部分を特定する。さらに、そして、図７Ａに示すように両眼の間の長さＭ（１）を求める。
【００３６】
なお、ステップＳ２２で説明した被写体認識において、複数の撮影対象が認識された場合（領域が複数選択された場合）、それぞれの領域において、ステップＳ２２で認識された顔部分について特徴量を抽出する。
そして、制御部１１は、抽出した特徴量が閾値を超えたか否かを判定する（ステップＳ２４）。閾値は、前述したように予めメモリ５０に記録されており、顔が十分に正面を向いている場合の値の経験値が定められている。例えば、図７Ｃに示すように、顔が十分に正面を向いている状態の両眼の間の長さＭ（ｂｅｓｔ）が記録されている。
【００３７】
なお、ステップＳ２２で説明した被写体認識において、複数の撮影対象が認識された場合（領域が複数選択された場合）、ステップＳ２３で抽出した複数の特徴量に適当な重み付けを行うか平均を求めてから閾値と比較する。または、複数の撮影対象の優先順位をユーザに指定させて、その順位を反映させた代表特徴量を求めて閾値と比較する。
そして、制御部１１は、特徴量が閾値を超えたと判定する（ステップＳ２４ＹＥＳ）と、ステップＳ２５に進み、特徴量が閾値を超えない場合（ステップＳ２４ＮＯ）、ステップＳ２８に進む。
【００３８】
特徴量が閾値を超えたと判定する（ステップＳ２４ＹＥＳ）と、制御部１１は、液晶モニタ２５や不図示の点灯部や音声出力部１５などを介して、撮影可能状態であることをユーザに通知する（ステップＳ２５）。
次に、制御部１１は、操作部２０の不図示のレリーズボタンが全押しされたか否かを判定する（ステップＳ２６）。そして、レリーズボタンが全押しされるまで待機し、レリーズボタンが全押しされたと判定する（ステップＳ２６ＹＥＳ）と、制御部１１は、撮像部１０を介して撮影を開始し（ステップＳ２７）、一連の処理を終了する。なお、ステップＳ２２で説明した被写体認識において、複数の撮影対象が認識された場合（領域が複数選択された場合）、撮像部１０は、複数の撮影対象に対応する複数の領域を焦点検出対象とした多点ＡＦを行う。または、至近の領域を優先したＡＦとしたり、重み付けを行ったりしても良い。
【００３９】
一方、ステップＳ２４の判定において、特徴量が閾値を超えない場合（ステップＳ２４ＮＯ）、制御部１１は、ステップＳ２３と同様の特徴量の抽出を再び行う（ステップＳ２８）。なお、制御部１１は、最も新しく撮像されたスルー画像に基づいて特徴量を抽出する。そして、図７Ｂに示す両眼の間の長さＭ（２）が抽出されたものとして、以下の説明を行う。
【００４０】
次に、制御部１１は、２回の特徴量の抽出（ステップＳ２３およびステップＳ２８参照）の結果を比較し、反応時間を予測する（ステップＳ２９）。具体的には、制御部１１は、顔の向きを示す値としてステップＳ２３およびステップＳ２８で求めた両眼の間の長さＭ（１）およびＭ（２）と、２回の特徴量の抽出が行われた際の時刻ｔ(１)およびｔ(２)と、前述した顔が十分に正面を向いている状態の両眼の間の長さＭ（ｂｅｓｔ）とに基づいて、反応時間を求める。このようにして求めた反応時間が示すのは、予測される最適な撮影タイミングまでの時間である。したがって、例えば、反応時間がΔｔ秒である場合、２回目の特徴量の抽出を行ってからΔｔ秒後に撮像を開始すれば、最適な撮影タイミングで撮影を行うことができる。
【００４１】
なお、ステップＳ２２で説明した被写体認識において、複数の撮影対象が認識された場合（領域が複数選択された場合）、ステップＳ２３およびステップＳ２８で抽出した複数の特徴量に適当な重み付けを行うか平均を求めてから反応時間を求める。または、複数の撮影対象の優先順位をユーザに指定させて、その順位を反映させた反応時間を求める。
次に、制御部１１は、ステップＳ２９で予測した反応時間が、撮影可能時間よりも短いか否かを判定する（ステップＳ３０）。そして、予測した反応時間が、撮影可能時間よりも短い場合（ステップＳ３０ＹＥＳ）には、前述したステップＳ２７に進み、反応時間を優先して、撮像部１０を介して撮影を開始する。
【００４２】
なお、ステップＳ２９で予測した反応時間とは、ステップＳ２９で説明した反応時間Δｔに、所定の予備時間を加算した時間である。予備時間を加算するのは、すぐに撮像を開始する際にも発生すると考えられるタイムラグを補うためであり、この予備時間は経験値に基づいて予め定める。一方、撮影可能時間とは、撮像部１０による通常の撮影におけるシャッタ速度、閃光発光、画像処理などに必要な時間を示す。
【００４３】
一方、予測した反応時間が、撮影可能時間よりも長い場合（ステップＳ３０ＮＯ）には、ステップＳ２３に戻り、ステップＳ２３以降の動作を再び行う。なお、予測した反応時間が、撮影可能時間よりも長い場合とは、まだ撮影タイミングにならないと予測される状態である。したがって、再び特徴量の抽出を行うことで、被写体の動きをリアルタイムでより正確に捉えて、撮影に備えることができる。
【００４４】
なお、この変形例では、予測した反応時間が、撮影可能時間よりも長い場合（ステップＳ３０ＮＯ）には、再び特徴量の抽出を行う例を示したが、図５のステップＳ１６と同様に何らかの限界時間を設けて、経過時間がこの限界時間を超えた場合には、ユーザに対して警告音を出したり、撮影を開始するようにしても良い。
また、この変形例において、反応時間を予測する（ステップＳ２９参照）際に、ＡＦ補正量を算出し、撮影を開始する（ステップＳ２７参照）際に、このＡＦ補正量を加味して撮影を行うようにしても良い。
【００４５】
以上説明したように、本実施形態によれば、複数の撮影対象を含む被写界を撮像する際に、複数の撮影対象の少なくとも１つを含む領域を選択して被写体の特定を行い、特定された被写体の特徴を示す特徴量を抽出する。そして、特徴量が閾値を超えたと判定されると撮像を行う。したがって、被写体の特定対象を限定することができるので、撮影に要する時間を短縮することができる。また、主要被写体を含む領域を選択して、その領域において特徴量の抽出と判定とを行った後に撮影を実行するので、主要被写体を良好に撮影することができる。
【００４６】
また、本実施形態によれば、画像データに対する被写体認識と、パターンマッチングと、領域指定に関わるユーザ操作との少なくとも１つに基づいて、前述した領域の選択を行う。したがって、主要被写体を含む領域を適切に選択することができる。
また、本実施形態によれば、判定結果に応じて、被写体の注意を喚起する動作を行う。したがって、被写体の注意を喚起して撮像装置の方を向かせることが可能になるので、子供やペットなどが主要被写体である場合にも、撮影が困難な被写体の顔を撮像装置の方に向かせて、撮影を行うことができる。
【００４７】
また、本実施形態によれば、被写体の特定が開始されてからの経過時間を所定の限界時間と比較し、経過時間が限界時間よりも長くなると撮像を行う。したがって、被写体が予想外の動きをしている場合や、誤検出が起こっている場合でも適切な撮影を行うことができる。また、限界時間を定めることにより、撮影に要する時間が過剰に長くなるのを防ぎ、撮影時の雰囲気を守りながら撮影を行うことができる。
【００４８】
また、本実施形態によれば、被写体の特定を少なくとも２回行い、さらに、特徴量の抽出を被写体の特定を行うたびに行い、抽出結果に基づいて最適な撮影タイミングを予測する。すなわち、抽出結果から反応時間を算出して、撮影タイミングを予測するので、正確な撮影タイミングを予測することができる。さらに、この撮影タイミングで撮影を行うことにより、最適なタイミングで撮影を行い、良好な画像を得ることができる。
【００４９】
また、本実施形態によれば、被写体の予備撮像を、判定の前後に少なくとも１回ずつ行う。したがって、被写体が予想外の動きをした場合でも、撮影タイミングを逃さずに撮影を行い、良好な画像を得ることができる。
なお、本実施形態では、領域の選択の方法（被写体認識、パターンマッチング、ユーザ操作など）と、特徴量の種類（目の開き具合、顔の向きなど）とが予め定められている例を示したが、領域の選択の方法および特徴量の種類を、ユーザ操作に応じて選択および変更可能にしても良い。
【００５０】
また、本実施形態で説明した特徴量以外でも、撮影に最適な状態を判別可能な特徴量であれば、鼻の位置を示す値や、両眼の鼻または顔の中央に対する非対称度合値や、顔の回転角度を示す値などどのようなものを用いても良い。
また、本実施形態では、特徴量の閾値が予め定められている例を示したが、以下のようにしても良い。すなわち、領域の選択の方法（被写体認識、パターンマッチング、ユーザ操作など）と、特徴量の種類（目の開き具合、顔の向きなど）との少なくとも一方に基づいて閾値を決定して判定を行うようにしても良い。このように閾値を決定すれば、被写体の特定および特徴量の抽出の難易度に応じて、適切な閾値を設定することができる。また、ユーザ操作に応じて閾値を設定可能にしても良い。
【００５１】
また、本実施形態で説明した顔認識および抽出した特徴量と閾値との比較・判定に際して、ある程度の幅を設ける。実際に撮影を行う際には、多少の誤差があっても問題ない。したがって、ある程度の幅を持たせることにより、顔認識および抽出した特徴量と閾値との比較・判定を必要以上に厳密にしてしまうのを防ぎ、適切な撮影を行うことができる。
また、本実施形態の図２、図５、図６で説明した各ステップを、必要に応じて、組み合わせて実行しても良いし、順番を入れ替えて実行しても良いし、一部の処理を並行で実行しても良い。
【００５２】
また、本実施形態では、「記念写真や集合写真など複数の撮影対象を含む被写界の撮影」を行うモードを備える例を示したが、従来からあるシーンモードなどに組み合わせて使用するようにしても良い。また、図６のフローチャートによって示した変形例で説明した被写体認識の結果に基づいて、モードの選択などを自動化するようにしても良い。
また、本実施形態では、人を撮影対象とする例を挙げて説明を行ったが、ペットなどを撮影する場合にも、本発明を適用することができる。
【００５３】
また、本実施形態では、本発明の撮像装置の一例として電子カメラ１を用いて説明を行ったが、動画を撮影可能な電子カメラなど、他の撮像装置に適用しても良い。例えば、動画を撮影可能な電子カメラに適用した場合、被写体の特定結果をＡＦに用いれば、動画撮影におけるＡＦの処理速度および精度の向上というさらなる効果も期待できる。
また、本発明を、カメラとコンピュータとからなる撮像装置に適用し、本実施形態の電子カメラ１が行った制御の一部または全てをコンピュータで実現するようにしても良い。
【図面の簡単な説明】
【００５４】
【図１】電子カメラ１の構成を示すブロック図である。
【図２】電子カメラ１の動作を示すフローチャートである。
【図３】領域の選択について説明する図である。
【図４】目の開き具合について説明する図である。
【図５】電子カメラ１の動作の変形例を示すフローチャートである。
【図６】電子カメラ１の動作の別の変形例を示すフローチャートである。
【図７】顔の向きについて説明する図である。
【符号の説明】
【００５５】
１ 電子カメラ
１０ 撮像部
１１ 制御部
１２ 画像処理部
１３ 表示処理部
１４ 記録部
１５ 音声出力部
２０ 操作部
２５ 液晶モニタ
５０ メモリ
【特許請求の範囲】
【請求項１】
複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部と、
前記複数の撮影対象の少なくとも１つを含む領域を選択する選択部と、
前記撮像部により生成された前記画像データのうち、前記選択部により選択された領域において被写体の特定を行う特定部と、
前記特定部により特定された前記被写体の特徴を示す特徴量を抽出する抽出部と、
前記抽出部により抽出された前記特徴量が、閾値を超えたか否かを判定する判定部とを備え、
前記撮像部は、前記判定部により前記特徴量が前記閾値を超えたと判定されると前記撮像を行う
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記選択部は、前記撮像部により生成された前記画像データに対する被写体認識と、前記撮像部により生成された前記画像データに対するパターンマッチングと、領域指定に関わるユーザ操作との少なくとも１つに基づいて、前記被写界における領域を選択する
ことを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記判定部は、前記選択部による選択の方法と、前記抽出部により抽出される前記特徴量の種類との少なくとも一方に基づいて前記閾値を決定して、前記判定を行う
ことを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記判定部による判定結果に応じて、前記被写体の注意を喚起する動作を行う注意喚起部をさらに備える
ことを特徴とする撮像装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の撮像装置において、
前記特定部による被写体の特定が開始されてからの経過時間を所定の限界時間と比較する比較部をさらに備え、
前記撮像部は、前記比較部による比較の結果、前記経過時間が前記所定の限界時間よりも長くなると前記撮像を行う
ことを特徴とする撮像装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の撮像装置において、
前記特定部は、前記被写体の特定を少なくとも２回行い、
前記抽出部は、前記特徴量の抽出を前記特定部が前記被写体の特定を行うたびに行い、
前記抽出部による前記特徴量の抽出結果に基づいて最適な撮影タイミングを予測するタイミング予測部をさらに備える
ことを特徴とする撮像装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の撮像装置において、
前記撮像部は、前記被写体の予備撮像を、前記判定部による判定の前後に少なくとも１回ずつ行う
ことを特徴とする撮像装置。
【請求項８】
複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部を備えた撮像装置に対する制御をコンピュータで実現するプログラムであって、
前記複数の撮影対象の少なくとも１つを含む領域を選択する選択手順と、
前記撮像部により生成された前記画像データのうち、前記選択手順において選択された領域において被写体の特定を行う特定手順と、
前記特定手順において特定された前記被写体の特徴を示す特徴量を抽出する抽出手順と、
前記抽出手順において抽出された前記特徴量が、閾値を超えたか否かを判定する判定手順と、
前記判定手順において前記特徴量が前記閾値を超えたと判定されると、前記撮像部に前記撮像を指示する指示手順と
を備えたことを特徴とするプログラム。
【請求項１】
複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部と、
前記複数の撮影対象の少なくとも１つを含む領域を選択する選択部と、
前記撮像部により生成された前記画像データのうち、前記選択部により選択された領域において被写体の特定を行う特定部と、
前記特定部により特定された前記被写体の特徴を示す特徴量を抽出する抽出部と、
前記抽出部により抽出された前記特徴量が、閾値を超えたか否かを判定する判定部とを備え、
前記撮像部は、前記判定部により前記特徴量が前記閾値を超えたと判定されると前記撮像を行う
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記選択部は、前記撮像部により生成された前記画像データに対する被写体認識と、前記撮像部により生成された前記画像データに対するパターンマッチングと、領域指定に関わるユーザ操作との少なくとも１つに基づいて、前記被写界における領域を選択する
ことを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記判定部は、前記選択部による選択の方法と、前記抽出部により抽出される前記特徴量の種類との少なくとも一方に基づいて前記閾値を決定して、前記判定を行う
ことを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記判定部による判定結果に応じて、前記被写体の注意を喚起する動作を行う注意喚起部をさらに備える
ことを特徴とする撮像装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の撮像装置において、
前記特定部による被写体の特定が開始されてからの経過時間を所定の限界時間と比較する比較部をさらに備え、
前記撮像部は、前記比較部による比較の結果、前記経過時間が前記所定の限界時間よりも長くなると前記撮像を行う
ことを特徴とする撮像装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の撮像装置において、
前記特定部は、前記被写体の特定を少なくとも２回行い、
前記抽出部は、前記特徴量の抽出を前記特定部が前記被写体の特定を行うたびに行い、
前記抽出部による前記特徴量の抽出結果に基づいて最適な撮影タイミングを予測するタイミング予測部をさらに備える
ことを特徴とする撮像装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の撮像装置において、
前記撮像部は、前記被写体の予備撮像を、前記判定部による判定の前後に少なくとも１回ずつ行う
ことを特徴とする撮像装置。
【請求項８】
複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部を備えた撮像装置に対する制御をコンピュータで実現するプログラムであって、
前記複数の撮影対象の少なくとも１つを含む領域を選択する選択手順と、
前記撮像部により生成された前記画像データのうち、前記選択手順において選択された領域において被写体の特定を行う特定手順と、
前記特定手順において特定された前記被写体の特徴を示す特徴量を抽出する抽出手順と、
前記抽出手順において抽出された前記特徴量が、閾値を超えたか否かを判定する判定手順と、
前記判定手順において前記特徴量が前記閾値を超えたと判定されると、前記撮像部に前記撮像を指示する指示手順と
を備えたことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−９４０５９（Ｐ２００６−９４０５９Ａ）
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願番号】特願２００４−２７６０６４（Ｐ２００４−２７６０６４）
【出願日】平成１６年９月２２日（２００４．９．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願日】平成１６年９月２２日（２００４．９．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]