撮像装置、撮像方法及びプログラム
【課題】同じような表情やシーンの画像を余剰に撮影することを防止するとともに、被写体の様々な表情を簡単に撮影できるようにする。
【解決手段】顔検出部１０４は、撮像系１０２によって撮像された被写体の顔を検出し、表情検出部１０５は、前記検出された顔の表情に関する評価値を算出する。そして、メモリ１０８には過去の評価値が記憶されており、自動撮影制御部１０６は、前記算出された評価値が閾値よりも大きく、なおかつメモリ１０８に記憶された過去の評価値のうち、現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に、撮影を指示する。
【解決手段】顔検出部１０４は、撮像系１０２によって撮像された被写体の顔を検出し、表情検出部１０５は、前記検出された顔の表情に関する評価値を算出する。そして、メモリ１０８には過去の評価値が記憶されており、自動撮影制御部１０６は、前記算出された評価値が閾値よりも大きく、なおかつメモリ１０８に記憶された過去の評価値のうち、現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に、撮影を指示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、撮像方法及びプログラムに関し、特に、オートシャッター撮影技術に用いて好適な技術に関する。
【背景技術】
【０００２】
従来、顔検出機能を備えたデジタルカメラにおいて、被写体の表情を判別して自働的に撮影を行う技術が知られている。その中でも代表的な技術としては、笑顔検出機能によるオートシャッター撮影技術が知られている。
【０００３】
この笑顔検出機能によるオートシャッター撮影技術では、まず、表示装置に表示されている画像から顔検出機能によって被写体の顔を検出する。次に、検出された顔に対し、笑顔判別機能によって笑顔の評価値を算出する。笑顔を判別する方法としては、パターンマッチングによって代表的な笑顔画像との相関をとる方法や、顔に含まれるエッジのベクトル解析による笑顔判別アルゴリズムなどが知られている。次に、時系列に算出された笑顔の評価値を解析し、被写体の最も良い笑顔を撮影するのに最適なタイミングを撮像部へ指示する。そして、撮像部は画像の撮影を行い、撮影画像をメモリに記録する。
【０００４】
このように撮影を指示する技術として、例えば特許文献１には、笑顔の評価値と予め決められた笑顔の閾値とを比較し、閾値を超えた場合に撮影を指示する方法が開示されている。また、特許文献２には、より最適な笑顔の撮影タイミングを判別する方法として、笑顔の評価値の推移から撮影に最適なタイミングを推測して求める方法が開示されている。さらに、他の技術としては、撮影時に複数枚の静止画を連写撮影することによって失敗を防ぐ方法などが知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−４２３１９号公報
【特許文献２】特許第４２４０１０８号公報
【非特許文献】
【０００６】
【非特許文献１】「固有空間法を用いた濃淡画像からの顔の向きの推定法」信学技法IE97-40P111〜
【非特許文献２】「濃淡画像マッチングによるロバストな正面顔の識別法」電子情報通信学会論文誌'93/7Vol.J76-D-2 No.7 P1363〜
【非特許文献３】「コンピュータによる顔の認識の研究動向」電子情報通信学会誌'93 Vol80 No.3 P257〜
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１に記載の従来技術では、被写体の笑顔の評価値が所定の閾値を超えた場合に常に撮影を行う。また、特許文献２に記載の従来技術では、最適な笑顔の撮影タイミングを検出する度に撮影を行う。このため、被写体が同じような表情で笑い続けていると、同じような笑顔画像を余剰に撮影してしまうという課題がある。
【０００８】
本発明は前述の問題点に鑑み、同じような表情やシーンの画像を余剰に撮影することを防止するとともに、被写体の様々な表情を簡単に撮影できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段によって撮像された被写体の顔を検出する顔検出手段と、前記顔検出手段によって検出された顔の表情に関する評価値を算出する評価値算出手段と、前記評価値算出手段により算出された評価値に基づいて、撮影を指示する撮像制御手段と、前記評価値算出手段によって算出された過去の評価値を記憶する記憶手段とを備え、前記撮像制御手段は、前記記憶手段に記憶された過去の評価値のうち、前記評価値算出手段により算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に、撮影を指示することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、既に撮影済みの画像と似たような表情やシーンの画像を余剰に撮影してしまうことを防ぎ、ユーザの取得したい表情の顔を過不足なく撮影できる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係るデジタルカメラの構成例を示すブロック図である。
【図２】第１の実施形態における撮影指示の処理手順の一例を示すフローチャートである。
【図３】撮影可能な表情評価値及び表情評価閾値の一例を示す図である。
【図４】人物ごとの撮影可能な表情評価値の一例を示す図である。
【図５】第３の実施形態における撮影指示の処理手順の一例を示すフローチャートである。
【図６】類似度を構成する評価値の一例を示す図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、本発明の好ましい第１の実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。本実施形態に係るデジタルカメラ１００には、表情判別による自動撮影機能が搭載されている。
【００１３】
図１において、撮像系１０２は、光学系１０１によって結像された光をデジタル電気信号へ変換する。画像処理回路１０３は、この変換されたデジタル電気信号を画像データへ変換する。撮像制御部１０７は、撮像素子の動作制御、ＡＥ（Auto Exposure）に関わるシャッターや絞りなどのメカ制御、およびＡＦ（Auto Focus）に関わるレンズ位置制御など、撮像系１０２による撮像シーケンスの制御を行う。
【００１４】
顔検出部１０４は、画像処理回路１０３によって変換された画像データに対して顔検出を行う。表情検出部１０５は評価値算出手段として機能し、顔検出部１０４によって検出された各々の顔画像に対して表情評価値Ｆを算出する。本実施形態では、表情検出の一例として、被写体の笑った瞬間を検出する。笑顔を検出する方法としては、代表的な笑顔画像とのマッチングを行う手法や、顔のエッジ成分のベクトル解析を行う手法など一般的な手法を用いる。
【００１５】
自動撮影制御部１０６は、メモリ１０８に保持されている表情判定閾値Ｆ＿Ｔｈ、過去に撮影された画像の表情評価値Ｐ（ｉ）（ｉ＝１、２、・・・、ｎ）及びタイムスタンプ情報を元に撮影条件を適応的に更新する。また、自動撮影制御部１０６は、表情検出部１０５により算出された表情評価値Ｆが所定の条件を満たした場合に、撮像制御部１０７に対して撮影を指示する。そして、その時の表情評価値Ｆを最新の撮影済み表情評価値Ｐ（ｎ）としてメモリ１０８に保存する。
【００１６】
ここで、メモリ１０８に保存できる過去の撮影情報は最大でＮ回分（Ｎは任意）とし、常に新しい情報をメモリ１０８に保存してＮ回分の撮影情報が保存されている場合には、最も古い情報から削除するものとする。また、過去の撮影情報とは、デジタルカメラ１００が表情検出による自動撮影モードに移行してから、同モードを抜けるまでの期間に保存された情報としてもよく、デジタルカメラ１００の電源が投入された直後から電源が切れるまでの期間としてもよい。
【００１７】
次に、自動撮影制御部１０６の撮影判定アルゴリズムについて図２を参照しながら詳細に説明する。図２は、本実施形態において、自動撮影制御部１０６による撮影指示の処理手順の一例を示すフローチャートである。
まず、表情検出部１０５により算出された入力画像の表情評価値Ｆが自動撮影制御部１０６に入力されると処理を開始する。そして、Ｓ２０１において、メモリ１０８より過去に撮影した時の表情評価値Ｐ（ｉ）、過去の撮影タイムスタンプｔｍ（ｉ）、及び予め定められた表情判定閾値Ｆ＿Ｔｈを取得する。
【００１８】
次に、Ｓ２０２において、表情判定閾値Ｆ＿Ｔｈと入力画像の表情評価値Ｆとを比較する。この比較の結果、表情評価値Ｆが表情判定閾値Ｆ＿Ｔｈ以下である場合は、撮影の指示を行わず、処理を終了する。一方、Ｓ２０２の比較の結果、入力表情評価値Ｆが表情判定閾値Ｆ＿Ｔｈを上回る場合は、次のＳ２０３に進む。
【００１９】
次に、Ｓ２０３において、過去に撮影した画像の最新のタイムスタンプｔｍ（ｎ）を参照し、前回の撮影から充分な時間が経過しているか否かを判定する。この判定の結果、充分な時間が経過している場合は、シーンが変動している可能性が高いと判断し、Ｓ２０５において、撮像制御部１０７に対して撮影を指示する。このとき、メモリ１０８に最新の表情評価値Ｆを保存する。一方、Ｓ２０３の判定の結果、充分な時間が経過していない場合は、同じような画像を複数枚撮影してしまう可能性があるため、Ｓ２０４に進む。
【００２０】
次に、Ｓ２０４において、過去の表情評価値Ｐ（ｉ）に基づいて撮影判定を行う。撮影判定では、図３（Ａ）に示すように表情評価値Ｐ（ｉ）を中心とした周辺区間［Ｐ（ｉ）−α，Ｐ（ｉ）＋α］を撮影不可領域とする。この撮影判定の結果、入力画像の表情評価値Ｆがこの領域に存在する場合は、似たような表情が映った画像だと判断し、撮影の指示を行わず、処理を終了する。
【００２１】
一方、Ｓ２０４の撮影判定の結果、表情評価値Ｆが上記に示した区間に存在しない場合は、撮影すべき表情だと判定し、Ｓ２０５において、自動撮影制御部１０６は撮像制御部１０７に対して撮影を指示するとともに、メモリ１０８に最新の表情評価値Ｆを保存する。
【００２２】
なお、Ｓ２０４の判定では、過去の撮影評価値の最大値Ｐ＿ｍａｘ＝ＭＡＸ［Ｐ（１）、Ｐ（２）、Ｐ（３）、・・・］より表情評価値Ｆが所定値以上大きい場合（Ｆ＞Ｐ＿ｍａｘ）にのみ撮影を行うようにしてもよい。また、Ｓ２０２の判定では、図３（Ｂ）に示すように、過去の撮影回数に応じて表情判別閾値Ｆ＿Ｔｈを徐々に大きくし、似たようなレベルの表情を撮影する頻度を落とすようにしてよい。
【００２３】
以上のように本実施形態によれば、過去に撮影された顔の表情に基づいて撮影対象を絞りこむことができ、同じような表情の画像を連続で撮影して記録することを防ぐことができる。
【００２４】
（第２の実施形態）
以下、図１、図２及び図４を参照しながら、本発明の第２の実施形態について説明する。なお、本実施形態に係るデジタルカメラの構成は図１と同様であるため説明は省略する。
【００２５】
次に、本実施形態に係る撮影判定アルゴリズムについて図３及び図４を参照しながら詳細に説明する。なお、本実施形態の処理手順は基本的には図２と同様の流れであるため、異なる点を中心に説明する。
まず、顔検出部１０４は、個人認証技術に代表される人物特定アルゴリズムを用いて、画像中に含まれる顔画像を分類する。例えば、図４（Ａ）に示すように、画像中の人物を分類し、それぞれＩＤを割りあてる。ここで個人認証技術では、入力された顔画像と、登録されている顔画像又は過去に撮影した顔画像との類似度を算出する。なお、これらの登録されている顔画像又は過去に撮影した顔画像は、メモリ１０８に保持されているものとする。類似度を算出する方法としては、入力された顔画像の大きさ、角度、輝度などを正規化した後、フーリエスペクトルのＫＬ展開法を用いて算出する方法を用いる。また、パターンマッチングによる方法や、抽出した顔画像を正規化してブロック化し、その輝度間の距離を求める手法などを用いてもよい。これらの手法に関する詳細については、例えば非特許文献１〜３に開示されている。
【００２６】
以上のようにすべての顔に対して、表情検出部１０５により表情評価値Ｆxが算出され、この算出された表情評価値Ｆxが自動撮影制御部１０６に入力されると、図２に示す撮影判定処理を開始する。なお、ｘはＩＤを示している。そして、Ｓ２０１において、自動撮影制御部１０６は、メモリ１０８より、個人認証によって分類された個人ごとの過去に撮影した表情評価値Ｐ（ｉx）、過去の撮影タイムスタンプｔｍ（ｉx）、及び予め定められた表情判定閾値Ｆ＿Ｔｈを取得する。
【００２７】
次に、Ｓ２０２においては、表情判定閾値Ｆ＿Ｔｈと入力画像に含まれるすべての顔の表情評価値Ｆxとを比較する。この比較の結果、入力画像中に含まれるすべての顔の表情評価値Ｆxが表情判定閾値Ｆ＿Ｔｈ以下である場合は撮影の指示を行わず、処理を終了する。
【００２８】
一方、Ｓ２０２の比較の結果、少なくとも１つの顔の表情評価値Ｆxが表情判定閾値Ｆ＿Ｔｈを上回る場合は、Ｓ２０３において、過去に撮影した画像の最新のタイムスタンプｔｍ（ｎx）を参照し、前回の撮影よりも充分な時間が経過しているか否かを判定する。この判定の結果、充分な時間が経過している場合は、シーンが変動している可能性が高いと判断し、Ｓ２０５へ進み、撮影を指示する。このとき、メモリ１０８に最新の表情評価値Ｆを保存する。
【００２９】
例えば、ＩＤ１の人物の表情評価値Ｆ1が表情判定閾値Ｆ＿Ｔｈを上回った場合に、過去にＩＤ１の人物をトリガとして撮影した画像の最新のタイムスタンプｔｍ（ｎ1）と現在の時刻とを比べて充分な時間が経過している場合は撮影を指示する。一方、Ｓ２０３の判定の結果、充分な時間が経過していない場合は、同じような画像を複数枚撮影してしまう可能性が高いため、Ｓ２０４に進む。なお、判定の対象となるのは、表情評価値Ｆxが表情判定閾値Ｆ＿Ｔｈを上回る顔のみであり、表情評価値Ｆxが表情判定閾値Ｆ＿Ｔｈ以下で充分な時間が経過した顔が存在する場合であっても、判定には考慮されない。
【００３０】
次に、Ｓ２０４において、過去の表情評価値Ｐ（ｉx）に基づいて撮影判定を行う。撮影判定は、第１の実施形態と同様に、図３（Ａ）に示すような撮影不可領域に、表情評価値Ｆxが存在するか否かを判定する。この撮影判定の結果、表情評価値Ｆxがこの領域に存在する場合は、撮影の指示は行わず、処理を終了する。一方、Ｓ２０４の判定の結果、表情評価値Ｆxが上記に示した区間に存在しない場合は、Ｓ２０５において、自動撮影制御部１０６は撮像制御部１０７に対して撮影を指示するとともに、メモリ１０８に最新の表情評価値Ｆxを保存する。なお、第１の実施形態と同様に、過去の撮影評価値の最大値Ｐ＿ｍａｘより表情評価値Ｆが所定値以上大きい場合（Ｆ＞Ｐ＿ｍａｘ）にのみ撮影を行うようにしてもよい。
【００３１】
また、上記撮影判定はＩＤ別に行う。例えば、図４（Ｂ）に示すように、ＩＤ１の人物に関する過去の表情評価値がＰ（１）＝１８０、Ｐ（２）＝２２０、ｎ1＝２、α＝１５であるものとする。また、ＩＤ３の人物に関する過去の表情評価値が存在せず、ｎ3＝０であるものとする。この場合、ＩＤ１の人物の表情評価値がＦ1＝２１０であっても、図４（Ｂ）に示す斜線で示した撮影不可領域に属する。ところが、ＩＤ１の人物とＩＤ３の人物とで表情評価値が同じだった場合に、ＩＤ３の人物に関してはＦ3＝２１０近辺で過去に撮影されたことがないので、撮影可能領域となる。したがって、このように少なくとも１人が撮影可能領域である場合には、Ｓ２０５に進む。
【００３２】
以上のように本実施形態によれば、過去に撮影された人物ごとの顔の表情に基づいて撮影対象を絞りこむことができ、同じような表情の画像を連続で撮影して記録することを防ぐことができる。
【００３３】
（第３の実施形態）
以下、図１、図５及び図６を参照しながら、本発明の第３の実施形態について説明する。第１及び第２の実施形態では、人物の表情の変化に基づいて撮影制御を行ったが、本実施形態では、画像全体の類似度に基づいて撮影制御を行う。なお、本実施形態に係るデジタルカメラの構成は図１とほぼ同様であるため、異なる点についてのみ説明する。
【００３４】
自動撮影制御部１０６は、メモリ１０８に保持されている表情判定閾値Ｆ＿Ｔｈ、及び過去に撮影された画像と入力画像との間の類似度に基づいて撮影を行うべきシーンかどうかを判定する。そして、類似度が低い入力画像である場合は、撮像制御部１０７に対して撮影を指示する。なお、メモリ１０８には、類似度を求めるために必要な情報として、過去の撮影画像、その縮小画像、もしくは過去の撮影時のＡＦの撮影制御値（距離情報）や、ＡＥの撮影制御値（露出情報）などのログのうち、少なくとも１つ以上の情報が保存されている。
【００３５】
次に、自動撮影制御部１０６の撮影判定アルゴリズムについて図５を参照しながら詳細に説明する。図５は、本実施形態において、自動撮影制御部１０６及び顔検出部１０４による撮影指示の処理手順の一例を示すフローチャートである。
まず、表情検出部１０５により算出された入力画像の表情評価値Ｆが自動撮影制御部１０６に入力されると処理を開始する。そして、Ｓ５０１において、自動撮影制御部１０６は、メモリ１０８から表情判定閾値Ｆ＿Ｔｈを読み出し、表情判定閾値Ｆ＿Ｔｈと入力画像の表情評価値Ｆとを比較する。この比較の結果、表情評価値Ｆが表情判定閾値Ｆ＿Ｔｈ以下である場合は、撮影の指示は行わず、処理を終了する。一方、Ｓ５０１の比較の結果、表情評価値Ｆが表情判定閾値Ｆ＿Ｔｈを上回る場合は、次のＳ５０２に進む。
【００３６】
次に、Ｓ５０２において、顔検出部１０４は、メモリ１０８に保持されている過去の撮影画像に含まれている顔であり、過去ｎ回の撮影においてその撮影のトリガとなった顔を参照し、前述した個人認証技術による被写体の照合を行う。この照合の結果、入力画像に含まれる顔が、過去に撮影のトリガとなったどの顔とも異なる場合は、Ｓ５０５に進む。
【００３７】
一方、Ｓ５０２の照合の結果、過去に撮影したことのある顔である場合は、Ｓ５０３に進む。そして、Ｓ５０３において、自動撮影制御部１０６は類似度算出手段として機能し、メモリ１０８に保持されている過去の撮影時の詳細な情報を用いて画像全体の類似度を算出する。ここで、類似度を構成する要素としては、以下の（１）〜（６）に示す評価値がある。
（１）撮影時のＡＦ情報より算出される距離差（Ｐ１）
（２）撮影時のＡＥ情報より算出される露出差（Ｐ２）
（３）撮影時の顔情報より算出される顔サイズ差（Ｐ３）
（４）過去の撮影画像中に含まれる顔の数と入力画像中に含まれる顔の数との差（Ｐ４）
（５）過去の撮影画像と入力画像の相関をとって算出される画像全体の相関値（Ｐ５）
（６）画像中に含まれる輝度又は色のヒストグラム分布の差（Ｐ６）
【００３８】
類似度は（１）〜（６）のうち、少なくとも１つの条件を用いて算出され、それぞれの評価値Ｐ１〜Ｐ６に対する重み付け加算を行って算出される。図６は、前述した（１）〜（６）の条件から類似度を算出する概要の一例を示す図である。図６に示すように、過去の撮影画像Ａと入力画像とのＡＦ、ＡＥ、顔情報などの差分をそれぞれ評価値Ｐ１〜Ｐ４とし、画像相関値を評価値Ｐ５とし、さらにヒストグラムの差分の絶対値の総和を評価値Ｐ６とする。この場合、類似度Ｔは、例えば以下のような式によって求めることが可能である。
【００３９】
【数１】
【００４０】
ここで、ｗ１〜ｗ６はそれぞれ評価値Ｐ１〜Ｐ６に対する重みである。そして、次のＳ５０４において、算出された類似度Ｔが所定値以上であるか否かを判定する。この判定の結果、類似度Ｔが所定値よりも低い場合は、シーンの異なる被写体だと判断し、Ｓ５０５において、自動撮影制御部１０６は撮像制御部１０７に対して撮影を指示するとともに、メモリ１０８に最新の撮影条件及び撮影画像を保存する。一方、Ｓ５０４の判定の結果、類似度Ｔが所定値以上である場合は、入力画像は過去に撮影したシーンと類似したシーンであると判断し、撮影の指示を行わず、そのまま処理を終了する。
【００４１】
以上のように本実施形態によれば、過去に撮影された画像とのシーンの変化に基づいて撮影対象を絞りこむことができ、同じようなシーンの画像を連続で撮影して記録することを防ぐことができる。
【００４２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４３】
１０２ 撮像系
１０４ 顔検出部
１０５ 表情検出部
１０６ 自動撮影制御部
１０７ 撮影制御部
１０８ メモリ
【技術分野】
【０００１】
本発明は撮像装置、撮像方法及びプログラムに関し、特に、オートシャッター撮影技術に用いて好適な技術に関する。
【背景技術】
【０００２】
従来、顔検出機能を備えたデジタルカメラにおいて、被写体の表情を判別して自働的に撮影を行う技術が知られている。その中でも代表的な技術としては、笑顔検出機能によるオートシャッター撮影技術が知られている。
【０００３】
この笑顔検出機能によるオートシャッター撮影技術では、まず、表示装置に表示されている画像から顔検出機能によって被写体の顔を検出する。次に、検出された顔に対し、笑顔判別機能によって笑顔の評価値を算出する。笑顔を判別する方法としては、パターンマッチングによって代表的な笑顔画像との相関をとる方法や、顔に含まれるエッジのベクトル解析による笑顔判別アルゴリズムなどが知られている。次に、時系列に算出された笑顔の評価値を解析し、被写体の最も良い笑顔を撮影するのに最適なタイミングを撮像部へ指示する。そして、撮像部は画像の撮影を行い、撮影画像をメモリに記録する。
【０００４】
このように撮影を指示する技術として、例えば特許文献１には、笑顔の評価値と予め決められた笑顔の閾値とを比較し、閾値を超えた場合に撮影を指示する方法が開示されている。また、特許文献２には、より最適な笑顔の撮影タイミングを判別する方法として、笑顔の評価値の推移から撮影に最適なタイミングを推測して求める方法が開示されている。さらに、他の技術としては、撮影時に複数枚の静止画を連写撮影することによって失敗を防ぐ方法などが知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−４２３１９号公報
【特許文献２】特許第４２４０１０８号公報
【非特許文献】
【０００６】
【非特許文献１】「固有空間法を用いた濃淡画像からの顔の向きの推定法」信学技法IE97-40P111〜
【非特許文献２】「濃淡画像マッチングによるロバストな正面顔の識別法」電子情報通信学会論文誌'93/7Vol.J76-D-2 No.7 P1363〜
【非特許文献３】「コンピュータによる顔の認識の研究動向」電子情報通信学会誌'93 Vol80 No.3 P257〜
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１に記載の従来技術では、被写体の笑顔の評価値が所定の閾値を超えた場合に常に撮影を行う。また、特許文献２に記載の従来技術では、最適な笑顔の撮影タイミングを検出する度に撮影を行う。このため、被写体が同じような表情で笑い続けていると、同じような笑顔画像を余剰に撮影してしまうという課題がある。
【０００８】
本発明は前述の問題点に鑑み、同じような表情やシーンの画像を余剰に撮影することを防止するとともに、被写体の様々な表情を簡単に撮影できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段によって撮像された被写体の顔を検出する顔検出手段と、前記顔検出手段によって検出された顔の表情に関する評価値を算出する評価値算出手段と、前記評価値算出手段により算出された評価値に基づいて、撮影を指示する撮像制御手段と、前記評価値算出手段によって算出された過去の評価値を記憶する記憶手段とを備え、前記撮像制御手段は、前記記憶手段に記憶された過去の評価値のうち、前記評価値算出手段により算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に、撮影を指示することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、既に撮影済みの画像と似たような表情やシーンの画像を余剰に撮影してしまうことを防ぎ、ユーザの取得したい表情の顔を過不足なく撮影できる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係るデジタルカメラの構成例を示すブロック図である。
【図２】第１の実施形態における撮影指示の処理手順の一例を示すフローチャートである。
【図３】撮影可能な表情評価値及び表情評価閾値の一例を示す図である。
【図４】人物ごとの撮影可能な表情評価値の一例を示す図である。
【図５】第３の実施形態における撮影指示の処理手順の一例を示すフローチャートである。
【図６】類似度を構成する評価値の一例を示す図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、本発明の好ましい第１の実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。本実施形態に係るデジタルカメラ１００には、表情判別による自動撮影機能が搭載されている。
【００１３】
図１において、撮像系１０２は、光学系１０１によって結像された光をデジタル電気信号へ変換する。画像処理回路１０３は、この変換されたデジタル電気信号を画像データへ変換する。撮像制御部１０７は、撮像素子の動作制御、ＡＥ（Auto Exposure）に関わるシャッターや絞りなどのメカ制御、およびＡＦ（Auto Focus）に関わるレンズ位置制御など、撮像系１０２による撮像シーケンスの制御を行う。
【００１４】
顔検出部１０４は、画像処理回路１０３によって変換された画像データに対して顔検出を行う。表情検出部１０５は評価値算出手段として機能し、顔検出部１０４によって検出された各々の顔画像に対して表情評価値Ｆを算出する。本実施形態では、表情検出の一例として、被写体の笑った瞬間を検出する。笑顔を検出する方法としては、代表的な笑顔画像とのマッチングを行う手法や、顔のエッジ成分のベクトル解析を行う手法など一般的な手法を用いる。
【００１５】
自動撮影制御部１０６は、メモリ１０８に保持されている表情判定閾値Ｆ＿Ｔｈ、過去に撮影された画像の表情評価値Ｐ（ｉ）（ｉ＝１、２、・・・、ｎ）及びタイムスタンプ情報を元に撮影条件を適応的に更新する。また、自動撮影制御部１０６は、表情検出部１０５により算出された表情評価値Ｆが所定の条件を満たした場合に、撮像制御部１０７に対して撮影を指示する。そして、その時の表情評価値Ｆを最新の撮影済み表情評価値Ｐ（ｎ）としてメモリ１０８に保存する。
【００１６】
ここで、メモリ１０８に保存できる過去の撮影情報は最大でＮ回分（Ｎは任意）とし、常に新しい情報をメモリ１０８に保存してＮ回分の撮影情報が保存されている場合には、最も古い情報から削除するものとする。また、過去の撮影情報とは、デジタルカメラ１００が表情検出による自動撮影モードに移行してから、同モードを抜けるまでの期間に保存された情報としてもよく、デジタルカメラ１００の電源が投入された直後から電源が切れるまでの期間としてもよい。
【００１７】
次に、自動撮影制御部１０６の撮影判定アルゴリズムについて図２を参照しながら詳細に説明する。図２は、本実施形態において、自動撮影制御部１０６による撮影指示の処理手順の一例を示すフローチャートである。
まず、表情検出部１０５により算出された入力画像の表情評価値Ｆが自動撮影制御部１０６に入力されると処理を開始する。そして、Ｓ２０１において、メモリ１０８より過去に撮影した時の表情評価値Ｐ（ｉ）、過去の撮影タイムスタンプｔｍ（ｉ）、及び予め定められた表情判定閾値Ｆ＿Ｔｈを取得する。
【００１８】
次に、Ｓ２０２において、表情判定閾値Ｆ＿Ｔｈと入力画像の表情評価値Ｆとを比較する。この比較の結果、表情評価値Ｆが表情判定閾値Ｆ＿Ｔｈ以下である場合は、撮影の指示を行わず、処理を終了する。一方、Ｓ２０２の比較の結果、入力表情評価値Ｆが表情判定閾値Ｆ＿Ｔｈを上回る場合は、次のＳ２０３に進む。
【００１９】
次に、Ｓ２０３において、過去に撮影した画像の最新のタイムスタンプｔｍ（ｎ）を参照し、前回の撮影から充分な時間が経過しているか否かを判定する。この判定の結果、充分な時間が経過している場合は、シーンが変動している可能性が高いと判断し、Ｓ２０５において、撮像制御部１０７に対して撮影を指示する。このとき、メモリ１０８に最新の表情評価値Ｆを保存する。一方、Ｓ２０３の判定の結果、充分な時間が経過していない場合は、同じような画像を複数枚撮影してしまう可能性があるため、Ｓ２０４に進む。
【００２０】
次に、Ｓ２０４において、過去の表情評価値Ｐ（ｉ）に基づいて撮影判定を行う。撮影判定では、図３（Ａ）に示すように表情評価値Ｐ（ｉ）を中心とした周辺区間［Ｐ（ｉ）−α，Ｐ（ｉ）＋α］を撮影不可領域とする。この撮影判定の結果、入力画像の表情評価値Ｆがこの領域に存在する場合は、似たような表情が映った画像だと判断し、撮影の指示を行わず、処理を終了する。
【００２１】
一方、Ｓ２０４の撮影判定の結果、表情評価値Ｆが上記に示した区間に存在しない場合は、撮影すべき表情だと判定し、Ｓ２０５において、自動撮影制御部１０６は撮像制御部１０７に対して撮影を指示するとともに、メモリ１０８に最新の表情評価値Ｆを保存する。
【００２２】
なお、Ｓ２０４の判定では、過去の撮影評価値の最大値Ｐ＿ｍａｘ＝ＭＡＸ［Ｐ（１）、Ｐ（２）、Ｐ（３）、・・・］より表情評価値Ｆが所定値以上大きい場合（Ｆ＞Ｐ＿ｍａｘ）にのみ撮影を行うようにしてもよい。また、Ｓ２０２の判定では、図３（Ｂ）に示すように、過去の撮影回数に応じて表情判別閾値Ｆ＿Ｔｈを徐々に大きくし、似たようなレベルの表情を撮影する頻度を落とすようにしてよい。
【００２３】
以上のように本実施形態によれば、過去に撮影された顔の表情に基づいて撮影対象を絞りこむことができ、同じような表情の画像を連続で撮影して記録することを防ぐことができる。
【００２４】
（第２の実施形態）
以下、図１、図２及び図４を参照しながら、本発明の第２の実施形態について説明する。なお、本実施形態に係るデジタルカメラの構成は図１と同様であるため説明は省略する。
【００２５】
次に、本実施形態に係る撮影判定アルゴリズムについて図３及び図４を参照しながら詳細に説明する。なお、本実施形態の処理手順は基本的には図２と同様の流れであるため、異なる点を中心に説明する。
まず、顔検出部１０４は、個人認証技術に代表される人物特定アルゴリズムを用いて、画像中に含まれる顔画像を分類する。例えば、図４（Ａ）に示すように、画像中の人物を分類し、それぞれＩＤを割りあてる。ここで個人認証技術では、入力された顔画像と、登録されている顔画像又は過去に撮影した顔画像との類似度を算出する。なお、これらの登録されている顔画像又は過去に撮影した顔画像は、メモリ１０８に保持されているものとする。類似度を算出する方法としては、入力された顔画像の大きさ、角度、輝度などを正規化した後、フーリエスペクトルのＫＬ展開法を用いて算出する方法を用いる。また、パターンマッチングによる方法や、抽出した顔画像を正規化してブロック化し、その輝度間の距離を求める手法などを用いてもよい。これらの手法に関する詳細については、例えば非特許文献１〜３に開示されている。
【００２６】
以上のようにすべての顔に対して、表情検出部１０５により表情評価値Ｆxが算出され、この算出された表情評価値Ｆxが自動撮影制御部１０６に入力されると、図２に示す撮影判定処理を開始する。なお、ｘはＩＤを示している。そして、Ｓ２０１において、自動撮影制御部１０６は、メモリ１０８より、個人認証によって分類された個人ごとの過去に撮影した表情評価値Ｐ（ｉx）、過去の撮影タイムスタンプｔｍ（ｉx）、及び予め定められた表情判定閾値Ｆ＿Ｔｈを取得する。
【００２７】
次に、Ｓ２０２においては、表情判定閾値Ｆ＿Ｔｈと入力画像に含まれるすべての顔の表情評価値Ｆxとを比較する。この比較の結果、入力画像中に含まれるすべての顔の表情評価値Ｆxが表情判定閾値Ｆ＿Ｔｈ以下である場合は撮影の指示を行わず、処理を終了する。
【００２８】
一方、Ｓ２０２の比較の結果、少なくとも１つの顔の表情評価値Ｆxが表情判定閾値Ｆ＿Ｔｈを上回る場合は、Ｓ２０３において、過去に撮影した画像の最新のタイムスタンプｔｍ（ｎx）を参照し、前回の撮影よりも充分な時間が経過しているか否かを判定する。この判定の結果、充分な時間が経過している場合は、シーンが変動している可能性が高いと判断し、Ｓ２０５へ進み、撮影を指示する。このとき、メモリ１０８に最新の表情評価値Ｆを保存する。
【００２９】
例えば、ＩＤ１の人物の表情評価値Ｆ1が表情判定閾値Ｆ＿Ｔｈを上回った場合に、過去にＩＤ１の人物をトリガとして撮影した画像の最新のタイムスタンプｔｍ（ｎ1）と現在の時刻とを比べて充分な時間が経過している場合は撮影を指示する。一方、Ｓ２０３の判定の結果、充分な時間が経過していない場合は、同じような画像を複数枚撮影してしまう可能性が高いため、Ｓ２０４に進む。なお、判定の対象となるのは、表情評価値Ｆxが表情判定閾値Ｆ＿Ｔｈを上回る顔のみであり、表情評価値Ｆxが表情判定閾値Ｆ＿Ｔｈ以下で充分な時間が経過した顔が存在する場合であっても、判定には考慮されない。
【００３０】
次に、Ｓ２０４において、過去の表情評価値Ｐ（ｉx）に基づいて撮影判定を行う。撮影判定は、第１の実施形態と同様に、図３（Ａ）に示すような撮影不可領域に、表情評価値Ｆxが存在するか否かを判定する。この撮影判定の結果、表情評価値Ｆxがこの領域に存在する場合は、撮影の指示は行わず、処理を終了する。一方、Ｓ２０４の判定の結果、表情評価値Ｆxが上記に示した区間に存在しない場合は、Ｓ２０５において、自動撮影制御部１０６は撮像制御部１０７に対して撮影を指示するとともに、メモリ１０８に最新の表情評価値Ｆxを保存する。なお、第１の実施形態と同様に、過去の撮影評価値の最大値Ｐ＿ｍａｘより表情評価値Ｆが所定値以上大きい場合（Ｆ＞Ｐ＿ｍａｘ）にのみ撮影を行うようにしてもよい。
【００３１】
また、上記撮影判定はＩＤ別に行う。例えば、図４（Ｂ）に示すように、ＩＤ１の人物に関する過去の表情評価値がＰ（１）＝１８０、Ｐ（２）＝２２０、ｎ1＝２、α＝１５であるものとする。また、ＩＤ３の人物に関する過去の表情評価値が存在せず、ｎ3＝０であるものとする。この場合、ＩＤ１の人物の表情評価値がＦ1＝２１０であっても、図４（Ｂ）に示す斜線で示した撮影不可領域に属する。ところが、ＩＤ１の人物とＩＤ３の人物とで表情評価値が同じだった場合に、ＩＤ３の人物に関してはＦ3＝２１０近辺で過去に撮影されたことがないので、撮影可能領域となる。したがって、このように少なくとも１人が撮影可能領域である場合には、Ｓ２０５に進む。
【００３２】
以上のように本実施形態によれば、過去に撮影された人物ごとの顔の表情に基づいて撮影対象を絞りこむことができ、同じような表情の画像を連続で撮影して記録することを防ぐことができる。
【００３３】
（第３の実施形態）
以下、図１、図５及び図６を参照しながら、本発明の第３の実施形態について説明する。第１及び第２の実施形態では、人物の表情の変化に基づいて撮影制御を行ったが、本実施形態では、画像全体の類似度に基づいて撮影制御を行う。なお、本実施形態に係るデジタルカメラの構成は図１とほぼ同様であるため、異なる点についてのみ説明する。
【００３４】
自動撮影制御部１０６は、メモリ１０８に保持されている表情判定閾値Ｆ＿Ｔｈ、及び過去に撮影された画像と入力画像との間の類似度に基づいて撮影を行うべきシーンかどうかを判定する。そして、類似度が低い入力画像である場合は、撮像制御部１０７に対して撮影を指示する。なお、メモリ１０８には、類似度を求めるために必要な情報として、過去の撮影画像、その縮小画像、もしくは過去の撮影時のＡＦの撮影制御値（距離情報）や、ＡＥの撮影制御値（露出情報）などのログのうち、少なくとも１つ以上の情報が保存されている。
【００３５】
次に、自動撮影制御部１０６の撮影判定アルゴリズムについて図５を参照しながら詳細に説明する。図５は、本実施形態において、自動撮影制御部１０６及び顔検出部１０４による撮影指示の処理手順の一例を示すフローチャートである。
まず、表情検出部１０５により算出された入力画像の表情評価値Ｆが自動撮影制御部１０６に入力されると処理を開始する。そして、Ｓ５０１において、自動撮影制御部１０６は、メモリ１０８から表情判定閾値Ｆ＿Ｔｈを読み出し、表情判定閾値Ｆ＿Ｔｈと入力画像の表情評価値Ｆとを比較する。この比較の結果、表情評価値Ｆが表情判定閾値Ｆ＿Ｔｈ以下である場合は、撮影の指示は行わず、処理を終了する。一方、Ｓ５０１の比較の結果、表情評価値Ｆが表情判定閾値Ｆ＿Ｔｈを上回る場合は、次のＳ５０２に進む。
【００３６】
次に、Ｓ５０２において、顔検出部１０４は、メモリ１０８に保持されている過去の撮影画像に含まれている顔であり、過去ｎ回の撮影においてその撮影のトリガとなった顔を参照し、前述した個人認証技術による被写体の照合を行う。この照合の結果、入力画像に含まれる顔が、過去に撮影のトリガとなったどの顔とも異なる場合は、Ｓ５０５に進む。
【００３７】
一方、Ｓ５０２の照合の結果、過去に撮影したことのある顔である場合は、Ｓ５０３に進む。そして、Ｓ５０３において、自動撮影制御部１０６は類似度算出手段として機能し、メモリ１０８に保持されている過去の撮影時の詳細な情報を用いて画像全体の類似度を算出する。ここで、類似度を構成する要素としては、以下の（１）〜（６）に示す評価値がある。
（１）撮影時のＡＦ情報より算出される距離差（Ｐ１）
（２）撮影時のＡＥ情報より算出される露出差（Ｐ２）
（３）撮影時の顔情報より算出される顔サイズ差（Ｐ３）
（４）過去の撮影画像中に含まれる顔の数と入力画像中に含まれる顔の数との差（Ｐ４）
（５）過去の撮影画像と入力画像の相関をとって算出される画像全体の相関値（Ｐ５）
（６）画像中に含まれる輝度又は色のヒストグラム分布の差（Ｐ６）
【００３８】
類似度は（１）〜（６）のうち、少なくとも１つの条件を用いて算出され、それぞれの評価値Ｐ１〜Ｐ６に対する重み付け加算を行って算出される。図６は、前述した（１）〜（６）の条件から類似度を算出する概要の一例を示す図である。図６に示すように、過去の撮影画像Ａと入力画像とのＡＦ、ＡＥ、顔情報などの差分をそれぞれ評価値Ｐ１〜Ｐ４とし、画像相関値を評価値Ｐ５とし、さらにヒストグラムの差分の絶対値の総和を評価値Ｐ６とする。この場合、類似度Ｔは、例えば以下のような式によって求めることが可能である。
【００３９】
【数１】
【００４０】
ここで、ｗ１〜ｗ６はそれぞれ評価値Ｐ１〜Ｐ６に対する重みである。そして、次のＳ５０４において、算出された類似度Ｔが所定値以上であるか否かを判定する。この判定の結果、類似度Ｔが所定値よりも低い場合は、シーンの異なる被写体だと判断し、Ｓ５０５において、自動撮影制御部１０６は撮像制御部１０７に対して撮影を指示するとともに、メモリ１０８に最新の撮影条件及び撮影画像を保存する。一方、Ｓ５０４の判定の結果、類似度Ｔが所定値以上である場合は、入力画像は過去に撮影したシーンと類似したシーンであると判断し、撮影の指示を行わず、そのまま処理を終了する。
【００４１】
以上のように本実施形態によれば、過去に撮影された画像とのシーンの変化に基づいて撮影対象を絞りこむことができ、同じようなシーンの画像を連続で撮影して記録することを防ぐことができる。
【００４２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４３】
１０２ 撮像系
１０４ 顔検出部
１０５ 表情検出部
１０６ 自動撮影制御部
１０７ 撮影制御部
１０８ メモリ
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段によって撮像された被写体の顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔の表情に関する評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された評価値に基づいて、撮影を指示する撮像制御手段と、
前記評価値算出手段によって算出された過去の評価値を記憶する記憶手段とを備え、
前記撮像制御手段は、前記記憶手段に記憶された過去の評価値のうち、前記評価値算出手段により算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に、撮影を指示することを特徴とする撮像装置。
【請求項２】
前記撮像制御手段は、前記記憶手段に記憶された過去の評価値のうち、前記評価値算出手段により算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上であって、さらに前記現在の評価値が所定の値を超えた場合に撮影を指示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記所定の値は、前記記憶手段に記憶された過去の評価値の数に応じて異なることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記顔検出手段によって検出された顔の人物を特定する特定手段をさらに備え、
前記評価値算出手段は、前記特定手段によって特定された人物ごとに前記評価値を算出し、
前記記憶手段は、前記評価値算出手段によって算出された過去の評価値を人物ごとに記憶しており、
前記撮像制御手段は、少なくとも１人の人物に対して、前記記憶手段に記憶された過去の評価値のうち、前記評価値算出手段により算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に撮影を指示することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記記憶手段は、電源が投入された直後から現在までの間、または前記撮像制御手段による撮影の指示を行うモードに移行してから現在までの間に前記評価値算出手段によって算出された評価値を記憶していることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記評価値算出手段は、前記顔検出手段によって検出された顔の笑顔に関する評価値を算出することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
被写体を撮像する撮像手段と、
前記撮像手段によって撮像された被写体の顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔の人物を特定する特定手段と、
過去に撮影した画像の撮影情報を記憶する記憶手段と、
前記特定手段によって特定された人物を含む画像の撮影情報が前記記憶手段に記憶されている場合に、前記特定された人物を含む画像の撮影情報に基づいて過去に撮影した画像との類似度を算出する類似度算出手段と、
前記類似度算出手段によって算出された類似度が所定の値よりも小さい場合に、撮影を指示する撮像制御手段とを備えることを特徴とする撮像装置。
【請求項８】
前記顔検出手段によって検出された顔の表情に関する評価値を算出する評価値算出手段をさらに備え、
前記撮像制御手段は、前記類似度算出手段によって算出された類似度が所定の値よりも小さい場合であって、さらに前記評価値算出手段によって算出された評価値が所定の値を超えた場合に撮影を指示することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記類似度算出手段は、距離情報、露出情報、画像に含まれる顔の顔情報、過去の画像との相関値、及び輝度又は色のヒストグラムの差分のうち、少なくとも１つの情報を用いて前記類似度を算出することを特徴とする請求項７又は８に記載の撮像装置。
【請求項１０】
撮像手段によって撮像された被写体の顔を検出する顔検出工程と、
前記顔検出工程において検出された顔の表情に関する評価値を算出する評価値算出工程と、
前記評価値算出工程において算出された評価値に基づいて、撮影を指示する撮像制御工程とを備え、
前記撮像制御工程においては、前記評価値算出工程において算出された過去の評価値のうち、前記評価値算出工程において算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に、撮影を指示することを特徴とする撮像方法。
【請求項１１】
撮像手段によって撮像された被写体の顔を検出する顔検出工程と、
前記顔検出工程において検出された顔の人物を特定する特定工程と、
前記特定工程において特定された人物を含む画像の撮影情報が過去に撮影した画像の撮影情報として記憶手段に記憶されている場合に、前記特定された人物を含む画像の撮影情報に基づいて過去に撮影した画像との類似度を算出する類似度算出工程と、
前記類似度算出工程において算出された類似度が所定の値よりも小さい場合に、撮影を指示する撮像制御工程とを備えることを特徴とする撮像方法。
【請求項１２】
撮像手段によって撮像された被写体の顔を検出する顔検出工程と、
前記顔検出工程において検出された顔の表情に関する評価値を算出する評価値算出工程と、
前記評価値算出工程において算出された評価値に基づいて、撮影を指示する撮像制御工程とをコンピュータに実行させ、
前記撮像制御工程においては、前記評価値算出工程において算出された過去の評価値のうち、前記評価値算出工程において算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に、撮影を指示することを特徴とするプログラム。
【請求項１３】
撮像手段によって撮像された被写体の顔を検出する顔検出工程と、
前記顔検出工程において検出された顔の人物を特定する特定工程と、
前記特定工程において特定された人物を含む画像の撮影情報が過去に撮影した画像の撮影情報として記憶手段に記憶されている場合に、前記特定された人物を含む画像の撮影情報に基づいて過去に撮影した画像との類似度を算出する類似度算出工程と、
前記類似度算出工程において算出された類似度が所定の値よりも小さい場合に、撮影を指示する撮像制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段によって撮像された被写体の顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔の表情に関する評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された評価値に基づいて、撮影を指示する撮像制御手段と、
前記評価値算出手段によって算出された過去の評価値を記憶する記憶手段とを備え、
前記撮像制御手段は、前記記憶手段に記憶された過去の評価値のうち、前記評価値算出手段により算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に、撮影を指示することを特徴とする撮像装置。
【請求項２】
前記撮像制御手段は、前記記憶手段に記憶された過去の評価値のうち、前記評価値算出手段により算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上であって、さらに前記現在の評価値が所定の値を超えた場合に撮影を指示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記所定の値は、前記記憶手段に記憶された過去の評価値の数に応じて異なることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記顔検出手段によって検出された顔の人物を特定する特定手段をさらに備え、
前記評価値算出手段は、前記特定手段によって特定された人物ごとに前記評価値を算出し、
前記記憶手段は、前記評価値算出手段によって算出された過去の評価値を人物ごとに記憶しており、
前記撮像制御手段は、少なくとも１人の人物に対して、前記記憶手段に記憶された過去の評価値のうち、前記評価値算出手段により算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に撮影を指示することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記記憶手段は、電源が投入された直後から現在までの間、または前記撮像制御手段による撮影の指示を行うモードに移行してから現在までの間に前記評価値算出手段によって算出された評価値を記憶していることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記評価値算出手段は、前記顔検出手段によって検出された顔の笑顔に関する評価値を算出することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
被写体を撮像する撮像手段と、
前記撮像手段によって撮像された被写体の顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔の人物を特定する特定手段と、
過去に撮影した画像の撮影情報を記憶する記憶手段と、
前記特定手段によって特定された人物を含む画像の撮影情報が前記記憶手段に記憶されている場合に、前記特定された人物を含む画像の撮影情報に基づいて過去に撮影した画像との類似度を算出する類似度算出手段と、
前記類似度算出手段によって算出された類似度が所定の値よりも小さい場合に、撮影を指示する撮像制御手段とを備えることを特徴とする撮像装置。
【請求項８】
前記顔検出手段によって検出された顔の表情に関する評価値を算出する評価値算出手段をさらに備え、
前記撮像制御手段は、前記類似度算出手段によって算出された類似度が所定の値よりも小さい場合であって、さらに前記評価値算出手段によって算出された評価値が所定の値を超えた場合に撮影を指示することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記類似度算出手段は、距離情報、露出情報、画像に含まれる顔の顔情報、過去の画像との相関値、及び輝度又は色のヒストグラムの差分のうち、少なくとも１つの情報を用いて前記類似度を算出することを特徴とする請求項７又は８に記載の撮像装置。
【請求項１０】
撮像手段によって撮像された被写体の顔を検出する顔検出工程と、
前記顔検出工程において検出された顔の表情に関する評価値を算出する評価値算出工程と、
前記評価値算出工程において算出された評価値に基づいて、撮影を指示する撮像制御工程とを備え、
前記撮像制御工程においては、前記評価値算出工程において算出された過去の評価値のうち、前記評価値算出工程において算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に、撮影を指示することを特徴とする撮像方法。
【請求項１１】
撮像手段によって撮像された被写体の顔を検出する顔検出工程と、
前記顔検出工程において検出された顔の人物を特定する特定工程と、
前記特定工程において特定された人物を含む画像の撮影情報が過去に撮影した画像の撮影情報として記憶手段に記憶されている場合に、前記特定された人物を含む画像の撮影情報に基づいて過去に撮影した画像との類似度を算出する類似度算出工程と、
前記類似度算出工程において算出された類似度が所定の値よりも小さい場合に、撮影を指示する撮像制御工程とを備えることを特徴とする撮像方法。
【請求項１２】
撮像手段によって撮像された被写体の顔を検出する顔検出工程と、
前記顔検出工程において検出された顔の表情に関する評価値を算出する評価値算出工程と、
前記評価値算出工程において算出された評価値に基づいて、撮影を指示する撮像制御工程とをコンピュータに実行させ、
前記撮像制御工程においては、前記評価値算出工程において算出された過去の評価値のうち、前記評価値算出工程において算出された現在の評価値と最も近い評価値と、前記現在の評価値との差が所定値以上である場合に、撮影を指示することを特徴とするプログラム。
【請求項１３】
撮像手段によって撮像された被写体の顔を検出する顔検出工程と、
前記顔検出工程において検出された顔の人物を特定する特定工程と、
前記特定工程において特定された人物を含む画像の撮影情報が過去に撮影した画像の撮影情報として記憶手段に記憶されている場合に、前記特定された人物を含む画像の撮影情報に基づいて過去に撮影した画像との類似度を算出する類似度算出工程と、
前記類似度算出工程において算出された類似度が所定の値よりも小さい場合に、撮影を指示する撮像制御工程とをコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２３１３２７（Ｐ２０１２−２３１３２７Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９８６４０（Ｐ２０１１−９８６４０）
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]