撮像装置
【課題】所望の表情を検出し損ねないようにするために、適切に表情評価値の閾値を変更する技術を提供すること。
【解決手段】被写体を含む画像データを取得する画像取得手段と、前記取得手段により取得された画像データにおいて、前記被写体の顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された前記顔領域から、顔を構成する要素の形状に関する顔情報を抽出する顔情報抽出手段と、前記顔情報抽出手段により抽出された前記被写体の顔情報から特定の表情である度合いを表す表情評価値を算出する表情評価値算出手段と、前記表情評価値算出手段により算出された前記表情評価値に対応する表情評価閾値を設定する表情評価閾値設定手段、とを含み、撮影モードを設定する撮影モード設定手段を有し、前記撮影モード設定手段により設定された前記撮影モードにより前記表情評価閾値を変更することを特徴とする構成とした。
【解決手段】被写体を含む画像データを取得する画像取得手段と、前記取得手段により取得された画像データにおいて、前記被写体の顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された前記顔領域から、顔を構成する要素の形状に関する顔情報を抽出する顔情報抽出手段と、前記顔情報抽出手段により抽出された前記被写体の顔情報から特定の表情である度合いを表す表情評価値を算出する表情評価値算出手段と、前記表情評価値算出手段により算出された前記表情評価値に対応する表情評価閾値を設定する表情評価閾値設定手段、とを含み、撮影モードを設定する撮影モード設定手段を有し、前記撮影モード設定手段により設定された前記撮影モードにより前記表情評価閾値を変更することを特徴とする構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に人の表情を検出する撮像装置に関するものである。
【背景技術】
【０００２】
近年、被写体の一部である顔部分を検出する顔検出機能を備えた撮像装置が知られている。さらに、画像から人間の顔を検出し、特定の表情、例えば笑顔にどれだけ近いかの度合いを示す表情評価値を算出し、この評価値に応じて自動的にシャッタを切る機能を有する撮像装置が知られている。
【０００３】
例えば特許文献１では、人物の顔を検出し、検出された顔の表情について特定の表情にどれだけ近いかを表す表情評価値を算出し、その値が閾値を超えれば撮影する方法が開示されている。さらに、表情評価値を視覚的な情報として報知し、閾値をユーザの入力操作に応じて変更可能にする方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第０４３１５２３４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、手動で閾値を変更しなければならず、撮影時に閾値の変更をする場合に、変更の設定に手間取り所望の表情を撮影し損ねるという課題があった。
【０００６】
そこで、本発明の目的は、所望の表情を検出し損ねないようにするために、適切に表情評価値の閾値を変更する技術を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、被写体を含む画像データを取得する画像取得手段と、前記画像取得手段により取得された画像データにおいて、前記被写体の顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された前記顔領域から、顔を構成する要素の形状に関する顔情報を抽出する顔情報抽出手段と、前記顔情報抽出手段により抽出された前記被写体の顔情報から特定の表情である度合いを表す表情評価値を算出する表情評価値算出手段と、前記表情評価値算出手段により算出された前記表情評価値に対応する表情評価閾値を設定する表情評価閾値設定手段とを含み、撮影モードを設定する撮影モード設定手段を有し、前記撮影モード設定手段により設定された前記撮影モードにより前記表情評価閾値を変更することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、所望の表情を検出し損ねないようにするために、適切に表情評価値の閾値を変更する技術を提供することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る撮像装置の一例であるデジタルカメラの構成を示すブロック図である。
【図２】本実施形態に係る撮影モード情報により表情評価閾値を設定する方法を示すフローチャートである。
【図３】本実施形態に係る連写枚数情報および連写速度情報に基づき表情評価閾値を設定するテーブルである。
【図４】本実施形態に係る連写枚数や連写速度に応じた笑顔度の時間変化および撮影タイミングを表したグラフである。
【発明を実施するための形態】
【００１０】
［実施例１］
＜撮像装置の構成＞
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
本実施形態では、実施形態に係る撮像装置の一例として、デジタルカメラを用いた場合について説明する。図１は、表情評価閾値設定の機能構成例を示すブロック図である。
【００１２】
画像信号入力手段としての画像信号入力部１０１は、デジタル画像信号を入力する。例えば撮像装置においては、レンズ等で構成される光学部（不図示）を介して入射される光を受け、撮像素子部（不図示）で光量に応じた電荷を出力し、Ａ／Ｄ変換部（不図示）で撮像素子部から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を実施したデジタル信号が入力される。
【００１３】
画像取得手段としての画像処理部１０２は、画像信号入力部１０１から入力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、デジタル画像信号をＹＵＶ画像信号に変換して出力する。
【００１４】
顔領域検出手段としての顔領域検出部１０３は、画像処理部１０２から出力されたデジタル画像信号から顔検出を行う。
【００１５】
顔情報抽出手段としての顔情報抽出部１０４は、顔領域検出部１０３により検出された顔領域から、顔を構成する要素の形状に関する顔情報を抽出する。
【００１６】
表情評価値算出手段としての表情評価値算出部１０５は、顔情報抽出部１０４により抽出された顔情報をもとに特定の表情である度合いを表す表情評価値を算出する。特定の表情とは、例えば笑顔がある。
【００１７】
撮影モード設定手段としての撮影モード設定部１０６は、本撮像装置により撮影する際の撮影モードを設定する。撮影モードとは、例えば一度笑顔とみなされた場合に連続撮影する枚数となる連写枚数や連写速度がある。
【００１８】
表情評価閾値設定手段としての表情評価閾値設定部１０７は、表情評価値算出部１０５で算出された表情評価値との比較を行う表情評価閾値を設定する。例えば撮影モードの一つである連写枚数をもとに表情評価閾値を設定する。
【００１９】
表情判定手段としての表情判定部１０８は、表情評価値算出部１０５で算出された表情評価値と表情評価閾値設定部１０７で設定された表情評価閾値とを比較し、検出された顔の表情を判定する。例えば表情評価値が笑顔度合いを表している場合、表情評価値が表情評価閾値よりも高ければその表情は笑顔であると判定する。
【００２０】
表情判定結果を出力する手段としての表情判定結果出力部１０９は、表情判定部１０８により判定された表情の情報を出力する。例えば笑顔を検出した時に自動撮影する撮像装置において、表情が笑顔であると判定されたら自動的に画像を撮影する手段としての自動撮影実行部（不図示）に、表情判定部１０８により判定された表情の情報を出力する。自動撮影実行部では、表情が笑顔か否かで自動撮影を実施するかどうかを切り替えることが可能となる。
【００２１】
以上の構成により、設定した撮影モードに応じて表情評価値の閾値を変更することが可能となる。さらに、表情評価値と設定した表情評価閾値との比較により、特定の表情の場合に自動撮影を実施することが可能となる。
【００２２】
＜表情評価閾値の設定＞
次に、被写体の表情評価閾値を設定する方法について説明する。図２は撮影モード情報により表情評価閾値を設定する方法を示すフローチャートの流れを図で表したものである。一例として、笑顔である度合いの閾値を表情評価閾値とし、撮影モード情報を連写枚数および連写速度とした場合について説明する。
【００２３】
図２のフローチャートは以下のような流れである。
（ステップＳ２０１）
まず、設定している連写枚数情報を取得する。これは、一度笑顔とみなされれば自動で撮影する連続枚数を表している。
（ステップＳ２０２）
次に連写速度情報を取得する。これは、一度笑顔とみなされて連続撮影する際の連写速度を表している。
（ステップＳ２０３）
ステップＳ２０１、Ｓ２０２で取得した連写枚数情報および連写速度情報をもとに、表情評価閾値Ｔｈ＿Ｖａｌを設定する。設定方法の一例として、連写枚数情報および連写速度情報に基づき表情評価閾値を設定するテーブルを図３に示す。図３（ａ）は連写速度が速い場合の連写枚数に応じた値、図３（ｂ）は連写速度が遅い場合の連写枚数に応じた値である。これらの値は図３（ｃ）に示すように、連写速度が速くかつ連写枚数が多い場合、
例えばＴｈ＿Ｓｍｉｌｅ＿Ｆａｓｔ＿１０では小さい値になり、一方、Ｔｈ＿Ｓｍｉｌｅ＿Ｆａｓｔ＿１やＴｈ＿Ｓｍｉｌｅ＿Ｓｌｏｗ＿１０はＴｈ＿Ｓｍｉｌｅ＿Ｆａｓｔ＿１０以上の値になる。
【００２４】
このように連写枚数や連写速度に応じて表情評価閾値を変更した時の効果を説明する。一例として、連写枚数や連写速度に応じた笑顔度の時間変化および撮影タイミングなどを含む撮影動作を表したグラフを図４（ａ）〜（ｃ）に示す。各グラフの横軸は時間、縦軸は笑顔評価値を表している。グラフの値が大きくなればなるほど大きい笑顔を表している。グラフの実線および点線は笑顔評価値および笑顔評価閾値を表している。灰色の丸印は撮影タイミングを表しており、撮像装置ではこのタイミングでの画像が撮影される。
【００２５】
図４（ａ）は連写速度が速く連写枚数が多い場合の撮影タイミングを示している。グラフ左端から見てみると、笑顔評価値が笑顔評価閾値を下回っている間は撮影されず、笑顔評価値が笑顔評価閾値を上回ったことが確認されてから連続撮影を実施する。図４（ａ）では一例として連写枚数を５枚として表現しているため、５回分の撮影タイミングを表す５つの灰色の丸印がある。これらの笑顔評価値を見ると、笑顔評価値がグラフの中でも値の大きいところも撮影タイミングに含まれている、つまり、笑顔評価値が大きい時の撮影も可能であり、結果として様々な表情の撮影が可能となる。設定した連写枚数だけ連続撮影を実行した後、撮影処理に入る。ここでは連続撮影した画像についての画像処理等を実施する。
【００２６】
図４（ｂ）は連写速度が速く連写枚数が少ない場合の撮影タイミングを示している。連続撮影中の手前までは図４（ａ）と同じ挙動を示すが、連写枚数が少ないためその後の連続撮影中の時間が短く、すぐに撮影処理に移行している。このとき、撮影タイミングでの笑顔評価値を見ると、グラフが上昇する途中までの部分しか撮影タイミングに含まれておらず、大きい笑顔を撮影できなかったことを示している。そして、撮影処理後に再び笑顔検出を実施し始めてもすでに笑顔から普通顔に移行しているため、笑顔を撮影することができない。
【００２７】
図４（ｃ）は連写速度が遅い場合の撮影タイミングを示している。図４（ｂ）と同様、連続撮影中の手前までは図４（ａ）と同じ挙動を示すが、連続撮影を開始してから２枚目以降の撮影までに図４（ａ）、（ｂ）と比較して長い時間がかかっている。そのため、笑顔評価値が上昇し終わり下降している時に２枚目の撮影タイミングが発生している。これは、図４（ｂ）と同様に大きい笑顔を撮影できなかったことを示している。
【００２８】
図４（ｂ）、（ｃ）のような大きい笑顔の撮影をし損ねることのないように、連写速度が速く連写枚数が少ない場合および連写速度が遅い場合は図３（ｃ）に示すように笑顔評価閾値を大きくする必要がある。笑顔評価閾値を大きくした時の効果を図４（ｄ）、（ｅ）にそれぞれ示す。
【００２９】
図４（ｄ）は図４（ｂ）と同様に連写速度が速く連写枚数が少ない場合に笑顔評価閾値を大きくした時の撮影タイミング、図４（ｅ）は図４（ｃ）と同様に連写速度が遅い場合に笑顔評価閾値を大きくした時の撮影タイミングをそれぞれ示している。これらのグラフを見ると、大きい笑顔とみなせる笑顔評価値の大きい時にのみ連続撮影を開始する為、笑顔評価値の大きいところで撮影タイミングが発生していることがわかる。
【００３０】
なお、上述した方法では撮影モード情報を連写枚数や連写速度としたが、例えば撮影感度の切り替えやフラッシュの使用可否など撮影後に次の撮影を実施できるまでの期間が変化する機能や、静止画・動画中静止画モード等の切り替えを撮影モード情報として表情評価閾値を設定してもよい。
【００３１】
例えば撮影感度については、撮影感度が低い場合には画像中のノイズが少ないためノイズ除去処理を実施しない、もしくは処理は弱くてもよいが、撮影感度が高い場合には画像中のノイズが増加するためノイズ除去処理を実施する必要が生じる。その結果として、ノイズ除去処理の時間が撮影処理の時間に追加で必要になり、上述した連写速度が遅い場合と同様に表情評価閾値が小さい場合に笑顔を撮影すると、次に笑顔を撮影するまでに時間がかかり表情評価値の大きいところで撮影し損ねる恐れがある。このことから、撮影感度が高い場合には表情評価閾値を大きくする必要がある。
【００３２】
また同様に、フラッシュを有する撮像装置についてはフラッシュを使用するか否かによっても表情評価閾値を変更してもよい。フラッシュを使用する場合は発光までに充電を行う必要があるが、２枚目以降の連続撮影時にはフラッシュが使用できるようになるまで充電が行われるのを待たなければならない。このような場合も笑顔を撮影するまでに時間がかかり表情評価値の大きいところで撮影し損ねる恐れがあるため、フラッシュを使用する場合には表情評価閾値を大きくする必要がある。
【００３３】
動画を撮影しながら静止画を撮影することが可能な動画中静止画モードにおいては、笑顔などの特定の表情やその表情以外を含めて動画により記録しつづけることが可能なため、動画中静止画モードの静止画は撮影できている動画の中でもより表情評価値の高い顔が撮影できるように表情評価閾値を大きくしてもよい。
【００３４】
以上の方法により、連写枚数や連写速度などの撮影モード情報に応じて表情評価閾値の設定を行うことで、所望の表情を撮影し損ねないようにすることが可能となる。
【００３５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３６】
１０１ 画像信号入力部
１０２ 画像処理部
１０３ 顔領域検出部
１０４ 顔情報抽出部
１０５ 表情評価値算出部
１０６ 撮影モード設定部
１０７ 表情評価閾値設定部
１０８ 表情判定部
１０９ 表情判定結果出力部
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に人の表情を検出する撮像装置に関するものである。
【背景技術】
【０００２】
近年、被写体の一部である顔部分を検出する顔検出機能を備えた撮像装置が知られている。さらに、画像から人間の顔を検出し、特定の表情、例えば笑顔にどれだけ近いかの度合いを示す表情評価値を算出し、この評価値に応じて自動的にシャッタを切る機能を有する撮像装置が知られている。
【０００３】
例えば特許文献１では、人物の顔を検出し、検出された顔の表情について特定の表情にどれだけ近いかを表す表情評価値を算出し、その値が閾値を超えれば撮影する方法が開示されている。さらに、表情評価値を視覚的な情報として報知し、閾値をユーザの入力操作に応じて変更可能にする方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第０４３１５２３４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、手動で閾値を変更しなければならず、撮影時に閾値の変更をする場合に、変更の設定に手間取り所望の表情を撮影し損ねるという課題があった。
【０００６】
そこで、本発明の目的は、所望の表情を検出し損ねないようにするために、適切に表情評価値の閾値を変更する技術を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、被写体を含む画像データを取得する画像取得手段と、前記画像取得手段により取得された画像データにおいて、前記被写体の顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された前記顔領域から、顔を構成する要素の形状に関する顔情報を抽出する顔情報抽出手段と、前記顔情報抽出手段により抽出された前記被写体の顔情報から特定の表情である度合いを表す表情評価値を算出する表情評価値算出手段と、前記表情評価値算出手段により算出された前記表情評価値に対応する表情評価閾値を設定する表情評価閾値設定手段とを含み、撮影モードを設定する撮影モード設定手段を有し、前記撮影モード設定手段により設定された前記撮影モードにより前記表情評価閾値を変更することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、所望の表情を検出し損ねないようにするために、適切に表情評価値の閾値を変更する技術を提供することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る撮像装置の一例であるデジタルカメラの構成を示すブロック図である。
【図２】本実施形態に係る撮影モード情報により表情評価閾値を設定する方法を示すフローチャートである。
【図３】本実施形態に係る連写枚数情報および連写速度情報に基づき表情評価閾値を設定するテーブルである。
【図４】本実施形態に係る連写枚数や連写速度に応じた笑顔度の時間変化および撮影タイミングを表したグラフである。
【発明を実施するための形態】
【００１０】
［実施例１］
＜撮像装置の構成＞
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
本実施形態では、実施形態に係る撮像装置の一例として、デジタルカメラを用いた場合について説明する。図１は、表情評価閾値設定の機能構成例を示すブロック図である。
【００１２】
画像信号入力手段としての画像信号入力部１０１は、デジタル画像信号を入力する。例えば撮像装置においては、レンズ等で構成される光学部（不図示）を介して入射される光を受け、撮像素子部（不図示）で光量に応じた電荷を出力し、Ａ／Ｄ変換部（不図示）で撮像素子部から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を実施したデジタル信号が入力される。
【００１３】
画像取得手段としての画像処理部１０２は、画像信号入力部１０１から入力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、デジタル画像信号をＹＵＶ画像信号に変換して出力する。
【００１４】
顔領域検出手段としての顔領域検出部１０３は、画像処理部１０２から出力されたデジタル画像信号から顔検出を行う。
【００１５】
顔情報抽出手段としての顔情報抽出部１０４は、顔領域検出部１０３により検出された顔領域から、顔を構成する要素の形状に関する顔情報を抽出する。
【００１６】
表情評価値算出手段としての表情評価値算出部１０５は、顔情報抽出部１０４により抽出された顔情報をもとに特定の表情である度合いを表す表情評価値を算出する。特定の表情とは、例えば笑顔がある。
【００１７】
撮影モード設定手段としての撮影モード設定部１０６は、本撮像装置により撮影する際の撮影モードを設定する。撮影モードとは、例えば一度笑顔とみなされた場合に連続撮影する枚数となる連写枚数や連写速度がある。
【００１８】
表情評価閾値設定手段としての表情評価閾値設定部１０７は、表情評価値算出部１０５で算出された表情評価値との比較を行う表情評価閾値を設定する。例えば撮影モードの一つである連写枚数をもとに表情評価閾値を設定する。
【００１９】
表情判定手段としての表情判定部１０８は、表情評価値算出部１０５で算出された表情評価値と表情評価閾値設定部１０７で設定された表情評価閾値とを比較し、検出された顔の表情を判定する。例えば表情評価値が笑顔度合いを表している場合、表情評価値が表情評価閾値よりも高ければその表情は笑顔であると判定する。
【００２０】
表情判定結果を出力する手段としての表情判定結果出力部１０９は、表情判定部１０８により判定された表情の情報を出力する。例えば笑顔を検出した時に自動撮影する撮像装置において、表情が笑顔であると判定されたら自動的に画像を撮影する手段としての自動撮影実行部（不図示）に、表情判定部１０８により判定された表情の情報を出力する。自動撮影実行部では、表情が笑顔か否かで自動撮影を実施するかどうかを切り替えることが可能となる。
【００２１】
以上の構成により、設定した撮影モードに応じて表情評価値の閾値を変更することが可能となる。さらに、表情評価値と設定した表情評価閾値との比較により、特定の表情の場合に自動撮影を実施することが可能となる。
【００２２】
＜表情評価閾値の設定＞
次に、被写体の表情評価閾値を設定する方法について説明する。図２は撮影モード情報により表情評価閾値を設定する方法を示すフローチャートの流れを図で表したものである。一例として、笑顔である度合いの閾値を表情評価閾値とし、撮影モード情報を連写枚数および連写速度とした場合について説明する。
【００２３】
図２のフローチャートは以下のような流れである。
（ステップＳ２０１）
まず、設定している連写枚数情報を取得する。これは、一度笑顔とみなされれば自動で撮影する連続枚数を表している。
（ステップＳ２０２）
次に連写速度情報を取得する。これは、一度笑顔とみなされて連続撮影する際の連写速度を表している。
（ステップＳ２０３）
ステップＳ２０１、Ｓ２０２で取得した連写枚数情報および連写速度情報をもとに、表情評価閾値Ｔｈ＿Ｖａｌを設定する。設定方法の一例として、連写枚数情報および連写速度情報に基づき表情評価閾値を設定するテーブルを図３に示す。図３（ａ）は連写速度が速い場合の連写枚数に応じた値、図３（ｂ）は連写速度が遅い場合の連写枚数に応じた値である。これらの値は図３（ｃ）に示すように、連写速度が速くかつ連写枚数が多い場合、
例えばＴｈ＿Ｓｍｉｌｅ＿Ｆａｓｔ＿１０では小さい値になり、一方、Ｔｈ＿Ｓｍｉｌｅ＿Ｆａｓｔ＿１やＴｈ＿Ｓｍｉｌｅ＿Ｓｌｏｗ＿１０はＴｈ＿Ｓｍｉｌｅ＿Ｆａｓｔ＿１０以上の値になる。
【００２４】
このように連写枚数や連写速度に応じて表情評価閾値を変更した時の効果を説明する。一例として、連写枚数や連写速度に応じた笑顔度の時間変化および撮影タイミングなどを含む撮影動作を表したグラフを図４（ａ）〜（ｃ）に示す。各グラフの横軸は時間、縦軸は笑顔評価値を表している。グラフの値が大きくなればなるほど大きい笑顔を表している。グラフの実線および点線は笑顔評価値および笑顔評価閾値を表している。灰色の丸印は撮影タイミングを表しており、撮像装置ではこのタイミングでの画像が撮影される。
【００２５】
図４（ａ）は連写速度が速く連写枚数が多い場合の撮影タイミングを示している。グラフ左端から見てみると、笑顔評価値が笑顔評価閾値を下回っている間は撮影されず、笑顔評価値が笑顔評価閾値を上回ったことが確認されてから連続撮影を実施する。図４（ａ）では一例として連写枚数を５枚として表現しているため、５回分の撮影タイミングを表す５つの灰色の丸印がある。これらの笑顔評価値を見ると、笑顔評価値がグラフの中でも値の大きいところも撮影タイミングに含まれている、つまり、笑顔評価値が大きい時の撮影も可能であり、結果として様々な表情の撮影が可能となる。設定した連写枚数だけ連続撮影を実行した後、撮影処理に入る。ここでは連続撮影した画像についての画像処理等を実施する。
【００２６】
図４（ｂ）は連写速度が速く連写枚数が少ない場合の撮影タイミングを示している。連続撮影中の手前までは図４（ａ）と同じ挙動を示すが、連写枚数が少ないためその後の連続撮影中の時間が短く、すぐに撮影処理に移行している。このとき、撮影タイミングでの笑顔評価値を見ると、グラフが上昇する途中までの部分しか撮影タイミングに含まれておらず、大きい笑顔を撮影できなかったことを示している。そして、撮影処理後に再び笑顔検出を実施し始めてもすでに笑顔から普通顔に移行しているため、笑顔を撮影することができない。
【００２７】
図４（ｃ）は連写速度が遅い場合の撮影タイミングを示している。図４（ｂ）と同様、連続撮影中の手前までは図４（ａ）と同じ挙動を示すが、連続撮影を開始してから２枚目以降の撮影までに図４（ａ）、（ｂ）と比較して長い時間がかかっている。そのため、笑顔評価値が上昇し終わり下降している時に２枚目の撮影タイミングが発生している。これは、図４（ｂ）と同様に大きい笑顔を撮影できなかったことを示している。
【００２８】
図４（ｂ）、（ｃ）のような大きい笑顔の撮影をし損ねることのないように、連写速度が速く連写枚数が少ない場合および連写速度が遅い場合は図３（ｃ）に示すように笑顔評価閾値を大きくする必要がある。笑顔評価閾値を大きくした時の効果を図４（ｄ）、（ｅ）にそれぞれ示す。
【００２９】
図４（ｄ）は図４（ｂ）と同様に連写速度が速く連写枚数が少ない場合に笑顔評価閾値を大きくした時の撮影タイミング、図４（ｅ）は図４（ｃ）と同様に連写速度が遅い場合に笑顔評価閾値を大きくした時の撮影タイミングをそれぞれ示している。これらのグラフを見ると、大きい笑顔とみなせる笑顔評価値の大きい時にのみ連続撮影を開始する為、笑顔評価値の大きいところで撮影タイミングが発生していることがわかる。
【００３０】
なお、上述した方法では撮影モード情報を連写枚数や連写速度としたが、例えば撮影感度の切り替えやフラッシュの使用可否など撮影後に次の撮影を実施できるまでの期間が変化する機能や、静止画・動画中静止画モード等の切り替えを撮影モード情報として表情評価閾値を設定してもよい。
【００３１】
例えば撮影感度については、撮影感度が低い場合には画像中のノイズが少ないためノイズ除去処理を実施しない、もしくは処理は弱くてもよいが、撮影感度が高い場合には画像中のノイズが増加するためノイズ除去処理を実施する必要が生じる。その結果として、ノイズ除去処理の時間が撮影処理の時間に追加で必要になり、上述した連写速度が遅い場合と同様に表情評価閾値が小さい場合に笑顔を撮影すると、次に笑顔を撮影するまでに時間がかかり表情評価値の大きいところで撮影し損ねる恐れがある。このことから、撮影感度が高い場合には表情評価閾値を大きくする必要がある。
【００３２】
また同様に、フラッシュを有する撮像装置についてはフラッシュを使用するか否かによっても表情評価閾値を変更してもよい。フラッシュを使用する場合は発光までに充電を行う必要があるが、２枚目以降の連続撮影時にはフラッシュが使用できるようになるまで充電が行われるのを待たなければならない。このような場合も笑顔を撮影するまでに時間がかかり表情評価値の大きいところで撮影し損ねる恐れがあるため、フラッシュを使用する場合には表情評価閾値を大きくする必要がある。
【００３３】
動画を撮影しながら静止画を撮影することが可能な動画中静止画モードにおいては、笑顔などの特定の表情やその表情以外を含めて動画により記録しつづけることが可能なため、動画中静止画モードの静止画は撮影できている動画の中でもより表情評価値の高い顔が撮影できるように表情評価閾値を大きくしてもよい。
【００３４】
以上の方法により、連写枚数や連写速度などの撮影モード情報に応じて表情評価閾値の設定を行うことで、所望の表情を撮影し損ねないようにすることが可能となる。
【００３５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３６】
１０１ 画像信号入力部
１０２ 画像処理部
１０３ 顔領域検出部
１０４ 顔情報抽出部
１０５ 表情評価値算出部
１０６ 撮影モード設定部
１０７ 表情評価閾値設定部
１０８ 表情判定部
１０９ 表情判定結果出力部
【特許請求の範囲】
【請求項１】
被写体を含む画像データを取得する画像取得手段と、
前記取得手段により取得された画像データにおいて、前記被写体の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段により検出された前記顔領域から、顔を構成する要素の形状に関する顔情報を抽出する顔情報抽出手段と、
前記顔情報抽出手段により抽出された前記被写体の顔情報から特定の表情である度合いを表す表情評価値を算出する表情評価値算出手段と、
前記表情評価値算出手段により算出された前記表情評価値に対応する表情評価閾値を設定する表情評価閾値設定手段、
とを含み、
撮影モードを設定する撮影モード設定手段を有し、
前記撮影モード設定手段により設定された前記撮影モードにより前記表情評価閾値を変更することを特徴とする撮像装置。
【請求項２】
前記撮像装置は、前記表情評価値と前記表情評価閾値とを比較した結果に応じて前記被写体が前記特定の表情であるか否かを判断する機能を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置は、前記表情評価値と前記表情評価閾値とを比較した結果に応じて撮影を自動的に実行する機能を有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記特定の表情とは、前記被写体の笑顔であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮影モード設定手段は連写枚数を設定することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記表情評価閾値は、前記連写枚数を少なく設定した場合に大きくなり、前記連写枚数を多く設定した場合に小さくなることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記表情評価閾値は、前記撮像装置の連写速度に応じて変更されることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記撮影モード設定手段は、静止画撮影モードおよび動画撮影モードの切り替えであることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記表情評価閾値は、前記静止画撮影モードに設定した場合に大きくなり、前記動画撮影モードに設定した場合に小さくなることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記撮影モード設定手段は撮影感度を設定することを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記表情評価閾値は、前記撮影感度をある閾値以上に設定した場合に大きくなり、前記感度をある閾値未満に設定した場合に小さくなることを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記撮影モード設定手段は、フラッシュ発光を実施するか否かを設定することを特徴とする請求項１に記載の撮像装置
【請求項１３】
前記表情評価閾値は、前記フラッシュ発光を実施するモードに設定した場合に大きくなり、前記フラッシュ発光を実施しないモードに設定した場合に小さくなることを特徴とする請求項１に記載の撮像装置。
【請求項１】
被写体を含む画像データを取得する画像取得手段と、
前記取得手段により取得された画像データにおいて、前記被写体の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段により検出された前記顔領域から、顔を構成する要素の形状に関する顔情報を抽出する顔情報抽出手段と、
前記顔情報抽出手段により抽出された前記被写体の顔情報から特定の表情である度合いを表す表情評価値を算出する表情評価値算出手段と、
前記表情評価値算出手段により算出された前記表情評価値に対応する表情評価閾値を設定する表情評価閾値設定手段、
とを含み、
撮影モードを設定する撮影モード設定手段を有し、
前記撮影モード設定手段により設定された前記撮影モードにより前記表情評価閾値を変更することを特徴とする撮像装置。
【請求項２】
前記撮像装置は、前記表情評価値と前記表情評価閾値とを比較した結果に応じて前記被写体が前記特定の表情であるか否かを判断する機能を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置は、前記表情評価値と前記表情評価閾値とを比較した結果に応じて撮影を自動的に実行する機能を有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記特定の表情とは、前記被写体の笑顔であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮影モード設定手段は連写枚数を設定することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記表情評価閾値は、前記連写枚数を少なく設定した場合に大きくなり、前記連写枚数を多く設定した場合に小さくなることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記表情評価閾値は、前記撮像装置の連写速度に応じて変更されることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記撮影モード設定手段は、静止画撮影モードおよび動画撮影モードの切り替えであることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記表情評価閾値は、前記静止画撮影モードに設定した場合に大きくなり、前記動画撮影モードに設定した場合に小さくなることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記撮影モード設定手段は撮影感度を設定することを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記表情評価閾値は、前記撮影感度をある閾値以上に設定した場合に大きくなり、前記感度をある閾値未満に設定した場合に小さくなることを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記撮影モード設定手段は、フラッシュ発光を実施するか否かを設定することを特徴とする請求項１に記載の撮像装置
【請求項１３】
前記表情評価閾値は、前記フラッシュ発光を実施するモードに設定した場合に大きくなり、前記フラッシュ発光を実施しないモードに設定した場合に小さくなることを特徴とする請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１０００６３（Ｐ２０１２−１０００６３Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４５８３５（Ｐ２０１０−２４５８３５）
【出願日】平成２２年１１月２日（２０１０．１１．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１１月２日（２０１０．１１．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]