撮像装置、撮像制御方法、及びプログラム
【課題】容易に所望する被写体の表情を撮影可能な撮像装置、撮像制御方法、及びプログラムを提供する。
【解決手段】撮像装置は、撮像部１０と、制御部２０と、記憶部３０と、音声出力部５０とを備える。制御部２０は、撮像部１０により出力された画像データに基づいて、被写体の顔の特徴量を取得する。そして、取得した特徴量と基準特徴量との差分に基づいて、表情評価値を取得する。表情評価値が基準評価値よりも大きいと判別した場合、画像データを記憶部３０に記憶させる。表情評価値が基準評価値よりも大きくないと判別した場合、被写体に対しさらに前表情評価値が大きくなる表情を作るように促す旨の音声メッセージを音声出力部５０から出力させる。
【解決手段】撮像装置は、撮像部１０と、制御部２０と、記憶部３０と、音声出力部５０とを備える。制御部２０は、撮像部１０により出力された画像データに基づいて、被写体の顔の特徴量を取得する。そして、取得した特徴量と基準特徴量との差分に基づいて、表情評価値を取得する。表情評価値が基準評価値よりも大きいと判別した場合、画像データを記憶部３０に記憶させる。表情評価値が基準評価値よりも大きくないと判別した場合、被写体に対しさらに前表情評価値が大きくなる表情を作るように促す旨の音声メッセージを音声出力部５０から出力させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像制御方法、及びプログラムに関する。
【背景技術】
【０００２】
撮像装置において、被写体の画像から表情を判別するために必要な特徴量を抽出し、予め記憶された無表情の状態における特徴量との差分に基づいて、表情の判定を行うものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０５６３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の撮像装置では、被写体が判定結果を知ることができるのは撮影後であり、判定結果を反映した表情を撮影するためには、撮影の都度、撮影された画像をチェックする必要がある。
【０００５】
本発明はかかる問題点に鑑みてなされたものであって、容易に所望する被写体の表情を撮影可能な撮像装置、撮像制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る撮像装置は、
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段により出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段と、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段と、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知手段と、
を備えることを特徴とする。
【０００７】
上記目的を達成するため、本発明の第２の観点に係る撮像制御方法は、
被写体を撮像し、画像データを出力する撮像ステップと、
前記撮像ステップにおいて出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得ステップと、
前記特徴量取得ステップにおいて取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得ステップと、
前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいと判別された場合、前記画像データを記憶手段に記憶させる記憶制御ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きくないと判別された場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知ステップと、
を備えることを特徴とする。
【０００８】
上記目的を達成するため、本発明の第３の観点に係るプログラムは、
コンピュータを、
被写体を撮像する撮像手段により出力された画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知するように報知手段を制御する報知制御手段、
として機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、容易に所望する被写体の表情を撮影可能な撮像装置、撮像制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１に係る撮像装置のハードウェア構成を概略的に示すブロック図である。
【図２】実施形態１に係る制御部の機能構成を示すブロック図である。
【図３】テンプレートマッチングを用いた顔領域の検出方法の説明図である。
【図４】顔領域における特徴量の取得方法の説明図である。
【図５】取得特徴量テーブルの一例を示す図である。
【図６】基準特徴量テーブルの一例を示す図である。
【図７】（ａ）及び（ｂ）は、評価値関数の一例を示す図である。
【図８】実施形態１に係る撮像制御処理の流れの一例を示すフローチャートである。
【図９】実施形態２に係る制御部の機能構成を示すブロック図である。
【図１０】実施形態２に係る基準特徴量取得処理の流れの一例を示すフローチャートである。
【図１１】実施形態３に係る制御部の機能構成を示すブロック図である。
【図１２】実施形態３に係る撮像制御処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施形態に係る撮像装置について説明する。
【００１２】
（実施形態１）
本発明の実施形態１では、被写体の静止画像を取得するデジタルカメラにより実現される撮像装置１について説明する。実施形態１に係る撮像装置１は、撮像した画像データに基づいて、被写体の表情が変顔であるか否かを判別し、変顔であると判別した場合にその画像データを記憶する。また、変顔でないと判別した場合、被写体に対し変顔を作るように促す旨の音声を出力する。
【００１３】
ここで、本実施形態における「変顔」とは、一般的な表情（笑顔、泣き顔など）からかけ離れた、意図的に作られる滑稽な表情を表すものとする。変顔の例としては、両目の目尻を指等で上方へ押し上げた表情である、いわゆるつり目や、両方の頬を膨らませた表情、口をすぼめた表情等である。
【００１４】
図１は、本発明の実施形態１に係る撮像装置１のハードウェア構成を概略的に示すブロック図である。図１に示すように、本実施形態に係る撮像装置１は、撮像部１０と、制御部２０と、記憶部３０と、入力部４０と、音声出力部５０と、表示部６０とを備えている。
【００１５】
撮像部１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の固体撮像素子、レンズ、絞り、焦点調節装置及びシャッタ装置等から構成される。撮像部１０は、固体撮像素子上に結像した画像を、画像データとして出力する。
【００１６】
制御部２０は、ＣＰＵ２１（Central Processing Unit）、ＲＯＭ２２（Read Only Memory）、ＲＡＭ２３（Random Access Memory）等から構成され、撮像装置１の各部を制御する。
【００１７】
ＣＰＵ２１は、ＲＯＭ２２内に記憶されているプログラム２４をロードし、ＲＡＭ２３を作業用メモリとしつつ、各種の演算処理や後述する撮影制御処理を実行する。
【００１８】
ＲＯＭ２２は、各処理（後述する撮影制御処理等）の内容を規定するプログラム２４や、各処理に使用されるデータを予め記憶する。このようなプログラム２４やデータは、ＲＯＭ２２以外に記録されていてもよい。例えば、持ち運び可能な記録媒体等に記録されていてもよい。この記録媒体は、一例として、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、磁気ディスク、又は、半導体メモリ等の不揮発性メモリから構成される。
【００１９】
ＲＡＭ２３は、ＣＰＵ２１により各処理が実行される際に、ＲＯＭ２２等から読み出された各種データが格納される。
【００２０】
記憶部３０は、例えば、所定規格のメモリカードやＨＤＤ（Hard Disk Drive）等の記憶媒体であり、画像データ３１を記憶する。画像データ３１は、例えば、撮像部１０により撮影された人物や風景等が写った画像のデータであり、ＪＰＥＧ（Joint Photographic Export Group）等のファイル形式にて記憶されている。
【００２１】
入力部４０は、ユーザからの操作入力を受け取り、制御部２０にその操作情報を出力する。入力部４０は、例えば、シャッタの開閉を操作するためのレリーズボタンや、各種メニューや撮影モードの設定をするためのスイッチやタッチパネル等から構成される。なお、本実施形態において、撮影モードは、「通常撮影モード」と、「変顔撮影モード」とを備えているものとする。「通常撮影モード」とは、ユーザがレリーズボタンの押下したことにより撮影を行う（撮像部１０が出力した画像データを記憶部３０に記憶させる）撮影モードである。また、「変顔撮影モード」とは、撮像部１０が出力した画像データに基づいて、被写体の表情が変顔であるか否かを判別し、変顔であると判別した場合に撮影を行う撮影モードである。
【００２２】
音声出力部５０は、例えば、スピーカから構成され、制御部２０による制御の下、報知情報が示す音声を出力する。報知情報とは、被写体に対し変顔を作るように促す旨の音声を示す情報である。報知情報が示す音声としては、例えば、「もっと変な表情を作って下さい」といった音声である。
【００２３】
表示部６０は、例えば、駆動回路と、液晶パネル、有機ＥＬ（Electro Luminescence）パネル等の表示パネルとから構成される。駆動回路は、制御部２０から出力される画像データに従って表示パネルを駆動し、表示パネルに撮像部１０が取得した画像データが表す画像を表示させる。
【００２４】
次に、本発明の実施形態１に係る撮像装置１の制御部２０の機能について、図２を参照して説明する。
【００２５】
図２に示すように、制御部２０は、顔検出部７１、特徴量取得部７２、基準特徴量記憶部７３、評価値取得部７４、表情判別部７５、報知制御部７６、記憶制御部７７、として機能する。
【００２６】
顔検出部７１は、撮像部１０が出力した画像データが表す画像において、被写体の顔が表れている領域（顔領域）を検出する。顔検出部７１による顔領域の検出方法としては、例えば、撮像部１０が出力した画像データが表す画像から肌色領域を抽出する方法や、テンプレートマッチングを適用することができる。
【００２７】
図３に、一例としてテンプレートマッチングを用いた顔領域の検出方法の説明図を示す。図３に示すように、テンプレートマッチングにおいて、撮像部１０が出力した画像データが表す画像Ｉ内に設定された着目領域Ａにおける画像ｉと、所定の顔のテンプレート画像Ｉｔとを対比し、両画像の類似度に基づいて着目領域Ａが顔領域であるか否かを判定する。類似度は、顔であるか否かを識別するのに有効な特徴量を抽出することにより取得される。そして、画像Ｉ中の着目領域Ａは、１画素ずつ左右方向または上下方向にずらされる。ずらされた後の着目領域Ａ内の画像ｉとテンプレート画像Ｉｔとが対比されて、同様の検出が行われる。このように、着目領域Ａは、例えば、画像Ｉ中の左上から右下方向に向けて、１画素ずつずらされながら更新設定される。なお、画像Ｉに写る顔とテンプレート画像Ｉｔとの形状等が同じであっても、両者の大きさが全く異なっていれば、顔検出部７１が算出する類似度が低くなる。従って、画像Ｉに写る顔の大きさとテンプレート画像Ｉｔの大きさを略一致させるため、画像Ｉ全体を一定の割合で縮小または拡大し、縮小後または拡大後の画像に対して、同様に顔領域の検出処理を行う。以上の処理を繰り返すことにより、画像中から任意の大きさの顔領域を検出することができる。
【００２８】
図２に戻って、特徴量取得部７２は、顔検出部７１により検出された顔領域内において、特徴量を取得する。ここで、「特徴量」とは、目や口、しわ等の顔を構成する要素の特徴量を表す。特徴量は、具体的には、目の傾き、白目と黒目の面積比、黒目の位置、口から出ている舌の長さ、口の周りのしわの数、頬の輝度等である。
【００２９】
特徴量取得部７２による特徴量の取得方法としては、例えば、特許文献１に記載の方法を適用することができる。以下に、特許文献１に記載の方法を適用することにより、特徴量の一例として、目の傾きを取得する方法を説明する。特徴量取得部７２は、顔検出部７１により検出された顔領域Ａｆにおいて、エッジを抽出する処理を実行することにより、図４に示すような目のエッジｅ１，ｅ２、口のエッジｍ等を取得する。そして、特徴量取得部７２は、左目のエッジｅ１の右端点ｐ１の座標位置から左端点ｐ２の座標位置までの横方向の増加量対する縦方向の増加量の割合を左目の傾きＳ１として算出する。同様に、特徴量取得部７２は、右目のエッジｅ２の左端点ｐ３の座標位置から右端点ｐ４の座標位置までの横方向の増加量対する縦方向の増加量の割合を右目の傾きＳ２として算出する。そして、特徴量取得部７２は、左目の傾きＳ１と右目の傾きＳ２の平均値を目の傾きｘ１として取得する。
【００３０】
また、特徴量取得部７２は、上述したように取得した各種の特徴量を、例えば図５に示すように、評価部分と対応付けて、ＲＡＭ２３内の取得特徴量テーブル２５に格納される。ここで、「評価部分」とは、被写体の顔を構成する要素を表す。そして、各特徴量は、その特徴量を取得する際に用いる被写体の顔の構成要素やその構成要素が位置する領域に対応する評価部分に属するように取得特徴量テーブル２５に格納される。例えば、評価部分が「目」に属する特徴量としては、図５に示すように、目の傾きを表す特徴量ｘ１、黒目の位置を表す特徴量ｘ２、右目と左目の対称度を表す特徴量ｘ３というように、顔の構成要素である「目」に起因する特徴量があげられる。
【００３１】
基準特徴量記憶部７３は、特徴量を評価する際の基準となる基準特徴量を記憶する。具体的には、基準特徴量記憶部７３は、ＲＯＭ２２により実現され、図６に示すような基準特徴量テーブル２６を記憶する。基準特徴量テーブル２６は、評価部分ごとに、特徴量、特定条件、評価値関数が格納されている。
【００３２】
「特定条件」とは、特徴量取得部７２により取得された特徴量が、無表情の顔から取得されうる特徴量の値の範囲から外れていることを特定するための条件である。具体的には、特定条件は、その特徴量に対応する基準特徴量を用いて表される。ここで、「基準特徴量」は、無表情の顔から取得されうる特徴量の値の範囲を規定する値であり、例えば、異なる複数の人から取得された無表情な顔の特徴量から統計的手法により算出される。例えば、図６に示す特徴量ｘ１において、特徴量取得部７２により取得された特徴量ｘ１＝ａ１が基準特徴量Ｃ１よりも大きい場合、すなわちａ１＞Ｃ１である場合、特徴量ｘ１＝ａ１は、無表情な顔から取得されうる特徴量の値の範囲から外れていることが特定される。
【００３３】
また「評価値関数」とは、特定条件を満たした、特徴量取得部７２により取得された特徴量と基準特徴量との差分と、評価値との関係を表す関数である。具体的には、特徴量ｘと基準特徴量Ｃとの差分Δｘが大きいほど評価値Ｐが大きくなるような関数である。評価値関数の例を図７（ａ）及び（ｂ）に示す。図７（ａ）に示す評価値関数ｆ（Δｘ）において、差分Δｘと評価値Ｐとは比例関係にある。また、図７（ｂ）に示す評価値関数ｆ（Δｘ）において、差分Δｘの所定の間隔毎に評価値Ｐが大きくなる関係にある。
【００３４】
評価値取得部７４は、特徴量取得部７２により取得された特徴量と、基準特徴量記憶部７３に記憶された特徴量との差分に基づいて、表情評価値を取得する。ここで、「表情評価値」とは、被写体の顔の表情の、無表情からかけ離れている度合いを表す値である。具体的には、評価値取得部７４は、特徴量取得部７２により取得された各種の特徴量について、基準特徴量記憶部７３に記憶された特定条件を満たしているか否かを判別する。そして、特定条件を満たしていないと判別した場合、評価値取得部７４は、その特徴量を評価対象としない処理、例えばその特徴量の部分評価値として０を取得する。また、特定条件を満たしていると判別した場合、評価値取得部７４は、基準特徴量記憶部７３に記憶された評価値関数を用いて部分評価値を取得する。評価値取得部７４は、これらの処理を特徴量取得部７２により取得された全ての特徴量に対して実行し、取得された部分評価値の総和を表情評価値として取得する。
【００３５】
表情判別部７５は、評価値取得部７４により取得された表情評価値に基づいて、被写体の表情が変顔か否かを判別する。具体的には、表情判別部７５は、評価値取得部７４により取得された表情評価値が所定の基準評価値よりも大きい場合、変顔であると判別する。また、表情評価値が所定の基準評価値よりも大きくない、すなわち所定の基準評価値以下である場合、変顔でないと判別する。なお、基準評価値は、予めユーザにより指定された値でもよく、また、固定で設定されていてもよい。
【００３６】
報知制御部７６は、表情判別部７５が変顔でないと判別した場合、音声出力部５０が報知情報を報知するように制御する。具体的には、報知制御部７６は、表情判別部７５が変顔でないと判別した場合、例えば予めＲＯＭ２２に記憶された「もっと変な表情を作って下さい」という旨の音声データを音声出力部５０から出力されるよう制御する。
【００３７】
記憶制御部７７は、表情判別部７５が変顔であると判別した場合、撮影部１０により出力された画像データを記憶部３０に記憶させる。
【００３８】
次に、実施形態１に係る撮像装置１の動作について、図面を参照して説明する。図８は、本発明の実施形態１に係る撮像装置１の撮影制御処理の流れの一例を示すフローチャートである。なお、この撮影制御処理は、上述したＲＯＭ２２内のプログラム２４として予め記憶されており、ＣＰＵ２１がプログラム２４を読み出して実行することで、実際の処理が行われるものとする。
【００３９】
実施形態１に係る撮像装置１は、は、例えば、ユーザによる入力部４０への「変顔撮影モード」を選択する操作を契機として図８に示す撮影制御処理を開始する。
【００４０】
まず、顔検出部７１は、撮像部１０から画像データを取得する（ステップＳ１１）。
【００４１】
続いて、顔検出部７１は、ステップＳ１１で取得された画像データについて、被写体の顔領域を検出する顔検出処理を行う（ステップＳ１２）。
【００４２】
具体的には、図３に示すように、顔検出部７１は、例えば予めＲＯＭ２２に記憶されているテンプレート画像Ｉｔと、画像Ｉ内の着目領域Ａ内の画像ｉとを対比して両画像の類似度を算出する。そして、算出された類似度に基づいて、着目領域Ａ内に顔が含まれているか否かを検出する。類似度の算出は、顔が含まれているか否かを識別するのに有効な特徴量（一般的な顔の輪郭、目、鼻等）を抽出することによって行う。また、画像Ｉ全体を一定の割合で縮小（拡大）し、縮小（拡大）後の画像に対して、同様の顔が含まれているか否かの検出処理を行うことにより、顔領域を検出する。
【００４３】
続いて、特徴量取得部７２は、ステップＳ１２で検出された顔領域において、各種の特徴量を取得する（ステップＳ１３）。
【００４４】
具体的には、特徴量取得部７２は、ステップＳ１２において検出された顔領域内において、各種の特徴量として、目の傾き、黒目の位置、右目と左目の対称度等を検出し、取得した特徴量を評価部分と対応付けてＲＡＭ２３内の取得特徴量テーブル２５に格納する。
【００４５】
続いて、評価値取得部７４は、ステップＳ１３で取得された各特徴量について、部分評価値を取得する（ステップＳ１４）。
【００４６】
具体的には、評価値取得部７４は、ステップＳ１３で取得され、ＲＡＭ２３に記憶された各特徴量について、基準特徴量記憶部７３に記憶された基準特徴量テーブル２５を参照し、特定条件を満たしているか否かを判別する。例えば、特徴量ｘ１について、図６に示す基準特徴量テーブル２５を参照し、特定条件ｘ１＞Ｃ１を満たしているか否かを判別する。そして、特定条件を満たしていないと判別した場合、特徴量ｘ１の部分評価値Ｐ１として０を取得する。また、特定条件を満たしていると判別した場合、特徴量ｘ１の部分評価値Ｐ１としてＰ１＝ｆ１（ｘ１−Ｃ１）を取得する。評価値取得部７４は、このような部分評価値を取得する処理を、ステップＳ１３において取得された全ての特徴量について実行する。
【００４７】
次に、評価値取得部７４は、ステップＳ１４で取得された全ての部分評価値の総和を算出し、その算出した結果を表情評価値Ｐとして取得する（ステップＳ１５）。
【００４８】
次に、表情判別部７５は、ステップＳ１５で取得された表情評価値Ｐが基準評価値αよりも大きいか否かを判別する（ステップＳ１６）。
【００４９】
表情評価値が基準評価値αよりも大きくないと判別した場合（ステップＳ１６；Ｎｏ）、報知制御部７６は、ＲＯＭ２２内に記憶された「もっと変な表情を作って下さい」という旨の音声メッセージを、音声出力部５０により出力させる（ステップＳ１７）。そして、処理をステップＳ１１に戻す。
【００５０】
表情評価値が基準評価値αよりも大きいと判別した場合（ステップＳ１６；Ｙｅｓ）、記憶制御部７７は、ステップＳ１１において取得された画像データを記憶部３０に記録する（ステップＳ１８）。
【００５１】
そして、制御部２０は、撮影制御処理を終了する。
【００５２】
以上のように、実施形態１に係る撮像装置１は、被写体の顔領域における特徴量と基準特徴量との差分に基づいて、表情を評価し、その表情評価値が所定の基準評価値よりも大きい場合に撮影を行う。また、表情評価値が所定の基準評価値よりも小さい場合、被写体に対し変顔を作るよう促す旨を音声メッセージにより報知する。従って、撮像装置１は、被写体に対し音声メッセージにより所望する表情が作れていないことを認識させ、より変な表情を作るように促すことができるため、容易に所望する被写体の表情を撮影することができる。
【００５３】
（実施形態２）
上記の実施形態１において、基準特徴量記憶部７３に記憶された基準特徴量は、例えば異なる複数の人から取得された無表情な顔の特徴量から統計的手法により算出されるものとして説明した。しかし、基準特徴量は、予め撮影した被写体の無表情の顔から取得してもよい。以下、実施形態２においては、基準特徴量記憶部７３に記憶される基準特徴量を予め撮影した被写体の無表情の顔から取得する例について説明する。なお、実施形態１の撮像装置１と同様の構成については、同様の符号を付し、詳細な説明を省略する。
【００５４】
具体的には、実施形態２に係る撮像装置１は、実施形態１に係る撮像装置１と同様に、図１に示すハードウェア構成を有する。また、実施形態２に係る撮像装置１の制御部２０ａは、図９に示すように、図２に示す実施形態１の制御部２０の機能に加えて、さらに基準特徴量取得部７８として機能する。
【００５５】
基準特徴量取得部７８は、後述する基準特徴量取得処理において、被写体の顔領域の各種の特徴量を取得する。取得する方法としては、実施形態１の特徴量取得部７２と同様の方法を適用できる。そして、基準特徴量取得部７８は、取得した各種特徴量を、基準特徴量として、基準特徴量記憶部７３に記憶させる。
【００５６】
次に、実施形態２に係る撮像装置１の制御部２０ａが実行する基準特徴量取得処理について説明する。図１０は、本発明の実施形態２に係る撮像装置１の基準特徴量取得処理の流れの一例を示すフローチャートである。なお、この基準特徴量取得処理は、上述したＲＯＭ２２内のプログラム２４として予め記憶されており、ＣＰＵ２１がプログラム２４を読み出して実行することで、実際の処理が行われるものとする。
【００５７】
実施形態２に係る撮像装置１は、例えば、ユーザによる入力部４０への「変顔撮影モード」における基準特徴量を取得するための撮影を開始する旨の操作を契機として、基準特徴量取得処理を開始する。なお、基準特徴量取得処理において、被写体の顔は無表情であるものとする。
【００５８】
制御部２０ａは、ステップＳ２１〜Ｓ２３において、実施形態１における撮影制御処理のステップＳ１１〜１３と同様の処理を実行する。
【００５９】
基準特徴量取得部７８は、ステップＳ２３において取得した各種の特徴量を基準特徴量として、基準特徴量記憶部７３に記憶させる（ステップ２４）。具体的には、基準特徴量取得部７８は、ステップＳ２３において取得した各種の特徴量を基準特徴量として、基準特徴量記憶部７３に記憶させる。例えば、基準特徴量取得部７８は、特徴量ｘ１としてｘ１＝ｃ１を取得した場合、図６に示す基準特徴量記憶部７３の基準特徴量テーブル２６を参照して、特徴量ｘ１に対応する特定条件における基準特徴量Ｃ１にＣ１＝ｃ１を格納する。基準特徴量取得部７８は、この処理を、ステップＳ２３において取得した全ての特徴量について実行する。そして、制御部２０ａは基準特徴量取得処理を終了する。
【００６０】
このように、実施形態２に係る撮像装置１は、基準特徴量取得処理において基準特徴量を予め被写体の無表情の顔から取得する。そして、撮像装置１は、基準特徴量取得処理において取得した基準特徴量と、撮影制御処理において取得した特徴量との差分から、被写体の表情の表情評価値を取得し、被写体の撮影、または被写体への報知を行う。このように、被写体の無表情の顔の特徴量を基準特徴量として表情を評価することにより、実施形態１における表情の評価よりも、より被写体の顔の作りに応じた評価をすることができ、被写体の満足度の高い表情を撮影することができる。
【００６１】
（実施形態３）
上記の実施形態１及び２では、顔領域全体の特徴量について評価したが、例えば、顔領域のうち、ユーザにより選択された、特定の領域や、特定のパーツのみを評価対象としてもよい。以下、実施形態３においては、ユーザにより選択された評価部分における評価値に基づいて、撮影制御処理を実行する撮像装置１について説明する。なお、実施形態１の撮像装置１と同様の構成については、同様の符号を付し、詳細な説明を省略する
【００６２】
具体的には、実施形態３に係る撮像装置１は、実施形態１に係る撮像装置１と同様に、図１に示すハードウェア構成を有する。また、実施形態３に係る撮像装置１の制御部２０ｂは、図１１に示すように、図２に示す実施形態１に係る特徴量取得部７２と、機能が異なる特徴量取得部７９を備える。具体的には、実施形態３に係る特徴量取得部７９は、入力部４０を介してユーザにより選択された評価部分に属する特徴量を取得する。特徴量を取得する方法としては、実施形態１の特徴量取得部７２と同様の方法を適用できる。
【００６３】
次に、実施形態３に係る撮像装置１の制御部２０ｂが実行する撮影制御処理について説明する。図１２は、本発明の実施形態３に係る撮像装置１の撮影制御処理の流れの一例を示すフローチャートである。なお、この撮像制御処理は、上述したＲＯＭ２２内のプログラム２４として予め記憶されており、ＣＰＵ２１がプログラム２４を読み出して実行することで、実際の処理が行われるものとする。
【００６４】
実施形態３に係る撮像装置１は、例えば、ユーザによる入力部４０への「変顔撮影モード」を選択する操作を契機として図１２に示す撮影制御処理を開始する。
【００６５】
まず、制御部２０ｂは、入力部４０から評価部分を取得する（ステップＳ３１）。具体的には、制御部２０ｂは、ユーザに対し、「変顔撮影モード」において表情の評価の対象として所望する評価部分の入力を、例えば音声出力部５０から音声メッセージを出力することにより促す。そして、制御部２０ｂは入力部４０に入力された評価部分を表す情報をＲＡＭ２３に記憶させる。
【００６６】
制御部２０ｂは、ステップＳ３２、３３において、実施形態１における撮影制御処理のステップＳ１１、１２と同様の処理を実行する。
【００６７】
次に、特徴量取得部７９は、ステップＳ３１で取得した評価部分に属する特徴量を取得する（ステップＳ３４）。例えば、ステップＳ３１で取得した評価部分が「目」で合った場合、特徴量取得部７９は、評価部分「目」に属する特徴量をステップＳ３３で検出された顔領域内から取得する。そして、特徴量取得部７９は、取得した特徴量を評価部分「目」と対応付けてＲＡＭ２３内の取得特徴量テーブル２５に格納する。
【００６８】
続いて、制御部２０は、ステップＳ３５〜Ｓ３９において、実施形態１のステップＳ１４〜Ｓ１８と同様の処理を実行する。すなわち、評価値取得部７４は、ステップＳ３４で取得した各特徴量について、部分評価値を取得し（ステップＳ３５）、取得した部分評価値の総和を表情評価値Ｐとして取得する（ステップＳ３６）。そして、表情判別部７５は、ステップＳ３６で取得した表情評価値Ｐが基準評価値βよりも大きいか否かを判別する（ステップＳ３７）。表情評価値Ｐが基準評価値βよりも大きくないと判別した場合（ステップＳ３７；Ｎｏ）、報知制御部７６は、ＲＯＭ２２内に記憶された「もっと変な表情を作って下さい」という旨の音声メッセージを、音声出力部５０により出力させる（ステップＳ３８）。また、表情評価値Ｐが基準評価値βよりも大きいと判別した場合（ステップＳ３７；Ｙｅｓ）、記憶制御部７７は、ステップＳ３２において取得された画像データを記憶部３０に記録する（ステップＳ３９）。そして、制御部２０ｂは、撮影制御処理を終了する。
【００６９】
ここで、実施形態３の撮影制御処理における基準評価値βは、実施形態１における基準評価値αと同じ値でも良いが、異なる値を用いても良い。例えば、予め評価部分毎に基準評価値を設定し、ＲＯＭ２２に記憶しておき、ステップＳ３１において取得した評価部分に対応する基準評価値を用いてステップＳ３７における判別処理を実行してもよい。このように評価部分毎に基準評価値を設定しておくことにより、その評価部分に応じた評価を行うことができ、被写体の満足度がより高い撮影が可能となる。
【００７０】
このように、実施形態３に係る撮像装置１は、評価部分のみの表情評価値に基づいて、被写体の撮影、または被写体への報知を行う。従って、被写体が一部の評価部分を変形させることにより変な表情を作った場合に、その評価部分の表情評価値に基づいて、容易に所望する被写体の表情を撮影することができる。
【００７１】
なお、本発明は上記の実施形態に限定されず、種々の変形、応用が可能である。
【００７２】
例えば、上記の実施形態１乃至３では、被写体に対して変顔を作ることを促す旨の音声メッセージを音声出力部５０から出力することにより被写体に報知する場合について説明したが、被写体に対して変顔を作ることを促すための報知手段は音声出力部５０に限られない。例えば、表示部６０にメッセージを表示し、ユーザが、表示部６０のメッセージを視認して被写体に対してもっと変な表情を作るように促すことにより報知してもよい。また、撮像装置１は、制御部２０からの報知情報に基づいて点灯するＬＥＤ（Light Emitting Diode）を備えてもよい。具体的には、例えば図８に示す実施形態１の撮影制御処理において、表情評価値が基準評価値αよりも大きくないと判別した場合（ステップＳ１６；Ｎｏ）、報知制御部７６は、ＬＥＤを点灯させる。これにより、撮像装置１は、被写体に対しＬＥＤを点灯させることにより所望する表情が作れていないことを認識させ、より変な表情を作るように促すことができるため、容易に所望する被写体の表情を撮影することができる。
【００７３】
また、上記の実施形態１乃至３において、取得した表情評価値を表示部６０に表示してもよい。これにより、複数の被写体がそれぞれ撮影された画像の表情評価値を比較したり、１人の被写体が複数回撮影された画像の表情評価値を比較することができ、表情評価値を競ったり、表情評価値の目標を達成するといった新しい遊びの提供や、新しいコミュニケーションの創造を図ることができる。
【００７４】
また、上記の実施形態２において、撮像装置１は、撮影制御処理を実行する際、基準特徴量記憶部７３に被写体の基準特徴量が記憶されているか否かを判別してもよい。そして、撮像装置１は、記憶されている場合はその被写体の基準特徴量を用いて撮影し、記憶されていない場合には、実施形態１と同様に所定の基準特徴量を用いて撮影してもよい。基準特徴量記憶部７３に被写体の基準特徴量が記憶されているか否かを判別する際の被写体の顔の識別は、例えば従来用いられている顔画像を用いた個人認証の技術を適用することにより実現可能である。
【００７５】
また、上記の実施形態１乃至３において、撮像部１０が取得した画像データにおいて、顔検出部７１が複数の被写体の顔領域を検出した場合、顔領域毎に表情評価値を算出し、その表情評価値の総和に基づいて表情判別部７５が判別処理を実行してもよい。また、予め被写体の人数ごとに基準評価値を設定しておき、ユーザにより入力部４０を介して入力された被写体の人数に対応する基準評価値に基づいて、表情判別部７５は判別処理を実行してもよい。また、表情評価値の平均点や偏差値などを表示部６０に表示してもよい。
【００７６】
また、上記の実施形態１乃至３において、基準特徴量記憶部７３に記憶される基準特徴量は、無表情な顔から取得された特徴量であり、表情判別部７５は表情評価値として、無表情からかけ離れている度合いに基づいて、変顔か否かを判別する場合について説明した。しかし、基準特徴量を取得する際の顔の表情は無表情に限られない。例えば、基準特徴量記憶部７３に記憶される基準特徴量として、所定の変顔を作っている状態における顔の特徴量を記憶し、評価値関数として、特徴量と基準特徴量との差分が小さいほど評価値が大きくなる関数を記憶していてもよい。そして、評価値取得部７４は、このような基準特徴量、特徴量取得部７２により取得された特徴量、及び評価値関数に基づいて表情評価値を取得し、表情判別部７５は、取得された表情評価値に基づいて、所定の変顔か否かを判別してもよい。これにより、被写体が所定の変顔を作ることができている場合に撮影し、所定の変顔を作ることができていない場合にはその旨を被写体に認識させ、所定の変顔を作るように促すことができるため、容易に所望する被写体の表情を撮影することができる。さらに、評価部分ごとの評価値を表示部６０に表示することにより、被写体は顔のどの部分を変化させることにより、所定の変顔を作ることができるか容易に認識することができる。また、基準特徴量記憶部７３に記憶される基準特徴量として、著名人の顔の特徴量を記憶していてもよい。このような基準特徴量に基づいて取得された表情評価値を表示部６０に表示することにより、その著名人の顔とどれだけ似ているかを認識することができる。
【００７７】
また、上記の実施形態３における撮像装置１は、ユーザにより選択された評価部分について、その評価部分に属する特徴量の部分評価値を取得し、部分評価値の総和を表情評価値として取得する。しかし、撮像装置１は、ユーザにより選択された特徴量の部分評価値を取得し、その部分評価値を表情評価値として表情判別部７５は判別処理を実行してもよい。例えば、ユーザは、被写体が目をつぶった状態における表情の撮影を所望する場合、ユーザは目をつぶった状態を表す特徴量の部分評価値を表情評価値と使うように設定する。そして、撮像装置１は、この設定により選択された特徴量を画像データから取得し、部分評価値を取得する。そして、その部分評価値と所定の基準評価値との比較により、被写体の撮影、または被写体への報知を行う。これにより、顔の一部のパーツがユーザが所望する状態となったときに撮影を行うことである。また、複数の被写体がいる場合には、全ての被写体の部分評価値が所定の基準評価値よりも大きい場合に撮影を行い、１人でも部分評価値が所定の基準評価値に達していない場合に報知を行ってもよい。
【００７８】
また、上記の実施形態１乃至３では、撮像装置１が、静止画像を取得するデジタルカメラに本発明が適用される実施形態を説明した。しかし、本発明の撮像装置は、デジタルカメラに限られず適用可能である。例えば、動画を取得するデジタルビデオカメラや、各種のコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話、プリンタなどの電子機器においても同様に本発明を適用することができる。すなわち、以下に記載する実施形態は説明のためのものであり、本発明の範囲を制限するものではない。
【００７９】
なお、本発明の実施形態１、２及び３とこれらの変形例に係る撮像装置１は、専用の装置によらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークカード等を備えたコンピュータに上述の処理を実行するためのプログラムを格納した媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）から当該プログラムをインストールすることにより、上述の処理を実行する撮像装置を構成することができる。
【００８０】
また、コンピュータにプログラムを供給するための手法は任意である。例えば、通信回線、通信ネットワーク、通信システム等を介して供給してもよい。一例を挙げると、通信ネットワークの掲示板（ＢＢＳ）に当該プログラムを掲示し、これをネットワークを介して搬送波に重畳して配信することにより、上述の処理を実行することができる。
【００８１】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００８２】
（付記１）
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段により出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段と、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段と、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知手段と、
を備えることを特徴とする撮像装置。
【００８３】
（付記２）
前記特徴量取得手段は、前記撮像手段により出力された前記画像データに基づいて、前記被写体の顔の複数の特徴量を取得し、
前記評価値取得手段は、前記特徴量取得手段により取得された前記複数の特徴量のそれぞれについて、所定の特徴量との差分を算出し、算出した差分に基づいて、前記複数の特徴量のそれぞれについての部分評価値を算出し、該部分評価値の総和から前記表情評価値を取得する、
ことを特徴とする付記１に記載の撮像装置。
【００８４】
（付記３）
ユーザの操作入力に基づいて、前記被写体の顔を構成する複数の要素のうちから１または複数の要素を選択する選択手段をさらに備え、
前記特徴量取得手段は、前記撮像手段により出力された前記画像データに基づいて、前記選択手段により選択された前記要素に属する特徴量を取得する、
ことを特徴とする付記２に記載の撮像装置。
【００８５】
（付記４）
前記撮像手段により出力された画像データに基づいて、前記所定の特徴量を取得し、基準特徴量記憶手段に記憶させる基準特徴量取得手段をさらに備え、
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と、前記基準特徴量記憶手段に記憶された前記所定の特徴量との差分に基づいて、前記表情評価値を取得する、
ことを特徴とする付記１乃至３のいずれか１つに記載の撮像装置。
【００８６】
（付記５）
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分が大きいほど、高い表情評価値を取得する、
ことを特徴とする付記１乃至４のいずれか１つに記載の撮像装置。
【００８７】
（付記６）
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分が小さいほど、高い表情評価値を取得する、
ことを特徴とする付記１乃至４のいずれか１つに記載の撮像装置。
【００８８】
（付記７）
被写体を撮像し、画像データを出力する撮像ステップと、
前記撮像ステップにおいて出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得ステップと、
前記特徴量取得ステップにおいて取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得ステップと、
前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいと判別された場合、前記画像データを記憶手段に記憶させる記憶制御ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きくないと判別された場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知ステップと、
を備えることを特徴とする撮像制御方法。
【００８９】
（付記８）
コンピュータを、
被写体を撮像する撮像手段により出力された画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知するように報知手段を制御する報知制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００９０】
１ 撮像装置
１０ 撮像部
２０，２０ａ，２０ｂ 制御部
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
３０ 記憶部
４０ 入力部
５０ 音声出力部
６０ 表示部
７１ 顔検出部
７２ 特徴量取得部
７３ 基準特徴量記憶部
７４ 評価値取得部
７５ 表情判別部
７６ 報知制御部
７７ 記憶制御部
７８ 基準特徴量取得部
７９ 特徴量取得部
【技術分野】
【０００１】
本発明は、撮像装置、撮像制御方法、及びプログラムに関する。
【背景技術】
【０００２】
撮像装置において、被写体の画像から表情を判別するために必要な特徴量を抽出し、予め記憶された無表情の状態における特徴量との差分に基づいて、表情の判定を行うものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０５６３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の撮像装置では、被写体が判定結果を知ることができるのは撮影後であり、判定結果を反映した表情を撮影するためには、撮影の都度、撮影された画像をチェックする必要がある。
【０００５】
本発明はかかる問題点に鑑みてなされたものであって、容易に所望する被写体の表情を撮影可能な撮像装置、撮像制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る撮像装置は、
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段により出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段と、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段と、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知手段と、
を備えることを特徴とする。
【０００７】
上記目的を達成するため、本発明の第２の観点に係る撮像制御方法は、
被写体を撮像し、画像データを出力する撮像ステップと、
前記撮像ステップにおいて出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得ステップと、
前記特徴量取得ステップにおいて取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得ステップと、
前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいと判別された場合、前記画像データを記憶手段に記憶させる記憶制御ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きくないと判別された場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知ステップと、
を備えることを特徴とする。
【０００８】
上記目的を達成するため、本発明の第３の観点に係るプログラムは、
コンピュータを、
被写体を撮像する撮像手段により出力された画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知するように報知手段を制御する報知制御手段、
として機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、容易に所望する被写体の表情を撮影可能な撮像装置、撮像制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１に係る撮像装置のハードウェア構成を概略的に示すブロック図である。
【図２】実施形態１に係る制御部の機能構成を示すブロック図である。
【図３】テンプレートマッチングを用いた顔領域の検出方法の説明図である。
【図４】顔領域における特徴量の取得方法の説明図である。
【図５】取得特徴量テーブルの一例を示す図である。
【図６】基準特徴量テーブルの一例を示す図である。
【図７】（ａ）及び（ｂ）は、評価値関数の一例を示す図である。
【図８】実施形態１に係る撮像制御処理の流れの一例を示すフローチャートである。
【図９】実施形態２に係る制御部の機能構成を示すブロック図である。
【図１０】実施形態２に係る基準特徴量取得処理の流れの一例を示すフローチャートである。
【図１１】実施形態３に係る制御部の機能構成を示すブロック図である。
【図１２】実施形態３に係る撮像制御処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施形態に係る撮像装置について説明する。
【００１２】
（実施形態１）
本発明の実施形態１では、被写体の静止画像を取得するデジタルカメラにより実現される撮像装置１について説明する。実施形態１に係る撮像装置１は、撮像した画像データに基づいて、被写体の表情が変顔であるか否かを判別し、変顔であると判別した場合にその画像データを記憶する。また、変顔でないと判別した場合、被写体に対し変顔を作るように促す旨の音声を出力する。
【００１３】
ここで、本実施形態における「変顔」とは、一般的な表情（笑顔、泣き顔など）からかけ離れた、意図的に作られる滑稽な表情を表すものとする。変顔の例としては、両目の目尻を指等で上方へ押し上げた表情である、いわゆるつり目や、両方の頬を膨らませた表情、口をすぼめた表情等である。
【００１４】
図１は、本発明の実施形態１に係る撮像装置１のハードウェア構成を概略的に示すブロック図である。図１に示すように、本実施形態に係る撮像装置１は、撮像部１０と、制御部２０と、記憶部３０と、入力部４０と、音声出力部５０と、表示部６０とを備えている。
【００１５】
撮像部１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の固体撮像素子、レンズ、絞り、焦点調節装置及びシャッタ装置等から構成される。撮像部１０は、固体撮像素子上に結像した画像を、画像データとして出力する。
【００１６】
制御部２０は、ＣＰＵ２１（Central Processing Unit）、ＲＯＭ２２（Read Only Memory）、ＲＡＭ２３（Random Access Memory）等から構成され、撮像装置１の各部を制御する。
【００１７】
ＣＰＵ２１は、ＲＯＭ２２内に記憶されているプログラム２４をロードし、ＲＡＭ２３を作業用メモリとしつつ、各種の演算処理や後述する撮影制御処理を実行する。
【００１８】
ＲＯＭ２２は、各処理（後述する撮影制御処理等）の内容を規定するプログラム２４や、各処理に使用されるデータを予め記憶する。このようなプログラム２４やデータは、ＲＯＭ２２以外に記録されていてもよい。例えば、持ち運び可能な記録媒体等に記録されていてもよい。この記録媒体は、一例として、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、磁気ディスク、又は、半導体メモリ等の不揮発性メモリから構成される。
【００１９】
ＲＡＭ２３は、ＣＰＵ２１により各処理が実行される際に、ＲＯＭ２２等から読み出された各種データが格納される。
【００２０】
記憶部３０は、例えば、所定規格のメモリカードやＨＤＤ（Hard Disk Drive）等の記憶媒体であり、画像データ３１を記憶する。画像データ３１は、例えば、撮像部１０により撮影された人物や風景等が写った画像のデータであり、ＪＰＥＧ（Joint Photographic Export Group）等のファイル形式にて記憶されている。
【００２１】
入力部４０は、ユーザからの操作入力を受け取り、制御部２０にその操作情報を出力する。入力部４０は、例えば、シャッタの開閉を操作するためのレリーズボタンや、各種メニューや撮影モードの設定をするためのスイッチやタッチパネル等から構成される。なお、本実施形態において、撮影モードは、「通常撮影モード」と、「変顔撮影モード」とを備えているものとする。「通常撮影モード」とは、ユーザがレリーズボタンの押下したことにより撮影を行う（撮像部１０が出力した画像データを記憶部３０に記憶させる）撮影モードである。また、「変顔撮影モード」とは、撮像部１０が出力した画像データに基づいて、被写体の表情が変顔であるか否かを判別し、変顔であると判別した場合に撮影を行う撮影モードである。
【００２２】
音声出力部５０は、例えば、スピーカから構成され、制御部２０による制御の下、報知情報が示す音声を出力する。報知情報とは、被写体に対し変顔を作るように促す旨の音声を示す情報である。報知情報が示す音声としては、例えば、「もっと変な表情を作って下さい」といった音声である。
【００２３】
表示部６０は、例えば、駆動回路と、液晶パネル、有機ＥＬ（Electro Luminescence）パネル等の表示パネルとから構成される。駆動回路は、制御部２０から出力される画像データに従って表示パネルを駆動し、表示パネルに撮像部１０が取得した画像データが表す画像を表示させる。
【００２４】
次に、本発明の実施形態１に係る撮像装置１の制御部２０の機能について、図２を参照して説明する。
【００２５】
図２に示すように、制御部２０は、顔検出部７１、特徴量取得部７２、基準特徴量記憶部７３、評価値取得部７４、表情判別部７５、報知制御部７６、記憶制御部７７、として機能する。
【００２６】
顔検出部７１は、撮像部１０が出力した画像データが表す画像において、被写体の顔が表れている領域（顔領域）を検出する。顔検出部７１による顔領域の検出方法としては、例えば、撮像部１０が出力した画像データが表す画像から肌色領域を抽出する方法や、テンプレートマッチングを適用することができる。
【００２７】
図３に、一例としてテンプレートマッチングを用いた顔領域の検出方法の説明図を示す。図３に示すように、テンプレートマッチングにおいて、撮像部１０が出力した画像データが表す画像Ｉ内に設定された着目領域Ａにおける画像ｉと、所定の顔のテンプレート画像Ｉｔとを対比し、両画像の類似度に基づいて着目領域Ａが顔領域であるか否かを判定する。類似度は、顔であるか否かを識別するのに有効な特徴量を抽出することにより取得される。そして、画像Ｉ中の着目領域Ａは、１画素ずつ左右方向または上下方向にずらされる。ずらされた後の着目領域Ａ内の画像ｉとテンプレート画像Ｉｔとが対比されて、同様の検出が行われる。このように、着目領域Ａは、例えば、画像Ｉ中の左上から右下方向に向けて、１画素ずつずらされながら更新設定される。なお、画像Ｉに写る顔とテンプレート画像Ｉｔとの形状等が同じであっても、両者の大きさが全く異なっていれば、顔検出部７１が算出する類似度が低くなる。従って、画像Ｉに写る顔の大きさとテンプレート画像Ｉｔの大きさを略一致させるため、画像Ｉ全体を一定の割合で縮小または拡大し、縮小後または拡大後の画像に対して、同様に顔領域の検出処理を行う。以上の処理を繰り返すことにより、画像中から任意の大きさの顔領域を検出することができる。
【００２８】
図２に戻って、特徴量取得部７２は、顔検出部７１により検出された顔領域内において、特徴量を取得する。ここで、「特徴量」とは、目や口、しわ等の顔を構成する要素の特徴量を表す。特徴量は、具体的には、目の傾き、白目と黒目の面積比、黒目の位置、口から出ている舌の長さ、口の周りのしわの数、頬の輝度等である。
【００２９】
特徴量取得部７２による特徴量の取得方法としては、例えば、特許文献１に記載の方法を適用することができる。以下に、特許文献１に記載の方法を適用することにより、特徴量の一例として、目の傾きを取得する方法を説明する。特徴量取得部７２は、顔検出部７１により検出された顔領域Ａｆにおいて、エッジを抽出する処理を実行することにより、図４に示すような目のエッジｅ１，ｅ２、口のエッジｍ等を取得する。そして、特徴量取得部７２は、左目のエッジｅ１の右端点ｐ１の座標位置から左端点ｐ２の座標位置までの横方向の増加量対する縦方向の増加量の割合を左目の傾きＳ１として算出する。同様に、特徴量取得部７２は、右目のエッジｅ２の左端点ｐ３の座標位置から右端点ｐ４の座標位置までの横方向の増加量対する縦方向の増加量の割合を右目の傾きＳ２として算出する。そして、特徴量取得部７２は、左目の傾きＳ１と右目の傾きＳ２の平均値を目の傾きｘ１として取得する。
【００３０】
また、特徴量取得部７２は、上述したように取得した各種の特徴量を、例えば図５に示すように、評価部分と対応付けて、ＲＡＭ２３内の取得特徴量テーブル２５に格納される。ここで、「評価部分」とは、被写体の顔を構成する要素を表す。そして、各特徴量は、その特徴量を取得する際に用いる被写体の顔の構成要素やその構成要素が位置する領域に対応する評価部分に属するように取得特徴量テーブル２５に格納される。例えば、評価部分が「目」に属する特徴量としては、図５に示すように、目の傾きを表す特徴量ｘ１、黒目の位置を表す特徴量ｘ２、右目と左目の対称度を表す特徴量ｘ３というように、顔の構成要素である「目」に起因する特徴量があげられる。
【００３１】
基準特徴量記憶部７３は、特徴量を評価する際の基準となる基準特徴量を記憶する。具体的には、基準特徴量記憶部７３は、ＲＯＭ２２により実現され、図６に示すような基準特徴量テーブル２６を記憶する。基準特徴量テーブル２６は、評価部分ごとに、特徴量、特定条件、評価値関数が格納されている。
【００３２】
「特定条件」とは、特徴量取得部７２により取得された特徴量が、無表情の顔から取得されうる特徴量の値の範囲から外れていることを特定するための条件である。具体的には、特定条件は、その特徴量に対応する基準特徴量を用いて表される。ここで、「基準特徴量」は、無表情の顔から取得されうる特徴量の値の範囲を規定する値であり、例えば、異なる複数の人から取得された無表情な顔の特徴量から統計的手法により算出される。例えば、図６に示す特徴量ｘ１において、特徴量取得部７２により取得された特徴量ｘ１＝ａ１が基準特徴量Ｃ１よりも大きい場合、すなわちａ１＞Ｃ１である場合、特徴量ｘ１＝ａ１は、無表情な顔から取得されうる特徴量の値の範囲から外れていることが特定される。
【００３３】
また「評価値関数」とは、特定条件を満たした、特徴量取得部７２により取得された特徴量と基準特徴量との差分と、評価値との関係を表す関数である。具体的には、特徴量ｘと基準特徴量Ｃとの差分Δｘが大きいほど評価値Ｐが大きくなるような関数である。評価値関数の例を図７（ａ）及び（ｂ）に示す。図７（ａ）に示す評価値関数ｆ（Δｘ）において、差分Δｘと評価値Ｐとは比例関係にある。また、図７（ｂ）に示す評価値関数ｆ（Δｘ）において、差分Δｘの所定の間隔毎に評価値Ｐが大きくなる関係にある。
【００３４】
評価値取得部７４は、特徴量取得部７２により取得された特徴量と、基準特徴量記憶部７３に記憶された特徴量との差分に基づいて、表情評価値を取得する。ここで、「表情評価値」とは、被写体の顔の表情の、無表情からかけ離れている度合いを表す値である。具体的には、評価値取得部７４は、特徴量取得部７２により取得された各種の特徴量について、基準特徴量記憶部７３に記憶された特定条件を満たしているか否かを判別する。そして、特定条件を満たしていないと判別した場合、評価値取得部７４は、その特徴量を評価対象としない処理、例えばその特徴量の部分評価値として０を取得する。また、特定条件を満たしていると判別した場合、評価値取得部７４は、基準特徴量記憶部７３に記憶された評価値関数を用いて部分評価値を取得する。評価値取得部７４は、これらの処理を特徴量取得部７２により取得された全ての特徴量に対して実行し、取得された部分評価値の総和を表情評価値として取得する。
【００３５】
表情判別部７５は、評価値取得部７４により取得された表情評価値に基づいて、被写体の表情が変顔か否かを判別する。具体的には、表情判別部７５は、評価値取得部７４により取得された表情評価値が所定の基準評価値よりも大きい場合、変顔であると判別する。また、表情評価値が所定の基準評価値よりも大きくない、すなわち所定の基準評価値以下である場合、変顔でないと判別する。なお、基準評価値は、予めユーザにより指定された値でもよく、また、固定で設定されていてもよい。
【００３６】
報知制御部７６は、表情判別部７５が変顔でないと判別した場合、音声出力部５０が報知情報を報知するように制御する。具体的には、報知制御部７６は、表情判別部７５が変顔でないと判別した場合、例えば予めＲＯＭ２２に記憶された「もっと変な表情を作って下さい」という旨の音声データを音声出力部５０から出力されるよう制御する。
【００３７】
記憶制御部７７は、表情判別部７５が変顔であると判別した場合、撮影部１０により出力された画像データを記憶部３０に記憶させる。
【００３８】
次に、実施形態１に係る撮像装置１の動作について、図面を参照して説明する。図８は、本発明の実施形態１に係る撮像装置１の撮影制御処理の流れの一例を示すフローチャートである。なお、この撮影制御処理は、上述したＲＯＭ２２内のプログラム２４として予め記憶されており、ＣＰＵ２１がプログラム２４を読み出して実行することで、実際の処理が行われるものとする。
【００３９】
実施形態１に係る撮像装置１は、は、例えば、ユーザによる入力部４０への「変顔撮影モード」を選択する操作を契機として図８に示す撮影制御処理を開始する。
【００４０】
まず、顔検出部７１は、撮像部１０から画像データを取得する（ステップＳ１１）。
【００４１】
続いて、顔検出部７１は、ステップＳ１１で取得された画像データについて、被写体の顔領域を検出する顔検出処理を行う（ステップＳ１２）。
【００４２】
具体的には、図３に示すように、顔検出部７１は、例えば予めＲＯＭ２２に記憶されているテンプレート画像Ｉｔと、画像Ｉ内の着目領域Ａ内の画像ｉとを対比して両画像の類似度を算出する。そして、算出された類似度に基づいて、着目領域Ａ内に顔が含まれているか否かを検出する。類似度の算出は、顔が含まれているか否かを識別するのに有効な特徴量（一般的な顔の輪郭、目、鼻等）を抽出することによって行う。また、画像Ｉ全体を一定の割合で縮小（拡大）し、縮小（拡大）後の画像に対して、同様の顔が含まれているか否かの検出処理を行うことにより、顔領域を検出する。
【００４３】
続いて、特徴量取得部７２は、ステップＳ１２で検出された顔領域において、各種の特徴量を取得する（ステップＳ１３）。
【００４４】
具体的には、特徴量取得部７２は、ステップＳ１２において検出された顔領域内において、各種の特徴量として、目の傾き、黒目の位置、右目と左目の対称度等を検出し、取得した特徴量を評価部分と対応付けてＲＡＭ２３内の取得特徴量テーブル２５に格納する。
【００４５】
続いて、評価値取得部７４は、ステップＳ１３で取得された各特徴量について、部分評価値を取得する（ステップＳ１４）。
【００４６】
具体的には、評価値取得部７４は、ステップＳ１３で取得され、ＲＡＭ２３に記憶された各特徴量について、基準特徴量記憶部７３に記憶された基準特徴量テーブル２５を参照し、特定条件を満たしているか否かを判別する。例えば、特徴量ｘ１について、図６に示す基準特徴量テーブル２５を参照し、特定条件ｘ１＞Ｃ１を満たしているか否かを判別する。そして、特定条件を満たしていないと判別した場合、特徴量ｘ１の部分評価値Ｐ１として０を取得する。また、特定条件を満たしていると判別した場合、特徴量ｘ１の部分評価値Ｐ１としてＰ１＝ｆ１（ｘ１−Ｃ１）を取得する。評価値取得部７４は、このような部分評価値を取得する処理を、ステップＳ１３において取得された全ての特徴量について実行する。
【００４７】
次に、評価値取得部７４は、ステップＳ１４で取得された全ての部分評価値の総和を算出し、その算出した結果を表情評価値Ｐとして取得する（ステップＳ１５）。
【００４８】
次に、表情判別部７５は、ステップＳ１５で取得された表情評価値Ｐが基準評価値αよりも大きいか否かを判別する（ステップＳ１６）。
【００４９】
表情評価値が基準評価値αよりも大きくないと判別した場合（ステップＳ１６；Ｎｏ）、報知制御部７６は、ＲＯＭ２２内に記憶された「もっと変な表情を作って下さい」という旨の音声メッセージを、音声出力部５０により出力させる（ステップＳ１７）。そして、処理をステップＳ１１に戻す。
【００５０】
表情評価値が基準評価値αよりも大きいと判別した場合（ステップＳ１６；Ｙｅｓ）、記憶制御部７７は、ステップＳ１１において取得された画像データを記憶部３０に記録する（ステップＳ１８）。
【００５１】
そして、制御部２０は、撮影制御処理を終了する。
【００５２】
以上のように、実施形態１に係る撮像装置１は、被写体の顔領域における特徴量と基準特徴量との差分に基づいて、表情を評価し、その表情評価値が所定の基準評価値よりも大きい場合に撮影を行う。また、表情評価値が所定の基準評価値よりも小さい場合、被写体に対し変顔を作るよう促す旨を音声メッセージにより報知する。従って、撮像装置１は、被写体に対し音声メッセージにより所望する表情が作れていないことを認識させ、より変な表情を作るように促すことができるため、容易に所望する被写体の表情を撮影することができる。
【００５３】
（実施形態２）
上記の実施形態１において、基準特徴量記憶部７３に記憶された基準特徴量は、例えば異なる複数の人から取得された無表情な顔の特徴量から統計的手法により算出されるものとして説明した。しかし、基準特徴量は、予め撮影した被写体の無表情の顔から取得してもよい。以下、実施形態２においては、基準特徴量記憶部７３に記憶される基準特徴量を予め撮影した被写体の無表情の顔から取得する例について説明する。なお、実施形態１の撮像装置１と同様の構成については、同様の符号を付し、詳細な説明を省略する。
【００５４】
具体的には、実施形態２に係る撮像装置１は、実施形態１に係る撮像装置１と同様に、図１に示すハードウェア構成を有する。また、実施形態２に係る撮像装置１の制御部２０ａは、図９に示すように、図２に示す実施形態１の制御部２０の機能に加えて、さらに基準特徴量取得部７８として機能する。
【００５５】
基準特徴量取得部７８は、後述する基準特徴量取得処理において、被写体の顔領域の各種の特徴量を取得する。取得する方法としては、実施形態１の特徴量取得部７２と同様の方法を適用できる。そして、基準特徴量取得部７８は、取得した各種特徴量を、基準特徴量として、基準特徴量記憶部７３に記憶させる。
【００５６】
次に、実施形態２に係る撮像装置１の制御部２０ａが実行する基準特徴量取得処理について説明する。図１０は、本発明の実施形態２に係る撮像装置１の基準特徴量取得処理の流れの一例を示すフローチャートである。なお、この基準特徴量取得処理は、上述したＲＯＭ２２内のプログラム２４として予め記憶されており、ＣＰＵ２１がプログラム２４を読み出して実行することで、実際の処理が行われるものとする。
【００５７】
実施形態２に係る撮像装置１は、例えば、ユーザによる入力部４０への「変顔撮影モード」における基準特徴量を取得するための撮影を開始する旨の操作を契機として、基準特徴量取得処理を開始する。なお、基準特徴量取得処理において、被写体の顔は無表情であるものとする。
【００５８】
制御部２０ａは、ステップＳ２１〜Ｓ２３において、実施形態１における撮影制御処理のステップＳ１１〜１３と同様の処理を実行する。
【００５９】
基準特徴量取得部７８は、ステップＳ２３において取得した各種の特徴量を基準特徴量として、基準特徴量記憶部７３に記憶させる（ステップ２４）。具体的には、基準特徴量取得部７８は、ステップＳ２３において取得した各種の特徴量を基準特徴量として、基準特徴量記憶部７３に記憶させる。例えば、基準特徴量取得部７８は、特徴量ｘ１としてｘ１＝ｃ１を取得した場合、図６に示す基準特徴量記憶部７３の基準特徴量テーブル２６を参照して、特徴量ｘ１に対応する特定条件における基準特徴量Ｃ１にＣ１＝ｃ１を格納する。基準特徴量取得部７８は、この処理を、ステップＳ２３において取得した全ての特徴量について実行する。そして、制御部２０ａは基準特徴量取得処理を終了する。
【００６０】
このように、実施形態２に係る撮像装置１は、基準特徴量取得処理において基準特徴量を予め被写体の無表情の顔から取得する。そして、撮像装置１は、基準特徴量取得処理において取得した基準特徴量と、撮影制御処理において取得した特徴量との差分から、被写体の表情の表情評価値を取得し、被写体の撮影、または被写体への報知を行う。このように、被写体の無表情の顔の特徴量を基準特徴量として表情を評価することにより、実施形態１における表情の評価よりも、より被写体の顔の作りに応じた評価をすることができ、被写体の満足度の高い表情を撮影することができる。
【００６１】
（実施形態３）
上記の実施形態１及び２では、顔領域全体の特徴量について評価したが、例えば、顔領域のうち、ユーザにより選択された、特定の領域や、特定のパーツのみを評価対象としてもよい。以下、実施形態３においては、ユーザにより選択された評価部分における評価値に基づいて、撮影制御処理を実行する撮像装置１について説明する。なお、実施形態１の撮像装置１と同様の構成については、同様の符号を付し、詳細な説明を省略する
【００６２】
具体的には、実施形態３に係る撮像装置１は、実施形態１に係る撮像装置１と同様に、図１に示すハードウェア構成を有する。また、実施形態３に係る撮像装置１の制御部２０ｂは、図１１に示すように、図２に示す実施形態１に係る特徴量取得部７２と、機能が異なる特徴量取得部７９を備える。具体的には、実施形態３に係る特徴量取得部７９は、入力部４０を介してユーザにより選択された評価部分に属する特徴量を取得する。特徴量を取得する方法としては、実施形態１の特徴量取得部７２と同様の方法を適用できる。
【００６３】
次に、実施形態３に係る撮像装置１の制御部２０ｂが実行する撮影制御処理について説明する。図１２は、本発明の実施形態３に係る撮像装置１の撮影制御処理の流れの一例を示すフローチャートである。なお、この撮像制御処理は、上述したＲＯＭ２２内のプログラム２４として予め記憶されており、ＣＰＵ２１がプログラム２４を読み出して実行することで、実際の処理が行われるものとする。
【００６４】
実施形態３に係る撮像装置１は、例えば、ユーザによる入力部４０への「変顔撮影モード」を選択する操作を契機として図１２に示す撮影制御処理を開始する。
【００６５】
まず、制御部２０ｂは、入力部４０から評価部分を取得する（ステップＳ３１）。具体的には、制御部２０ｂは、ユーザに対し、「変顔撮影モード」において表情の評価の対象として所望する評価部分の入力を、例えば音声出力部５０から音声メッセージを出力することにより促す。そして、制御部２０ｂは入力部４０に入力された評価部分を表す情報をＲＡＭ２３に記憶させる。
【００６６】
制御部２０ｂは、ステップＳ３２、３３において、実施形態１における撮影制御処理のステップＳ１１、１２と同様の処理を実行する。
【００６７】
次に、特徴量取得部７９は、ステップＳ３１で取得した評価部分に属する特徴量を取得する（ステップＳ３４）。例えば、ステップＳ３１で取得した評価部分が「目」で合った場合、特徴量取得部７９は、評価部分「目」に属する特徴量をステップＳ３３で検出された顔領域内から取得する。そして、特徴量取得部７９は、取得した特徴量を評価部分「目」と対応付けてＲＡＭ２３内の取得特徴量テーブル２５に格納する。
【００６８】
続いて、制御部２０は、ステップＳ３５〜Ｓ３９において、実施形態１のステップＳ１４〜Ｓ１８と同様の処理を実行する。すなわち、評価値取得部７４は、ステップＳ３４で取得した各特徴量について、部分評価値を取得し（ステップＳ３５）、取得した部分評価値の総和を表情評価値Ｐとして取得する（ステップＳ３６）。そして、表情判別部７５は、ステップＳ３６で取得した表情評価値Ｐが基準評価値βよりも大きいか否かを判別する（ステップＳ３７）。表情評価値Ｐが基準評価値βよりも大きくないと判別した場合（ステップＳ３７；Ｎｏ）、報知制御部７６は、ＲＯＭ２２内に記憶された「もっと変な表情を作って下さい」という旨の音声メッセージを、音声出力部５０により出力させる（ステップＳ３８）。また、表情評価値Ｐが基準評価値βよりも大きいと判別した場合（ステップＳ３７；Ｙｅｓ）、記憶制御部７７は、ステップＳ３２において取得された画像データを記憶部３０に記録する（ステップＳ３９）。そして、制御部２０ｂは、撮影制御処理を終了する。
【００６９】
ここで、実施形態３の撮影制御処理における基準評価値βは、実施形態１における基準評価値αと同じ値でも良いが、異なる値を用いても良い。例えば、予め評価部分毎に基準評価値を設定し、ＲＯＭ２２に記憶しておき、ステップＳ３１において取得した評価部分に対応する基準評価値を用いてステップＳ３７における判別処理を実行してもよい。このように評価部分毎に基準評価値を設定しておくことにより、その評価部分に応じた評価を行うことができ、被写体の満足度がより高い撮影が可能となる。
【００７０】
このように、実施形態３に係る撮像装置１は、評価部分のみの表情評価値に基づいて、被写体の撮影、または被写体への報知を行う。従って、被写体が一部の評価部分を変形させることにより変な表情を作った場合に、その評価部分の表情評価値に基づいて、容易に所望する被写体の表情を撮影することができる。
【００７１】
なお、本発明は上記の実施形態に限定されず、種々の変形、応用が可能である。
【００７２】
例えば、上記の実施形態１乃至３では、被写体に対して変顔を作ることを促す旨の音声メッセージを音声出力部５０から出力することにより被写体に報知する場合について説明したが、被写体に対して変顔を作ることを促すための報知手段は音声出力部５０に限られない。例えば、表示部６０にメッセージを表示し、ユーザが、表示部６０のメッセージを視認して被写体に対してもっと変な表情を作るように促すことにより報知してもよい。また、撮像装置１は、制御部２０からの報知情報に基づいて点灯するＬＥＤ（Light Emitting Diode）を備えてもよい。具体的には、例えば図８に示す実施形態１の撮影制御処理において、表情評価値が基準評価値αよりも大きくないと判別した場合（ステップＳ１６；Ｎｏ）、報知制御部７６は、ＬＥＤを点灯させる。これにより、撮像装置１は、被写体に対しＬＥＤを点灯させることにより所望する表情が作れていないことを認識させ、より変な表情を作るように促すことができるため、容易に所望する被写体の表情を撮影することができる。
【００７３】
また、上記の実施形態１乃至３において、取得した表情評価値を表示部６０に表示してもよい。これにより、複数の被写体がそれぞれ撮影された画像の表情評価値を比較したり、１人の被写体が複数回撮影された画像の表情評価値を比較することができ、表情評価値を競ったり、表情評価値の目標を達成するといった新しい遊びの提供や、新しいコミュニケーションの創造を図ることができる。
【００７４】
また、上記の実施形態２において、撮像装置１は、撮影制御処理を実行する際、基準特徴量記憶部７３に被写体の基準特徴量が記憶されているか否かを判別してもよい。そして、撮像装置１は、記憶されている場合はその被写体の基準特徴量を用いて撮影し、記憶されていない場合には、実施形態１と同様に所定の基準特徴量を用いて撮影してもよい。基準特徴量記憶部７３に被写体の基準特徴量が記憶されているか否かを判別する際の被写体の顔の識別は、例えば従来用いられている顔画像を用いた個人認証の技術を適用することにより実現可能である。
【００７５】
また、上記の実施形態１乃至３において、撮像部１０が取得した画像データにおいて、顔検出部７１が複数の被写体の顔領域を検出した場合、顔領域毎に表情評価値を算出し、その表情評価値の総和に基づいて表情判別部７５が判別処理を実行してもよい。また、予め被写体の人数ごとに基準評価値を設定しておき、ユーザにより入力部４０を介して入力された被写体の人数に対応する基準評価値に基づいて、表情判別部７５は判別処理を実行してもよい。また、表情評価値の平均点や偏差値などを表示部６０に表示してもよい。
【００７６】
また、上記の実施形態１乃至３において、基準特徴量記憶部７３に記憶される基準特徴量は、無表情な顔から取得された特徴量であり、表情判別部７５は表情評価値として、無表情からかけ離れている度合いに基づいて、変顔か否かを判別する場合について説明した。しかし、基準特徴量を取得する際の顔の表情は無表情に限られない。例えば、基準特徴量記憶部７３に記憶される基準特徴量として、所定の変顔を作っている状態における顔の特徴量を記憶し、評価値関数として、特徴量と基準特徴量との差分が小さいほど評価値が大きくなる関数を記憶していてもよい。そして、評価値取得部７４は、このような基準特徴量、特徴量取得部７２により取得された特徴量、及び評価値関数に基づいて表情評価値を取得し、表情判別部７５は、取得された表情評価値に基づいて、所定の変顔か否かを判別してもよい。これにより、被写体が所定の変顔を作ることができている場合に撮影し、所定の変顔を作ることができていない場合にはその旨を被写体に認識させ、所定の変顔を作るように促すことができるため、容易に所望する被写体の表情を撮影することができる。さらに、評価部分ごとの評価値を表示部６０に表示することにより、被写体は顔のどの部分を変化させることにより、所定の変顔を作ることができるか容易に認識することができる。また、基準特徴量記憶部７３に記憶される基準特徴量として、著名人の顔の特徴量を記憶していてもよい。このような基準特徴量に基づいて取得された表情評価値を表示部６０に表示することにより、その著名人の顔とどれだけ似ているかを認識することができる。
【００７７】
また、上記の実施形態３における撮像装置１は、ユーザにより選択された評価部分について、その評価部分に属する特徴量の部分評価値を取得し、部分評価値の総和を表情評価値として取得する。しかし、撮像装置１は、ユーザにより選択された特徴量の部分評価値を取得し、その部分評価値を表情評価値として表情判別部７５は判別処理を実行してもよい。例えば、ユーザは、被写体が目をつぶった状態における表情の撮影を所望する場合、ユーザは目をつぶった状態を表す特徴量の部分評価値を表情評価値と使うように設定する。そして、撮像装置１は、この設定により選択された特徴量を画像データから取得し、部分評価値を取得する。そして、その部分評価値と所定の基準評価値との比較により、被写体の撮影、または被写体への報知を行う。これにより、顔の一部のパーツがユーザが所望する状態となったときに撮影を行うことである。また、複数の被写体がいる場合には、全ての被写体の部分評価値が所定の基準評価値よりも大きい場合に撮影を行い、１人でも部分評価値が所定の基準評価値に達していない場合に報知を行ってもよい。
【００７８】
また、上記の実施形態１乃至３では、撮像装置１が、静止画像を取得するデジタルカメラに本発明が適用される実施形態を説明した。しかし、本発明の撮像装置は、デジタルカメラに限られず適用可能である。例えば、動画を取得するデジタルビデオカメラや、各種のコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話、プリンタなどの電子機器においても同様に本発明を適用することができる。すなわち、以下に記載する実施形態は説明のためのものであり、本発明の範囲を制限するものではない。
【００７９】
なお、本発明の実施形態１、２及び３とこれらの変形例に係る撮像装置１は、専用の装置によらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークカード等を備えたコンピュータに上述の処理を実行するためのプログラムを格納した媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）から当該プログラムをインストールすることにより、上述の処理を実行する撮像装置を構成することができる。
【００８０】
また、コンピュータにプログラムを供給するための手法は任意である。例えば、通信回線、通信ネットワーク、通信システム等を介して供給してもよい。一例を挙げると、通信ネットワークの掲示板（ＢＢＳ）に当該プログラムを掲示し、これをネットワークを介して搬送波に重畳して配信することにより、上述の処理を実行することができる。
【００８１】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００８２】
（付記１）
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段により出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段と、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段と、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知手段と、
を備えることを特徴とする撮像装置。
【００８３】
（付記２）
前記特徴量取得手段は、前記撮像手段により出力された前記画像データに基づいて、前記被写体の顔の複数の特徴量を取得し、
前記評価値取得手段は、前記特徴量取得手段により取得された前記複数の特徴量のそれぞれについて、所定の特徴量との差分を算出し、算出した差分に基づいて、前記複数の特徴量のそれぞれについての部分評価値を算出し、該部分評価値の総和から前記表情評価値を取得する、
ことを特徴とする付記１に記載の撮像装置。
【００８４】
（付記３）
ユーザの操作入力に基づいて、前記被写体の顔を構成する複数の要素のうちから１または複数の要素を選択する選択手段をさらに備え、
前記特徴量取得手段は、前記撮像手段により出力された前記画像データに基づいて、前記選択手段により選択された前記要素に属する特徴量を取得する、
ことを特徴とする付記２に記載の撮像装置。
【００８５】
（付記４）
前記撮像手段により出力された画像データに基づいて、前記所定の特徴量を取得し、基準特徴量記憶手段に記憶させる基準特徴量取得手段をさらに備え、
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と、前記基準特徴量記憶手段に記憶された前記所定の特徴量との差分に基づいて、前記表情評価値を取得する、
ことを特徴とする付記１乃至３のいずれか１つに記載の撮像装置。
【００８６】
（付記５）
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分が大きいほど、高い表情評価値を取得する、
ことを特徴とする付記１乃至４のいずれか１つに記載の撮像装置。
【００８７】
（付記６）
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分が小さいほど、高い表情評価値を取得する、
ことを特徴とする付記１乃至４のいずれか１つに記載の撮像装置。
【００８８】
（付記７）
被写体を撮像し、画像データを出力する撮像ステップと、
前記撮像ステップにおいて出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得ステップと、
前記特徴量取得ステップにおいて取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得ステップと、
前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいと判別された場合、前記画像データを記憶手段に記憶させる記憶制御ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きくないと判別された場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知ステップと、
を備えることを特徴とする撮像制御方法。
【００８９】
（付記８）
コンピュータを、
被写体を撮像する撮像手段により出力された画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知するように報知手段を制御する報知制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００９０】
１ 撮像装置
１０ 撮像部
２０，２０ａ，２０ｂ 制御部
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
３０ 記憶部
４０ 入力部
５０ 音声出力部
６０ 表示部
７１ 顔検出部
７２ 特徴量取得部
７３ 基準特徴量記憶部
７４ 評価値取得部
７５ 表情判別部
７６ 報知制御部
７７ 記憶制御部
７８ 基準特徴量取得部
７９ 特徴量取得部
【特許請求の範囲】
【請求項１】
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段により出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段と、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段と、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記特徴量取得手段は、前記撮像手段により出力された前記画像データに基づいて、前記被写体の顔の複数の特徴量を取得し、
前記評価値取得手段は、前記特徴量取得手段により取得された前記複数の特徴量のそれぞれについて、所定の特徴量との差分を算出し、算出した差分に基づいて、前記複数の特徴量のそれぞれについての部分評価値を算出し、該部分評価値の総和から前記表情評価値を取得する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
ユーザの操作入力に基づいて、前記被写体の顔を構成する複数の要素のうちから１または複数の要素を選択する選択手段をさらに備え、
前記特徴量取得手段は、前記撮像手段により出力された前記画像データに基づいて、前記選択手段により選択された前記要素に属する特徴量を取得する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像手段により出力された画像データに基づいて、前記所定の特徴量を取得し、基準特徴量記憶手段に記憶させる基準特徴量取得手段をさらに備え、
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と、前記基準特徴量記憶手段に記憶された前記所定の特徴量との差分に基づいて、前記表情評価値を取得する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分が大きいほど、高い表情評価値を取得する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分が小さいほど、高い表情評価値を取得する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
被写体を撮像し、画像データを出力する撮像ステップと、
前記撮像ステップにおいて出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得ステップと、
前記特徴量取得ステップにおいて取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得ステップと、
前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいと判別された場合、前記画像データを記憶手段に記憶させる記憶制御ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きくないと判別された場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知ステップと、
を備えることを特徴とする撮像制御方法。
【請求項８】
コンピュータを、
被写体を撮像する撮像手段により出力された画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知するように報知手段を制御する報知制御手段、
として機能させることを特徴とするプログラム。
【請求項１】
被写体を撮像し、画像データを出力する撮像手段と、
前記撮像手段により出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段と、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段と、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段と、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記特徴量取得手段は、前記撮像手段により出力された前記画像データに基づいて、前記被写体の顔の複数の特徴量を取得し、
前記評価値取得手段は、前記特徴量取得手段により取得された前記複数の特徴量のそれぞれについて、所定の特徴量との差分を算出し、算出した差分に基づいて、前記複数の特徴量のそれぞれについての部分評価値を算出し、該部分評価値の総和から前記表情評価値を取得する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
ユーザの操作入力に基づいて、前記被写体の顔を構成する複数の要素のうちから１または複数の要素を選択する選択手段をさらに備え、
前記特徴量取得手段は、前記撮像手段により出力された前記画像データに基づいて、前記選択手段により選択された前記要素に属する特徴量を取得する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像手段により出力された画像データに基づいて、前記所定の特徴量を取得し、基準特徴量記憶手段に記憶させる基準特徴量取得手段をさらに備え、
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と、前記基準特徴量記憶手段に記憶された前記所定の特徴量との差分に基づいて、前記表情評価値を取得する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分が大きいほど、高い表情評価値を取得する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記評価値取得手段は、前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分が小さいほど、高い表情評価値を取得する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
被写体を撮像し、画像データを出力する撮像ステップと、
前記撮像ステップにおいて出力された前記画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得ステップと、
前記特徴量取得ステップにおいて取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得ステップと、
前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きいと判別された場合、前記画像データを記憶手段に記憶させる記憶制御ステップと、
前記判別ステップにおいて、前記評価値取得ステップにおいて取得された前記表情評価値が所定の評価値よりも大きくないと判別された場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知する報知ステップと、
を備えることを特徴とする撮像制御方法。
【請求項８】
コンピュータを、
被写体を撮像する撮像手段により出力された画像データに基づいて、前記被写体の顔の特徴量を取得する特徴量取得手段、
前記特徴量取得手段により取得された前記特徴量と所定の特徴量との差分に基づいて、表情評価値を取得する評価値取得手段、
前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいか否かを判別する判別手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きいと判別した場合、前記画像データを記憶手段に記憶させる記憶制御手段、
前記判別手段が前記評価値取得手段により取得された前記表情評価値が所定の評価値よりも大きくないと判別した場合、前記被写体に対しさらに前記表情評価値が大きくなる表情を作るように促す旨の報知情報を報知するように報知手段を制御する報知制御手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−２１４３４（Ｐ２０１３−２１４３４Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５１６３９（Ｐ２０１１−１５１６３９）
【出願日】平成２３年７月８日（２０１１．７．８）
【出願人】（３９００１０１７９）埼玉日本電気株式会社 (1,228)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月８日（２０１１．７．８）
【出願人】（３９００１０１７９）埼玉日本電気株式会社 (1,228)
【Ｆターム（参考）】
[ Back to top ]