撮像装置および表情評価装置
【課題】被撮影者あるいは撮影者にとってより満足度の高い画像を撮像できるようにする。
【解決手段】撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、顔検出部３１は、その画像信号から人物の顔を検出し、表情評価部４１は、検出された顔の表情を評価して、例えば笑顔と通常の表情などの異なる表情の間において一方の表情にどれだけ近いかの度合いを示す表情評価値を算出する。報知制御部４２は、算出された表情評価値の大きさを視覚的に示す報知情報を生成して、例えばディスプレイ１６を通じて、撮影者あるいは被撮影者などに対して報知するように制御する。さらに、表情評価部４１は、表情評価値が所定のしきい値を超えた場合には、記録動作制御部４３に対して、画像信号を記録媒体に記録させるように要求する。
【解決手段】撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、顔検出部３１は、その画像信号から人物の顔を検出し、表情評価部４１は、検出された顔の表情を評価して、例えば笑顔と通常の表情などの異なる表情の間において一方の表情にどれだけ近いかの度合いを示す表情評価値を算出する。報知制御部４２は、算出された表情評価値の大きさを視覚的に示す報知情報を生成して、例えばディスプレイ１６を通じて、撮影者あるいは被撮影者などに対して報知するように制御する。さらに、表情評価部４１は、表情評価値が所定のしきい値を超えた場合には、記録動作制御部４３に対して、画像信号を記録媒体に記録させるように要求する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いて画像を撮像する撮像装置、および、撮像された顔の表情を評価する表情評価装置に関する。
【背景技術】
【０００２】
撮像装置において、シャッタボタンを押下する操作から一定時間経過後に自動的にシャッタを切る、いわゆるセルフタイマ機能は、銀塩カメラのみならず、デジタルスチルカメラにも一般的に搭載されている。しかし、このセルフタイマ機能によりシャッタが切られるタイミングは事前に決められたものとなるので、シャッタを切った時点で被撮影者が必ずしもよい表情となるという保証はなく、満足のいかない写真が撮像されることが少なくないという問題があった。
【０００３】
一方、近年では、画像信号を基にデジタル演算処理する画像処理技術が急速に進んでおり、その例として、画像から人間の顔を検出する技術がある。例えば、顔画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域が顔であるか否かを示す推定値を算出し、その１以上の推定値から領域内の画像が顔であるか否かを最終的に判別するようにした顔検出技術があった（例えば、特許文献１参照）。
【０００４】
このような顔検出技術は、デジタルスチルカメラなど、固体撮像素子で撮像を行うデジタル方式の撮像装置に搭載できるレベルまで開発が進んでおり、最近ではさらに、検出された顔の表情を判別する技術なども注目されている。例えば、連続して複数コマを撮像した画像信号から、被撮影者の顔の表情などを撮像画像ごとに評価し、それらの評価情報から好適な画像を選択できるようにすることが考えられている（例えば、特許文献２参照）。
【特許文献１】特開２００５−１５７６７９号公報（段落番号〔００４０〕〜〔００５２〕、図１）
【特許文献２】特開２００４−４６５９１号公報（段落番号〔００６３〕〜〔００７１〕、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、最近ではデジタル方式の撮像装置のメーカ間競争が激化していることから、このような撮像装置を高機能化して、その商品価値を高めることが強く求められている。また、上述したセルフタイマ機能の問題点のように、撮像した画像は撮影者や被撮影者にとって必ずしも満足のいくものとはならないことから、このような満足度を高めるべく撮像動作を補助する機能は、商品価値を高めるための非常に重要なものと言える。特に、発達の進んでいる画像処理技術を用いてこのような機能を実現することが望まれているが、撮像動作中にリアルタイムにその動作を補助するような機能は実現されていなかった。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、被撮影者あるいは撮影者にとってより満足度の高い画像を撮像することが可能な撮像装置を提供することを目的とする。
また、本発明の他の目的は、被撮影者あるいは撮影者にとってより満足度の高い画像を撮像することが可能な表情評価装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、その画像信号から人物の顔を検出する顔検出部と、検出された顔の表情を評価し、特定の表情とそれ以外の表情との間において、前記特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部と、算出された前記表情評価値の大きさを視覚的に示す報知情報を報知する報知部とを有することを特徴とする撮像装置が提供される。
【０００８】
このような撮像装置では、顔検出部が、撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、その画像信号から人物の顔を検出し、表情評価部が、顔検出部により検出された顔の表情を評価し、特定の表情とそれ以外の表情との間において、特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する。報知部は、算出された表情評価値の大きさを視覚的に示す報知情報を報知する。
【発明の効果】
【０００９】
本発明の撮像装置によれば、撮像された画像信号を記録媒体に記録するまでの期間において、撮像された画像から人物の顔が検出され、その顔の表情が評価されて、その表情が、特定の表情とそれ以外の表情との間において、特定の表情にどれだけ近いかの度合いを示す表情評価値が算出される。そして、その表情評価値の大きさを視覚的に示す報知情報が報知される。従って、被撮影者の表情が撮像に適しているかを例えば被撮影者あるいは撮影者などに認識させることができるので、被撮影者や撮影者にとって満足度の高い画像を確実に記録媒体に記録できるようになる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【００１１】
図１に示す撮像装置は、デジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。この撮像装置は、光学ブロック１１、ドライバ１１ａ、撮像素子１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログフロントエンド（ＡＦＥ）回路１３、カメラ信号処理回路１４、グラフィック処理回路１５、ディスプレイ１６、画像エンコーダ１７、記録装置１８、マイクロコンピュータ１９、入力部２０、ＬＥＤ（Light Emitting Diode）発光部２１、および音声出力部２２を具備する。
【００１２】
光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、マイクロコンピュータ１９からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。
【００１３】
撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、マイクロコンピュータ１９の制御の下でタイミング信号を出力する。
【００１４】
ＡＦＥ回路１３は、撮像素子１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像データを出力する。
【００１５】
カメラ信号処理回路１４は、ＡＦＥ回路１３からの画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、各種画質補正処理のための検波処理や、検波情報を基にマイクロコンピュータ１９から出力される信号に応じた画質補正処理を施す。なお、後述するように、本実施の形態では、このカメラ信号処理回路１４は、顔検出機能およびその顔領域のデータを切り出す機能を備えている。
【００１６】
グラフィック処理回路１５は、カメラ信号処理回路１４から出力された画像データを、ディスプレイ１６に表示するための信号に変換し、ディスプレイ１６に供給する。また、マイクロコンピュータ１９からの要求に応じて、後述する表情スコアなどの情報を画像上に合成する。ディスプレイ１６は、例えばＬＣＤ（Liquid Crystal Display）などからなり、グラフィック処理回路１５からの画像信号を基に画像を表示する。
【００１７】
画像エンコーダ１７は、カメラ信号処理回路１４から出力された画像データを圧縮符号化し、符号化データを記録装置１８に出力する。具体的には、カメラ信号処理回路１４で処理された１フレーム分の画像データを、ＪＰＥＧ（Joint Photographic Experts Group）などの符号化方式に従って圧縮符号化し、静止画像の符号化データを出力する。なお、静止画像だけでなく、動画像のデータを圧縮符号化できるようにしてもよい。
【００１８】
記録装置１８は、画像エンコーダ１７からの符号化データを画像ファイルとして記録する装置であり、例えば、磁気テープ、光ディスクなどの可搬型記録媒体のドライブ装置、あるいはＨＤＤ（Hard Disk Drive）などとして実現される。
【００１９】
マイクロコンピュータ１９は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などのメモリを備え、メモリに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。
【００２０】
入力部２０は、各種の入力スイッチに対するユーザによる操作入力に応じた制御信号を、マイクロコンピュータ１９に出力する。この入力スイッチとしては、例えば、シャッタレリーズボタン、各種メニュー選択や動作モードの設定などを行うための十字キーなどが設けられる。
【００２１】
ＬＥＤ発光部２１は、マイクロコンピュータ１９からの制御信号に基づき、撮像装置の外装面に設けられたＬＥＤを点灯させる。このＬＥＤとしては、例えば、セルフタイマ機能の動作中であることを示すものなどが考えられる。
【００２２】
音声出力部２２は、マイクロコンピュータ１９からの制御信号に基づき、例えば動作確認音などの音声を出力する。なお、音声データのエンコーダ／デコーダを備える場合には、この音声データを再生したときの再生音声を出力してもよい。
【００２３】
この撮像装置では、撮像素子１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル画像データに変換される。カメラ信号処理回路１４は、ＡＦＥ回路１３から供給された画像データを画質補正処理し、処理後の画像データはグラフィック処理回路１５に供給されて表示用の画像信号に変換される。これによりディスプレイ１６には、現在撮像中の画像（カメラスルー画像）がディスプレイ１６に表示され、撮影者はこの画像を視認して画角を確認できるようになる。
【００２４】
また、この状態から、入力部２０のシャッタレリーズボタンが押下されることなどにより、マイクロコンピュータ１９に対して画像の記録が指示されると、カメラ信号処理回路１４からの画像データは画像エンコーダ１７に供給され、圧縮符号化処理が施されて、記録装置１８に記録される。静止画像の記録の際には、カメラ信号処理回路１４からは１フレーム分の画像データが画像エンコーダ１７に供給され、動画像の記録の際には、処理された画像データが画像エンコーダ１７に連続的に供給される。
【００２５】
次に、この撮像装置が備える撮像動作モードについて説明する。この撮像装置は、静止画像を撮像する際に、撮像画像から被撮影者の顔を検出して、その表情を評価し、評価の度合いを示す情報を被撮影者に報知するモードと、その評価の度合いに応じて自動的にシャッタを切り、静止画像データを記録装置１８に記録するモードとを備えている。以下、前者モードを「表情評価モード」、後者を「表情応答記録モード」と呼ぶことにする。
【００２６】
表情評価モードでは、撮像画像から顔を検出した場合に、その顔の表情を評価し、評価に応じた情報を被撮影者に報知して、被撮影者がより撮像に適した表情になるように促す役割を果たす。例えば、表情として笑顔であるか否かの度合いを評価する。また、表情応答記録モードでは、その評価値が所定の値を超えたときに、被撮影者の顔が撮像に適した表情になったと判断して、自動的に静止画像データを記録する。これにより、被撮影者にとってより満足度の高い画像を記録できるように補助する。なお、ここでは表情評価モードと表情応答記録モードの２つのモードを備えるものとしているが、表情応答記録モードのみを備えていてもよい。
【００２７】
図２は、表情評価モードおよび表情応答記録モードを実現するために撮像装置が備える機能を示すブロック図である。
図２に示すように、この撮像装置は、上記各撮像動作モードを実現するための機能として、顔検出部３１、顔画像生成部３２、表情評価部４１、報知制御部４２、および記録動作制御部４３を備えている。本実施の形態では、顔検出部３１および顔画像生成部３２は、カメラ信号処理回路１４内のハードウェアによって実現され、表情評価部４１、報知制御部４２および記録動作制御部４３は、マイクロコンピュータ１９によって実行されるソフトウェアの機能として実現される。ただし、これらの機能のそれぞれは、ハードウェアあるいはソフトウェアのいずれによって実現されてもよい。また、マイクロコンピュータ１９は、表情評価部４１による表情評価演算に用いるための判別軸情報４４を、その内部のＲＯＭなどのメモリにあらかじめ保持している。後述するように、判別軸情報４４は、２つの表情についての多数の顔のサンプルデータから主成分分析によって得た信号成分を基に、線形判別分析を行って得た表情の判別軸を示すベクトルの係数情報などを含む。
【００２８】
ここで、以下の図３および図４を用いて、図２に示した各機能の動作を説明する。まず、図３は、表情評価モードにおける動作の概要を示す図である。
表情評価モードでは、まず、顔検出部３１が、撮像素子１２による撮像により得られ、カメラ信号処理回路１４内を伝達される画像データを基に、その画像から被撮影者の顔を検出する（ステップＳ１）。そして、検出した顔の領域を示す検出情報を顔画像生成部３２に出力する。なお、本実施の形態のように、表情評価値に応じた情報をディスプレイ１６に表示することで報知する場合、顔検出部３１からの顔の検出情報は、マイクロコンピュータ１９の報知制御部４２にも供給される。
【００２９】
顔の検出手法としては周知の手法を適用することが可能であるが、例えば、特許文献１に記載された手法を用いることができる。この手法では、まず、顔画像中の２画素間の輝度差を学習し、特徴量としてあらかじめ保持しておく。そして、図３のステップＳ１の欄に示すように、入力画像に対して一定の大きさのウィンドウＷ１を順次当てはめていき、ウィンドウＷ１の中の画像に顔が含まれるか否かを特徴量を基に推定して、推定値を出力する。このとき、入力画像を順次縮小して同じ処理を行うことで、一定の大きさのウィンドウＷ１を用いて推定を行うことができる。そして、それらの動作により得られた推定値から、顔が存在する領域を最終的に判別する。
【００３０】
次に、顔画像生成部３２は、入力画像から、検出された顔の領域Ａｆのデータを切り出す（ステップＳ２）。そして、切り出した画像データを一定サイズの画像データに変換して正規化し、表情評価部４１に供給する（ステップＳ３）。
【００３１】
ここで、本実施の形態では、顔検出部３１から出力される顔の検出情報の例として、顔の周囲を囲む長方形の検出枠の位置（例えば左端の座標。以下、顔の位置情報と呼ぶ。）と、その検出枠のサイズ（例えば水平・垂直方向の各画素数。以下、顔のサイズ情報と呼ぶ。）が出力されるものとする。この場合、顔画像生成部３２は、顔の検出対象とされた画像データが一時的に記憶されたメモリ（ＲＡＭ）にアクセスし、顔検出部３１からの顔の位置情報およびサイズ情報に対応する領域のデータのみを読み込む。
【００３２】
また、切り出された画像データは、一定サイズ（解像度）の画像データとして解像度変換されることで正規化される。この正規化後の画像サイズは、表情評価部４１において顔の表情を評価する際の処理単位となるサイズとなる。本実施の形態では、例として４８画素×４８画素のサイズとする。
【００３３】
なお、顔画像生成部３２が備える上記のような画像切り出し機能および解像度変換機能としては、従来のカメラ信号処理回路１４が検波や出力画像の生成などのために一般的に備えている同様の機能を流用することが可能である。
【００３４】
次に、表情評価部４１は、顔画像生成部３２からの顔の正規化画像データと、あらかじめ記憶されている判別軸情報４４とを基に、その顔の表情の度合いを評価する演算を行って、表情評価値を出力する（ステップＳ４）。この表情評価値は、２つの表情のうちどちらの表情に近いかの度合いを示すものである。例えば、２つの表情として「笑顔」と「通常時の表情」を適用し、表情評価値が高いほど「通常時の表情」でなく「笑顔」である度合いが強いと評価する。なお、この表情評価値の算出手法については後述する。
【００３５】
次に、報知制御部４２は、表情評価部４１から出力された表情評価値に応じた情報を、被撮影者に対して報知する（ステップＳ５）。例えば、表情評価値に応じた情報は、グラフィック処理回路１５を通じて、被撮影者側に向けられたディスプレイ１６に表示される。この場合、顔検出部３１から供給された顔の位置およびサイズ情報を基に、評価対象の顔をディスプレイ１６の中で特定するような表示が行われてもよい。また、ＬＥＤ発光部２１を利用して、例えばその輝度の変化や点滅速度の変化、色の変化などにより表情評価値に違いが報知されてもよい。あるいは、音声出力部２２を通じて、表情評価値に応じた異なる音声が出力されることで報知されてもよい。
【００３６】
以下の説明では、表情評価部４１は、例として顔の表情が笑顔であるか無表情であるかの度合いを評価するものとする。また、本実施の形態では、特に、その表情評価値に応じた情報を、被撮影者側に表示面を向けたディスプレイ１６に表示することで、被撮影者に報知する。図３では、表情評価値に応じた値である「笑顔スコア」を示すバーグラフをディスプレイ１６に表示した例を示している。
【００３７】
図４は、笑顔スコアを示すバーグラフの動きを説明するための図である。
この図４に示すように、表情評価値は、顔の表情が笑顔である度合いが強いほど高くなり、通常時の表情である度合いが高いほど低くなる。また、バーグラフに示される笑顔スコアは、表情評価値に比例して連続的あるいは段階的に変動する。このバーグラフは、被撮影者側に向けられたディスプレイ１６に表示され、被撮影者は撮像時にこのバーグラフをリアルタイムで視認することで、自分の表情が撮像に適した笑顔になっているか否かを認識できる。その結果、バーグラフは、被撮影者に対して撮像に適した表情になるように促し、より良好な画像を撮像できるように撮像動作を補助する機能を果たす。なお、後述するように、表情評価値の低い被撮影者に対して、笑顔を促すような具体的な文字情報などを表示してもよい。
【００３８】
ここで、「表情応答記録モード」に設定されていた場合、表情評価部４１は、表情評価値が所定のしきい値を超えた場合に、自動的にシャッタを切る、すなわち撮像画像を記録するように制御する。図２において、記録動作制御部４３は、撮像画像データの記録動作を制御するブロックであり、通常の撮像動作では、入力部２０のシャッタレリーズボタンが押下されたことを検知したときに、撮像装置内の各部を記録時に適した撮像動作（例えば露光動作や信号処理動作）を行うように制御し、それによって撮像画像データを、画像エンコーダ１７にエンコードさせ、符号化データを記録装置１８に記録させる。そして、表情評価部４１は、表情評価値が所定のしきい値を超えたとき、この記録動作制御部４３に対して画像データの記録動作を実行するように要求する。
【００３９】
これにより、撮像画像から顔が検出され、その顔の表情が撮像に適した状態になったとき（ここでは笑顔の度合いが強くなったとき）に、そのときの撮像画像が自動的に記録されるようになる。従って、従来のセルフタイマ機能（すなわち、シャッタレリーズボタンを押下して一定時間後に撮像画像を記録する機能）と比較して、被撮影者が良好な表情で映った画像を確実に撮像できるようになり、被撮影者や撮影者の満足度を高めることができる。
【００４０】
次に、ディスプレイ１６における笑顔スコアの具体的な表示画面の例について説明する。
図５は、バーグラフを用いた笑顔スコアの画面表示例を示す図である。
【００４１】
この図５では、撮像装置としてデジタルビデオカメラ１００を想定している。デジタルビデオカメラ１００では、カメラ本体部１０１の側面に、画角確認用のディスプレイ１６が設けられている。このような構成のデジタルビデオカメラ１００では、一般的にディスプレイ１６の表示面の角度や方向が可変になっており、図５のように表示面を撮像レンズ１０２が設けられた方向、すなわち被撮影者の方向に向けることも可能になっている。表情評価モードおよび表情応答記録モードでは、このようにディスプレイ１６の表示面を撮影者側に向けた状態で使用され、撮像されている被写体の画像とともに、表情評価値に応じた情報が表示される。
【００４２】
図５の画面表示例では、顔２０１を含む撮像画像の上に笑顔スコア表示部２０２が合成されて表示されている。笑顔スコア表示部２０２には、表情評価値に応じた笑顔スコアがバーグラフ２０３として表示されているとともに、数値表示部２０４にその笑顔スコアが数値として表示されている。また、表情応答記録モードでは、自動的に撮像画像が記録されるときの笑顔スコアの境界を示す境界表示アイコン２０５が表示される。この例ではさらに、境界表示アイコン２０５の上に、しきい値が数値によって表示されている。
【００４３】
また、図５の例では、笑顔スコア表示部２０２とともに、その笑顔スコアに対応する顔２０１の周囲に顔表示枠２０６を表示して、笑顔の評価対象の顔２０１をわかりやすく表示している。さらに、その顔表示枠２０６の近傍に、表情評価値に応じて異なる文字を表示する文字表示部２０７を設け、笑顔である度数が低いほどより強い笑顔にするように、被撮影者に対して文字によって促すようにしている。
【００４４】
また、表情応答記録モードでは、撮像画像が記録される際の表情評価値のしきい値をユーザが任意に設定できるようにして、被撮影者がどの程度の笑顔となったときの画像を得たいかを自由に決められるようにしてもよい。図５の例では、例えば入力部２０に設けられた左右方向の方向キー（図示せず）をユーザが押下することで、表情評価値のしきい値が変化するとともに、境界表示アイコン２０５が左右に移動して、表情評価値のしきい値に対応する笑顔スコアをユーザが視認できるようになっている。この場合、表情応答記録モードに設定されたときに、左右方向の方向キーを表情評価値のしきい値を設定するためのキーとして自動的に対応付けるようにしてもよく、これによりユーザの操作性を向上させることができる。
【００４５】
なお、表情評価値のしきい値の変更は上記の手法に限らず、例えば、メニュー画面から選択される専用の設定画面から行うようにしてもよい。また、専用の操作キーを設けて行うようにしてもよい。また、ディスプレイ１６がタッチパネル方式の場合は、例えばディスプレイ１６上に表示させたキー画像に指を接触させることで、しきい値を変更してもよい。また、図５の境界表示アイコン２０５に指を接触させたまま左右に動かすことで、しきい値を変更できるようにしてもよい。
【００４６】
また、撮像画面内から複数の顔が検出された場合には、それらの顔ごとに表情評価値を算出し、それらの値に応じた情報をディスプレイ１６に表示してもよい。図６は、複数の顔が検出された場合における表情評価値に応じた情報の第１の画面表示例を示す図である。
【００４７】
図６では例として、２つの顔２１１および２１２が検出された例を示している。顔２１１および２１２のそれぞれには、顔領域の周囲に顔表示枠２１３および２１４が表示されているとともに、その近傍に文字表示部２１５および２１６が設けられている。顔表示枠２１３および２１４は、それぞれの顔２１１および２１２に対する表情評価値に応じてその線種が変化するようにされ、文字表示部２１５および２１６には、表情評価値に応じた異なる文字が表示される。
【００４８】
図６の例では、顔２１１については十分に強い笑顔であると評価されているが、顔２１２については笑顔の度合いが足りないと評価されている。例えば、顔２１１については表情評価値が自動記録のしきい値に達しているが、顔２１２については表情評価値がそのしきい値より少し低い状態を示している。このとき、顔２１１についての顔表示枠２１３を実線、顔２１２についての顔表示枠２１４を破線としてこのような評価状態の違いを対応する被撮影者に報知するとともに、文字表示部２１６にはさらに笑顔を強めることを促す文字情報を表示している。なお、この例では顔表示枠２１３および２１４の線種により表情評価値の違いを表しているが、その他に例えば、顔表示枠の輝度の違いや色の違い、太さの違いなどにより、表情評価値の違いを報知してもよい。
【００４９】
図７は、複数の顔が検出された場合における表情評価値に応じた情報の第２の画面表示例を示す図である。
図７の例でも、図６と同様に２つの顔２１１および２１２が検出され、顔２１１については十分に強い笑顔であると評価され、顔２１２については笑顔の度合いが足りないと評価されている。また、図７の例では、顔２１１および２１２の各領域の近傍に、表情評価値に応じた記号２１７および２１８を示すことで、表情評価値の違いを被撮影者に報知している。
【００５０】
以上のように、表情評価値に応じた情報をディスプレイを用いて報知することで、表情評価値に応じた笑顔スコアをバーグラフや数値で示す、あるいは、表情評価値に応じて顔表示枠の線種や色、明るさなどを変える、顔の近傍に表情評価値に応じて笑顔を促すような文字を表示するなど、様々な方法で表情評価値に応じた情報を被撮影者にわかりやすく報知することができる。特に、デジタルビデオカメラの場合、従来から設けられていた表示面方向可変のディスプレイを用いて報知できるので、カメラの基本的な構成を変えることによる大幅な開発・製造コストの上昇を招くことなく、ユーザにとって満足度の高い画像を確実に記録することができるようになる。
【００５１】
なお、以上では表示面方向可変のディスプレイが搭載されたデジタルビデオカメラを例に挙げたが、撮像レンズとは反対の面に画角確認用のディスプレイが設けられるデジタルスチルカメラなどにも、そのディスプレイの表示面方向が可変のものがあり、その表示面を被撮影者側に向けることができれば、上記のような表示画像を表示させて表情評価値に応じた情報を被撮影者に報知することが可能である。
【００５２】
次に、この撮像装置で用いる表情評価の手法について説明する。
図８は、表情評価のために事前に生成すべき情報と、その情報生成の流れについて概念的に示す図である。
【００５３】
本実施の形態では、表情の評価手法として、いわゆる「フィッシャー（Fisher）の線形判別分析」の手法を用いる。この手法では、まず、２つの表情をそれぞれ持つ顔のサンプル画像を事前に多数用意しておき、これらのサンプル画像のデータを基に、２つの表情間の２クラス問題と考えて、線形判別分析（ＬＤＡ：Linear Discriminant Analysis）によりこれらの２つの表情をよく判別する判別軸Ａdを事前に形成しておく。そして、表情評価の際には、入力された顔画像のデータと判別軸Ａdとの内積を求めることで、表情評価値を算出する。
【００５４】
図８に示すように、本実施の形態では、笑顔のサンプル画像Ｐｓと通常の表情のサンプル画像Ｐｎを用いる。これらのサンプル画像ＰｓおよびＰｎは、例えば４８画素×４８画素の一定サイズに正規化した画像として用意しておく。そして、これらのサンプル画像のデータを（４８×４８）次元のベクトルデータとして取り扱い、ＬＤＡ処理を行う。ただし、このベクトル空間は（４８×４８）本の座標軸を持つ非常に次元の大きい空間となる。そこで、ＬＤＡ処理に先立って、それらのベクトルデータに対して主成分分析（ＰＣＡ：Principal Component Analysis）を行い、顔の特徴だけを効率よく表すような次元の低い空間のデータに変換（次元圧縮）する。
【００５５】
このＰＣＡ処理では、まず、入力されたＭ個（例えばＭ＝３００）のＮ次元（Ｎ＝４８×４８）のサンプル画像群間のバラツキ（分散）が最大になるように、Ｍ本の軸を得ることを考える。このような軸は、画像群の共分散行列の固有値問題の解（固有ベクトル）として求められ、係数の比較的大きいベクトル成分のみを主成分として取り出すことで、顔の特徴を表すのに適したベクトル成分のみのＮ’次元（Ｎ＞＞Ｎ’）のデータに圧縮することができる。例えばＮ’＝４０程度とすることで、顔の表情判別について十分な精度を維持できることがわかっている。なお、ＰＣＡ処理で得られた主成分のうち、係数の大きいものから順に数個程度除外することで、表情判別精度を保ちつつ、次元数をさらに減らして次のＰＣＡ処理の負荷を軽減できる。
【００５６】
ここで、図９は、ＰＣＡ処理時に入力するサンプル画像のマスキング処理について説明するための図である。
図９（Ａ）のように、顔２２１が所定サイズの矩形領域に撮像されたサンプル画像Ｐをそのまま用いてＰＣＡ処理を行った場合、顔２２１の背景や髪などの影響により、適切な主成分を必ずしも選択できない場合があり得る。このため、図９（Ｂ）のように、顔２２１以外の領域にマスク２２２をかけて、できるだけ顔領域のみが残されたサンプル画像Ｐ１に変換し、顔の情報濃度を上げた状態でＰＣＡ処理することで、より高精度な次元圧縮を行うことができる。さらに、顔領域の中でも口は表情によって大きく変化し、擾乱要素となることが多いので、図９（Ｃ）のように口の領域までもマスク２２３をかけたサンプル画像Ｐ２を用いてＰＣＡ処理することで、さらに次元圧縮の精度を高めることができる。
【００５７】
以下、図８に戻って説明すると、ＰＣＡ処理によって次元圧縮された笑顔、通常の表情の各サンプル画像は、顔の特徴を効率よく表すような座標軸のみを持つ部分空間（ＰＣＡ空間Ｓpca）上のベクトルデータに変換される。図８では、このＰＣＡ空間Ｓpcaに、笑顔、通常の表情の各サンプル画像ＰｓおよびＰｎが射影された様子を模式的に表している。この図のように、ＰＣＡ空間Ｓpcaの上では、表情が同じサンプル画像は比較的近くに存在すると言える。そこで、これらの各表情のサンプル画像群を２つのクラスタＣＬsおよびＣＬnと捉え、これらのクラスタ同士を最もよく分離する射影軸（判別軸Ａd）をＬＤＡ処理により形成する。このような判別軸Ａdは“フィッシャーの射影軸”と呼ばれる。
【００５８】
ＬＤＡ処理では、一般的に、Ｎ’次元の固有ベクトル上に射影されたクラス内およびクラス間の分散が最大になるような判別軸が求められる。すなわち、クラス内、クラス間の各共分散行列の最大固有値に対応する固有ベクトルを求め、これを判別軸Ａd上のベクトル（フィッシャー・ベクトル）とする。各共分散行列と固有値、固有ベクトルとの関係を、式（１）および（２）に示す。
【００５９】
【数１】
【００６０】
ここで、式（２）の左辺の逆行列、固有値、固有ベクトルの演算には、それぞれＬＵ（Lower-Upper）分解法、ＱＲ分解法（Ｑ：直交行列，Ｒ：上三角行列）、ガウスの消去法を用いることができる。表情評価部４１は、以上のように得られた判別軸Ａdの情報（判別軸情報４４）として、フィッシャー・ベクトルの各成分の係数などの情報を、ＲＯＭなどにあらかじめ保持しておく。
【００６１】
図１０は、ピクセル空間およびＰＣＡ空間における判別軸および顔の入力画像の関係を概念的に示す図である。
上記の判別軸Ａdを用いた表情判別の基本的な手順は、まず、撮像画像から検出された顔の画像データをＰＣＡ処理し、主成分を抽出する。そして、この顔画像の表情は、図１０のＰＣＡ空間Ｓpcaに示すように、ＰＣＡ処理された顔画像ベクトル（入力顔画像ベクトル）の判別軸Ａdに対する射影成分として評価される。すなわち、表情評価値Ｅexpの演算は、入力顔画像ベクトルとフィッシャー・ベクトルとの内積により算出できる（式（５−１）参照）。
【００６２】
【数２】
【００６３】
ただし、フィッシャー・ベクトルの情報は、ピクセル空間Ｓpxl（ＰＣＡ処理前の元の画像データが持つ次元の空間）での情報に換算しておくこともできる。式（３）および（４）はそれぞれ、入力顔画像ベクトルおよびフィッシャー・ベクトルをピクセル空間Ｓpxlでのベクトルとして表しており、これらの関係を概念的に表したものが図１０である。式（３）、式（４）および図１０に示すように、ＰＣＡ処理により得られる主成分μ1〜μN'以外のベクトル成分は、すべての入力画像の平均値として定数Ｃで近似できる。従って、式（５−１）に示すような内積演算は、式（５−２）のようにピクセル空間Ｓpxlの上でのベクトルの内積演算として等価的に表すことができる。
【００６４】
式（５−２）において、ピクセル空間Ｓpxlでのフィッシャー・ベクトル成分と定数Ｃとの減算結果は事前に算出できるので、表情評価部４１は、この減算結果と定数Ｃとを判別軸情報４４としてあらかじめ保持しておく。そして、撮像画像から検出された顔画像のベクトルが与えられると、そのベクトルをＰＣＡ処理することなく、式（５−２）の内積演算を実行する。式（５−２）による１つの顔に対する評価値演算では、それぞれ最大で（４８×４８）回の減算、乗算および加算が実行されるのみであり、しかも実際には、４０個程度の主成分μ1〜μN'に対応する係数の演算のみが実行されることになる。従って、ＰＣＡ空間Ｓpcaでのベクトルの内積演算を行う場合と比較して、表情評価の精度を落とすことなく演算量を大幅に削減することができ、撮像画像記録前の画角合わせの状態で表情評価値Ｅexpをリアルタイムで容易に算出できる。
【００６５】
このような演算手法では、例えば、多数の顔画像のテンプレートと検出された顔画像とのマッチングにより表情を評価する手法と比較しても、はるかに低処理負荷かつ高精度の表情評価を行うことが可能である。テンプレートを用いたマッチングを行う場合、通常は、検出された顔画像からさらに目や口などのパーツを抽出し、パーツごとにマッチング処理を行う必要がある。これに対して、本実施の形態の手法では、検出した顔画像のデータを一定サイズに正規化した後、その顔画像をベクトル情報に置き換えてそのまま（あるいは部分的にマスクするだけで）内積演算に適用でき、その内積演算も上述の通り４０次元程度の減算、乗算および加算からなる単純なものとなる。
【００６６】
図１１は、表情評価値を数値として出力する場合の算出例を示す図である。
本実施の形態では、例として、サンプル画像のＰＣＡ処理結果に基づき、ＰＣＡ空間における笑顔の顔画像および通常の表情の顔画像のそれぞれの分布の平均を求め、これらの平均の判別軸Ａdに対する射影点を決めておく。そして、各平均の射影点の中点を基準として表情評価値Ｅexpを数値に換算する。すなわち、図１１のように、入力顔画像の判別軸に対する射影点と平均の射影点の中点との距離を表情評価値Ｅexpとし、笑顔のサンプル画像の分布している側を正の数値とする。これにより、検出された顔の画像が笑顔と通常の表情のどちらに近いかを連続的な数値として出力できるようになり、表情評価値Ｅexpが高いほど強い笑顔であると評価される。
【００６７】
次に、表情応答記録モードにおける撮像装置の処理手順について、フローチャートにまとめて説明する。図１２は、表情応答記録モードにおける撮像装置の処理の流れを示すフローチャートである。
【００６８】
〔ステップＳ１１〕顔検出部３１は、撮像画像のデータから顔を検出し、検出されたすべての顔の位置情報およびサイズ情報を、顔画像生成部３２および報知制御部４２に対して出力する。
【００６９】
〔ステップＳ１２〕顔画像生成部３２は、顔検出部３１からの顔の位置情報およびサイズ情報に基づき、撮像画像のデータから検出されたそれぞれの顔の領域のデータを切り出す。
【００７０】
〔ステップＳ１３〕顔画像生成部３２は、切り出したそれぞれの顔領域のデータを、所定画素数（ここでは４８画素×４８画素）のデータに正規化し、さらに、表情検出に必要のない領域をマスキングして、処理後の画像データを表情評価部４１に出力する。
【００７１】
〔ステップＳ１４〕表情評価部４１は、判別軸情報４４を読み込み、顔画像生成部３２から供給されたもののうち１つの顔画像から得たベクトル成分と、判別軸のベクトル成分との内積演算を行って、表情評価値を算出する。算出した表情評価値は、例えばＲＡＭなどに一時的に記憶される。
【００７２】
〔ステップＳ１５〕表情評価部４１は、検出されたすべての顔について表情評価処理が済んだか否かを判断する。処理済みでない場合は、他の顔についてステップＳ１４を再び実行し、処理済みの場合にはステップＳ１６を実行する。
【００７３】
〔ステップＳ１６〕報知制御部４２は、ステップＳ１５で算出された表情評価値と、それに対応する顔の位置情報およびサイズ情報とを基に、笑顔スコアや表示枠などの表情情報をグラフィック処理回路１５に出力し、ディスプレイ１６に合成して表示させる。
【００７４】
〔ステップＳ１７〕表情評価部４１は、ステップＳ１４で算出した、すべての顔についての表情評価値が、しきい値を超えているか否かを判定する。しきい値を超えていない表情評価値がある場合には、ステップＳ１１に戻って顔検出を実行するようにカメラ信号処理回路１４に対して指示し、これにより次の顔画像の検出および表情評価処理が開始される。また、すべての表情評価値がしきい値を超えている場合には、ステップＳ１８を実行する。
【００７５】
〔ステップＳ１８〕表情評価部４１は、記録動作制御部４３に対して、撮像画像のデータを記録装置１８に記録するように要求する。これにより、撮像画像に対して記録用の信号処理が施され、処理後の符号化画像データが記録装置１８に記録される。
【００７６】
以上の処理により、検出されたすべての顔について表情評価値が算出され、その表情評価値に応じた情報が表示情報として被撮影者に通知されるので、被撮影者に対して撮像に適した表情になるように促すことができる。そして、すべての被撮影者が撮像に適した表情になったときに、撮像画像のデータが自動的に記録されるので、被撮影者や撮影者にとって満足度の高い画像を確実に記録できる。
【００７７】
なお、ステップＳ１７での判定基準はあくまで例であり、必ずしもすべての表情評価値がしきい値を超えたときに画像データを記録するように制御する必要はない。例えば、検出された顔のうち、一定の割合の顔の表情評価値がしきい値を超えたときに画像データを記録してもよい。あるいは、一定の数の顔の表情評価値がしきい値を超えたときに画像データを記録するようにして、偶然撮像された必要のない顔に対しても表情評価が実行されることを防止してもよい。
【００７８】
また、上記の表情応答記録モードでは、単に表情評価値が所定のしきい値を超えたときに自動的に撮像画像を記録しているが、この他に例えば、撮影者によりシャッタレリーズボタンが押下されると、その一定時間後から被撮影者の表情を評価し、撮像に適する表情となったときに自動的に撮像画像を記録するようにしてもよい。この場合例えば、マイクロコンピュータ１９は、シャッタレリーズボタンの押下を検出すると時間のカウントを開始し、一定時間が経過したときに図１２の処理を開始させればよい。このような処理により、シャッタレリーズボタンを押下した撮影者も確実に撮像範囲に移動することができ、操作性が向上される。
【００７９】
また、上記の説明では、「笑顔」と「通常時の表情」という２つの表情を定義し、笑顔にどれだけ近いかを判別していたが、「笑顔」とそれ以外の表情（非笑顔と呼ぶ）との間で判別を行うようにしてもよい。この「非笑顔」の表情は、真顔、泣き顔、怒り顔などの笑顔でない複数の表情を含んでもよい。この場合、これらの複数の表情に対応する顔のサンプル画像の平均から「非笑顔」の集合を求め、この集合と「笑顔」の集合とを基にＬＤＡ処理のための判別軸を算出する。
【００８０】
さらに、表情評価値は、必ずしも「笑顔」のような１つの表情に対する近さを示すものでなくてもよく、例えば「笑顔」「真顔」などの特定の複数の表情を撮像に適する表情と考えて、これらの複数の表情の側にどれだけ近いかを示すようにしてもよい。この場合にも、これらの複数の表情に対応する顔のサンプル画像の平均から「撮像に適する表情」の集合を求め、この集合と「撮像に適さない表情」の集合とを基にＬＤＡ処理のための判別軸を算出すればよい。
【００８１】
［第２の実施の形態］
図１３は、本発明の第２の実施の形態に係る撮像装置の外観を示す図である。
本実施の形態では、表情評価値に応じた情報を、図１の構成の中のＬＥＤ発光部２１の一部を用いて被撮影者に報知する。図１３に示した撮像装置１１０は、撮像レンズ１１１やフラッシュ発光部１１２などが搭載された面に、表情評価値に応じた情報を報知するための専用のＬＥＤ発光部２１ａが設けられている。ＬＥＤ発光部２１ａには複数のＬＥＤ２１ｂ〜２１ｆが１つの線上に設けられており、それらの一方からのＬＥＤの点灯数により、表情評価値に応じた情報（ここでは笑顔スコア）が被撮影者に通知される。このような構成により、表示面方向可変のディスプレイを持たないデジタルスチルカメラなどの撮像装置においても、表情評価値に応じた情報を被撮影者に報知して、適切な画像が記録されるように撮像動作を補助することができる。また、ＬＥＤなどの小型の発光デバイスを用いることで、撮像装置本体の大型化を最小限に留めることができる。
【００８２】
さらに、ＬＥＤ発光部２１ａにおいては、最も他方の側のＬＥＤ（図ではＬＥＤ２１ｆ）が、撮像画像が自動的に記録される際の笑顔スコアを示すものとし、このＬＥＤを他とは別の色や輝度などで発光させてもよい。これにより、自動記録が行われる際の笑顔スコアを被撮影者に明確に報知でき、また自動記録が行われたことを被撮影者が認識できるようにもなる。
【００８３】
［第３の実施の形態］
図１４は、本発明の第３の実施の形態に係る撮像装置の外観を示す図である。
図１４に示す撮像装置１２０では、撮像レンズ１２１やフラッシュ発光部１２２などが搭載された面に、１つのＬＥＤのみを持つＬＥＤ発光部２１ｇが設けられている。このようなＬＥＤ発光部２１ｇにおいては、表情評価値に応じて、例えば、ＬＥＤの点滅速度を変える、ＬＥＤの輝度や色を変えることなどによって、笑顔スコアを被撮影者に報知することが可能である。例えば、表情評価値が大きくなるに連れて、ＬＥＤの色を赤、緑、青に徐々に変化させる、あるいは、ＬＥＤを徐々に明るくするなどの制御が可能である。このように、１つのＬＥＤのみ用いることで、撮像装置本体の大型化をさらに顕著に阻止できる。
【００８４】
また、この撮像装置１２０が従来のセルフタイマ機能を備えている場合には、そのセルフタイマ作動時に用いられるＬＥＤを表情評価用に兼用することもできる。例えば、セルフタイマの作動時には、シャッタレリーズボタンが押下された後、記録までの間に時間の経過に従って徐々にＬＥＤの点滅速度を高くする。そして、表情評価モードや表情応答記録モードでは、表情評価値が高いほどＬＥＤの点滅速度を高くする。このような構成により、従来の撮像装置の基本構成や外観を変えることなく、表情評価値に応じた情報を被撮影者に報知できる。また、兼用可能な発光部はセルフタイマ用に限らず、例えば、露光制御時の測光用発光部を兼用することもできる。ただし、この場合には、少なくとも表情評価時には可視光を発光できる必要がある。
【００８５】
［第４の実施の形態］
図１５は、本発明の第４の実施の形態に係る撮像装置の外観を示す図である。
上記の各実施の形態では、表情評価値に応じた情報を視覚的に報知していた。これに対して、本実施の形態では、図２に示した音声出力部２２を用いて、表情評価値に応じた情報を音声により報知する。図１５に示した撮像装置１３０では、撮像レンズ１３１が搭載された側にスピーカ２２ａを設け、表情評価値に応じて異なる音声を再生出力させる。出力する音声としては、例えば、図５や図６に示した文字情報と同様、笑顔である度数が低いほどより強い笑顔にするように、被撮影者に対して促すような音声とする。この場合、撮像装置１３０は、再生すべき音声のデータを、表情評価値に対して段階的に対応付けてあらかじめ保持しておけばよい。また、表情評価値に応じて音の高さや出力間隔を変える手法や、表情評価値に応じて異なるメロディの音声を出力する手法などを採ってもよい。なお、音声による報知と、視覚的な情報による報知とが併用されてもよい。
【００８６】
［第５の実施の形態］
図１６は、本発明の第５の実施の形態に係るＰＣ（パーソナルコンピュータ）の外観を示す図である。
【００８７】
上記の各実施の形態における表情評価機能、表情評価値に応じた情報の報知機能、および表情評価値に応じた画像の自動記録機能は、図１６に示すＰＣ１４０のように各種のコンピュータにおいても実現することができる。図１６では例として、ＬＣＤからなるディスプレイ１４１とキーボード１４２や本体部が一体に構成されたノート型のＰＣ１４０を示している。そして、このＰＣ１４０には、例えばディスプレイ１４１の上端部に撮像部１４３が一体に設けられており、ＰＣ１４０を操作しているユーザの側を撮像できるようになっている。なお、撮像部１４３は、例えばＵＳＢ（Universal Serial Bus）などの通信インタフェースを介して外部に接続されるものでもよい。
【００８８】
このようなコンピュータにおいては、上記各機能の処理内容を記述したプログラムをコンピュータで実行することにより、それらの機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。
【００８９】
このプログラムを流通させる場合には、例えば、プログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００９０】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【図面の簡単な説明】
【００９１】
【図１】本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【図２】表情評価モードおよび表情応答記録モードを実現するために撮像装置が備える機能を示すブロック図である。
【図３】表情評価モードにおける動作の概要を示す図である。
【図４】笑顔スコアを示すバーグラフの動きを説明するための図である。
【図５】バーグラフを用いた笑顔スコアの画面表示例を示す図である。
【図６】複数の顔が検出された場合における表情評価値に応じた情報の第１の画面表示例を示す図である。
【図７】複数の顔が検出された場合における表情評価値に応じた情報の第２の画面表示例を示す図である。
【図８】表情評価のために事前に生成すべき情報と、その情報生成の流れについて概念的に示す図である。
【図９】ＰＣＡ処理時に入力するサンプル画像のマスキング処理について説明するための図である。
【図１０】ピクセル空間およびＰＣＡ空間における判別軸および顔の入力画像の関係を概念的に示す図である。
【図１１】表情評価値を数値として出力する場合の算出例を示す図である。
【図１２】表情応答記録モードにおける撮像装置の処理の流れを示すフローチャートである。
【図１３】本発明の第２の実施の形態に係る撮像装置の外観を示す図である。
【図１４】本発明の第３の実施の形態に係る撮像装置の外観を示す図である。
【図１５】本発明の第４の実施の形態に係る撮像装置の外観を示す図である。
【図１６】本発明の第５の実施の形態に係るＰＣの外観を示す図である。
【符号の説明】
【００９２】
１１……光学ブロック、１１ａ……ドライバ、１２……撮像素子、１２ａ……タイミングジェネレータ（ＴＧ）、１３……アナログフロントエンド（ＡＦＥ）回路、１４……カメラ信号処理回路、１５……グラフィック処理回路、１６……ディスプレイ、１７……画像エンコーダ、１８……記録装置、１９……マイクロコンピュータ、２０……入力部、２１……ＬＥＤ発光部、２２……音声出力部、３１……顔検出部、３２……顔画像生成部、４１……表情評価部、４２……報知制御部、４３……記録動作制御部、４４……判別軸情報
【技術分野】
【０００１】
本発明は、固体撮像素子を用いて画像を撮像する撮像装置、および、撮像された顔の表情を評価する表情評価装置に関する。
【背景技術】
【０００２】
撮像装置において、シャッタボタンを押下する操作から一定時間経過後に自動的にシャッタを切る、いわゆるセルフタイマ機能は、銀塩カメラのみならず、デジタルスチルカメラにも一般的に搭載されている。しかし、このセルフタイマ機能によりシャッタが切られるタイミングは事前に決められたものとなるので、シャッタを切った時点で被撮影者が必ずしもよい表情となるという保証はなく、満足のいかない写真が撮像されることが少なくないという問題があった。
【０００３】
一方、近年では、画像信号を基にデジタル演算処理する画像処理技術が急速に進んでおり、その例として、画像から人間の顔を検出する技術がある。例えば、顔画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域が顔であるか否かを示す推定値を算出し、その１以上の推定値から領域内の画像が顔であるか否かを最終的に判別するようにした顔検出技術があった（例えば、特許文献１参照）。
【０００４】
このような顔検出技術は、デジタルスチルカメラなど、固体撮像素子で撮像を行うデジタル方式の撮像装置に搭載できるレベルまで開発が進んでおり、最近ではさらに、検出された顔の表情を判別する技術なども注目されている。例えば、連続して複数コマを撮像した画像信号から、被撮影者の顔の表情などを撮像画像ごとに評価し、それらの評価情報から好適な画像を選択できるようにすることが考えられている（例えば、特許文献２参照）。
【特許文献１】特開２００５−１５７６７９号公報（段落番号〔００４０〕〜〔００５２〕、図１）
【特許文献２】特開２００４−４６５９１号公報（段落番号〔００６３〕〜〔００７１〕、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、最近ではデジタル方式の撮像装置のメーカ間競争が激化していることから、このような撮像装置を高機能化して、その商品価値を高めることが強く求められている。また、上述したセルフタイマ機能の問題点のように、撮像した画像は撮影者や被撮影者にとって必ずしも満足のいくものとはならないことから、このような満足度を高めるべく撮像動作を補助する機能は、商品価値を高めるための非常に重要なものと言える。特に、発達の進んでいる画像処理技術を用いてこのような機能を実現することが望まれているが、撮像動作中にリアルタイムにその動作を補助するような機能は実現されていなかった。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、被撮影者あるいは撮影者にとってより満足度の高い画像を撮像することが可能な撮像装置を提供することを目的とする。
また、本発明の他の目的は、被撮影者あるいは撮影者にとってより満足度の高い画像を撮像することが可能な表情評価装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、その画像信号から人物の顔を検出する顔検出部と、検出された顔の表情を評価し、特定の表情とそれ以外の表情との間において、前記特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部と、算出された前記表情評価値の大きさを視覚的に示す報知情報を報知する報知部とを有することを特徴とする撮像装置が提供される。
【０００８】
このような撮像装置では、顔検出部が、撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、その画像信号から人物の顔を検出し、表情評価部が、顔検出部により検出された顔の表情を評価し、特定の表情とそれ以外の表情との間において、特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する。報知部は、算出された表情評価値の大きさを視覚的に示す報知情報を報知する。
【発明の効果】
【０００９】
本発明の撮像装置によれば、撮像された画像信号を記録媒体に記録するまでの期間において、撮像された画像から人物の顔が検出され、その顔の表情が評価されて、その表情が、特定の表情とそれ以外の表情との間において、特定の表情にどれだけ近いかの度合いを示す表情評価値が算出される。そして、その表情評価値の大きさを視覚的に示す報知情報が報知される。従って、被撮影者の表情が撮像に適しているかを例えば被撮影者あるいは撮影者などに認識させることができるので、被撮影者や撮影者にとって満足度の高い画像を確実に記録媒体に記録できるようになる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【００１１】
図１に示す撮像装置は、デジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。この撮像装置は、光学ブロック１１、ドライバ１１ａ、撮像素子１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログフロントエンド（ＡＦＥ）回路１３、カメラ信号処理回路１４、グラフィック処理回路１５、ディスプレイ１６、画像エンコーダ１７、記録装置１８、マイクロコンピュータ１９、入力部２０、ＬＥＤ（Light Emitting Diode）発光部２１、および音声出力部２２を具備する。
【００１２】
光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、マイクロコンピュータ１９からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。
【００１３】
撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、マイクロコンピュータ１９の制御の下でタイミング信号を出力する。
【００１４】
ＡＦＥ回路１３は、撮像素子１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像データを出力する。
【００１５】
カメラ信号処理回路１４は、ＡＦＥ回路１３からの画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、各種画質補正処理のための検波処理や、検波情報を基にマイクロコンピュータ１９から出力される信号に応じた画質補正処理を施す。なお、後述するように、本実施の形態では、このカメラ信号処理回路１４は、顔検出機能およびその顔領域のデータを切り出す機能を備えている。
【００１６】
グラフィック処理回路１５は、カメラ信号処理回路１４から出力された画像データを、ディスプレイ１６に表示するための信号に変換し、ディスプレイ１６に供給する。また、マイクロコンピュータ１９からの要求に応じて、後述する表情スコアなどの情報を画像上に合成する。ディスプレイ１６は、例えばＬＣＤ（Liquid Crystal Display）などからなり、グラフィック処理回路１５からの画像信号を基に画像を表示する。
【００１７】
画像エンコーダ１７は、カメラ信号処理回路１４から出力された画像データを圧縮符号化し、符号化データを記録装置１８に出力する。具体的には、カメラ信号処理回路１４で処理された１フレーム分の画像データを、ＪＰＥＧ（Joint Photographic Experts Group）などの符号化方式に従って圧縮符号化し、静止画像の符号化データを出力する。なお、静止画像だけでなく、動画像のデータを圧縮符号化できるようにしてもよい。
【００１８】
記録装置１８は、画像エンコーダ１７からの符号化データを画像ファイルとして記録する装置であり、例えば、磁気テープ、光ディスクなどの可搬型記録媒体のドライブ装置、あるいはＨＤＤ（Hard Disk Drive）などとして実現される。
【００１９】
マイクロコンピュータ１９は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などのメモリを備え、メモリに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。
【００２０】
入力部２０は、各種の入力スイッチに対するユーザによる操作入力に応じた制御信号を、マイクロコンピュータ１９に出力する。この入力スイッチとしては、例えば、シャッタレリーズボタン、各種メニュー選択や動作モードの設定などを行うための十字キーなどが設けられる。
【００２１】
ＬＥＤ発光部２１は、マイクロコンピュータ１９からの制御信号に基づき、撮像装置の外装面に設けられたＬＥＤを点灯させる。このＬＥＤとしては、例えば、セルフタイマ機能の動作中であることを示すものなどが考えられる。
【００２２】
音声出力部２２は、マイクロコンピュータ１９からの制御信号に基づき、例えば動作確認音などの音声を出力する。なお、音声データのエンコーダ／デコーダを備える場合には、この音声データを再生したときの再生音声を出力してもよい。
【００２３】
この撮像装置では、撮像素子１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル画像データに変換される。カメラ信号処理回路１４は、ＡＦＥ回路１３から供給された画像データを画質補正処理し、処理後の画像データはグラフィック処理回路１５に供給されて表示用の画像信号に変換される。これによりディスプレイ１６には、現在撮像中の画像（カメラスルー画像）がディスプレイ１６に表示され、撮影者はこの画像を視認して画角を確認できるようになる。
【００２４】
また、この状態から、入力部２０のシャッタレリーズボタンが押下されることなどにより、マイクロコンピュータ１９に対して画像の記録が指示されると、カメラ信号処理回路１４からの画像データは画像エンコーダ１７に供給され、圧縮符号化処理が施されて、記録装置１８に記録される。静止画像の記録の際には、カメラ信号処理回路１４からは１フレーム分の画像データが画像エンコーダ１７に供給され、動画像の記録の際には、処理された画像データが画像エンコーダ１７に連続的に供給される。
【００２５】
次に、この撮像装置が備える撮像動作モードについて説明する。この撮像装置は、静止画像を撮像する際に、撮像画像から被撮影者の顔を検出して、その表情を評価し、評価の度合いを示す情報を被撮影者に報知するモードと、その評価の度合いに応じて自動的にシャッタを切り、静止画像データを記録装置１８に記録するモードとを備えている。以下、前者モードを「表情評価モード」、後者を「表情応答記録モード」と呼ぶことにする。
【００２６】
表情評価モードでは、撮像画像から顔を検出した場合に、その顔の表情を評価し、評価に応じた情報を被撮影者に報知して、被撮影者がより撮像に適した表情になるように促す役割を果たす。例えば、表情として笑顔であるか否かの度合いを評価する。また、表情応答記録モードでは、その評価値が所定の値を超えたときに、被撮影者の顔が撮像に適した表情になったと判断して、自動的に静止画像データを記録する。これにより、被撮影者にとってより満足度の高い画像を記録できるように補助する。なお、ここでは表情評価モードと表情応答記録モードの２つのモードを備えるものとしているが、表情応答記録モードのみを備えていてもよい。
【００２７】
図２は、表情評価モードおよび表情応答記録モードを実現するために撮像装置が備える機能を示すブロック図である。
図２に示すように、この撮像装置は、上記各撮像動作モードを実現するための機能として、顔検出部３１、顔画像生成部３２、表情評価部４１、報知制御部４２、および記録動作制御部４３を備えている。本実施の形態では、顔検出部３１および顔画像生成部３２は、カメラ信号処理回路１４内のハードウェアによって実現され、表情評価部４１、報知制御部４２および記録動作制御部４３は、マイクロコンピュータ１９によって実行されるソフトウェアの機能として実現される。ただし、これらの機能のそれぞれは、ハードウェアあるいはソフトウェアのいずれによって実現されてもよい。また、マイクロコンピュータ１９は、表情評価部４１による表情評価演算に用いるための判別軸情報４４を、その内部のＲＯＭなどのメモリにあらかじめ保持している。後述するように、判別軸情報４４は、２つの表情についての多数の顔のサンプルデータから主成分分析によって得た信号成分を基に、線形判別分析を行って得た表情の判別軸を示すベクトルの係数情報などを含む。
【００２８】
ここで、以下の図３および図４を用いて、図２に示した各機能の動作を説明する。まず、図３は、表情評価モードにおける動作の概要を示す図である。
表情評価モードでは、まず、顔検出部３１が、撮像素子１２による撮像により得られ、カメラ信号処理回路１４内を伝達される画像データを基に、その画像から被撮影者の顔を検出する（ステップＳ１）。そして、検出した顔の領域を示す検出情報を顔画像生成部３２に出力する。なお、本実施の形態のように、表情評価値に応じた情報をディスプレイ１６に表示することで報知する場合、顔検出部３１からの顔の検出情報は、マイクロコンピュータ１９の報知制御部４２にも供給される。
【００２９】
顔の検出手法としては周知の手法を適用することが可能であるが、例えば、特許文献１に記載された手法を用いることができる。この手法では、まず、顔画像中の２画素間の輝度差を学習し、特徴量としてあらかじめ保持しておく。そして、図３のステップＳ１の欄に示すように、入力画像に対して一定の大きさのウィンドウＷ１を順次当てはめていき、ウィンドウＷ１の中の画像に顔が含まれるか否かを特徴量を基に推定して、推定値を出力する。このとき、入力画像を順次縮小して同じ処理を行うことで、一定の大きさのウィンドウＷ１を用いて推定を行うことができる。そして、それらの動作により得られた推定値から、顔が存在する領域を最終的に判別する。
【００３０】
次に、顔画像生成部３２は、入力画像から、検出された顔の領域Ａｆのデータを切り出す（ステップＳ２）。そして、切り出した画像データを一定サイズの画像データに変換して正規化し、表情評価部４１に供給する（ステップＳ３）。
【００３１】
ここで、本実施の形態では、顔検出部３１から出力される顔の検出情報の例として、顔の周囲を囲む長方形の検出枠の位置（例えば左端の座標。以下、顔の位置情報と呼ぶ。）と、その検出枠のサイズ（例えば水平・垂直方向の各画素数。以下、顔のサイズ情報と呼ぶ。）が出力されるものとする。この場合、顔画像生成部３２は、顔の検出対象とされた画像データが一時的に記憶されたメモリ（ＲＡＭ）にアクセスし、顔検出部３１からの顔の位置情報およびサイズ情報に対応する領域のデータのみを読み込む。
【００３２】
また、切り出された画像データは、一定サイズ（解像度）の画像データとして解像度変換されることで正規化される。この正規化後の画像サイズは、表情評価部４１において顔の表情を評価する際の処理単位となるサイズとなる。本実施の形態では、例として４８画素×４８画素のサイズとする。
【００３３】
なお、顔画像生成部３２が備える上記のような画像切り出し機能および解像度変換機能としては、従来のカメラ信号処理回路１４が検波や出力画像の生成などのために一般的に備えている同様の機能を流用することが可能である。
【００３４】
次に、表情評価部４１は、顔画像生成部３２からの顔の正規化画像データと、あらかじめ記憶されている判別軸情報４４とを基に、その顔の表情の度合いを評価する演算を行って、表情評価値を出力する（ステップＳ４）。この表情評価値は、２つの表情のうちどちらの表情に近いかの度合いを示すものである。例えば、２つの表情として「笑顔」と「通常時の表情」を適用し、表情評価値が高いほど「通常時の表情」でなく「笑顔」である度合いが強いと評価する。なお、この表情評価値の算出手法については後述する。
【００３５】
次に、報知制御部４２は、表情評価部４１から出力された表情評価値に応じた情報を、被撮影者に対して報知する（ステップＳ５）。例えば、表情評価値に応じた情報は、グラフィック処理回路１５を通じて、被撮影者側に向けられたディスプレイ１６に表示される。この場合、顔検出部３１から供給された顔の位置およびサイズ情報を基に、評価対象の顔をディスプレイ１６の中で特定するような表示が行われてもよい。また、ＬＥＤ発光部２１を利用して、例えばその輝度の変化や点滅速度の変化、色の変化などにより表情評価値に違いが報知されてもよい。あるいは、音声出力部２２を通じて、表情評価値に応じた異なる音声が出力されることで報知されてもよい。
【００３６】
以下の説明では、表情評価部４１は、例として顔の表情が笑顔であるか無表情であるかの度合いを評価するものとする。また、本実施の形態では、特に、その表情評価値に応じた情報を、被撮影者側に表示面を向けたディスプレイ１６に表示することで、被撮影者に報知する。図３では、表情評価値に応じた値である「笑顔スコア」を示すバーグラフをディスプレイ１６に表示した例を示している。
【００３７】
図４は、笑顔スコアを示すバーグラフの動きを説明するための図である。
この図４に示すように、表情評価値は、顔の表情が笑顔である度合いが強いほど高くなり、通常時の表情である度合いが高いほど低くなる。また、バーグラフに示される笑顔スコアは、表情評価値に比例して連続的あるいは段階的に変動する。このバーグラフは、被撮影者側に向けられたディスプレイ１６に表示され、被撮影者は撮像時にこのバーグラフをリアルタイムで視認することで、自分の表情が撮像に適した笑顔になっているか否かを認識できる。その結果、バーグラフは、被撮影者に対して撮像に適した表情になるように促し、より良好な画像を撮像できるように撮像動作を補助する機能を果たす。なお、後述するように、表情評価値の低い被撮影者に対して、笑顔を促すような具体的な文字情報などを表示してもよい。
【００３８】
ここで、「表情応答記録モード」に設定されていた場合、表情評価部４１は、表情評価値が所定のしきい値を超えた場合に、自動的にシャッタを切る、すなわち撮像画像を記録するように制御する。図２において、記録動作制御部４３は、撮像画像データの記録動作を制御するブロックであり、通常の撮像動作では、入力部２０のシャッタレリーズボタンが押下されたことを検知したときに、撮像装置内の各部を記録時に適した撮像動作（例えば露光動作や信号処理動作）を行うように制御し、それによって撮像画像データを、画像エンコーダ１７にエンコードさせ、符号化データを記録装置１８に記録させる。そして、表情評価部４１は、表情評価値が所定のしきい値を超えたとき、この記録動作制御部４３に対して画像データの記録動作を実行するように要求する。
【００３９】
これにより、撮像画像から顔が検出され、その顔の表情が撮像に適した状態になったとき（ここでは笑顔の度合いが強くなったとき）に、そのときの撮像画像が自動的に記録されるようになる。従って、従来のセルフタイマ機能（すなわち、シャッタレリーズボタンを押下して一定時間後に撮像画像を記録する機能）と比較して、被撮影者が良好な表情で映った画像を確実に撮像できるようになり、被撮影者や撮影者の満足度を高めることができる。
【００４０】
次に、ディスプレイ１６における笑顔スコアの具体的な表示画面の例について説明する。
図５は、バーグラフを用いた笑顔スコアの画面表示例を示す図である。
【００４１】
この図５では、撮像装置としてデジタルビデオカメラ１００を想定している。デジタルビデオカメラ１００では、カメラ本体部１０１の側面に、画角確認用のディスプレイ１６が設けられている。このような構成のデジタルビデオカメラ１００では、一般的にディスプレイ１６の表示面の角度や方向が可変になっており、図５のように表示面を撮像レンズ１０２が設けられた方向、すなわち被撮影者の方向に向けることも可能になっている。表情評価モードおよび表情応答記録モードでは、このようにディスプレイ１６の表示面を撮影者側に向けた状態で使用され、撮像されている被写体の画像とともに、表情評価値に応じた情報が表示される。
【００４２】
図５の画面表示例では、顔２０１を含む撮像画像の上に笑顔スコア表示部２０２が合成されて表示されている。笑顔スコア表示部２０２には、表情評価値に応じた笑顔スコアがバーグラフ２０３として表示されているとともに、数値表示部２０４にその笑顔スコアが数値として表示されている。また、表情応答記録モードでは、自動的に撮像画像が記録されるときの笑顔スコアの境界を示す境界表示アイコン２０５が表示される。この例ではさらに、境界表示アイコン２０５の上に、しきい値が数値によって表示されている。
【００４３】
また、図５の例では、笑顔スコア表示部２０２とともに、その笑顔スコアに対応する顔２０１の周囲に顔表示枠２０６を表示して、笑顔の評価対象の顔２０１をわかりやすく表示している。さらに、その顔表示枠２０６の近傍に、表情評価値に応じて異なる文字を表示する文字表示部２０７を設け、笑顔である度数が低いほどより強い笑顔にするように、被撮影者に対して文字によって促すようにしている。
【００４４】
また、表情応答記録モードでは、撮像画像が記録される際の表情評価値のしきい値をユーザが任意に設定できるようにして、被撮影者がどの程度の笑顔となったときの画像を得たいかを自由に決められるようにしてもよい。図５の例では、例えば入力部２０に設けられた左右方向の方向キー（図示せず）をユーザが押下することで、表情評価値のしきい値が変化するとともに、境界表示アイコン２０５が左右に移動して、表情評価値のしきい値に対応する笑顔スコアをユーザが視認できるようになっている。この場合、表情応答記録モードに設定されたときに、左右方向の方向キーを表情評価値のしきい値を設定するためのキーとして自動的に対応付けるようにしてもよく、これによりユーザの操作性を向上させることができる。
【００４５】
なお、表情評価値のしきい値の変更は上記の手法に限らず、例えば、メニュー画面から選択される専用の設定画面から行うようにしてもよい。また、専用の操作キーを設けて行うようにしてもよい。また、ディスプレイ１６がタッチパネル方式の場合は、例えばディスプレイ１６上に表示させたキー画像に指を接触させることで、しきい値を変更してもよい。また、図５の境界表示アイコン２０５に指を接触させたまま左右に動かすことで、しきい値を変更できるようにしてもよい。
【００４６】
また、撮像画面内から複数の顔が検出された場合には、それらの顔ごとに表情評価値を算出し、それらの値に応じた情報をディスプレイ１６に表示してもよい。図６は、複数の顔が検出された場合における表情評価値に応じた情報の第１の画面表示例を示す図である。
【００４７】
図６では例として、２つの顔２１１および２１２が検出された例を示している。顔２１１および２１２のそれぞれには、顔領域の周囲に顔表示枠２１３および２１４が表示されているとともに、その近傍に文字表示部２１５および２１６が設けられている。顔表示枠２１３および２１４は、それぞれの顔２１１および２１２に対する表情評価値に応じてその線種が変化するようにされ、文字表示部２１５および２１６には、表情評価値に応じた異なる文字が表示される。
【００４８】
図６の例では、顔２１１については十分に強い笑顔であると評価されているが、顔２１２については笑顔の度合いが足りないと評価されている。例えば、顔２１１については表情評価値が自動記録のしきい値に達しているが、顔２１２については表情評価値がそのしきい値より少し低い状態を示している。このとき、顔２１１についての顔表示枠２１３を実線、顔２１２についての顔表示枠２１４を破線としてこのような評価状態の違いを対応する被撮影者に報知するとともに、文字表示部２１６にはさらに笑顔を強めることを促す文字情報を表示している。なお、この例では顔表示枠２１３および２１４の線種により表情評価値の違いを表しているが、その他に例えば、顔表示枠の輝度の違いや色の違い、太さの違いなどにより、表情評価値の違いを報知してもよい。
【００４９】
図７は、複数の顔が検出された場合における表情評価値に応じた情報の第２の画面表示例を示す図である。
図７の例でも、図６と同様に２つの顔２１１および２１２が検出され、顔２１１については十分に強い笑顔であると評価され、顔２１２については笑顔の度合いが足りないと評価されている。また、図７の例では、顔２１１および２１２の各領域の近傍に、表情評価値に応じた記号２１７および２１８を示すことで、表情評価値の違いを被撮影者に報知している。
【００５０】
以上のように、表情評価値に応じた情報をディスプレイを用いて報知することで、表情評価値に応じた笑顔スコアをバーグラフや数値で示す、あるいは、表情評価値に応じて顔表示枠の線種や色、明るさなどを変える、顔の近傍に表情評価値に応じて笑顔を促すような文字を表示するなど、様々な方法で表情評価値に応じた情報を被撮影者にわかりやすく報知することができる。特に、デジタルビデオカメラの場合、従来から設けられていた表示面方向可変のディスプレイを用いて報知できるので、カメラの基本的な構成を変えることによる大幅な開発・製造コストの上昇を招くことなく、ユーザにとって満足度の高い画像を確実に記録することができるようになる。
【００５１】
なお、以上では表示面方向可変のディスプレイが搭載されたデジタルビデオカメラを例に挙げたが、撮像レンズとは反対の面に画角確認用のディスプレイが設けられるデジタルスチルカメラなどにも、そのディスプレイの表示面方向が可変のものがあり、その表示面を被撮影者側に向けることができれば、上記のような表示画像を表示させて表情評価値に応じた情報を被撮影者に報知することが可能である。
【００５２】
次に、この撮像装置で用いる表情評価の手法について説明する。
図８は、表情評価のために事前に生成すべき情報と、その情報生成の流れについて概念的に示す図である。
【００５３】
本実施の形態では、表情の評価手法として、いわゆる「フィッシャー（Fisher）の線形判別分析」の手法を用いる。この手法では、まず、２つの表情をそれぞれ持つ顔のサンプル画像を事前に多数用意しておき、これらのサンプル画像のデータを基に、２つの表情間の２クラス問題と考えて、線形判別分析（ＬＤＡ：Linear Discriminant Analysis）によりこれらの２つの表情をよく判別する判別軸Ａdを事前に形成しておく。そして、表情評価の際には、入力された顔画像のデータと判別軸Ａdとの内積を求めることで、表情評価値を算出する。
【００５４】
図８に示すように、本実施の形態では、笑顔のサンプル画像Ｐｓと通常の表情のサンプル画像Ｐｎを用いる。これらのサンプル画像ＰｓおよびＰｎは、例えば４８画素×４８画素の一定サイズに正規化した画像として用意しておく。そして、これらのサンプル画像のデータを（４８×４８）次元のベクトルデータとして取り扱い、ＬＤＡ処理を行う。ただし、このベクトル空間は（４８×４８）本の座標軸を持つ非常に次元の大きい空間となる。そこで、ＬＤＡ処理に先立って、それらのベクトルデータに対して主成分分析（ＰＣＡ：Principal Component Analysis）を行い、顔の特徴だけを効率よく表すような次元の低い空間のデータに変換（次元圧縮）する。
【００５５】
このＰＣＡ処理では、まず、入力されたＭ個（例えばＭ＝３００）のＮ次元（Ｎ＝４８×４８）のサンプル画像群間のバラツキ（分散）が最大になるように、Ｍ本の軸を得ることを考える。このような軸は、画像群の共分散行列の固有値問題の解（固有ベクトル）として求められ、係数の比較的大きいベクトル成分のみを主成分として取り出すことで、顔の特徴を表すのに適したベクトル成分のみのＮ’次元（Ｎ＞＞Ｎ’）のデータに圧縮することができる。例えばＮ’＝４０程度とすることで、顔の表情判別について十分な精度を維持できることがわかっている。なお、ＰＣＡ処理で得られた主成分のうち、係数の大きいものから順に数個程度除外することで、表情判別精度を保ちつつ、次元数をさらに減らして次のＰＣＡ処理の負荷を軽減できる。
【００５６】
ここで、図９は、ＰＣＡ処理時に入力するサンプル画像のマスキング処理について説明するための図である。
図９（Ａ）のように、顔２２１が所定サイズの矩形領域に撮像されたサンプル画像Ｐをそのまま用いてＰＣＡ処理を行った場合、顔２２１の背景や髪などの影響により、適切な主成分を必ずしも選択できない場合があり得る。このため、図９（Ｂ）のように、顔２２１以外の領域にマスク２２２をかけて、できるだけ顔領域のみが残されたサンプル画像Ｐ１に変換し、顔の情報濃度を上げた状態でＰＣＡ処理することで、より高精度な次元圧縮を行うことができる。さらに、顔領域の中でも口は表情によって大きく変化し、擾乱要素となることが多いので、図９（Ｃ）のように口の領域までもマスク２２３をかけたサンプル画像Ｐ２を用いてＰＣＡ処理することで、さらに次元圧縮の精度を高めることができる。
【００５７】
以下、図８に戻って説明すると、ＰＣＡ処理によって次元圧縮された笑顔、通常の表情の各サンプル画像は、顔の特徴を効率よく表すような座標軸のみを持つ部分空間（ＰＣＡ空間Ｓpca）上のベクトルデータに変換される。図８では、このＰＣＡ空間Ｓpcaに、笑顔、通常の表情の各サンプル画像ＰｓおよびＰｎが射影された様子を模式的に表している。この図のように、ＰＣＡ空間Ｓpcaの上では、表情が同じサンプル画像は比較的近くに存在すると言える。そこで、これらの各表情のサンプル画像群を２つのクラスタＣＬsおよびＣＬnと捉え、これらのクラスタ同士を最もよく分離する射影軸（判別軸Ａd）をＬＤＡ処理により形成する。このような判別軸Ａdは“フィッシャーの射影軸”と呼ばれる。
【００５８】
ＬＤＡ処理では、一般的に、Ｎ’次元の固有ベクトル上に射影されたクラス内およびクラス間の分散が最大になるような判別軸が求められる。すなわち、クラス内、クラス間の各共分散行列の最大固有値に対応する固有ベクトルを求め、これを判別軸Ａd上のベクトル（フィッシャー・ベクトル）とする。各共分散行列と固有値、固有ベクトルとの関係を、式（１）および（２）に示す。
【００５９】
【数１】
【００６０】
ここで、式（２）の左辺の逆行列、固有値、固有ベクトルの演算には、それぞれＬＵ（Lower-Upper）分解法、ＱＲ分解法（Ｑ：直交行列，Ｒ：上三角行列）、ガウスの消去法を用いることができる。表情評価部４１は、以上のように得られた判別軸Ａdの情報（判別軸情報４４）として、フィッシャー・ベクトルの各成分の係数などの情報を、ＲＯＭなどにあらかじめ保持しておく。
【００６１】
図１０は、ピクセル空間およびＰＣＡ空間における判別軸および顔の入力画像の関係を概念的に示す図である。
上記の判別軸Ａdを用いた表情判別の基本的な手順は、まず、撮像画像から検出された顔の画像データをＰＣＡ処理し、主成分を抽出する。そして、この顔画像の表情は、図１０のＰＣＡ空間Ｓpcaに示すように、ＰＣＡ処理された顔画像ベクトル（入力顔画像ベクトル）の判別軸Ａdに対する射影成分として評価される。すなわち、表情評価値Ｅexpの演算は、入力顔画像ベクトルとフィッシャー・ベクトルとの内積により算出できる（式（５−１）参照）。
【００６２】
【数２】
【００６３】
ただし、フィッシャー・ベクトルの情報は、ピクセル空間Ｓpxl（ＰＣＡ処理前の元の画像データが持つ次元の空間）での情報に換算しておくこともできる。式（３）および（４）はそれぞれ、入力顔画像ベクトルおよびフィッシャー・ベクトルをピクセル空間Ｓpxlでのベクトルとして表しており、これらの関係を概念的に表したものが図１０である。式（３）、式（４）および図１０に示すように、ＰＣＡ処理により得られる主成分μ1〜μN'以外のベクトル成分は、すべての入力画像の平均値として定数Ｃで近似できる。従って、式（５−１）に示すような内積演算は、式（５−２）のようにピクセル空間Ｓpxlの上でのベクトルの内積演算として等価的に表すことができる。
【００６４】
式（５−２）において、ピクセル空間Ｓpxlでのフィッシャー・ベクトル成分と定数Ｃとの減算結果は事前に算出できるので、表情評価部４１は、この減算結果と定数Ｃとを判別軸情報４４としてあらかじめ保持しておく。そして、撮像画像から検出された顔画像のベクトルが与えられると、そのベクトルをＰＣＡ処理することなく、式（５−２）の内積演算を実行する。式（５−２）による１つの顔に対する評価値演算では、それぞれ最大で（４８×４８）回の減算、乗算および加算が実行されるのみであり、しかも実際には、４０個程度の主成分μ1〜μN'に対応する係数の演算のみが実行されることになる。従って、ＰＣＡ空間Ｓpcaでのベクトルの内積演算を行う場合と比較して、表情評価の精度を落とすことなく演算量を大幅に削減することができ、撮像画像記録前の画角合わせの状態で表情評価値Ｅexpをリアルタイムで容易に算出できる。
【００６５】
このような演算手法では、例えば、多数の顔画像のテンプレートと検出された顔画像とのマッチングにより表情を評価する手法と比較しても、はるかに低処理負荷かつ高精度の表情評価を行うことが可能である。テンプレートを用いたマッチングを行う場合、通常は、検出された顔画像からさらに目や口などのパーツを抽出し、パーツごとにマッチング処理を行う必要がある。これに対して、本実施の形態の手法では、検出した顔画像のデータを一定サイズに正規化した後、その顔画像をベクトル情報に置き換えてそのまま（あるいは部分的にマスクするだけで）内積演算に適用でき、その内積演算も上述の通り４０次元程度の減算、乗算および加算からなる単純なものとなる。
【００６６】
図１１は、表情評価値を数値として出力する場合の算出例を示す図である。
本実施の形態では、例として、サンプル画像のＰＣＡ処理結果に基づき、ＰＣＡ空間における笑顔の顔画像および通常の表情の顔画像のそれぞれの分布の平均を求め、これらの平均の判別軸Ａdに対する射影点を決めておく。そして、各平均の射影点の中点を基準として表情評価値Ｅexpを数値に換算する。すなわち、図１１のように、入力顔画像の判別軸に対する射影点と平均の射影点の中点との距離を表情評価値Ｅexpとし、笑顔のサンプル画像の分布している側を正の数値とする。これにより、検出された顔の画像が笑顔と通常の表情のどちらに近いかを連続的な数値として出力できるようになり、表情評価値Ｅexpが高いほど強い笑顔であると評価される。
【００６７】
次に、表情応答記録モードにおける撮像装置の処理手順について、フローチャートにまとめて説明する。図１２は、表情応答記録モードにおける撮像装置の処理の流れを示すフローチャートである。
【００６８】
〔ステップＳ１１〕顔検出部３１は、撮像画像のデータから顔を検出し、検出されたすべての顔の位置情報およびサイズ情報を、顔画像生成部３２および報知制御部４２に対して出力する。
【００６９】
〔ステップＳ１２〕顔画像生成部３２は、顔検出部３１からの顔の位置情報およびサイズ情報に基づき、撮像画像のデータから検出されたそれぞれの顔の領域のデータを切り出す。
【００７０】
〔ステップＳ１３〕顔画像生成部３２は、切り出したそれぞれの顔領域のデータを、所定画素数（ここでは４８画素×４８画素）のデータに正規化し、さらに、表情検出に必要のない領域をマスキングして、処理後の画像データを表情評価部４１に出力する。
【００７１】
〔ステップＳ１４〕表情評価部４１は、判別軸情報４４を読み込み、顔画像生成部３２から供給されたもののうち１つの顔画像から得たベクトル成分と、判別軸のベクトル成分との内積演算を行って、表情評価値を算出する。算出した表情評価値は、例えばＲＡＭなどに一時的に記憶される。
【００７２】
〔ステップＳ１５〕表情評価部４１は、検出されたすべての顔について表情評価処理が済んだか否かを判断する。処理済みでない場合は、他の顔についてステップＳ１４を再び実行し、処理済みの場合にはステップＳ１６を実行する。
【００７３】
〔ステップＳ１６〕報知制御部４２は、ステップＳ１５で算出された表情評価値と、それに対応する顔の位置情報およびサイズ情報とを基に、笑顔スコアや表示枠などの表情情報をグラフィック処理回路１５に出力し、ディスプレイ１６に合成して表示させる。
【００７４】
〔ステップＳ１７〕表情評価部４１は、ステップＳ１４で算出した、すべての顔についての表情評価値が、しきい値を超えているか否かを判定する。しきい値を超えていない表情評価値がある場合には、ステップＳ１１に戻って顔検出を実行するようにカメラ信号処理回路１４に対して指示し、これにより次の顔画像の検出および表情評価処理が開始される。また、すべての表情評価値がしきい値を超えている場合には、ステップＳ１８を実行する。
【００７５】
〔ステップＳ１８〕表情評価部４１は、記録動作制御部４３に対して、撮像画像のデータを記録装置１８に記録するように要求する。これにより、撮像画像に対して記録用の信号処理が施され、処理後の符号化画像データが記録装置１８に記録される。
【００７６】
以上の処理により、検出されたすべての顔について表情評価値が算出され、その表情評価値に応じた情報が表示情報として被撮影者に通知されるので、被撮影者に対して撮像に適した表情になるように促すことができる。そして、すべての被撮影者が撮像に適した表情になったときに、撮像画像のデータが自動的に記録されるので、被撮影者や撮影者にとって満足度の高い画像を確実に記録できる。
【００７７】
なお、ステップＳ１７での判定基準はあくまで例であり、必ずしもすべての表情評価値がしきい値を超えたときに画像データを記録するように制御する必要はない。例えば、検出された顔のうち、一定の割合の顔の表情評価値がしきい値を超えたときに画像データを記録してもよい。あるいは、一定の数の顔の表情評価値がしきい値を超えたときに画像データを記録するようにして、偶然撮像された必要のない顔に対しても表情評価が実行されることを防止してもよい。
【００７８】
また、上記の表情応答記録モードでは、単に表情評価値が所定のしきい値を超えたときに自動的に撮像画像を記録しているが、この他に例えば、撮影者によりシャッタレリーズボタンが押下されると、その一定時間後から被撮影者の表情を評価し、撮像に適する表情となったときに自動的に撮像画像を記録するようにしてもよい。この場合例えば、マイクロコンピュータ１９は、シャッタレリーズボタンの押下を検出すると時間のカウントを開始し、一定時間が経過したときに図１２の処理を開始させればよい。このような処理により、シャッタレリーズボタンを押下した撮影者も確実に撮像範囲に移動することができ、操作性が向上される。
【００７９】
また、上記の説明では、「笑顔」と「通常時の表情」という２つの表情を定義し、笑顔にどれだけ近いかを判別していたが、「笑顔」とそれ以外の表情（非笑顔と呼ぶ）との間で判別を行うようにしてもよい。この「非笑顔」の表情は、真顔、泣き顔、怒り顔などの笑顔でない複数の表情を含んでもよい。この場合、これらの複数の表情に対応する顔のサンプル画像の平均から「非笑顔」の集合を求め、この集合と「笑顔」の集合とを基にＬＤＡ処理のための判別軸を算出する。
【００８０】
さらに、表情評価値は、必ずしも「笑顔」のような１つの表情に対する近さを示すものでなくてもよく、例えば「笑顔」「真顔」などの特定の複数の表情を撮像に適する表情と考えて、これらの複数の表情の側にどれだけ近いかを示すようにしてもよい。この場合にも、これらの複数の表情に対応する顔のサンプル画像の平均から「撮像に適する表情」の集合を求め、この集合と「撮像に適さない表情」の集合とを基にＬＤＡ処理のための判別軸を算出すればよい。
【００８１】
［第２の実施の形態］
図１３は、本発明の第２の実施の形態に係る撮像装置の外観を示す図である。
本実施の形態では、表情評価値に応じた情報を、図１の構成の中のＬＥＤ発光部２１の一部を用いて被撮影者に報知する。図１３に示した撮像装置１１０は、撮像レンズ１１１やフラッシュ発光部１１２などが搭載された面に、表情評価値に応じた情報を報知するための専用のＬＥＤ発光部２１ａが設けられている。ＬＥＤ発光部２１ａには複数のＬＥＤ２１ｂ〜２１ｆが１つの線上に設けられており、それらの一方からのＬＥＤの点灯数により、表情評価値に応じた情報（ここでは笑顔スコア）が被撮影者に通知される。このような構成により、表示面方向可変のディスプレイを持たないデジタルスチルカメラなどの撮像装置においても、表情評価値に応じた情報を被撮影者に報知して、適切な画像が記録されるように撮像動作を補助することができる。また、ＬＥＤなどの小型の発光デバイスを用いることで、撮像装置本体の大型化を最小限に留めることができる。
【００８２】
さらに、ＬＥＤ発光部２１ａにおいては、最も他方の側のＬＥＤ（図ではＬＥＤ２１ｆ）が、撮像画像が自動的に記録される際の笑顔スコアを示すものとし、このＬＥＤを他とは別の色や輝度などで発光させてもよい。これにより、自動記録が行われる際の笑顔スコアを被撮影者に明確に報知でき、また自動記録が行われたことを被撮影者が認識できるようにもなる。
【００８３】
［第３の実施の形態］
図１４は、本発明の第３の実施の形態に係る撮像装置の外観を示す図である。
図１４に示す撮像装置１２０では、撮像レンズ１２１やフラッシュ発光部１２２などが搭載された面に、１つのＬＥＤのみを持つＬＥＤ発光部２１ｇが設けられている。このようなＬＥＤ発光部２１ｇにおいては、表情評価値に応じて、例えば、ＬＥＤの点滅速度を変える、ＬＥＤの輝度や色を変えることなどによって、笑顔スコアを被撮影者に報知することが可能である。例えば、表情評価値が大きくなるに連れて、ＬＥＤの色を赤、緑、青に徐々に変化させる、あるいは、ＬＥＤを徐々に明るくするなどの制御が可能である。このように、１つのＬＥＤのみ用いることで、撮像装置本体の大型化をさらに顕著に阻止できる。
【００８４】
また、この撮像装置１２０が従来のセルフタイマ機能を備えている場合には、そのセルフタイマ作動時に用いられるＬＥＤを表情評価用に兼用することもできる。例えば、セルフタイマの作動時には、シャッタレリーズボタンが押下された後、記録までの間に時間の経過に従って徐々にＬＥＤの点滅速度を高くする。そして、表情評価モードや表情応答記録モードでは、表情評価値が高いほどＬＥＤの点滅速度を高くする。このような構成により、従来の撮像装置の基本構成や外観を変えることなく、表情評価値に応じた情報を被撮影者に報知できる。また、兼用可能な発光部はセルフタイマ用に限らず、例えば、露光制御時の測光用発光部を兼用することもできる。ただし、この場合には、少なくとも表情評価時には可視光を発光できる必要がある。
【００８５】
［第４の実施の形態］
図１５は、本発明の第４の実施の形態に係る撮像装置の外観を示す図である。
上記の各実施の形態では、表情評価値に応じた情報を視覚的に報知していた。これに対して、本実施の形態では、図２に示した音声出力部２２を用いて、表情評価値に応じた情報を音声により報知する。図１５に示した撮像装置１３０では、撮像レンズ１３１が搭載された側にスピーカ２２ａを設け、表情評価値に応じて異なる音声を再生出力させる。出力する音声としては、例えば、図５や図６に示した文字情報と同様、笑顔である度数が低いほどより強い笑顔にするように、被撮影者に対して促すような音声とする。この場合、撮像装置１３０は、再生すべき音声のデータを、表情評価値に対して段階的に対応付けてあらかじめ保持しておけばよい。また、表情評価値に応じて音の高さや出力間隔を変える手法や、表情評価値に応じて異なるメロディの音声を出力する手法などを採ってもよい。なお、音声による報知と、視覚的な情報による報知とが併用されてもよい。
【００８６】
［第５の実施の形態］
図１６は、本発明の第５の実施の形態に係るＰＣ（パーソナルコンピュータ）の外観を示す図である。
【００８７】
上記の各実施の形態における表情評価機能、表情評価値に応じた情報の報知機能、および表情評価値に応じた画像の自動記録機能は、図１６に示すＰＣ１４０のように各種のコンピュータにおいても実現することができる。図１６では例として、ＬＣＤからなるディスプレイ１４１とキーボード１４２や本体部が一体に構成されたノート型のＰＣ１４０を示している。そして、このＰＣ１４０には、例えばディスプレイ１４１の上端部に撮像部１４３が一体に設けられており、ＰＣ１４０を操作しているユーザの側を撮像できるようになっている。なお、撮像部１４３は、例えばＵＳＢ（Universal Serial Bus）などの通信インタフェースを介して外部に接続されるものでもよい。
【００８８】
このようなコンピュータにおいては、上記各機能の処理内容を記述したプログラムをコンピュータで実行することにより、それらの機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。
【００８９】
このプログラムを流通させる場合には、例えば、プログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００９０】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【図面の簡単な説明】
【００９１】
【図１】本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【図２】表情評価モードおよび表情応答記録モードを実現するために撮像装置が備える機能を示すブロック図である。
【図３】表情評価モードにおける動作の概要を示す図である。
【図４】笑顔スコアを示すバーグラフの動きを説明するための図である。
【図５】バーグラフを用いた笑顔スコアの画面表示例を示す図である。
【図６】複数の顔が検出された場合における表情評価値に応じた情報の第１の画面表示例を示す図である。
【図７】複数の顔が検出された場合における表情評価値に応じた情報の第２の画面表示例を示す図である。
【図８】表情評価のために事前に生成すべき情報と、その情報生成の流れについて概念的に示す図である。
【図９】ＰＣＡ処理時に入力するサンプル画像のマスキング処理について説明するための図である。
【図１０】ピクセル空間およびＰＣＡ空間における判別軸および顔の入力画像の関係を概念的に示す図である。
【図１１】表情評価値を数値として出力する場合の算出例を示す図である。
【図１２】表情応答記録モードにおける撮像装置の処理の流れを示すフローチャートである。
【図１３】本発明の第２の実施の形態に係る撮像装置の外観を示す図である。
【図１４】本発明の第３の実施の形態に係る撮像装置の外観を示す図である。
【図１５】本発明の第４の実施の形態に係る撮像装置の外観を示す図である。
【図１６】本発明の第５の実施の形態に係るＰＣの外観を示す図である。
【符号の説明】
【００９２】
１１……光学ブロック、１１ａ……ドライバ、１２……撮像素子、１２ａ……タイミングジェネレータ（ＴＧ）、１３……アナログフロントエンド（ＡＦＥ）回路、１４……カメラ信号処理回路、１５……グラフィック処理回路、１６……ディスプレイ、１７……画像エンコーダ、１８……記録装置、１９……マイクロコンピュータ、２０……入力部、２１……ＬＥＤ発光部、２２……音声出力部、３１……顔検出部、３２……顔画像生成部、４１……表情評価部、４２……報知制御部、４３……記録動作制御部、４４……判別軸情報
【特許請求の範囲】
【請求項１】
固体撮像素子を用いて画像を撮像する撮像装置において、
撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、その画像信号から人物の顔を検出する顔検出部と、
検出された顔の表情を評価し、特定の表情とそれ以外の表情との間において、前記特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部と、
算出された前記表情評価値の大きさを視覚的に示す報知情報を報知する報知部と、
を有することを特徴とする撮像装置。
【請求項２】
前記表情評価部は、前記特定の表情に含まれると判断される複数の顔データに基づく第１の顔集合と、前記特定の表情以外の表情に含まれると判断される複数の顔データに基づく第２の顔集合との間において、前記第１の顔集合にどれだけ近いかの度合いを示す前記表情評価値を算出することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記表情評価部は、前記特定の表情として笑顔を適用し、検出された顔が笑顔にどれだけ近いかの度合いを前記表情評価値として算出することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記表情評価部は、前記特定の表情以外の表情として、通常の表情を適用することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記表情評価部は、前記特定の表情以外の表情として、笑顔以外の表情を適用することを特徴とする請求項３記載の撮像装置。
【請求項６】
前記表情評価値が所定のしきい値を超えた場合に、撮像によって得られた画像信号を記録媒体に自動的に記録する画像記録制御部をさらに有することを特徴とする請求項１記載の撮像装置。
【請求項７】
前記しきい値をユーザの入力操作に応じて変更可能であることを特徴とする請求項６記載の撮像装置。
【請求項８】
前記報知部は、前記表情評価値に応じて変化する前記報知情報と、前記しきい値の位置を前記報知情報の変化に対応させて示すしきい値情報とを、視覚的な情報として報知することを特徴とする請求項６記載の撮像装置。
【請求項９】
前記報知部は、前記表情評価値の大きさをバーの長さで示すバー表示画像を表示装置に表示するとともに、前記しきい値の位置を示す位置表示画像を前記バー表示画像上に表示し、
ユーザによる入力操作に応じて前記しきい値が変更されるとともに、前記しきい値の変更に応じて前記バー表示画像上での前記位置表示画像の位置も変化することを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記顔検出部が複数の顔を検出し、前記表情評価部が検出された複数の顔のそれぞれについて前記表情評価値を算出したとき、前記画像記録制御部は、検出されたすべての顔についての前記表情評価値が前記しきい値を超えた場合に、画像信号を自動的に記録することを特徴とする請求項６記載の撮像装置。
【請求項１１】
前記顔検出部が複数の顔を検出し、前記表情評価部が検出された複数の顔のそれぞれについて前記表情評価値を算出したとき、前記画像記録制御部は、検出された顔のうち、所定数または所定割合の顔についての表情評価値が前記しきい値を超えた場合に、画像信号を自動的に記録することを特徴とする請求項６記載の撮像装置。
【請求項１２】
前記画像記録制御部は、ユーザによる画像記録操作を検出すると、一定時間後に前記表情評価部から前記表情評価値を取得し、当該表情評価値が所定のしきい値を超えた場合に、撮像によって得られた画像信号を記録媒体に自動的に記録することを特徴とする請求項６記載の撮像装置。
【請求項１３】
前記報知部は、前記報知情報を被撮影者側に向けて報知することを特徴とする請求項１記載の撮像装置。
【請求項１４】
前記報知部は、前記表情評価値に応じた前記報知情報を撮像中の画像とともに表示装置に表示することを特徴とする請求項１３記載の撮像装置。
【請求項１５】
前記報知部は、前記報知情報として、前記表情評価値の大きさをバーの長さで示すバー表示画像を前記表示装置に表示することを特徴とする請求項１４記載の撮像装置。
【請求項１６】
前記報知部は、前記報知情報として、前記表示装置に表示された被撮影者の顔の周囲に枠体として表示し、前記表情評価値の大きさに応じて前記枠体の色、明るさ、線種の少なくとも１つを変化させることを特徴とする請求項１４記載の撮像装置。
【請求項１７】
前記報知部は、前記報知情報として、前記表情評価値の大きさに応じて異なる文字情報として前記表示装置に表示することを特徴とする請求項１４記載の撮像装置。
【請求項１８】
前記表情評価部は、前記顔検出部により複数の顔が検出された場合には、検出された顔ごとにそれぞれ前記表情評価値を算出し、
前記報知部は、顔ごとの前記表情評価値に応じた前記報知情報を、前記表示装置に表示された被撮影者の顔のそれぞれに対応付けて表示することを特徴とする請求項１４記載の撮像装置。
【請求項１９】
前記報知部は、前記報知情報として、前記表情評価値の大きさに応じた異なる報知音声をさらに出力することを特徴とする請求項１記載の撮像装置。
【請求項２０】
固体撮像素子を用いて撮像された顔の表情を評価する表情評価装置において、
撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、その画像信号から人物の顔を検出する顔検出部と、
検出された顔の表情を評価し、特定の表情とそれ以外の表情との間において、前記特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部と、
算出された前記表情評価値の大きさを視覚的に報知するための報知情報を生成する報知情報生成部と、
を有することを特徴とする表情評価装置。
【請求項１】
固体撮像素子を用いて画像を撮像する撮像装置において、
撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、その画像信号から人物の顔を検出する顔検出部と、
検出された顔の表情を評価し、特定の表情とそれ以外の表情との間において、前記特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部と、
算出された前記表情評価値の大きさを視覚的に示す報知情報を報知する報知部と、
を有することを特徴とする撮像装置。
【請求項２】
前記表情評価部は、前記特定の表情に含まれると判断される複数の顔データに基づく第１の顔集合と、前記特定の表情以外の表情に含まれると判断される複数の顔データに基づく第２の顔集合との間において、前記第１の顔集合にどれだけ近いかの度合いを示す前記表情評価値を算出することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記表情評価部は、前記特定の表情として笑顔を適用し、検出された顔が笑顔にどれだけ近いかの度合いを前記表情評価値として算出することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記表情評価部は、前記特定の表情以外の表情として、通常の表情を適用することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記表情評価部は、前記特定の表情以外の表情として、笑顔以外の表情を適用することを特徴とする請求項３記載の撮像装置。
【請求項６】
前記表情評価値が所定のしきい値を超えた場合に、撮像によって得られた画像信号を記録媒体に自動的に記録する画像記録制御部をさらに有することを特徴とする請求項１記載の撮像装置。
【請求項７】
前記しきい値をユーザの入力操作に応じて変更可能であることを特徴とする請求項６記載の撮像装置。
【請求項８】
前記報知部は、前記表情評価値に応じて変化する前記報知情報と、前記しきい値の位置を前記報知情報の変化に対応させて示すしきい値情報とを、視覚的な情報として報知することを特徴とする請求項６記載の撮像装置。
【請求項９】
前記報知部は、前記表情評価値の大きさをバーの長さで示すバー表示画像を表示装置に表示するとともに、前記しきい値の位置を示す位置表示画像を前記バー表示画像上に表示し、
ユーザによる入力操作に応じて前記しきい値が変更されるとともに、前記しきい値の変更に応じて前記バー表示画像上での前記位置表示画像の位置も変化することを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記顔検出部が複数の顔を検出し、前記表情評価部が検出された複数の顔のそれぞれについて前記表情評価値を算出したとき、前記画像記録制御部は、検出されたすべての顔についての前記表情評価値が前記しきい値を超えた場合に、画像信号を自動的に記録することを特徴とする請求項６記載の撮像装置。
【請求項１１】
前記顔検出部が複数の顔を検出し、前記表情評価部が検出された複数の顔のそれぞれについて前記表情評価値を算出したとき、前記画像記録制御部は、検出された顔のうち、所定数または所定割合の顔についての表情評価値が前記しきい値を超えた場合に、画像信号を自動的に記録することを特徴とする請求項６記載の撮像装置。
【請求項１２】
前記画像記録制御部は、ユーザによる画像記録操作を検出すると、一定時間後に前記表情評価部から前記表情評価値を取得し、当該表情評価値が所定のしきい値を超えた場合に、撮像によって得られた画像信号を記録媒体に自動的に記録することを特徴とする請求項６記載の撮像装置。
【請求項１３】
前記報知部は、前記報知情報を被撮影者側に向けて報知することを特徴とする請求項１記載の撮像装置。
【請求項１４】
前記報知部は、前記表情評価値に応じた前記報知情報を撮像中の画像とともに表示装置に表示することを特徴とする請求項１３記載の撮像装置。
【請求項１５】
前記報知部は、前記報知情報として、前記表情評価値の大きさをバーの長さで示すバー表示画像を前記表示装置に表示することを特徴とする請求項１４記載の撮像装置。
【請求項１６】
前記報知部は、前記報知情報として、前記表示装置に表示された被撮影者の顔の周囲に枠体として表示し、前記表情評価値の大きさに応じて前記枠体の色、明るさ、線種の少なくとも１つを変化させることを特徴とする請求項１４記載の撮像装置。
【請求項１７】
前記報知部は、前記報知情報として、前記表情評価値の大きさに応じて異なる文字情報として前記表示装置に表示することを特徴とする請求項１４記載の撮像装置。
【請求項１８】
前記表情評価部は、前記顔検出部により複数の顔が検出された場合には、検出された顔ごとにそれぞれ前記表情評価値を算出し、
前記報知部は、顔ごとの前記表情評価値に応じた前記報知情報を、前記表示装置に表示された被撮影者の顔のそれぞれに対応付けて表示することを特徴とする請求項１４記載の撮像装置。
【請求項１９】
前記報知部は、前記報知情報として、前記表情評価値の大きさに応じた異なる報知音声をさらに出力することを特徴とする請求項１記載の撮像装置。
【請求項２０】
固体撮像素子を用いて撮像された顔の表情を評価する表情評価装置において、
撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、その画像信号から人物の顔を検出する顔検出部と、
検出された顔の表情を評価し、特定の表情とそれ以外の表情との間において、前記特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部と、
算出された前記表情評価値の大きさを視覚的に報知するための報知情報を生成する報知情報生成部と、
を有することを特徴とする表情評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−２８９１８９（Ｐ２００８−２８９１８９Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００８−２０９１１９（Ｐ２００８−２０９１１９）
【出願日】平成２０年８月１５日（２００８．８．１５）
【分割の表示】特願２００６−２１１０００（Ｐ２００６−２１１０００）の分割
【原出願日】平成１８年８月２日（２００６．８．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成２０年８月１５日（２００８．８．１５）
【分割の表示】特願２００６−２１１０００（Ｐ２００６−２１１０００）の分割
【原出願日】平成１８年８月２日（２００６．８．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]