デジタルカメラ
【課題】写体人物の全員を同様の表情で撮像することが容易に行えるようにする。
【解決手段】撮像を行って画像データを取得し、その画像データに対して顔認識および表情認識を行う。画像データ中に複数の顔が検出された場合は、全員が笑顔で、かつ全員がカメラに視線を向けるまで撮像を繰り返し、全員が笑顔で、かつ全員がカメラに視線を向けるとその画像データを記録媒体に記録する。
【解決手段】撮像を行って画像データを取得し、その画像データに対して顔認識および表情認識を行う。画像データ中に複数の顔が検出された場合は、全員が笑顔で、かつ全員がカメラに視線を向けるまで撮像を繰り返し、全員が笑顔で、かつ全員がカメラに視線を向けるとその画像データを記録媒体に記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の表情を検出して画像記録の可否を決定するデジタルカメラに関する。
【背景技術】
【０００２】
従来、画像データ中の人物の笑顔のレベルを評価可能な装置が知られている（例えば、特許文献１）。また、人物の喜怒哀楽の表情や視線の方向を検出し、所定の表情になったときに画像記録を行うカメラ（例えば、特許文献２）や、人物の目つぶりの有無を検出可能な装置（例えば、特許文献３）も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−４６５９１号公報
【特許文献２】特開２００１−５１３３８号公報
【特許文献３】特開２００１−３３８３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
集合写真などでは、しばしば被写体人物の全員を同様の表情（例えば、笑顔あるいは非笑顔）で撮影したいという要望があるが、それを支援するカメラはない。
【課題を解決するための手段】
【０００５】
本発明に係るデジタルカメラは、撮像により画像データを得る撮像手段と、画像データ中の人物の顔を検出する顔検出手段と、検出された顔の表情を検出する表情検出手段と、画像データ中に複数の顔が検出されたときに、複数の顔の全てが予め定められた特定の表情である、または特定の表情でないことが検出されると記録条件成立と判断する判定手段と、判定手段により記録条件成立と判断されるまで撮像を繰り返し、記録条件成立と判断されると画像データを記録媒体に記録する制御手段とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、被写体人物の全員を同様の表情で撮像することが容易に行える。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態におけるデジタルカメラの制御ブロック図。
【図２】表情による画像記録可否設定の一例を示す図。
【図３】全員笑顔モード時の処理手順を示すフローチャート。
【図４】図３の条件成立支援措置の詳細を示すフローチャート。
【発明を実施するための形態】
【０００８】
図１〜図３により本発明の一実施の形態を説明する。
図１は本実施形態におけるデジタルカメラの制御ブロック図である。なお、デジタルカメラは、デジタルカメラ機能を持つ機器全般を指す（例えば、カメラ機能付き携帯電話機も含む）。
【０００９】
図１において、撮影レンズ１を透過した被写体光束は、撮像素子２で撮像され、その撮像信号は画像処理部３に入力される。画像処理部３を構成する画像処理回路３ａは、入力された撮像信号に種々の処理を施して画像データを生成する。画像データは、表示回路３ｂによる処理を経て、カメラ背面などに設けられた液晶モニタ４に表示される。撮影モード設定時には、上記撮像および画像表示が繰り返され、いわゆるライブビュー表示（スルー画表示）が行われる。撮像指示がなされると改めて撮像が行われ、生成された画像データは記録／再生回路３ｃを介してメモリカード等の記録媒体５に記録される。
【００１０】
一方、再生モードでは、記録媒体５に記録された画像データを記録／再生回路３ｃにて読み出し、画像処理回路３ａおよび表示回路３ｂによる処理を経て液晶モニタ４に表示することができる。
【００１１】
ＣＰＵ６は、操作部７からの入力に応答して画像処理部３や不図示の回路を制御する。操作部７は、電源ボタンやレリーズボタン、再生操作や情報入力等で用いる各種操作部材等を含む。
【００１２】
次に、顔認識および表情認識について説明する。
カメラは公知の顔認識機能を備え、画像データ中に被写体として人物が存在する場合は、その人物の顔領域の位置および大きさを検出し、顔部分にピントや露出が合うような制御を行う。１画像データ中に複数の顔を認識することが可能であり、認識された顔位置および大きさは、ライブビュー画像中の顔の位置に、顔の大きさに応じた顔認識枠を表示することでユーザに報知される。
【００１３】
さらに顔認識では、認識した顔の特徴情報に基づいてデータベース検索を行うことで、画像データ中の人物が誰であるかを特定することができる。これを可能とするために、カメラには顔認識用のデータベースが備えられ、所定の顔登録モードにおいて、人物を撮像した画像データと、その画像データから得た顔の特徴点と、その人物に関する情報（名前等）とを対応づけて複数人分登録することができる。顔の特徴情報しては、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点、顎の下端点などの特徴点と、各特徴点の相対距離などが含まれる。そして、撮像時に画像データから得た顔の特徴情報と、データベース内の特徴情報とを比較し、相似度が所定の閾値を上回るものが見つかった場合に人物特定となる。
【００１４】
表情認識は、上記顔認識で認識された画像データ中の顔の表情を認識する機能である。本実施形態では、表情として、「笑顔」、「喜び」、「悲しみ」、「怒り」、「驚き」といった喜怒哀楽の表情を検出できる。特に「笑顔」については、ちょっとした微笑み程度から大笑いまで、その度合い（以下、笑顔度）を数段階に分けて認識できる。笑顔以外の表情に対してレベル検出が行えるようにしてもよい（喜び度、悲しみ度、怒り度、驚き度など）。
【００１５】
さらに、被写体人物の所作として「ウインク」が検出できる他、視線がカメラ（レンズ）を向いているか否かをも検出できる。これらの表情、ウインク、視線の検出は、例えば背景技術に示した文献の手法を用いて行うことができる。
【００１６】
各検出結果は、画像記録の有無に反映される。カメラは、撮影モード時に撮像を繰り返し、その都度得られる画像データに対して顔認識を行う。画像データ中に人物の顔が認識されると、表情認識を行い、人物が予め設定された表情になったことが検出されるまで、撮像、顔認識および表情認識が繰り返される。設定された表情になったことが検出されると、その表情で撮像した画像データが画像ファイルとして記録媒体５に記録される。これにより撮影者の望む表情の画像が得られる。
【００１７】
そして本実施形態では、画像記録の可否を決める表情を被写体となる人物ごとに設定し、その設定内容を上記顔認識用のデータベースに登録することができる。これを画像記録可否設定と呼び、設定方法の詳細は後述する。
【００１８】
図２は画像記録可否設定の一例を示し、この例では３人分の情報が登録されている。図中、丸印は「選択」（記録可）を、バツ印は「非選択」（記録不可）をそれぞれ意味し、また笑顔度のパーセンテージは、笑顔と認識する範囲を示す。例えば「笑顔度１０％」は、１０％以上の笑顔の表情を意味し、ほんの少しでも笑ったら画像記録が許可される。「笑顔度５０％」の場合は、ちょっとした微笑み程度では画像記録は許可されず、中程度以上の笑顔で初めて許可される。また、「笑顔度０％」は、笑顔非選択（笑顔では画像記録不可）を意味する。なお、パーセンテージの異なる笑顔は、同じ笑顔でも異なる表情と位置づける。
【００１９】
「ウインク」は、他の喜怒哀楽の表情とは異なり、被写体人物からの撮影許可または撮影催促の合図と捕らえる。別にウインクしている顔画像を取得したいわけではないので、ウインクが検出された場合は、所定時間（例えば、３秒〜５秒）経過後に改めて撮像を行い、その結果得られた画像データを記録することが望ましい。また「視線」は、被写体人物がカメラを向いていることを意味し、これが選択されている場合は、選択された他の表情や「ウインク」と「視線」とのＡＮＤ条件が成立したときに画像記録が許可される。「視線」が非選択の場合は、視線の方向に拘わらず、選択された表情のいずれかが検出された場合に画像記録が許可される。
【００２０】
例えば人物Ａの場合は、「悲しみ」以外の「笑顔度１０％」、「喜び」、「怒り」、「驚き」、「ウインク」のいずれかが検出され、かつ視線がカメラを向いていることが検出された場合に画像記録が許可される。普段あまり笑わない人に対しては、少し笑っただけでも画像記録を許可する「笑顔度１０％」が有効かも知れない。また、「悲しみ」の表情は撮りたくないと思った人物に対しては、「悲しみ」は非選択とするのがよい。
【００２１】
人物Ｂの場合は、「笑顔度５０％」、「悲しみ」、「怒り」、「ウインク」のいずれかの表情が検出され、かつ視線がカメラを向いていることが検出された場合に画像記録が許可される。人物Ｃの場合は、カメラに視線を向けてウインクしない限り、いずれの喜怒哀楽の表情が検出されても画像記録は許可されない。表情を被写体任せにするときはこの設定が有効である。
【００２２】
図２に示すような画像記録可否設定は、液晶モニタ４を見ながら簡単な操作で行えるようにすることが望ましい。例えば、顔認識用に登録してある人物の画像を液晶モニタ４に表示すると、その人物に対して設定入力が行えるようにすれば、対象人物の顔を見ながら適切な設定が行える。各選択項目に対し、所定操作で丸とバツが交互に切換えられるようにしてもよいし、各選択項目に対応するチェックボックスのチェックの有無で選択／非選択を決めるようにしてもよい。笑顔度のパーセンテージは、バー表示や数値入力で選択できるようにすればよい。液晶パネル４の表示面積によっては、１画面に複数の画像を表示し、複数人分の設定を行えるようにしてもよい。
【００２３】
さらに本実施形態のカメラは、複数の人物を撮像することを前提とした２つのモードを備えている。第１のモードは、画面内の複数の人物全員が笑顔であり、かつ全員が視線をカメラに向けて初めて画像記録が許可されるモード（以下、「全員笑顔モード」）である。これによれば、全員が笑っている楽しい雰囲気の写真を容易に得ることができる。
【００２４】
一方、全員がまじめな顔で撮影されるべき集合写真もあることを考慮し、「全員まじめモード」も用意されている。これは、画面内の複数の人物全員がまじめ顔（非笑顔）で、かつ全員が視線をカメラに向けて初めて画像記録が許可されるモードである。
【００２５】
図３は全員笑顔モード設定時の処理手順の一例を示すフローチャートである。
全員笑顔モードの設定に伴い、あるいは設定後に何らかの操作が行われるのに伴ってこのプログラムが起動され、まずステップＳ１で撮像を行い、画像データを得る。ステップＳ２では、得られた画像データに対して顔認識を行い、ステップＳ３で顔が検出されたか否かを判定する。否定されるとステップＳ１に戻り、肯定されるとステップＳ４に進む。
【００２６】
ステップＳ４では表情認識を行い、ステップＳ５で全員笑っているか否かを判定する。笑っているか否かは、ここでは笑顔度が８０％以上か否かで判定する。勿論、このパーセンテージは８０％に限定されず、予めユーザが選択できるようにしてもよい。例えば全員を会心の笑顔で撮像したい場合は８０％〜９０％以上とすればよいし、少しでも笑っていればよい場合は１０％〜２０％以上とすればよい。また、単に笑顔か否かの判別しかできない（笑顔度を判別できない）カメラでは、全員笑顔か否かの判定でよい。
【００２７】
ステップＳ５で全員笑っていると判定されると、ステップＳ６で全員の視線がカメラを向いているか否かを判定する。肯定されると記録条件成立と判断し、ステップＳ７で上記画像データを記録媒体５に記録して終了する。一方、一人でも笑顔でない人がいたり、一人でもカメラに視線を向けない人がいる場合は、記録条件不成立と判断し、ステップＳ８に進む（ステップＳ５，Ｓ６のいずれかが否定される）。ステップＳ８では、最初の顔認識から所定時間Ｔ１（例えば、１０秒）が経過したか否かを判定し、否定されるとステップＳ１に戻って上記の処理を繰り返す。ステップＳ８が肯定された場合、すなわち所定時間Ｔ１が経過してもなお記録条件が成立しない場合はステップＳ９に進み、条件成立支援措置を行う。
【００２８】
図４は条件成立支援措置の詳細を示している。ステップＳ９１で笑っていない人がいると判定された場合はステップＳ９２に進み、笑っていない人を特定する処理を行う。これは、笑っていない人の顔の特徴情報を取得し、上述したようにデータベース検索を行うことで、その人物の名前等を知る処理である。ステップＳ９３では、人物特定処理の結果に基づいて、笑っていない人に笑うよう要請する。例えば、「○○さん、○×さん、笑ってください」のように音声で警告を発することが考えられる。これにより、笑っていなかった人が笑う可能性が高まる。
【００２９】
次に、ステップＳ９４で視線をカメラに向けていない人がいると判定された場合は、ステップＳ９５で同様にその人物を特定し、ステップＳ９６で視線を向けるよう要請する。例えば、「○○さん、○×さん、こちらを向いてください」のように音声を発すればよく、これによりカメラを向いていなかった人がカメラを向く可能性が高まる。
【００３０】
なお、ステップＳ９２，Ｓ９５の人物特定において、データベースに登録されていない人物が画面内にいた場合は、その人物を特定できないので、単に「笑ってください」、「こちらを向いてください」でよい。また、人物特定は特に行わなくてもよい。
【００３１】
図３のステップＳ１０では、条件成立支援措置の開始から所定時間Ｔ２（例えば、数秒）が経過したか否かを判定し、経過していない場合はステップＳ１に戻り、経過している場合、つまり条件成立支援措置を行ってもなお条件が満たされない場合は、ステップＳ７に進んで画像データを記録する。
【００３２】
ステップＳ１１では、笑わない人、または視線をカメラに向けない人がいるまま画像記録を行ったか否かを判定する。ステップＳ１０からステップＳ７に進んだ場合はステップＳ１１が肯定され、この場合は、「笑っていない人がいます」、「カメラを向いていない人がいます」などの警告メッセージを画像とともに液晶モニタ４に表示する。誰が笑わなかったか、誰がカメラに視線を向けなかったかを明確にするために、画像中の該当者を矢印で指し示したり、該当者だけ色変えて表示するなど措置を行ってもよい。撮影者は、これらの表示を見て状況を把握し、再度撮像を行うか否かを決めることができる。
【００３３】
以上、全員笑顔モードについて説明したが、全員まじめモードも処理の流れは基本的に同じである。ただし、上記ステップＳ５の判定に代えて、全員まじめ顔（非笑顔）か否かの判定を行う。これは、例えば笑顔度１０％以上であれば笑顔、それ以外はまじめ顔と判断するようにすればよい。また、条件成立支援措置において、まじめ顔でない人がいた場合は、「笑わないでください」などの音声を発する。
【００３４】
なお、「視線」は特に考慮しなくてもよく、単に全員が笑顔あるいはまじめ顔であれば画像記録が行われるようにしてもよい。あるいは、全員が笑顔あるいはまじめ顔で、かつ少なくとも一人がカメラに視線を向けている場合に画像記録を行うようにしてもよい。また、「視線」を考慮するか否かを選択可能としてもよい。
【００３５】
また、表情の判定は笑顔に限定されず、例えば全員が「笑顔」または「喜び」の表情であれば画像記録を行うようにしてもよいし、全員が「悲しみ」の表情でなければ画像記録を行う、または全員が「悲しみ」の表情でも「怒り」の表情でもなければ画像記録を行うようにしてもよい。上述した表情以外の表情を検出可能なカメラでは、その表情に基づいて画像記録の可否を決めてもよい。いずれの場合も「視線」は考慮してもしなくてもよく、考慮するか否かを選択可能としてもよい。
【符号の説明】
【００３６】
１ 撮影レンズ
２ 撮像素子
３ 画像処理部
４ 液晶モニタ
５ 記録媒体
６ ＣＰＵ
【技術分野】
【０００１】
本発明は、人物の表情を検出して画像記録の可否を決定するデジタルカメラに関する。
【背景技術】
【０００２】
従来、画像データ中の人物の笑顔のレベルを評価可能な装置が知られている（例えば、特許文献１）。また、人物の喜怒哀楽の表情や視線の方向を検出し、所定の表情になったときに画像記録を行うカメラ（例えば、特許文献２）や、人物の目つぶりの有無を検出可能な装置（例えば、特許文献３）も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−４６５９１号公報
【特許文献２】特開２００１−５１３３８号公報
【特許文献３】特開２００１−３３８３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
集合写真などでは、しばしば被写体人物の全員を同様の表情（例えば、笑顔あるいは非笑顔）で撮影したいという要望があるが、それを支援するカメラはない。
【課題を解決するための手段】
【０００５】
本発明に係るデジタルカメラは、撮像により画像データを得る撮像手段と、画像データ中の人物の顔を検出する顔検出手段と、検出された顔の表情を検出する表情検出手段と、画像データ中に複数の顔が検出されたときに、複数の顔の全てが予め定められた特定の表情である、または特定の表情でないことが検出されると記録条件成立と判断する判定手段と、判定手段により記録条件成立と判断されるまで撮像を繰り返し、記録条件成立と判断されると画像データを記録媒体に記録する制御手段とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、被写体人物の全員を同様の表情で撮像することが容易に行える。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態におけるデジタルカメラの制御ブロック図。
【図２】表情による画像記録可否設定の一例を示す図。
【図３】全員笑顔モード時の処理手順を示すフローチャート。
【図４】図３の条件成立支援措置の詳細を示すフローチャート。
【発明を実施するための形態】
【０００８】
図１〜図３により本発明の一実施の形態を説明する。
図１は本実施形態におけるデジタルカメラの制御ブロック図である。なお、デジタルカメラは、デジタルカメラ機能を持つ機器全般を指す（例えば、カメラ機能付き携帯電話機も含む）。
【０００９】
図１において、撮影レンズ１を透過した被写体光束は、撮像素子２で撮像され、その撮像信号は画像処理部３に入力される。画像処理部３を構成する画像処理回路３ａは、入力された撮像信号に種々の処理を施して画像データを生成する。画像データは、表示回路３ｂによる処理を経て、カメラ背面などに設けられた液晶モニタ４に表示される。撮影モード設定時には、上記撮像および画像表示が繰り返され、いわゆるライブビュー表示（スルー画表示）が行われる。撮像指示がなされると改めて撮像が行われ、生成された画像データは記録／再生回路３ｃを介してメモリカード等の記録媒体５に記録される。
【００１０】
一方、再生モードでは、記録媒体５に記録された画像データを記録／再生回路３ｃにて読み出し、画像処理回路３ａおよび表示回路３ｂによる処理を経て液晶モニタ４に表示することができる。
【００１１】
ＣＰＵ６は、操作部７からの入力に応答して画像処理部３や不図示の回路を制御する。操作部７は、電源ボタンやレリーズボタン、再生操作や情報入力等で用いる各種操作部材等を含む。
【００１２】
次に、顔認識および表情認識について説明する。
カメラは公知の顔認識機能を備え、画像データ中に被写体として人物が存在する場合は、その人物の顔領域の位置および大きさを検出し、顔部分にピントや露出が合うような制御を行う。１画像データ中に複数の顔を認識することが可能であり、認識された顔位置および大きさは、ライブビュー画像中の顔の位置に、顔の大きさに応じた顔認識枠を表示することでユーザに報知される。
【００１３】
さらに顔認識では、認識した顔の特徴情報に基づいてデータベース検索を行うことで、画像データ中の人物が誰であるかを特定することができる。これを可能とするために、カメラには顔認識用のデータベースが備えられ、所定の顔登録モードにおいて、人物を撮像した画像データと、その画像データから得た顔の特徴点と、その人物に関する情報（名前等）とを対応づけて複数人分登録することができる。顔の特徴情報しては、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点、顎の下端点などの特徴点と、各特徴点の相対距離などが含まれる。そして、撮像時に画像データから得た顔の特徴情報と、データベース内の特徴情報とを比較し、相似度が所定の閾値を上回るものが見つかった場合に人物特定となる。
【００１４】
表情認識は、上記顔認識で認識された画像データ中の顔の表情を認識する機能である。本実施形態では、表情として、「笑顔」、「喜び」、「悲しみ」、「怒り」、「驚き」といった喜怒哀楽の表情を検出できる。特に「笑顔」については、ちょっとした微笑み程度から大笑いまで、その度合い（以下、笑顔度）を数段階に分けて認識できる。笑顔以外の表情に対してレベル検出が行えるようにしてもよい（喜び度、悲しみ度、怒り度、驚き度など）。
【００１５】
さらに、被写体人物の所作として「ウインク」が検出できる他、視線がカメラ（レンズ）を向いているか否かをも検出できる。これらの表情、ウインク、視線の検出は、例えば背景技術に示した文献の手法を用いて行うことができる。
【００１６】
各検出結果は、画像記録の有無に反映される。カメラは、撮影モード時に撮像を繰り返し、その都度得られる画像データに対して顔認識を行う。画像データ中に人物の顔が認識されると、表情認識を行い、人物が予め設定された表情になったことが検出されるまで、撮像、顔認識および表情認識が繰り返される。設定された表情になったことが検出されると、その表情で撮像した画像データが画像ファイルとして記録媒体５に記録される。これにより撮影者の望む表情の画像が得られる。
【００１７】
そして本実施形態では、画像記録の可否を決める表情を被写体となる人物ごとに設定し、その設定内容を上記顔認識用のデータベースに登録することができる。これを画像記録可否設定と呼び、設定方法の詳細は後述する。
【００１８】
図２は画像記録可否設定の一例を示し、この例では３人分の情報が登録されている。図中、丸印は「選択」（記録可）を、バツ印は「非選択」（記録不可）をそれぞれ意味し、また笑顔度のパーセンテージは、笑顔と認識する範囲を示す。例えば「笑顔度１０％」は、１０％以上の笑顔の表情を意味し、ほんの少しでも笑ったら画像記録が許可される。「笑顔度５０％」の場合は、ちょっとした微笑み程度では画像記録は許可されず、中程度以上の笑顔で初めて許可される。また、「笑顔度０％」は、笑顔非選択（笑顔では画像記録不可）を意味する。なお、パーセンテージの異なる笑顔は、同じ笑顔でも異なる表情と位置づける。
【００１９】
「ウインク」は、他の喜怒哀楽の表情とは異なり、被写体人物からの撮影許可または撮影催促の合図と捕らえる。別にウインクしている顔画像を取得したいわけではないので、ウインクが検出された場合は、所定時間（例えば、３秒〜５秒）経過後に改めて撮像を行い、その結果得られた画像データを記録することが望ましい。また「視線」は、被写体人物がカメラを向いていることを意味し、これが選択されている場合は、選択された他の表情や「ウインク」と「視線」とのＡＮＤ条件が成立したときに画像記録が許可される。「視線」が非選択の場合は、視線の方向に拘わらず、選択された表情のいずれかが検出された場合に画像記録が許可される。
【００２０】
例えば人物Ａの場合は、「悲しみ」以外の「笑顔度１０％」、「喜び」、「怒り」、「驚き」、「ウインク」のいずれかが検出され、かつ視線がカメラを向いていることが検出された場合に画像記録が許可される。普段あまり笑わない人に対しては、少し笑っただけでも画像記録を許可する「笑顔度１０％」が有効かも知れない。また、「悲しみ」の表情は撮りたくないと思った人物に対しては、「悲しみ」は非選択とするのがよい。
【００２１】
人物Ｂの場合は、「笑顔度５０％」、「悲しみ」、「怒り」、「ウインク」のいずれかの表情が検出され、かつ視線がカメラを向いていることが検出された場合に画像記録が許可される。人物Ｃの場合は、カメラに視線を向けてウインクしない限り、いずれの喜怒哀楽の表情が検出されても画像記録は許可されない。表情を被写体任せにするときはこの設定が有効である。
【００２２】
図２に示すような画像記録可否設定は、液晶モニタ４を見ながら簡単な操作で行えるようにすることが望ましい。例えば、顔認識用に登録してある人物の画像を液晶モニタ４に表示すると、その人物に対して設定入力が行えるようにすれば、対象人物の顔を見ながら適切な設定が行える。各選択項目に対し、所定操作で丸とバツが交互に切換えられるようにしてもよいし、各選択項目に対応するチェックボックスのチェックの有無で選択／非選択を決めるようにしてもよい。笑顔度のパーセンテージは、バー表示や数値入力で選択できるようにすればよい。液晶パネル４の表示面積によっては、１画面に複数の画像を表示し、複数人分の設定を行えるようにしてもよい。
【００２３】
さらに本実施形態のカメラは、複数の人物を撮像することを前提とした２つのモードを備えている。第１のモードは、画面内の複数の人物全員が笑顔であり、かつ全員が視線をカメラに向けて初めて画像記録が許可されるモード（以下、「全員笑顔モード」）である。これによれば、全員が笑っている楽しい雰囲気の写真を容易に得ることができる。
【００２４】
一方、全員がまじめな顔で撮影されるべき集合写真もあることを考慮し、「全員まじめモード」も用意されている。これは、画面内の複数の人物全員がまじめ顔（非笑顔）で、かつ全員が視線をカメラに向けて初めて画像記録が許可されるモードである。
【００２５】
図３は全員笑顔モード設定時の処理手順の一例を示すフローチャートである。
全員笑顔モードの設定に伴い、あるいは設定後に何らかの操作が行われるのに伴ってこのプログラムが起動され、まずステップＳ１で撮像を行い、画像データを得る。ステップＳ２では、得られた画像データに対して顔認識を行い、ステップＳ３で顔が検出されたか否かを判定する。否定されるとステップＳ１に戻り、肯定されるとステップＳ４に進む。
【００２６】
ステップＳ４では表情認識を行い、ステップＳ５で全員笑っているか否かを判定する。笑っているか否かは、ここでは笑顔度が８０％以上か否かで判定する。勿論、このパーセンテージは８０％に限定されず、予めユーザが選択できるようにしてもよい。例えば全員を会心の笑顔で撮像したい場合は８０％〜９０％以上とすればよいし、少しでも笑っていればよい場合は１０％〜２０％以上とすればよい。また、単に笑顔か否かの判別しかできない（笑顔度を判別できない）カメラでは、全員笑顔か否かの判定でよい。
【００２７】
ステップＳ５で全員笑っていると判定されると、ステップＳ６で全員の視線がカメラを向いているか否かを判定する。肯定されると記録条件成立と判断し、ステップＳ７で上記画像データを記録媒体５に記録して終了する。一方、一人でも笑顔でない人がいたり、一人でもカメラに視線を向けない人がいる場合は、記録条件不成立と判断し、ステップＳ８に進む（ステップＳ５，Ｓ６のいずれかが否定される）。ステップＳ８では、最初の顔認識から所定時間Ｔ１（例えば、１０秒）が経過したか否かを判定し、否定されるとステップＳ１に戻って上記の処理を繰り返す。ステップＳ８が肯定された場合、すなわち所定時間Ｔ１が経過してもなお記録条件が成立しない場合はステップＳ９に進み、条件成立支援措置を行う。
【００２８】
図４は条件成立支援措置の詳細を示している。ステップＳ９１で笑っていない人がいると判定された場合はステップＳ９２に進み、笑っていない人を特定する処理を行う。これは、笑っていない人の顔の特徴情報を取得し、上述したようにデータベース検索を行うことで、その人物の名前等を知る処理である。ステップＳ９３では、人物特定処理の結果に基づいて、笑っていない人に笑うよう要請する。例えば、「○○さん、○×さん、笑ってください」のように音声で警告を発することが考えられる。これにより、笑っていなかった人が笑う可能性が高まる。
【００２９】
次に、ステップＳ９４で視線をカメラに向けていない人がいると判定された場合は、ステップＳ９５で同様にその人物を特定し、ステップＳ９６で視線を向けるよう要請する。例えば、「○○さん、○×さん、こちらを向いてください」のように音声を発すればよく、これによりカメラを向いていなかった人がカメラを向く可能性が高まる。
【００３０】
なお、ステップＳ９２，Ｓ９５の人物特定において、データベースに登録されていない人物が画面内にいた場合は、その人物を特定できないので、単に「笑ってください」、「こちらを向いてください」でよい。また、人物特定は特に行わなくてもよい。
【００３１】
図３のステップＳ１０では、条件成立支援措置の開始から所定時間Ｔ２（例えば、数秒）が経過したか否かを判定し、経過していない場合はステップＳ１に戻り、経過している場合、つまり条件成立支援措置を行ってもなお条件が満たされない場合は、ステップＳ７に進んで画像データを記録する。
【００３２】
ステップＳ１１では、笑わない人、または視線をカメラに向けない人がいるまま画像記録を行ったか否かを判定する。ステップＳ１０からステップＳ７に進んだ場合はステップＳ１１が肯定され、この場合は、「笑っていない人がいます」、「カメラを向いていない人がいます」などの警告メッセージを画像とともに液晶モニタ４に表示する。誰が笑わなかったか、誰がカメラに視線を向けなかったかを明確にするために、画像中の該当者を矢印で指し示したり、該当者だけ色変えて表示するなど措置を行ってもよい。撮影者は、これらの表示を見て状況を把握し、再度撮像を行うか否かを決めることができる。
【００３３】
以上、全員笑顔モードについて説明したが、全員まじめモードも処理の流れは基本的に同じである。ただし、上記ステップＳ５の判定に代えて、全員まじめ顔（非笑顔）か否かの判定を行う。これは、例えば笑顔度１０％以上であれば笑顔、それ以外はまじめ顔と判断するようにすればよい。また、条件成立支援措置において、まじめ顔でない人がいた場合は、「笑わないでください」などの音声を発する。
【００３４】
なお、「視線」は特に考慮しなくてもよく、単に全員が笑顔あるいはまじめ顔であれば画像記録が行われるようにしてもよい。あるいは、全員が笑顔あるいはまじめ顔で、かつ少なくとも一人がカメラに視線を向けている場合に画像記録を行うようにしてもよい。また、「視線」を考慮するか否かを選択可能としてもよい。
【００３５】
また、表情の判定は笑顔に限定されず、例えば全員が「笑顔」または「喜び」の表情であれば画像記録を行うようにしてもよいし、全員が「悲しみ」の表情でなければ画像記録を行う、または全員が「悲しみ」の表情でも「怒り」の表情でもなければ画像記録を行うようにしてもよい。上述した表情以外の表情を検出可能なカメラでは、その表情に基づいて画像記録の可否を決めてもよい。いずれの場合も「視線」は考慮してもしなくてもよく、考慮するか否かを選択可能としてもよい。
【符号の説明】
【００３６】
１ 撮影レンズ
２ 撮像素子
３ 画像処理部
４ 液晶モニタ
５ 記録媒体
６ ＣＰＵ
【特許請求の範囲】
【請求項１】
撮像により画像データを得る撮像手段と、
画像データ中の人物の顔を検出する顔検出手段と、
前記検出された顔の表情を検出する表情検出手段と、
画像データ中に複数の顔が検出されたときに、複数の顔の全てが予め定められた特定の表情である、または特定の表情でないことが検出されると記録条件成立と判断する判定手段と、
前記判定手段により前記記録条件成立と判断されるまで前記撮像を繰り返し、前記記録条件成立と判断されると前記画像データを記録媒体に記録する制御手段とを具備することを特徴とするデジタルカメラ。
【請求項２】
画像データ中の人物がカメラに視線を向けているか否かを検出する視線検出手段を更に備え、
前記判定手段は、画像データ中に複数の顔が検出されたときに、複数の顔の全てが予め定められた特定の表情であることが検出され、かつ少なくとも１つの顔がカメラに視線を向けていることが検出されると前記記録条件成立と判断することを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
画像データ中の人物がカメラに視線を向けているか否かを検出する視線検出手段を更に備え、
前記判定手段は、画像データ中に複数の顔が検出されたときに、複数の顔の全てが予め定められた特定の表情であることが検出され、かつ複数の顔の全てがカメラに視線を向けていることが検出されると前記記録条件成立と判断することを特徴とする請求項１に記載のデジタルカメラ。
【請求項４】
所定時間が経過しても前記判定手段が前記記録条件成立と判断しない場合に、条件成立のための要請を被写体人物に対して行う要請手段を更に備えることを特徴とする請求項１〜３のいずれか１項に記載のデジタルカメラ。
【請求項５】
前記要請手段は音声発声手段であることを特徴とする請求項４に記載のデジタルカメラ。
【請求項６】
前記特定の表情は、「笑顔」であることを特徴とする請求項１〜５のいずれか１項に記載のデジタルカメラ。
【請求項７】
前記表情検出手段は、前記「笑顔」の度合いを複数段階に分けて検出可能であり、前記特定の表情は、所定の度合い以上の「笑顔」であることを特徴とする請求項６に記載のデジタルカメラ。
【請求項１】
撮像により画像データを得る撮像手段と、
画像データ中の人物の顔を検出する顔検出手段と、
前記検出された顔の表情を検出する表情検出手段と、
画像データ中に複数の顔が検出されたときに、複数の顔の全てが予め定められた特定の表情である、または特定の表情でないことが検出されると記録条件成立と判断する判定手段と、
前記判定手段により前記記録条件成立と判断されるまで前記撮像を繰り返し、前記記録条件成立と判断されると前記画像データを記録媒体に記録する制御手段とを具備することを特徴とするデジタルカメラ。
【請求項２】
画像データ中の人物がカメラに視線を向けているか否かを検出する視線検出手段を更に備え、
前記判定手段は、画像データ中に複数の顔が検出されたときに、複数の顔の全てが予め定められた特定の表情であることが検出され、かつ少なくとも１つの顔がカメラに視線を向けていることが検出されると前記記録条件成立と判断することを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
画像データ中の人物がカメラに視線を向けているか否かを検出する視線検出手段を更に備え、
前記判定手段は、画像データ中に複数の顔が検出されたときに、複数の顔の全てが予め定められた特定の表情であることが検出され、かつ複数の顔の全てがカメラに視線を向けていることが検出されると前記記録条件成立と判断することを特徴とする請求項１に記載のデジタルカメラ。
【請求項４】
所定時間が経過しても前記判定手段が前記記録条件成立と判断しない場合に、条件成立のための要請を被写体人物に対して行う要請手段を更に備えることを特徴とする請求項１〜３のいずれか１項に記載のデジタルカメラ。
【請求項５】
前記要請手段は音声発声手段であることを特徴とする請求項４に記載のデジタルカメラ。
【請求項６】
前記特定の表情は、「笑顔」であることを特徴とする請求項１〜５のいずれか１項に記載のデジタルカメラ。
【請求項７】
前記表情検出手段は、前記「笑顔」の度合いを複数段階に分けて検出可能であり、前記特定の表情は、所定の度合い以上の「笑顔」であることを特徴とする請求項６に記載のデジタルカメラ。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−１７８１１９（Ｐ２０１０−１７８１１９Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−１９２６２（Ｐ２００９−１９２６２）
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]