画像処理装置、撮像装置、および画像処理プログラム
【課題】 被写体認識技術を用いて、撮影状態の良好な画像を得ること。
【解決手段】 類似した被写体を含む複数の画像を取得する取得部と、複数の画像のそれぞれについて、人物の顔検出を行う顔検出部と、複数の画像のそれぞれについて、人物の顔の表情に関する少なくとも１種類の評価値を算出する算出部と、評価値に基づいて複数の画像を比較し、比較結果に基づいて、複数の画像から、人物が好ましく写っていると推定できる画像を選択する選択部とを備える。
【解決手段】 類似した被写体を含む複数の画像を取得する取得部と、複数の画像のそれぞれについて、人物の顔検出を行う顔検出部と、複数の画像のそれぞれについて、人物の顔の表情に関する少なくとも１種類の評価値を算出する算出部と、評価値に基づいて複数の画像を比較し、比較結果に基づいて、複数の画像から、人物が好ましく写っていると推定できる画像を選択する選択部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、手ブレが少ないなどの撮影状態の良好な画像を得るために、様々な技術が考えられている。例えば、下記の特許文献１の電子カメラには、被写体を連続的に撮像して複数の画像を生成し、生成した複数の画像の良否を評価して一枚の画像のみを保存する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１３６５５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年、被写体に含まれる人物を認識する人物認識技術や、人物の顔などを認識する顔認識技術などが進んでおり、上述した撮影状態の良好な画像を得るために、このような技術を活用することが求められている。
【０００５】
本発明は、上記問題に鑑みてなされたものであり、被写体認識技術を用いて、撮影状態の良好な画像を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、類似した被写体を含む複数の画像を取得する取得部と、前記複数の画像のそれぞれについて、人物の顔検出を行う顔検出部と、前記複数の画像のそれぞれについて、前記人物の顔の表情に関する少なくとも１種類の評価値を算出する算出部と、前記評価値に基づいて前記複数の画像を比較し、比較結果に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択する選択部とを備える。
【０００７】
なお、前記算出部は、前記評価値として、前記複数の画像のそれぞれについて、前記人物の笑顔の度合いを評価した評価値を算出しても良い。
【０００８】
また、前記算出部は、前記評価値として、前記複数の画像のそれぞれについて、前記検出部により検出された前記人物の数と、前記人物の視線の向きと、前記人物の顔の向きと、画像全体に占める前記人物の顔の面積比と、前記人物の推定年齢と、前記人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の前記評価値を算出しても良い。
【０００９】
また、前記算出部は、前記評価値として、前記人物の笑顔の度合いを評価した第１の評価値と、前記複数の画像のそれぞれについて、前記検出部により検出された前記人物の数と、前記人物の視線の向きと、前記人物の顔の向きと、画像全体に占める前記人物の顔の面積比と、前記人物の推定年齢と、前記人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の第２の評価値とを算出し、前記選択部は、まず、前記第１の評価値に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択し、選択ができない場合には、前記第２の評価値に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択しても良い。
【００１０】
また、前記複数の画像のうち、前記選択部により選択された画像のみを記録する記録部を備えても良い。
【００１１】
本発明の撮像装置は、被写体像を撮像して画像を生成する撮像部と、上述したいずれかの画像処理装置とを備え、前記取得部は、前記撮像部から前記複数の画像を取得する。
【００１２】
なお、前記撮像部は、撮影開始指示が行われると、前記被写体像を連続的に撮像して前記複数の画像を生成し、前記取得部は、前記撮像部による連続的な撮像により生成された複数の画像を取得しても良い。
【００１３】
また、前記撮像部によって前記被写体像を連続的に撮像する連写モードを設定する設定部と、前記連写モードによる撮影で生成された複数の画像をグループ化して記録する記録部とを備え、前記撮像部は、前記設定部により前記連写モードが設定された状態で撮影開始指示が行われると、前記被写体像を連続的に撮像して前記複数の画像を生成し、前記取得部は、前記撮像部による連続的な撮像により生成された前記複数の画像を取得し、前記記録部は、前記複数の画像をグループ化して記録する際に、前記選択部により選択した画像を代表画像として記録しても良い。
【００１４】
また、上記発明に関する構成を、処理対象の画像データに対する画像処理を実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１５】
本発明によれば、被写体認識技術を用いて、撮影状態の良好な画像を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態のデジタルカメラの機能ブロック図である。
【図２】撮像指示が行われた際の制御部７の動作を示すフローチャートである。
【図３】顔検出について説明する図である。
【図４】各評価値および顔データベースについて説明する図である。
【図５】笑顔度合いに関するテーブルの一例である。
【図６】撮像指示が行われた際の制御部７の動作を示す別のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を用いて本発明の実施形態について説明する。以下では、一例として、デジタルカメラを例に挙げて説明する。
【００１８】
図１は、本実施形態におけるデジタルカメラ１の構成を示すブロック図である。図１に示すように、デジタルカメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、バッファメモリ５、画像処理部６、制御部７、表示部８、操作部９、メモリ１０、記録Ｉ／Ｆ部１１、記録媒体１２、接続部１３、バス１４を備える。
【００１９】
撮像レンズ２は、撮像素子３の撮像面に被写体像を結像する。なお、撮像レンズ２は、ズームレンズやフォーカスレンズ等の複数のレンズからなる撮像光学系であっても良い。撮像素子３は、撮像レンズ２を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子３は、非撮像時、所定間隔毎に間引き読み出しを行い、スルー画像（構図確認用の画像）を取得する。その後、撮像素子３は、撮像指示が行われると本画像を取得する。
【００２０】
撮像素子３から出力される画像信号は、Ａ／Ｄ変換部４に入力される。Ａ／Ｄ変換部４は、撮像素子３から出力されるアナログの画像信号をＡ／Ｄ変換し、デジタルの画像信号に変更する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ５に記録される。バッファメモリ５は、画像処理部６による画像処理の前工程や後工程で画像データを一時的に記録する。
【００２１】
画像処理部６は、バッファメモリ５に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部６は、記録媒体１２に画像ファイルを記録する前にＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。
【００２２】
また、画像処理部６は、後述する顔データベース作成時に、画像の一部を切り出して新たな画像を生成するトリミング処理を行う。
【００２３】
制御部７は、所定のシーケンスプログラムにしたがって、デジタルカメラ１の統括的な制御を行うとともに、撮像時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。また、制御部７は、顔検出部１５、評価値算出部１６の機能を有している。
【００２４】
顔検出部１５は、スルー画像、本画像、記録媒体１２に記録された画像から特徴点を抽出して顔領域、顔領域の大きさ（顔面積）等を検出する。特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。そして、顔検出部１５は、顔領域の位置情報を特定する。例えば、顔検出部１５は、画像の横方向をＸ軸、縦方向をＹ軸とし、顔領域に含まれる画素のＸ座標及びＹ座標を算出する。さらに、顔検出部１５は、上述した特徴点を用いた演算処理によって、検出した人物の表情や年齢などを判別する。評価値算出部１６の詳細は、後述する。
【００２５】
表示部８は、制御部７の制御により各種の画像を表示する。表示部８に表示される各種の画像は、撮影時の構図確認用のスルー画像、本画像、記録媒体１２に記録された画像、メニュー画像等を含む。また、表示部８は、タッチパネル１７を備える。タッチパネル１７は、パネル上で指又はスタイラス等がタッチされた位置、ドラッグされた方向、ドラッグされた回数を検出する。タッチパネル１７の状態は制御部７により検知される。なお、タッチパネル１７は、表示部８の表面全体に積層して配置するため、表示部８と同等の大きさを有する透明なパネルで構成されている。また、本実施形態の例では、タッチパネル１７は、静電気による電気信号を感知する静電容量式のパネルで構成されている。なお、静電容量式に限らず、圧力による電圧の変化を検知する抵抗膜式のパネルなどを用いても良い。
【００２６】
操作部９は、不図示のレリーズ釦、十字キー等を有する。なお、操作部９の操作状態は制御部７により検知され、検知された操作部９の状態に基づいたシーケンスが実行される。
【００２７】
記録Ｉ／Ｆ部１１は、記録媒体１２を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部１１と記録媒体１２とが接続されることにより、記録媒体１２に対してデータの書き込み／読み出しを実行する。
【００２８】
接続部１３は、入出力端子などを備え、デジタルカメラ１の外部の機器と相互に接続し、画像データなど入出力する。バス１４は、バッファメモリ５、画像処理部６、制御部７、表示部８、メモリ１０、記録Ｉ／Ｆ部１１を相互に接続することにより、データや信号の出入力を実行する。
【００２９】
以上説明した構成のデジタルカメラ１は、撮影指示にしたがって自動で連続撮像（いわゆる連写）を行い、被写体に含まれる人物が好ましい表情で撮影された画像を取得するための自動笑顔モードを有する。自動笑顔モードは、ポートレートモードや風景モードなどの既存のシーンモードと並列に備えられても良いし、既存のシーンモードに追加して設定可能なモードとして備えられても良い。自動笑顔モードは、操作部９やタッチパネル１７を介したユーザ操作により手動で設定されても良いし、制御部７により自動で設定されても良い。ユーザ操作による手動設定の場合には、操作部９に専用のボタンなどを設けても良いし、表示部８にメニュー画面などを表示しても良い。
【００３０】
上述した自動笑顔モードがＯＮに設定された状態で、撮影指示が行われる際の制御部７の動作について、図２に示すフローチャートを参照して説明する。
【００３１】
ステップＳ１において、制御部７は、撮影指示が行われたか否かを判定する。制御部７は、撮影指示が行われるまで待機し、撮影指示が行われたと判定するとステップＳ２に進む。
【００３２】
なお、撮影指示はレリーズ釦１８やタッチパネル１７を介したユーザ操作に基づいて行われても良いし、制御部７により自動で行われても良い。制御部７により自動で撮影指示が行われる場合とは、例えば、セルフタイマー撮影や、予め行われる被写体認識により被写体が所定の状態（顔の向きが正面、笑顔が認識されるなど）になったときに行われる自動撮影などが含まれる。
【００３３】
ステップＳ２において、制御部７は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４等を制御し、被写体像を連続撮像して複数の画像を生成する。制御部７は、生成した複数の画像を、バッファメモリ５に一時記録する。
【００３４】
制御部７は、電子カメラ１における設定にかかわらず、自動で連続撮影を行う。連続撮影時の撮影条件については、公知技術と同様に設定する。ただし、従来、ピントや手ブレに関して撮影状態の良好な画像を得るために行われていた連続撮影とは異なり、本実施形態における連続撮影では、被写体の表情などが良好な画像を得ることを目的とする。そのため、連続撮影における撮影間隔が短すぎると好ましくない。そこで、例えば、毎秒３〜５フレーム程度の撮影間隔で連続撮影を行うと良い。また、撮影枚数は予め定められる（例えば５フレーム）ものとする。
【００３５】
ステップＳ３において、制御部７は、ステップＳ２で生成した複数の画像のそれぞれについて、顔検出を行う。顔検出部１５は、ステップＳ２で生成した画像のそれぞれに対して、顔検出を行う。顔検出の具体的な方法については、公知技術を同様であるため説明を省略する。
【００３６】
なお、制御部７は、ステップＳ２で生成した複数の画像のうち、任意の画像について行った顔検出の結果を利用して、それ以外の画像における顔検出を行っても良い。また、ステップＳ１で説明した撮影指示に先だって顔検出が行われている場合には、その顔検出の結果を利用して、ステップＳ２で生成した複数の画像のそれぞれにおける顔検出を行っても良い。すなわち、スルー画像について、顔検出が行われている場合、制御部７は、スルー画像における顔検出の結果に基づいて、ステップＳ２で生成した複数の画像のそれぞれにおける顔検出を行っても良い。なお、スルー画像について、顔検出が行われている場合、表示部８上に表示されるスルー画像において、例えば、図３に示すように、検出した顔部分に枠表示などを行うと良い。
【００３７】
ステップＳ４において、制御部７は、ステップＳ３で検出した顔のそれぞれについて、表情に関する各評価値を算出する。評価値算出部１６において算出される各評価値は、以下の各評価値が含まれる。
（１）笑顔レベル
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、公知の技術（例えば表情認識、パターンマッチングなど）を用いて笑顔レベルを検出する。本実施形態では、一例として、０（笑顔なし）から３（大笑い）までの４段階で笑顔レベルを示す。
（２）視線の向き
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、公知の技術を用いて視線の向き（正面、斜め、横向きなど）を検出し、検出結果を示す評価値を算出する。本実施形態では、０（視線正面）、１（視線左方向）、２（視線右方向）、３（視線検出不可）の４種類で視線の向きを示す。
（３）顔の向き
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、公知の技術を用いて顔の向き（正面、斜め、横向きなど）を検出し、検出結果を示す評価値を算出する。本実施形態では、０（顔向き正面）、１（顔向き左方向）、２（顔向き右方向）、３（検出不可）の４種類で顔の向きを示す。
（４）顔面積
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、顔部分の面積を求める。
（５）年齢
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、公知の技術を用いてその人物の年齢を推測し、推測結果を示す評価値を算出する。
（６）目つぶり度合い
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、公知の技術（例えば表情認識など）を用いて目つぶり度合いを検出し、検出結果を示す評価値を算出する。本実施形態では、０（目つぶりなし）、１（一部目つぶりあり）、２（両目目つぶり）、３（目つぶり検出不可）の４種類で目つぶり度合いを示す。
【００３８】
ステップＳ５において、制御部７は、ステップＳ３で行った顔検出およびステップＳ４で算出した各評価値に基づいて、顔データベースを作成する。制御部７は、まず、ステップＳ２で生成した複数の画像のそれぞれについて、ステップＳ３で行った顔検出の結果に基づいて、顔部分の画像を切り出す。例えば、図３に例示したように、５人の人物が含まれる場合には、ステップＳ２で生成した複数の画像のそれぞれについて、顔部分の画像を切り出してサムネイル画像を生成する。そして、各サムネイル画像と、ステップＳ４で算出した各評価値とを対応づけてデータベースを作成する。図４にある人物のデータベースを例示する。
【００３９】
なお、上述したサムネイル画像は、ステップＳ４で説明した各評価値の算出の前に行っても良い。すなわち、ステップＳ３で行った顔検出の結果に基づいて、ステップＳ２で生成した複数の画像のそれぞれからサムネイル画像を生成し、生成したサムネイル画像に基づいて、ステップＳ４で説明した各評価値の算出を行っても良い。このような構成にすることによって、処理時間を短縮することが期待できる。
【００４０】
ステップＳ６において、制御部７は、顔指定が行われているか否かを判定する。制御部７は、顔指定が行われていると判定するとステップＳ７に進む。一方、顔指定が行われていないと判定すると、制御部７は、後述するステップＳ８に進む。
【００４１】
顔指定とは、特定人物を予め指定する機能である。例えば、その特定人物の顔画像を予め登録しておくことにより、その人物の画像を確実に取得することができる。顔指定は、操作部９やタッチパネル１７を介したユーザ操作により、予め行われるものとする。例えば、図３を用いて説明したように、表示部８上に表示されるスルー画像において、検出した顔部分に枠表示などが行われている状態で、ユーザが、タッチパネル１７によって、任意の人物を指定できる構成としても良い。また、複数の人物について顔指定が行われても良いし、優先順位をつけて複数の人物について顔指定が行われても良い。
【００４２】
ステップＳ７において、制御部７は、ステップＳ５で作成したデータベースに基づいて、複数の画像から、顔指定された顔が笑顔である画像を選別する。顔指定された特定の人物がある画像に含まれているか否かは、顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算し、演算結果と、予め指定された特定の人物の画像に基づく情報とを比較して、相似度を求めることにより判定することができる。
【００４３】
制御部７は、ステップＳ４で算出した笑顔レベルなどに基づいて、ステップＳ２で生成した複数の画像から、顔指定された顔が笑顔である画像を選別し、選別した複数の画像（１枚のみの場合もある）のみを以降の処理の対象とする。
【００４４】
ステップＳ８において、制御部７は、笑顔度合いを算出する。制御部７は、ステップＳ４で算出した笑顔レベルに基づいて、ステップＳ２で生成した複数の画像（ただし、ステップＳ７において選別が行われた場合には、選別後の画像）のそれぞれについて、その画像を代表する評価値である笑顔度合いを算出する。評価値算出部１６は、次式を用いて笑顔度合いを求める。
【００４５】
（笑顔度合い）＝（笑顔係数の和）÷（検出された顔の数）・・・（式１）
式１において、笑顔係数とは、ステップＳ４で算出した笑顔レベルについて、レベルごとに定められた係数である。
【００４６】
図５に笑顔レベルと笑顔係数との関係を示すテーブルを例示する。図５に示すように、ステップＳ４で説明した笑顔レベルが高くなるほど、笑顔係数も大きくなる。
【００４７】
ステップＳ９において、制御部７は、笑顔度合いが閾値以上であるか否かを判定する。制御部７は、笑顔度合いが閾値以上であると判定するとステップＳ１０に進む。一方、笑顔度合いが閾値以上でないと判定すると、制御部７は、後述するステップＳ１０に進む。
【００４８】
制御部７は、ステップＳ８で求めた各笑顔度合いの代表値（平均値、最大値、最小値など）と、所定の閾値とを比較し、代表値≧閾値である場合にはステップＳ１０に進み、代表値＜閾値である場合にはステップＳ１１に進む。
【００４９】
ステップＳ１０において、制御部７は、ステップＳ２で生成した複数の画像（ただし、ステップＳ７において選別が行われた場合には、選別後の画像）を比較して、笑顔に関する評価値が最も高い画像を記録画像として選択する。
【００５０】
制御部７は、まず、ステップＳ２で生成した複数の画像（ただし、ステップＳ７において選別が行われた場合には、選別後の画像）について、ステップＳ８で算出した笑顔度合いを比較する。そして、笑顔度合いが最大の画像を記録画像として選択する。笑顔度合いの比較により記録画像を選択できない場合、制御部７は、ステップＳ４で算出した各評価値に基づいて、以下の優先順位にしたがって、比較を繰り返す。
（１）顔検出数
（２）視線の向き
（３）顔の向き
（４）顔面積
（５）年齢
（６）目つぶり度合い
なお、上述した（１）〜（６）の評価値のうち、（１）顔検出数以外の各評価値は、画像に含まれる人物（ステップＳ６において顔指定が行われている場合には、一部の人物）ごとに評価値を有する。そのため、複数の人物に関する評価値の代表値（平均値、最大値、最小値など）を求めて、比較を行っても良い。また、複数の人物に優先順位がついている場合には、重み付けなどを行っても良い。
【００５１】
ステップＳ１１において、制御部７は、ステップＳ２で生成した複数の画像（ただし、ステップＳ７において選別が行われた場合には、選別後の画像）を比較して、目つぶりに関する評価値が最も高い画像を記録画像として選択する。
制御部７は、まず、ステップＳ２で生成した複数の画像（ただし、ステップＳ７において選別が行われた場合には、選別後の画像）について、ステップＳ４で算出した目つぶり度合いを比較する。そして、目つぶり度合いが最小の画像を記録画像として選択する。
【００５２】
なお、目つぶり度合いは、画像に含まれる人物（ステップＳ６において顔指定が行われている場合には、一部の人物）ごとに評価値を有する。そのため、複数の人物に関する評価値の代表値（平均値、最大値、最小値など）を求めて、比較を行っても良い。また、複数の人物に優先順位がついている場合には、重み付けなどを行っても良い。
【００５３】
ステップＳ１２において、制御部７は、ステップＳ１０またはステップＳ１１で選択した記録画像を記録Ｉ／Ｆ部１１を介して記録媒体１２に記録して一連の処理を終了する。
【００５４】
なお、ステップＳ１２において記録画像を記録する際に、ステップＳ１０またはステップＳ１１で選択した記録画像から、撮影確認用のプレビュー画像を生成し、表示部８に表示する構成としても良い。
【００５５】
上述したフローチャートで行った処理は、連続撮影を行ういわゆる連写モード実行時にも利用することができる。以下、連写モードが設定された状態で、撮影指示が行われる際の制御部７の動作について、図６に示すフローチャートを参照して説明する。
【００５６】
ステップＳ２１において、制御部７は、図２のフローチャートのステップＳ１と同様に、撮影時が行われたか否かを判定する。制御部７は、撮影指示が行われるまで待機し、撮影指示が行われたと判定するとステップＳ２２に進む。
【００５７】
ステップＳ２２において、制御部７は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４等を制御し、被写体像を連続撮像して複数の画像を生成する。制御部７は、生成した複数の画像を、バッファメモリ５に一時記録する。なお、連続撮影時の撮影条件については、公知技術と同様に設定する。ただし、図２のフローチャートのステップＳ２とは異なり、設定にしたがった撮影間隔で連続撮影を行う。
【００５８】
ステップＳ２３からステップＳ２９において、制御部７は、図２のフローチャートのステップＳ３からステップＳ１９と同様の処理を行う。
【００５９】
ステップＳ３０において、制御部７は、図２のフローチャートのステップＳ１０と同様の処理を行い、記録画像の代わりに代表画像を選択する。
【００６０】
ステップＳ３１において、制御部７は、図２のフローチャートのステップＳ１１と同様の処理を行い、記録画像の代わりに代表画像を選択する。
【００６１】
ステップＳ３２において、制御部７は、ステップＳ２２で生成した複数の画像をグループ化して、記録Ｉ／Ｆ部１１を介して記録媒体１２に記録して一連の処理を終了する。このとき、制御部７は、ステップＳ３０またはステップＳ３１で選択した画像をそのグループの代表画像として記録する。
【００６２】
なお、ステップＳ１２において記録画像を記録する際に、ステップＳ１０またはステップＳ１１で選択した記録画像から、撮影確認用のプレビュー画像を生成し、表示部８に表示する構成としても良い。
【００６３】
以上説明したように、本実施形態によれば、複数の画像を取得し、それらの画像のそれぞれについて、人物の顔検出を行う。そして、複数の画像のそれぞれについて、人物の顔の表情に関する少なくとも１種類の評価値を算出し、算出した評価値に基づいて複数の画像を比較し、比較結果に基づいて、複数の画像から、人物が好ましく写っていると推定できる画像を選択する。
【００６４】
したがって、被写体認識技術を用いて、撮影状態の良好な画像を得ることができる。また、近年、記録メディアの大容量化、カメラの高性能化、高速化によって、同じような画像が大量に撮影され、さらに、全ての画像が記録されることで、記録時間の増大、データ量の増大が発生していた。この結果、ユーザの選別作業の負荷も大きくなっていた。これに対して、本実施形態によれば、撮影状態の良好な画像を効率良く得ることができる。
【００６５】
また、本実施形態によれば、評価値として、複数の画像のそれぞれについて、人物の笑顔の度合いを評価した評価値を算出する。したがって、人物が笑顔である画像を得ることができる。
【００６６】
また、本実施形態によれば、評価値として、複数の画像のそれぞれについて、検出部により検出された人物の数と、人物の視線の向きと、人物の顔の向きと、画像全体に占める人物の顔の面積比と、人物の推定年齢と、人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の評価値を算出する。したがって、人物の状態に応じて、撮影状態の良好な画像を得ることができる。
【００６７】
また、本実施形態によれば、評価値として、人物の笑顔の度合いを評価した第１の評価値と、複数の画像のそれぞれについて、検出部により検出された人物の数と、人物の視線の向きと、人物の顔の向きと、画像全体に占める人物の顔の面積比と、人物の推定年齢と、人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の第２の評価値とを算出する。そして、まず、第１の評価値に基づいて、複数の画像から、人物が好ましく写っていると推定できる画像を選択し、選択ができない場合には、第２の評価値に基づいて、複数の画像から、人物が好ましく写っていると推定できる画像を選択する。したがって、人物の表情が笑顔でない場合であっても、撮影状態の良好な画像を得ることができる。
【００６８】
また、本実施形態によれば、複数の画像のうち、選択部により選択された画像のみを記録する。したがって、記録部の記録容量を無駄に使うことを防ぐことができる。
【００６９】
また、本実施形態によれば、撮像部によって被写体像を連続的に撮像する連写モードを設定する設定部と、連写モードによる撮影で生成された複数の画像をグループ化して記録する記録部とを備え、撮像部は、設定部により連写モードが設定された状態で撮影開始指示が行われると、被写体像を連続的に撮像して複数の画像を生成し、記録部は、複数の画像をグループ化して記録する際に、選択部により選択した画像を代表画像として記録する。したがって、連写モードによる撮影で生成された複数の画像をグループ化して記録する際に、好適な画像を代表画像として記録することができる。
【００７０】
なお、本実施形態では、図２のフローチャートのステップＳ２において複数の画像を生成し、それらの画像に対してステップＳ３以降の処理を行う例を示したが、本発明はこの例に限定されない。例えば、ステップＳ２において２枚の画像を生成し、２枚の画像に対してステップＳ３からステップＳ１０の処理を行い、一方の画像を選択する。そして、再び１枚の画像を生成して、選択した画像と新たに生成した画像から、いずれかの画像を選択する、という処理を所定回数繰り返しても、本実施形態と同様の効果を得ることができる。この場合、バッファメモリ５には最大でも２枚の画像のみが一時記録されることになるので、バッファメモリ５の容量を抑えることができる。
【００７１】
また、本実施形態において、図２のフローチャートのステップＳ４における各評価値は、一例であり本発明はこの例に限定されない。また、各評価値の算出タイミングもこの例に限定されない。例えば、ステップＳ８において笑顔度合いを算出するために必要な評価値のみをステップＳ４で算出し、ステップＳ１０において記録画像を選択する際に、笑顔度合いに基づいて記録画像を選択できない場合に、新たな評価値を算出する構成としても良い。
【００７２】
また、本実施形態では、人物の表情に関して、笑顔を中心として説明を行ったが、本発明はこの例に限定されない。例えば、泣き顔や怒り顔に関して各種処理を行う構成としても良い。
【００７３】
また、本実施形態では、図２のフローチャートのステップＳ１０において記録画像を選択する際に、各評価値を独立に比較する例を示したが、本発明はこの例に限定されない。例えば、各評価値を所定の重み付けで加算して代表評価値を算出し、代表評価値同士を比較することにより記録画像を選択する構成としても良い。
【００７４】
また、本実施形態では、図２のフローチャートのステップＳ１０において記録画像を選択する例を示したが、本発明はこの例に限定されない。例えば、ステップＳ１０において、複数の画像に評価のランク付けを行っても良い。このような情報は、各画像のタグ情報として記録すると良い。
【００７５】
また、本実施形態では、撮像時に一連の処理を行う場合を例に挙げて説明したが、記録媒体１２に記録された画像などを対象として本実施形態で説明した処理と同様の処理を行っても良い。すなわち、再生対象の画像が選択された時点で、図２のフローチャートのステップＳ３以降の処理を行い、記録画像を選択しても良い。また、再生対象の画像が選択された時点で、図６のフローチャートのステップＳ２３以降の処理を行い、代表画像を選択しても良い。
【００７６】
また、本実施形態では、デジタルカメラ１を例に挙げて説明したが、本発明はこの例に限定されない。例えば、タッチパネルを備えないデジタルカメラなど、図１に示した以外の構成を有するデジタルカメラにも本発明を同様に適用することができる。また、動画像を撮像可能なデジタルカメラにも本発明を同様に適用することができる。さらに、携帯電話などに積載されるデジタルカメラにも本発明を同様に適用することができる。
【００７７】
また、本実施形態の制御部７が行った処理の一部または全部を、コンピュータで実現する構成としても良い。この場合、コンピュータ読み取り可能な記録媒体に、本実施形態の制御部７が行った処理（図２および図６）の一部または全部を実行するための画像処理プログラムを記憶しておき、この画像処理プログラムを記録媒体から読み出してコンピュータ上で実行することにより、同様の処理を行うことで、本実施形態と同等の効果を得ることができる。
【符号の説明】
【００７８】
１…デジタルカメラ、３…撮像素子、６…画像処理部、７…制御部、８…表示部、１５…顔検出部１５…評価値算出部
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、手ブレが少ないなどの撮影状態の良好な画像を得るために、様々な技術が考えられている。例えば、下記の特許文献１の電子カメラには、被写体を連続的に撮像して複数の画像を生成し、生成した複数の画像の良否を評価して一枚の画像のみを保存する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１３６５５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年、被写体に含まれる人物を認識する人物認識技術や、人物の顔などを認識する顔認識技術などが進んでおり、上述した撮影状態の良好な画像を得るために、このような技術を活用することが求められている。
【０００５】
本発明は、上記問題に鑑みてなされたものであり、被写体認識技術を用いて、撮影状態の良好な画像を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、類似した被写体を含む複数の画像を取得する取得部と、前記複数の画像のそれぞれについて、人物の顔検出を行う顔検出部と、前記複数の画像のそれぞれについて、前記人物の顔の表情に関する少なくとも１種類の評価値を算出する算出部と、前記評価値に基づいて前記複数の画像を比較し、比較結果に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択する選択部とを備える。
【０００７】
なお、前記算出部は、前記評価値として、前記複数の画像のそれぞれについて、前記人物の笑顔の度合いを評価した評価値を算出しても良い。
【０００８】
また、前記算出部は、前記評価値として、前記複数の画像のそれぞれについて、前記検出部により検出された前記人物の数と、前記人物の視線の向きと、前記人物の顔の向きと、画像全体に占める前記人物の顔の面積比と、前記人物の推定年齢と、前記人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の前記評価値を算出しても良い。
【０００９】
また、前記算出部は、前記評価値として、前記人物の笑顔の度合いを評価した第１の評価値と、前記複数の画像のそれぞれについて、前記検出部により検出された前記人物の数と、前記人物の視線の向きと、前記人物の顔の向きと、画像全体に占める前記人物の顔の面積比と、前記人物の推定年齢と、前記人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の第２の評価値とを算出し、前記選択部は、まず、前記第１の評価値に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択し、選択ができない場合には、前記第２の評価値に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択しても良い。
【００１０】
また、前記複数の画像のうち、前記選択部により選択された画像のみを記録する記録部を備えても良い。
【００１１】
本発明の撮像装置は、被写体像を撮像して画像を生成する撮像部と、上述したいずれかの画像処理装置とを備え、前記取得部は、前記撮像部から前記複数の画像を取得する。
【００１２】
なお、前記撮像部は、撮影開始指示が行われると、前記被写体像を連続的に撮像して前記複数の画像を生成し、前記取得部は、前記撮像部による連続的な撮像により生成された複数の画像を取得しても良い。
【００１３】
また、前記撮像部によって前記被写体像を連続的に撮像する連写モードを設定する設定部と、前記連写モードによる撮影で生成された複数の画像をグループ化して記録する記録部とを備え、前記撮像部は、前記設定部により前記連写モードが設定された状態で撮影開始指示が行われると、前記被写体像を連続的に撮像して前記複数の画像を生成し、前記取得部は、前記撮像部による連続的な撮像により生成された前記複数の画像を取得し、前記記録部は、前記複数の画像をグループ化して記録する際に、前記選択部により選択した画像を代表画像として記録しても良い。
【００１４】
また、上記発明に関する構成を、処理対象の画像データに対する画像処理を実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１５】
本発明によれば、被写体認識技術を用いて、撮影状態の良好な画像を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態のデジタルカメラの機能ブロック図である。
【図２】撮像指示が行われた際の制御部７の動作を示すフローチャートである。
【図３】顔検出について説明する図である。
【図４】各評価値および顔データベースについて説明する図である。
【図５】笑顔度合いに関するテーブルの一例である。
【図６】撮像指示が行われた際の制御部７の動作を示す別のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を用いて本発明の実施形態について説明する。以下では、一例として、デジタルカメラを例に挙げて説明する。
【００１８】
図１は、本実施形態におけるデジタルカメラ１の構成を示すブロック図である。図１に示すように、デジタルカメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、バッファメモリ５、画像処理部６、制御部７、表示部８、操作部９、メモリ１０、記録Ｉ／Ｆ部１１、記録媒体１２、接続部１３、バス１４を備える。
【００１９】
撮像レンズ２は、撮像素子３の撮像面に被写体像を結像する。なお、撮像レンズ２は、ズームレンズやフォーカスレンズ等の複数のレンズからなる撮像光学系であっても良い。撮像素子３は、撮像レンズ２を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子３は、非撮像時、所定間隔毎に間引き読み出しを行い、スルー画像（構図確認用の画像）を取得する。その後、撮像素子３は、撮像指示が行われると本画像を取得する。
【００２０】
撮像素子３から出力される画像信号は、Ａ／Ｄ変換部４に入力される。Ａ／Ｄ変換部４は、撮像素子３から出力されるアナログの画像信号をＡ／Ｄ変換し、デジタルの画像信号に変更する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ５に記録される。バッファメモリ５は、画像処理部６による画像処理の前工程や後工程で画像データを一時的に記録する。
【００２１】
画像処理部６は、バッファメモリ５に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部６は、記録媒体１２に画像ファイルを記録する前にＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。
【００２２】
また、画像処理部６は、後述する顔データベース作成時に、画像の一部を切り出して新たな画像を生成するトリミング処理を行う。
【００２３】
制御部７は、所定のシーケンスプログラムにしたがって、デジタルカメラ１の統括的な制御を行うとともに、撮像時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。また、制御部７は、顔検出部１５、評価値算出部１６の機能を有している。
【００２４】
顔検出部１５は、スルー画像、本画像、記録媒体１２に記録された画像から特徴点を抽出して顔領域、顔領域の大きさ（顔面積）等を検出する。特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。そして、顔検出部１５は、顔領域の位置情報を特定する。例えば、顔検出部１５は、画像の横方向をＸ軸、縦方向をＹ軸とし、顔領域に含まれる画素のＸ座標及びＹ座標を算出する。さらに、顔検出部１５は、上述した特徴点を用いた演算処理によって、検出した人物の表情や年齢などを判別する。評価値算出部１６の詳細は、後述する。
【００２５】
表示部８は、制御部７の制御により各種の画像を表示する。表示部８に表示される各種の画像は、撮影時の構図確認用のスルー画像、本画像、記録媒体１２に記録された画像、メニュー画像等を含む。また、表示部８は、タッチパネル１７を備える。タッチパネル１７は、パネル上で指又はスタイラス等がタッチされた位置、ドラッグされた方向、ドラッグされた回数を検出する。タッチパネル１７の状態は制御部７により検知される。なお、タッチパネル１７は、表示部８の表面全体に積層して配置するため、表示部８と同等の大きさを有する透明なパネルで構成されている。また、本実施形態の例では、タッチパネル１７は、静電気による電気信号を感知する静電容量式のパネルで構成されている。なお、静電容量式に限らず、圧力による電圧の変化を検知する抵抗膜式のパネルなどを用いても良い。
【００２６】
操作部９は、不図示のレリーズ釦、十字キー等を有する。なお、操作部９の操作状態は制御部７により検知され、検知された操作部９の状態に基づいたシーケンスが実行される。
【００２７】
記録Ｉ／Ｆ部１１は、記録媒体１２を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部１１と記録媒体１２とが接続されることにより、記録媒体１２に対してデータの書き込み／読み出しを実行する。
【００２８】
接続部１３は、入出力端子などを備え、デジタルカメラ１の外部の機器と相互に接続し、画像データなど入出力する。バス１４は、バッファメモリ５、画像処理部６、制御部７、表示部８、メモリ１０、記録Ｉ／Ｆ部１１を相互に接続することにより、データや信号の出入力を実行する。
【００２９】
以上説明した構成のデジタルカメラ１は、撮影指示にしたがって自動で連続撮像（いわゆる連写）を行い、被写体に含まれる人物が好ましい表情で撮影された画像を取得するための自動笑顔モードを有する。自動笑顔モードは、ポートレートモードや風景モードなどの既存のシーンモードと並列に備えられても良いし、既存のシーンモードに追加して設定可能なモードとして備えられても良い。自動笑顔モードは、操作部９やタッチパネル１７を介したユーザ操作により手動で設定されても良いし、制御部７により自動で設定されても良い。ユーザ操作による手動設定の場合には、操作部９に専用のボタンなどを設けても良いし、表示部８にメニュー画面などを表示しても良い。
【００３０】
上述した自動笑顔モードがＯＮに設定された状態で、撮影指示が行われる際の制御部７の動作について、図２に示すフローチャートを参照して説明する。
【００３１】
ステップＳ１において、制御部７は、撮影指示が行われたか否かを判定する。制御部７は、撮影指示が行われるまで待機し、撮影指示が行われたと判定するとステップＳ２に進む。
【００３２】
なお、撮影指示はレリーズ釦１８やタッチパネル１７を介したユーザ操作に基づいて行われても良いし、制御部７により自動で行われても良い。制御部７により自動で撮影指示が行われる場合とは、例えば、セルフタイマー撮影や、予め行われる被写体認識により被写体が所定の状態（顔の向きが正面、笑顔が認識されるなど）になったときに行われる自動撮影などが含まれる。
【００３３】
ステップＳ２において、制御部７は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４等を制御し、被写体像を連続撮像して複数の画像を生成する。制御部７は、生成した複数の画像を、バッファメモリ５に一時記録する。
【００３４】
制御部７は、電子カメラ１における設定にかかわらず、自動で連続撮影を行う。連続撮影時の撮影条件については、公知技術と同様に設定する。ただし、従来、ピントや手ブレに関して撮影状態の良好な画像を得るために行われていた連続撮影とは異なり、本実施形態における連続撮影では、被写体の表情などが良好な画像を得ることを目的とする。そのため、連続撮影における撮影間隔が短すぎると好ましくない。そこで、例えば、毎秒３〜５フレーム程度の撮影間隔で連続撮影を行うと良い。また、撮影枚数は予め定められる（例えば５フレーム）ものとする。
【００３５】
ステップＳ３において、制御部７は、ステップＳ２で生成した複数の画像のそれぞれについて、顔検出を行う。顔検出部１５は、ステップＳ２で生成した画像のそれぞれに対して、顔検出を行う。顔検出の具体的な方法については、公知技術を同様であるため説明を省略する。
【００３６】
なお、制御部７は、ステップＳ２で生成した複数の画像のうち、任意の画像について行った顔検出の結果を利用して、それ以外の画像における顔検出を行っても良い。また、ステップＳ１で説明した撮影指示に先だって顔検出が行われている場合には、その顔検出の結果を利用して、ステップＳ２で生成した複数の画像のそれぞれにおける顔検出を行っても良い。すなわち、スルー画像について、顔検出が行われている場合、制御部７は、スルー画像における顔検出の結果に基づいて、ステップＳ２で生成した複数の画像のそれぞれにおける顔検出を行っても良い。なお、スルー画像について、顔検出が行われている場合、表示部８上に表示されるスルー画像において、例えば、図３に示すように、検出した顔部分に枠表示などを行うと良い。
【００３７】
ステップＳ４において、制御部７は、ステップＳ３で検出した顔のそれぞれについて、表情に関する各評価値を算出する。評価値算出部１６において算出される各評価値は、以下の各評価値が含まれる。
（１）笑顔レベル
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、公知の技術（例えば表情認識、パターンマッチングなど）を用いて笑顔レベルを検出する。本実施形態では、一例として、０（笑顔なし）から３（大笑い）までの４段階で笑顔レベルを示す。
（２）視線の向き
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、公知の技術を用いて視線の向き（正面、斜め、横向きなど）を検出し、検出結果を示す評価値を算出する。本実施形態では、０（視線正面）、１（視線左方向）、２（視線右方向）、３（視線検出不可）の４種類で視線の向きを示す。
（３）顔の向き
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、公知の技術を用いて顔の向き（正面、斜め、横向きなど）を検出し、検出結果を示す評価値を算出する。本実施形態では、０（顔向き正面）、１（顔向き左方向）、２（顔向き右方向）、３（検出不可）の４種類で顔の向きを示す。
（４）顔面積
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、顔部分の面積を求める。
（５）年齢
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、公知の技術を用いてその人物の年齢を推測し、推測結果を示す評価値を算出する。
（６）目つぶり度合い
評価値算出部１６は、ステップＳ３で検出した顔のそれぞれについて、公知の技術（例えば表情認識など）を用いて目つぶり度合いを検出し、検出結果を示す評価値を算出する。本実施形態では、０（目つぶりなし）、１（一部目つぶりあり）、２（両目目つぶり）、３（目つぶり検出不可）の４種類で目つぶり度合いを示す。
【００３８】
ステップＳ５において、制御部７は、ステップＳ３で行った顔検出およびステップＳ４で算出した各評価値に基づいて、顔データベースを作成する。制御部７は、まず、ステップＳ２で生成した複数の画像のそれぞれについて、ステップＳ３で行った顔検出の結果に基づいて、顔部分の画像を切り出す。例えば、図３に例示したように、５人の人物が含まれる場合には、ステップＳ２で生成した複数の画像のそれぞれについて、顔部分の画像を切り出してサムネイル画像を生成する。そして、各サムネイル画像と、ステップＳ４で算出した各評価値とを対応づけてデータベースを作成する。図４にある人物のデータベースを例示する。
【００３９】
なお、上述したサムネイル画像は、ステップＳ４で説明した各評価値の算出の前に行っても良い。すなわち、ステップＳ３で行った顔検出の結果に基づいて、ステップＳ２で生成した複数の画像のそれぞれからサムネイル画像を生成し、生成したサムネイル画像に基づいて、ステップＳ４で説明した各評価値の算出を行っても良い。このような構成にすることによって、処理時間を短縮することが期待できる。
【００４０】
ステップＳ６において、制御部７は、顔指定が行われているか否かを判定する。制御部７は、顔指定が行われていると判定するとステップＳ７に進む。一方、顔指定が行われていないと判定すると、制御部７は、後述するステップＳ８に進む。
【００４１】
顔指定とは、特定人物を予め指定する機能である。例えば、その特定人物の顔画像を予め登録しておくことにより、その人物の画像を確実に取得することができる。顔指定は、操作部９やタッチパネル１７を介したユーザ操作により、予め行われるものとする。例えば、図３を用いて説明したように、表示部８上に表示されるスルー画像において、検出した顔部分に枠表示などが行われている状態で、ユーザが、タッチパネル１７によって、任意の人物を指定できる構成としても良い。また、複数の人物について顔指定が行われても良いし、優先順位をつけて複数の人物について顔指定が行われても良い。
【００４２】
ステップＳ７において、制御部７は、ステップＳ５で作成したデータベースに基づいて、複数の画像から、顔指定された顔が笑顔である画像を選別する。顔指定された特定の人物がある画像に含まれているか否かは、顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算し、演算結果と、予め指定された特定の人物の画像に基づく情報とを比較して、相似度を求めることにより判定することができる。
【００４３】
制御部７は、ステップＳ４で算出した笑顔レベルなどに基づいて、ステップＳ２で生成した複数の画像から、顔指定された顔が笑顔である画像を選別し、選別した複数の画像（１枚のみの場合もある）のみを以降の処理の対象とする。
【００４４】
ステップＳ８において、制御部７は、笑顔度合いを算出する。制御部７は、ステップＳ４で算出した笑顔レベルに基づいて、ステップＳ２で生成した複数の画像（ただし、ステップＳ７において選別が行われた場合には、選別後の画像）のそれぞれについて、その画像を代表する評価値である笑顔度合いを算出する。評価値算出部１６は、次式を用いて笑顔度合いを求める。
【００４５】
（笑顔度合い）＝（笑顔係数の和）÷（検出された顔の数）・・・（式１）
式１において、笑顔係数とは、ステップＳ４で算出した笑顔レベルについて、レベルごとに定められた係数である。
【００４６】
図５に笑顔レベルと笑顔係数との関係を示すテーブルを例示する。図５に示すように、ステップＳ４で説明した笑顔レベルが高くなるほど、笑顔係数も大きくなる。
【００４７】
ステップＳ９において、制御部７は、笑顔度合いが閾値以上であるか否かを判定する。制御部７は、笑顔度合いが閾値以上であると判定するとステップＳ１０に進む。一方、笑顔度合いが閾値以上でないと判定すると、制御部７は、後述するステップＳ１０に進む。
【００４８】
制御部７は、ステップＳ８で求めた各笑顔度合いの代表値（平均値、最大値、最小値など）と、所定の閾値とを比較し、代表値≧閾値である場合にはステップＳ１０に進み、代表値＜閾値である場合にはステップＳ１１に進む。
【００４９】
ステップＳ１０において、制御部７は、ステップＳ２で生成した複数の画像（ただし、ステップＳ７において選別が行われた場合には、選別後の画像）を比較して、笑顔に関する評価値が最も高い画像を記録画像として選択する。
【００５０】
制御部７は、まず、ステップＳ２で生成した複数の画像（ただし、ステップＳ７において選別が行われた場合には、選別後の画像）について、ステップＳ８で算出した笑顔度合いを比較する。そして、笑顔度合いが最大の画像を記録画像として選択する。笑顔度合いの比較により記録画像を選択できない場合、制御部７は、ステップＳ４で算出した各評価値に基づいて、以下の優先順位にしたがって、比較を繰り返す。
（１）顔検出数
（２）視線の向き
（３）顔の向き
（４）顔面積
（５）年齢
（６）目つぶり度合い
なお、上述した（１）〜（６）の評価値のうち、（１）顔検出数以外の各評価値は、画像に含まれる人物（ステップＳ６において顔指定が行われている場合には、一部の人物）ごとに評価値を有する。そのため、複数の人物に関する評価値の代表値（平均値、最大値、最小値など）を求めて、比較を行っても良い。また、複数の人物に優先順位がついている場合には、重み付けなどを行っても良い。
【００５１】
ステップＳ１１において、制御部７は、ステップＳ２で生成した複数の画像（ただし、ステップＳ７において選別が行われた場合には、選別後の画像）を比較して、目つぶりに関する評価値が最も高い画像を記録画像として選択する。
制御部７は、まず、ステップＳ２で生成した複数の画像（ただし、ステップＳ７において選別が行われた場合には、選別後の画像）について、ステップＳ４で算出した目つぶり度合いを比較する。そして、目つぶり度合いが最小の画像を記録画像として選択する。
【００５２】
なお、目つぶり度合いは、画像に含まれる人物（ステップＳ６において顔指定が行われている場合には、一部の人物）ごとに評価値を有する。そのため、複数の人物に関する評価値の代表値（平均値、最大値、最小値など）を求めて、比較を行っても良い。また、複数の人物に優先順位がついている場合には、重み付けなどを行っても良い。
【００５３】
ステップＳ１２において、制御部７は、ステップＳ１０またはステップＳ１１で選択した記録画像を記録Ｉ／Ｆ部１１を介して記録媒体１２に記録して一連の処理を終了する。
【００５４】
なお、ステップＳ１２において記録画像を記録する際に、ステップＳ１０またはステップＳ１１で選択した記録画像から、撮影確認用のプレビュー画像を生成し、表示部８に表示する構成としても良い。
【００５５】
上述したフローチャートで行った処理は、連続撮影を行ういわゆる連写モード実行時にも利用することができる。以下、連写モードが設定された状態で、撮影指示が行われる際の制御部７の動作について、図６に示すフローチャートを参照して説明する。
【００５６】
ステップＳ２１において、制御部７は、図２のフローチャートのステップＳ１と同様に、撮影時が行われたか否かを判定する。制御部７は、撮影指示が行われるまで待機し、撮影指示が行われたと判定するとステップＳ２２に進む。
【００５７】
ステップＳ２２において、制御部７は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４等を制御し、被写体像を連続撮像して複数の画像を生成する。制御部７は、生成した複数の画像を、バッファメモリ５に一時記録する。なお、連続撮影時の撮影条件については、公知技術と同様に設定する。ただし、図２のフローチャートのステップＳ２とは異なり、設定にしたがった撮影間隔で連続撮影を行う。
【００５８】
ステップＳ２３からステップＳ２９において、制御部７は、図２のフローチャートのステップＳ３からステップＳ１９と同様の処理を行う。
【００５９】
ステップＳ３０において、制御部７は、図２のフローチャートのステップＳ１０と同様の処理を行い、記録画像の代わりに代表画像を選択する。
【００６０】
ステップＳ３１において、制御部７は、図２のフローチャートのステップＳ１１と同様の処理を行い、記録画像の代わりに代表画像を選択する。
【００６１】
ステップＳ３２において、制御部７は、ステップＳ２２で生成した複数の画像をグループ化して、記録Ｉ／Ｆ部１１を介して記録媒体１２に記録して一連の処理を終了する。このとき、制御部７は、ステップＳ３０またはステップＳ３１で選択した画像をそのグループの代表画像として記録する。
【００６２】
なお、ステップＳ１２において記録画像を記録する際に、ステップＳ１０またはステップＳ１１で選択した記録画像から、撮影確認用のプレビュー画像を生成し、表示部８に表示する構成としても良い。
【００６３】
以上説明したように、本実施形態によれば、複数の画像を取得し、それらの画像のそれぞれについて、人物の顔検出を行う。そして、複数の画像のそれぞれについて、人物の顔の表情に関する少なくとも１種類の評価値を算出し、算出した評価値に基づいて複数の画像を比較し、比較結果に基づいて、複数の画像から、人物が好ましく写っていると推定できる画像を選択する。
【００６４】
したがって、被写体認識技術を用いて、撮影状態の良好な画像を得ることができる。また、近年、記録メディアの大容量化、カメラの高性能化、高速化によって、同じような画像が大量に撮影され、さらに、全ての画像が記録されることで、記録時間の増大、データ量の増大が発生していた。この結果、ユーザの選別作業の負荷も大きくなっていた。これに対して、本実施形態によれば、撮影状態の良好な画像を効率良く得ることができる。
【００６５】
また、本実施形態によれば、評価値として、複数の画像のそれぞれについて、人物の笑顔の度合いを評価した評価値を算出する。したがって、人物が笑顔である画像を得ることができる。
【００６６】
また、本実施形態によれば、評価値として、複数の画像のそれぞれについて、検出部により検出された人物の数と、人物の視線の向きと、人物の顔の向きと、画像全体に占める人物の顔の面積比と、人物の推定年齢と、人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の評価値を算出する。したがって、人物の状態に応じて、撮影状態の良好な画像を得ることができる。
【００６７】
また、本実施形態によれば、評価値として、人物の笑顔の度合いを評価した第１の評価値と、複数の画像のそれぞれについて、検出部により検出された人物の数と、人物の視線の向きと、人物の顔の向きと、画像全体に占める人物の顔の面積比と、人物の推定年齢と、人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の第２の評価値とを算出する。そして、まず、第１の評価値に基づいて、複数の画像から、人物が好ましく写っていると推定できる画像を選択し、選択ができない場合には、第２の評価値に基づいて、複数の画像から、人物が好ましく写っていると推定できる画像を選択する。したがって、人物の表情が笑顔でない場合であっても、撮影状態の良好な画像を得ることができる。
【００６８】
また、本実施形態によれば、複数の画像のうち、選択部により選択された画像のみを記録する。したがって、記録部の記録容量を無駄に使うことを防ぐことができる。
【００６９】
また、本実施形態によれば、撮像部によって被写体像を連続的に撮像する連写モードを設定する設定部と、連写モードによる撮影で生成された複数の画像をグループ化して記録する記録部とを備え、撮像部は、設定部により連写モードが設定された状態で撮影開始指示が行われると、被写体像を連続的に撮像して複数の画像を生成し、記録部は、複数の画像をグループ化して記録する際に、選択部により選択した画像を代表画像として記録する。したがって、連写モードによる撮影で生成された複数の画像をグループ化して記録する際に、好適な画像を代表画像として記録することができる。
【００７０】
なお、本実施形態では、図２のフローチャートのステップＳ２において複数の画像を生成し、それらの画像に対してステップＳ３以降の処理を行う例を示したが、本発明はこの例に限定されない。例えば、ステップＳ２において２枚の画像を生成し、２枚の画像に対してステップＳ３からステップＳ１０の処理を行い、一方の画像を選択する。そして、再び１枚の画像を生成して、選択した画像と新たに生成した画像から、いずれかの画像を選択する、という処理を所定回数繰り返しても、本実施形態と同様の効果を得ることができる。この場合、バッファメモリ５には最大でも２枚の画像のみが一時記録されることになるので、バッファメモリ５の容量を抑えることができる。
【００７１】
また、本実施形態において、図２のフローチャートのステップＳ４における各評価値は、一例であり本発明はこの例に限定されない。また、各評価値の算出タイミングもこの例に限定されない。例えば、ステップＳ８において笑顔度合いを算出するために必要な評価値のみをステップＳ４で算出し、ステップＳ１０において記録画像を選択する際に、笑顔度合いに基づいて記録画像を選択できない場合に、新たな評価値を算出する構成としても良い。
【００７２】
また、本実施形態では、人物の表情に関して、笑顔を中心として説明を行ったが、本発明はこの例に限定されない。例えば、泣き顔や怒り顔に関して各種処理を行う構成としても良い。
【００７３】
また、本実施形態では、図２のフローチャートのステップＳ１０において記録画像を選択する際に、各評価値を独立に比較する例を示したが、本発明はこの例に限定されない。例えば、各評価値を所定の重み付けで加算して代表評価値を算出し、代表評価値同士を比較することにより記録画像を選択する構成としても良い。
【００７４】
また、本実施形態では、図２のフローチャートのステップＳ１０において記録画像を選択する例を示したが、本発明はこの例に限定されない。例えば、ステップＳ１０において、複数の画像に評価のランク付けを行っても良い。このような情報は、各画像のタグ情報として記録すると良い。
【００７５】
また、本実施形態では、撮像時に一連の処理を行う場合を例に挙げて説明したが、記録媒体１２に記録された画像などを対象として本実施形態で説明した処理と同様の処理を行っても良い。すなわち、再生対象の画像が選択された時点で、図２のフローチャートのステップＳ３以降の処理を行い、記録画像を選択しても良い。また、再生対象の画像が選択された時点で、図６のフローチャートのステップＳ２３以降の処理を行い、代表画像を選択しても良い。
【００７６】
また、本実施形態では、デジタルカメラ１を例に挙げて説明したが、本発明はこの例に限定されない。例えば、タッチパネルを備えないデジタルカメラなど、図１に示した以外の構成を有するデジタルカメラにも本発明を同様に適用することができる。また、動画像を撮像可能なデジタルカメラにも本発明を同様に適用することができる。さらに、携帯電話などに積載されるデジタルカメラにも本発明を同様に適用することができる。
【００７７】
また、本実施形態の制御部７が行った処理の一部または全部を、コンピュータで実現する構成としても良い。この場合、コンピュータ読み取り可能な記録媒体に、本実施形態の制御部７が行った処理（図２および図６）の一部または全部を実行するための画像処理プログラムを記憶しておき、この画像処理プログラムを記録媒体から読み出してコンピュータ上で実行することにより、同様の処理を行うことで、本実施形態と同等の効果を得ることができる。
【符号の説明】
【００７８】
１…デジタルカメラ、３…撮像素子、６…画像処理部、７…制御部、８…表示部、１５…顔検出部１５…評価値算出部
【特許請求の範囲】
【請求項１】
類似した被写体を含む複数の画像を取得する取得部と、
前記複数の画像のそれぞれについて、人物の顔検出を行う顔検出部と、
前記複数の画像のそれぞれについて、前記人物の顔の表情に関する少なくとも１種類の評価値を算出する算出部と、
前記評価値に基づいて前記複数の画像を比較し、比較結果に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択する選択部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記算出部は、前記評価値として、前記複数の画像のそれぞれについて、前記人物の笑顔の度合いを評価した評価値を算出する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記算出部は、前記評価値として、前記複数の画像のそれぞれについて、前記検出部により検出された前記人物の数と、前記人物の視線の向きと、前記人物の顔の向きと、画像全体に占める前記人物の顔の面積比と、前記人物の推定年齢と、前記人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の前記評価値を算出する
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記算出部は、前記評価値として、前記人物の笑顔の度合いを評価した第１の評価値と、前記複数の画像のそれぞれについて、前記検出部により検出された前記人物の数と、前記人物の視線の向きと、前記人物の顔の向きと、画像全体に占める前記人物の顔の面積比と、前記人物の推定年齢と、前記人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の第２の評価値とを算出し、
前記選択部は、まず、前記第１の評価値に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択し、選択ができない場合には、前記第２の評価値に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択する
ことを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像処理装置において、
前記複数の画像のうち、前記選択部により選択された画像のみを記録する記録部を備える
ことを特徴とする画像処理装置。
【請求項６】
被写体像を撮像して画像を生成する撮像部と、
請求項１から請求項５のいずれか１項に記載の画像処理装置とを備え、
前記取得部は、前記撮像部から前記複数の画像を取得する
ことを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記撮像部は、撮影開始指示が行われると、前記被写体像を連続的に撮像して前記複数の画像を生成し、
前記取得部は、前記撮像部による連続的な撮像により生成された複数の画像を取得する
ことを特徴とする撮像装置。
【請求項８】
請求項６に記載の撮像装置において、
前記撮像部によって前記被写体像を連続的に撮像する連写モードを設定する設定部と、
前記連写モードによる撮影で生成された複数の画像をグループ化して記録する記録部とを備え、
前記撮像部は、前記設定部により前記連写モードが設定された状態で撮影開始指示が行われると、前記被写体像を連続的に撮像して前記複数の画像を生成し、
前記取得部は、前記撮像部による連続的な撮像により生成された前記複数の画像を取得し、
前記記録部は、前記複数の画像をグループ化して記録する際に、前記選択部により選択した画像を代表画像として記録する
ことを特徴とする撮像装置。
【請求項９】
処理対象の画像に対する画像処理をコンピュータで行うための画像処理プログラムであって、
前記処理対象の画像として、類似した被写体を含む複数の画像を取得する取得ステップと、
前記複数の画像のそれぞれについて、人物の顔検出を行う顔検出ステップと、
前記複数の画像のそれぞれについて、前記人物の顔の表情に関する少なくとも１種類の評価値を算出する算出ステップと、
前記評価値に基づいて前記複数の画像を比較し、比較結果に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択する選択ステップと
を備えたことを特徴とする画像処理プログラム。
【請求項１】
類似した被写体を含む複数の画像を取得する取得部と、
前記複数の画像のそれぞれについて、人物の顔検出を行う顔検出部と、
前記複数の画像のそれぞれについて、前記人物の顔の表情に関する少なくとも１種類の評価値を算出する算出部と、
前記評価値に基づいて前記複数の画像を比較し、比較結果に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択する選択部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記算出部は、前記評価値として、前記複数の画像のそれぞれについて、前記人物の笑顔の度合いを評価した評価値を算出する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記算出部は、前記評価値として、前記複数の画像のそれぞれについて、前記検出部により検出された前記人物の数と、前記人物の視線の向きと、前記人物の顔の向きと、画像全体に占める前記人物の顔の面積比と、前記人物の推定年齢と、前記人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の前記評価値を算出する
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記算出部は、前記評価値として、前記人物の笑顔の度合いを評価した第１の評価値と、前記複数の画像のそれぞれについて、前記検出部により検出された前記人物の数と、前記人物の視線の向きと、前記人物の顔の向きと、画像全体に占める前記人物の顔の面積比と、前記人物の推定年齢と、前記人物の目つぶりの度合いと、撮影時刻との少なくとも１つに基づいて、少なくとも１種類の第２の評価値とを算出し、
前記選択部は、まず、前記第１の評価値に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択し、選択ができない場合には、前記第２の評価値に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択する
ことを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像処理装置において、
前記複数の画像のうち、前記選択部により選択された画像のみを記録する記録部を備える
ことを特徴とする画像処理装置。
【請求項６】
被写体像を撮像して画像を生成する撮像部と、
請求項１から請求項５のいずれか１項に記載の画像処理装置とを備え、
前記取得部は、前記撮像部から前記複数の画像を取得する
ことを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記撮像部は、撮影開始指示が行われると、前記被写体像を連続的に撮像して前記複数の画像を生成し、
前記取得部は、前記撮像部による連続的な撮像により生成された複数の画像を取得する
ことを特徴とする撮像装置。
【請求項８】
請求項６に記載の撮像装置において、
前記撮像部によって前記被写体像を連続的に撮像する連写モードを設定する設定部と、
前記連写モードによる撮影で生成された複数の画像をグループ化して記録する記録部とを備え、
前記撮像部は、前記設定部により前記連写モードが設定された状態で撮影開始指示が行われると、前記被写体像を連続的に撮像して前記複数の画像を生成し、
前記取得部は、前記撮像部による連続的な撮像により生成された前記複数の画像を取得し、
前記記録部は、前記複数の画像をグループ化して記録する際に、前記選択部により選択した画像を代表画像として記録する
ことを特徴とする撮像装置。
【請求項９】
処理対象の画像に対する画像処理をコンピュータで行うための画像処理プログラムであって、
前記処理対象の画像として、類似した被写体を含む複数の画像を取得する取得ステップと、
前記複数の画像のそれぞれについて、人物の顔検出を行う顔検出ステップと、
前記複数の画像のそれぞれについて、前記人物の顔の表情に関する少なくとも１種類の評価値を算出する算出ステップと、
前記評価値に基づいて前記複数の画像を比較し、比較結果に基づいて、前記複数の画像から、前記人物が好ましく写っていると推定できる画像を選択する選択ステップと
を備えたことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１５５６０５（Ｐ２０１１−１５５６０５Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１０−１７１９１（Ｐ２０１０−１７１９１）
【出願日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]