画像処理装置および画像処理プログラム
【課題】複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出する。
【解決手段】画像に含まれる複数の人物の顔を検出する顔検出部と、顔検出部が検出した顔の目線を推定する目線推定部と、目線推定部が推定した目線のターゲットが画像に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物とこの人物のターゲット候補である人物との全ての組み合わせに対して算出するターゲット係数算出部と、顔の表情が所定の表情と類似している度合いを量的に示す表情係数を複数の人物の顔に対してそれぞれ算出する表情係数算出部と、ターゲット係数算出部が算出したターゲット係数および表情係数算出部が算出した表情係数を用いることにより、他の人物から注目されている度合いを量的に示す主人公度を複数の人物に対してそれぞれ算出する主人公度算出部とを備える。
【解決手段】画像に含まれる複数の人物の顔を検出する顔検出部と、顔検出部が検出した顔の目線を推定する目線推定部と、目線推定部が推定した目線のターゲットが画像に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物とこの人物のターゲット候補である人物との全ての組み合わせに対して算出するターゲット係数算出部と、顔の表情が所定の表情と類似している度合いを量的に示す表情係数を複数の人物の顔に対してそれぞれ算出する表情係数算出部と、ターゲット係数算出部が算出したターゲット係数および表情係数算出部が算出した表情係数を用いることにより、他の人物から注目されている度合いを量的に示す主人公度を複数の人物に対してそれぞれ算出する主人公度算出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号に対して所定の処理を施す画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、撮像機能を備えたデジタルカメラ等の画像処理装置においては、被写体が人間である場合にその人間の顔を検出し、この検出した顔の位置にピントを合わせる技術が知られている。また、近年では、被写体である人間が笑顔等の撮影に好適な表情を見せているタイミングを自動的に認識することによって撮影を行う技術も知られている。
【０００３】
このような状況の下、複数の人物を対象とした撮影を行う際、個々の人物の顔の向きや黒目の位置を判定することによってカメラ目線の画像を抽出する技術が開示されている（例えば、特許文献１を参照）。また、映像から検出した人物の目線方向を推定し、この目線方向の特徴を抽出することによってその人物の行動意図を判定する技術も開示されている（例えば、特許文献２を参照）。さらに、前述した従来技術以外にも、画像中の人物の顔や目線の向きを解析するための様々な技術が開示されている（例えば、特許文献３〜５を参照）。
【０００４】
【特許文献１】特開２００７−９６４４０号公報
【特許文献２】特開２００１−５１３３８号公報
【特許文献３】特開２０００−３２２５７７号公報
【特許文献４】特開２００６−７４３６８号公報
【特許文献５】特開２００７−２６３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、個々の人物の顔や目線を個別に判定するだけであるため、画像中に複数の人物が存在している場合、人物間に会話や話しかけ等の何らかのコミュニケーションが発生している場面を抽出することができなかった。
【０００６】
本発明は、上記に鑑みてなされたものであって、複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出することができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像信号に対応する画像のパターンに基づいて前記画像に含まれる複数の人物の顔を検出する顔検出部と、前記顔検出部が検出した顔の目線を推定する目線推定部と、前記目線推定部が推定した目線のターゲットが前記画像に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物と該人物のターゲット候補である人物との全ての組み合わせに対して算出するターゲット係数算出部と、顔の表情が所定の表情と類似している度合いを量的に示す表情係数を前記複数の人物の顔に対してそれぞれ算出する表情係数算出部と、前記ターゲット係数算出部が算出したターゲット係数および前記表情係数算出部が算出した表情係数を用いることにより、前記画像に含まれる他の人物から注目されている度合いを量的に示す主人公度を前記複数の人物に対してそれぞれ算出する主人公度算出部と、を備えたことを特徴とする。
【０００８】
また、本発明に係る画像処理装置は、上記発明において、前記主人公度は、当該主人公度の算出対象である人物を前記ターゲット候補とする前記ターゲット係数と該ターゲット係数における前記目線元の人物の表情係数との積を全ての前記目線元の人物について足し合わせた量であることを特徴とする。
【０００９】
また、本発明に係る画像処理装置は、上記発明において、前記目線推定部が目線を推定した人物までの距離を算出する距離算出部を備え、前記ターゲット係数算出部は、前記目線推定部の推定結果および前記距離算出部の算出結果を用いることによって前記目線元の人物と前記ターゲット候補の人物とが所定の位置関係を満たしているか否かを判定し、この判定結果に応じたターゲット係数を算出することを特徴とする。
【００１０】
また、本発明に係る画像処理装置は、上記発明において、前記画像を表示する表示部を備え、前記表示部は、前記主人公度算出部の算出結果に基づく情報を前記画像に重畳して表示することを特徴とする。
【００１１】
また、本発明に係る画像処理装置は、上記発明において、所定の視野領域内の被写体を撮像して画像信号を生成する撮像部と、前記撮像部が撮像している被写体を撮影する制御を行う制御部と、を備えたことを特徴とする。
【００１２】
また、本発明に係る画像処理装置は、上記発明において、前記制御部は、前記主人公度算出部が算出した前記複数の人物の各々の主人公度に応じて前記画像の露出およびピントを調整する制御を行うことを特徴とする。
【００１３】
また、本発明に係る画像処理装置は、上記発明において、前記制御部は、露出およびピントを調整した前記画像を自動的に撮影する制御を行うことを特徴とする。
【００１４】
また、本発明に係る画像処理装置は、上記発明において、前記複数の人物のうち前記主人公度が最大の人物を少なくとも残して前記画像のトリミングを行うトリミング部を備えたことを特徴とする。
【００１５】
また、本発明に係る画像処理プログラムは、画像信号に対して処理を施す画像処理装置に、前記画像信号に対応する画像のパターンに基づいて前記画像に含まれる複数の人物の顔を検出する顔検出ステップ、前記顔検出ステップで検出した顔の目線を推定する目線推定ステップ、前記目線推定ステップで推定した目線のターゲットが前記画像に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物と該人物のターゲット候補である人物との全ての組み合わせに対して算出し、この算出したターゲット係数を前記画像処理装置が備える記憶部へ格納するターゲット係数算出ステップ、顔の表情が所定の表情と類似している度合いを量的に示す表情係数を前記複数の人物の顔に対してそれぞれ算出し、この算出した表情係数を前記記憶部へ格納する表情係数算出ステップ、前記ターゲット係数算出ステップで算出したターゲット係数および前記表情係数算出ステップで算出した表情係数を前記記憶部から読み出し、この読み出したターゲット係数および表情係数を用いることにより、前記画像に含まれる他の人物から注目されている度合いを量的に示す主人公度を前記複数の人物に対してそれぞれ算出する主人公度算出ステップ、を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、画像に含まれる人物の目線のターゲットが同じ画像に含まれる人物であるか否かを量的に示すターゲット係数と、顔の表情が所定の表情と類似している度合いを量的に示す表情係数とを用いることにより、画像中の他の人物から注目されている度合いを量的に示す主人公度を算出しているため、画像に含まれる人物間に何らかのコミュニケーションが発生している場合には、主人公度が他の人物よりも大きい値を有する人物が存在することとなる。したがって、複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。
【００１８】
図１は、本発明の一実施の形態に係る画像処理装置である撮像装置１の構成を模式的に示す図である。撮像装置１は、所定の視野領域内の被写体を撮像して画像信号を生成する撮像部２、撮像部２の視野領域の状態を検出するセンサ部３、撮像部２が出力した画像信号に対して画像処理を施す画像処理部４、画像処理部４が出力する画像データを含む情報を表示する表示部５、表示部５の表示を制御する表示制御部６、画像データの圧縮および伸張を行う圧縮伸張部７、撮像装置１に外部から装着されるメモリカード等の記録媒体１００に対して画像データ等の情報を記録する一方、記録媒体１００が記録する情報を読み出す記録媒体インターフェース８、撮像装置１の操作指示信号が入力される入力部９、警告を含む各種情報の音声出力を行う音声出力部１０、撮像領域へ向けて補助光を投射する補助光投射部１１、撮像装置１の動作を制御する制御部１２、撮像装置１の動作に関する各種情報を記憶する記憶部１３を備える。
【００１９】
撮像部２は、所定の視野領域にある被写体からの光を集光する撮影レンズ２１、撮影レンズ２１が集光した光の入射量を調整する絞り２２、絞り２２を通過した入射光を受光して電気信号に変換するＣＣＤ等の撮像素子２３、撮像素子２３から出力されるアナログ信号に対して感度補正やホワイトバランスを含む各種処理を施すアナログ信号処理部２４、アナログ信号処理部２４が出力した信号からデジタルの画像データを生成するＡ／Ｄ変換部２５を有する。このうち、撮影レンズ２１は、一または複数のレンズによって構成される光学系であり、レンズ駆動部１４によって駆動される。また、絞り２２は絞り駆動部１５によって駆動される。
【００２０】
画像処理部４は、画像信号に対応する画像のパターンに基づいて画像に含まれる複数の人物の顔を検出する顔検出部４１、顔検出部４１が検出した顔の目線を推定する目線推定部４２、顔検出部４１が検出した顔までの距離を算出する距離算出部４３、顔の表情が所定の表情と類似している度合いを量的に示す表情係数を複数の人物の顔に対してそれぞれ算出する表情係数算出部４４、目線推定部４２が推定した目線のターゲットが画像信号中に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物とこの人物のターゲット候補である人物との全ての組み合わせに対して算出するターゲット係数算出部４５、表情係数算出部４４およびターゲット係数算出部４５の算出結果を用いることにより、画像に含まれる他の人物から注目されている度合いを量的に示す主人公度を複数の人物に対してそれぞれ算出する主人公度算出部４６、主人公度算出部４６の算出結果に基づいて画像データのトリミングを行うトリミング部４７、を有する。
【００２１】
入力部９は、撮像装置１の電源ボタン、撮像指示を与えるシャッターボタン、撮像装置１が有する各種動作モードの切替を行うモード切替ボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。
【００２２】
制御部１２は、撮影日時の判定等を行う時計１２１を有しており、センサ部３の検知結果や入力部９で入力された操作指示信号に応じて撮像装置１の動作を制御する。制御部１２は、ＭＰＵを用いて実現され、制御対象の各部とバスラインを介して接続されている。
【００２３】
記憶部１３は、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部１３１と、画像処理部４の顔検出部４１および目線推定部４２が参照する顔、目、口などのパターンを記憶するパターン情報記憶部１３２と、画像処理部４が画像信号中の人物の顔に対して行った処理の結果を顔情報として記憶する顔情報記憶部１３３とを有する。記憶部１３は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ等の半導体メモリを用いて実現される。
【００２４】
図２は、撮像装置１で設定可能な動作モードの一部を示す図である。図２では、撮像装置１に特有の動作モードを中心に記載し、従来の撮像装置で設定可能な動作モードと同じ動作モードについては記載を省略している。撮像装置１が撮影モードに設定されている場合、撮影前に主人公度を算出する処理を行う撮影前主人公度算出モードを設定することができる。また、撮影モードでは、撮影後に主人公度を算出し、この算出結果に基づいて画像のトリミングを行う撮影後主人公度算出トリミングモードを設定することができる。撮像装置１が撮影前主人公度算出モードに設定されている場合、画像のトリミングを行うトリミングモードおよび／または自動撮影をさらに設定することができる。
【００２５】
一方、撮像装置１が再生モードに設定されている場合、記録媒体１００が記録する画像データを再生した後で主人公度を算出し、この算出結果に基づいて画像のトリミングを行う再生後主人公度算出トリミングモードを設定することができる。また、再生モードでは、主人公度がすでに算出されている画像のトリミングを行う主人公度算出済画像再生トリミングモードを設定することができる。
【００２６】
図３は、撮像装置１が上述した各種モードに設定されている場合の処理の流れを示すフローチャートである。まず、撮像装置１が撮影モードに設定され（ステップＳ１，撮影モード）、かつ撮影前主人公度算出モードに設定されている場合（ステップＳ２，Ｙｅｓ）を説明する。この場合、顔検出部４１は、撮像部２から出力された画像信号に対応する画像に存在する人物の顔を検出する（ステップＳ３）。顔検出部４１は、パターン情報記憶部１３２が記憶する人物の顔のパターンを用いてパターンマッチングを行うことにより、人物の顔の検出を行う。顔検出部４１は、検出した顔の目や口の位置、形状、歯の有無、眉間の皺の有無等の情報を顔情報記憶部１３３に書き込む。
【００２７】
顔検出部４１が所定時間内に複数の顔を検出した場合（ステップＳ４，Ｙｅｓ）、検出した全ての顔に対して目線を推定し、撮像装置１からの距離を算出し、顔の表情係数を算出する処理を行う（ステップＳ５）。一方、顔検出部４１が所定時間内に複数の顔を検出しなかった場合（ステップＳ４，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００２８】
ステップＳ５において、まず目線推定部４２が、顔検出部４１が検出した顔の目線方向を推定する（ステップＳ５１）。具体的には、目線推定部４２は、顔情報記憶部１３３から目の情報とパターン情報記憶部１３２が記憶する目のパターン情報とを読み出してパターンマッチングを行うことによって目線方向を推定する。なお、両目の目線方向が異なる場合には、顔の角度等の条件に応じて左右の目線方向に重み付けしたものを推定値として算出すればよい。例えば、顔が右方（撮像装置１から見て撮影レンズ２１の光軸に対して左方）を向いている場合、左目の重みを右目の重みよりも大きくして推定値を算出する。また、顔が正面付近を向いている時は、両目の目線方向の平均を推定値として算出する。
【００２９】
次に、距離算出部４３は、撮影レンズ２１を起点として目線推定を行った人物Ａｉ（ｉ＝１，２，３，…）までの距離Ｌｉを算出し、算出結果を顔情報記憶部１３３へ書き込む（ステップＳ５２）。この際には、絞り駆動部１５が絞り２２を小さくして焦点の深度を深くすることにより、撮影レンズ２１からの距離が異なる複数の被写体にピント合わせを行う。
【００３０】
図４は、以下の説明において参照する画像の表示例を示す図であり、撮像装置１が撮像している画像（スルー画像）の表示部５における表示例を模式的に示す図である。また、図５は、図４に示す表示画像３１と撮像装置１との位置関係を模式的に示す図である。図５では、撮像装置１からの距離が最も遠い人物Ａ１の位置を座標原点Ｏとして撮影レンズ２１の光軸Ｐと平行な軸をＬ軸とする一方、撮影レンズ２１の光軸Ｐと直交する軸をＸ軸としている。また、図５では、人物Ａ１〜Ａ３の光軸Ｐに対する水平方向の目線角度をそれぞれφ１〜φ３とし、撮影レンズ２１の画角をθXとしている。なお、図５に示す場合、人物Ａ２の水平方向の目線角度φ２は０（度）である。目線角度φ１〜φ３の値は、上記ステップＳ５１で目線推定部４２が推定した値である。
【００３１】
この後、表情係数算出部４４は、画像に含まれる人物の顔の表情係数を算出する（ステップＳ５３）。図６は、表情係数算出部４４が行う表情係数算出処理の概要を示すフローチャートである。まず、表情係数算出部４４は、人物Ａｉの目の形状や位置に関する情報を顔情報記憶部１３３から読み出し、この読み出した顔情報から人物Ａｉの目の両端を結ぶ直線（直線ｅiという）より上方に位置する目の部分の面積（目面積）ＥＡiおよび直線ｅiより下方に位置する目面積ＥＢiをそれぞれ算出する（ステップＳ５３１）。
【００３２】
続いて、表情係数算出部４４は、人物Ａｉの目部笑顔度ＲＥiを算出する（ステップＳ５３２）。図７は、人物Ａｉの顔が笑っている状態を示す図である。図７に示す場合、目面積ＥＡiは目面積ＥＢiよりも大きい。これに対して、図８は人物Ａｉが顔をしかめている状態を示す図である。図８に示す場合、目面積ＥＡiは目面積ＥＢiと同程度である。目部笑顔度ＲＥiは、図７および図８に示すような特徴をふまえた上で、
【数１】
と定義される。式（１）から明らかなように、目部笑顔度ＲＥiは人物Ａｉの顔が笑顔である場合の方が大きい。
【００３３】
次に、表情係数算出部４４は、人物Ａｉの口の形状や位置に関する情報を顔情報記憶部１３３から読み出し、この読み出した顔情報から人物Ａｉの口の両端を結ぶ直線（直線ｍiという）の上方に位置する唇の部分の面積（唇面積）ＬＡiおよび直線ｍiの下方に位置する唇面積ＬＢiを算出する（ステップＳ５３３）。
【００３４】
この後、表情係数算出部４４は、人物Ａｉの口部笑顔度ＲＬiを算出する（ステップＳ５３４）。人物Ａｉの顔が笑っている場合、唇面積ＬＢiの方が唇面積ＬＡiよりも大きい（図７を参照）。これに対して、人物Ａｉが顔をしかめている場合、唇面積ＬＡiは唇面積ＬＢiと同程度である（図８を参照）。このような特徴をふまえ、口部笑顔度ＲＬiは、
【数２】
と定義される。式（２）から明らかなように、口部笑顔度ＲＬiは人物Ａｉの顔が笑顔である場合の方が大きい。
【００３５】
続いて、表情係数算出部４４は、目部笑顔度ＲＥiと口部笑顔度ＲＬiとの和として定義される人物Ａｉの表情係数Ｒi＝ＲＥi＋ＲＬiを算出し、この和を顔情報記憶部１３３に書き込む（ステップＳ５３５）。
【００３６】
なお、パターン情報記憶部１３２において目の形状と目部笑顔度ＲＥi、および口の形状と口部笑顔度ＲＬiをそれぞれ対応付けたテーブルを予め記憶部１３で記憶しておき、表情係数算出部４４がそのテーブルを参照することによって目部笑顔度ＲＥiや口部笑顔度ＲＬiを算出するようにしてもよい。
【００３７】
ステップＳ５３５の後、表情係数算出部４４は、顔検出部４１によって人物Ａｉの口の中に歯が検出されている場合（ステップＳ５３６，Ｙｅｓ）、表情係数Ｒiに正の定数αを加えた和Ｒi＋αを新たな表情係数Ｒiとする（ステップＳ５３７）。定数αの値は任意に設定可能であるが、表情係数Ｒiは０＜Ｒi≦２であるため、定数αの値も０＜α≦２であることが望ましい。
【００３８】
続いて、表情係数算出部４４は、顔検出部４１によって人物Ａｉの眉間に皺が検出されている場合（ステップＳ５３８，Ｙｅｓ）、表情係数Ｒiから定数βを引いた差Ｒi−βを新たな表情係数Ｒiとする（ステップＳ５３９）。定数β（＞０）は任意であるが、定数αと同程度の値であればよく、定数αと等しくてもよい。
【００３９】
顔検出部４１が人物Ａｉの口の中に歯を検出していない場合（ステップＳ５３７，Ｎｏ）、表情係数算出部４４はステップＳ５３８へ進む。また、顔検出部４１が人物Ａｉの眉間に皺を検出していない場合（ステップＳ５３８，Ｎｏ）、表情係数算出部４４は一連の表情係数算出処理を終了する。
【００４０】
なお、表情係数算出部４４は、上記以外の顔の情報、例えば鼻や眉毛の形状、口端部の影の有無などの情報を用いることによって表情係数を算出するようにしてもよい。
【００４１】
以上説明したステップＳ５の処理を顔検出部４１が検出した全ての顔に対して行った後、ターゲット係数算出部４５は、目線元の人物とこの人物のターゲット候補である人物との全ての組み合わせに対してターゲット係数を算出する（ステップＳ６）。まず、ターゲット係数算出部４５は、距離算出部４３が算出した距離Ｌｉを顔情報記憶部１３３から読み出し、人物Ａｉと人物Ａｊ（ｉ≠ｊ）のＬ座標の差分ΔＬijおよびＸ座標の差分ΔＸijを以下に示す式（３）、（４）にしたがってそれぞれ算出する。
ΔＬij＝Ｌｉ−Ｌｊ …（３）
ΔＸij＝Ｌｉ・ｔａｎ（ρｉ）＋Ｌｊ・ｔａｎ（ρｊ） …（４）
ここで、式（４）のρｉ（＜θX）は、撮影レンズ２１から見た人物Ａｉの方向と撮影レンズ２１の光軸Ｐとのなす角度である。なお、図５に示す場合には、ρ２＝０（度）である。
【００４２】
続いて、ターゲット係数算出部４５は、人物Ａｉの水平方向の目線角度φｉを用いることにより、Ｌ座標の差分ΔＬijとＸ座標の差分ΔＸijとが、
ΔＸij＝ΔＬij・ｔａｎ（φｉ） …（５）
を満たしているか否かを判定する。ΔＬijとΔＸijが式（５）を満たしている場合、ターゲット係数算出部４５は、人物Ａｉの目線の真のターゲットが人物Ａｊであると判定する。図５に示す場合には、（ｉ，ｊ）＝（１，２），（３，２）のときに式（５）が満たされる。なお、式（５）で用いるΔＬij，ΔＸij，φｉは推定値であることに鑑み、ターゲット係数算出部４５は、式（５）の左辺と右辺とが厳密に一致していなくても所定の範囲内に入っていれば等号が成立しているとみなす。
【００４３】
ターゲット係数算出部４５は、式（５）を用いた判定結果に基づいてターゲット係数Ｔijを算出する。ターゲット係数Ｔijの値は、式（５）の等号が成立している場合にゼロでない定数（例えば１）を有する一方、式（５）の等号が成立していない場合にゼロである。ターゲット係数算出部４５は、画像中にＮ人の人物がいる場合、Ｎ（Ｎ−１）通りのターゲット係数を算出する。したがって、図５に示す場合、ターゲット係数算出部４５は３×２＝６通りのターゲット係数を算出する。
【００４４】
ステップＳ６に続いて、主人公度算出部４６は人物Ａｉの主人公度Ｈｉを算出する（ステップＳ７）。人物Ａｉの主人公度Ｈiは、
【数３】
と定義される。式（６）の右辺は、目線元の人物Ａｊの表情係数Ｒjとターゲット候補が人物Ａｊである場合のターゲット係数Ｔijとの積を全ての目線元の人物Ａｊ（ｊ≠ｉ）について足し合わせた量である。図５に示す場合、ターゲット係数はＴ12，Ｔ32以外はゼロである。したがって、ターゲット係数Ｔ12，Ｔ32をそれぞれ１と定義すると、人物Ａ１〜Ａ３の主人公度は、Ｈ1＝Ｈ3＝０、Ｈ2＝Ｒ1＋Ｒ2となる。
【００４５】
この後、制御部１２は、主人公度算出部４６が算出した結果に基づいて露出およびピントを調整する（ステップＳ８）。具体的には、制御部１２は、主人公度が最大の人物（図５に示す場合には人物Ａ２）とその人物を目線のターゲットとしている人物（図５に示す場合には人物Ａ１、Ａ３）に露出およびピントを合わせる。なお、制御部１２は、主人公度が最大の人物にのみ露出およびピントを合わせるようにしてもよい。
【００４６】
ステップＳ８に続く処理は、撮像装置１が自動撮影モードに設定されているか否かによって異なる。撮像装置１が自動撮影モードに設定されていない場合（ステップＳ９，Ｎｏ）、表示部５はＯＫ表示を表示する（ステップＳ１０）。図９は、表示部５におけるＯＫ表示の表示例を示す図であり、図４および図５に示す状況に対応したＯＫ表示の表示例を示す図である。図９に示す表示画像３２では、３人の人物Ａ１〜Ａ３のうち人物Ａ２が主人公であると判定されたため、画像の中央部上方に「タイミングＯＫ」という文字列が重畳して表示されている。ＯＫ表示を見た撮影者は、入力部９を介して撮影指示信号を入力する。所定時間内に撮影指示信号が入力された場合（ステップＳ１１，Ｙｅｓ）、撮像装置１は制御部１２の制御のもとで撮影を行う（ステップＳ１２）。一方、所定時間内に撮影指示信号が入力されない場合（ステップＳ１１，Ｎｏ）、撮像装置１はステップＳ３に戻る。なお、表示部５でＯＫ表示を表示する際には、主人公度が最大である人物（図９に示す場合には人物Ａ２）を識別できる情報をさらに表示してもよい。
【００４７】
撮像装置１が自動撮影モードに設定されている場合（ステップＳ９，Ｙｅｓ）、撮像装置１は制御部１２の制御のもとで自動的に撮影を行う（ステップＳ１２）。
【００４８】
撮像装置１が撮影した後の処理を説明する。撮像装置１がトリミングモードに設定されている場合（ステップＳ１３，Ｙｅｓ）、トリミング部４７は、主人公度が最大の人物とその人物を目線のターゲットとする人物を残して画像のトリミングを行う（ステップＳ１４）。なお、トリミング部４７が、主人公度が最大の人物のみを残して画像のトリミングを行うようにしてもよい。
【００４９】
続いて、表示部５は、トリミング部４７によってトリミングされた結果を表示する（ステップＳ１５）。図１０は、表示部５におけるトリミング結果の表示例を示す図である。同図に示すトリミング結果表示画像３３は、４人の人物Ａ４〜Ａ７のうち、目線が他の３人とは無関係の方向を向いている人物Ａ７を除いた領域をトリミング領域３３ａとして破線を用いて表示している。なお、ステップＳ１５では、表示部５がトリミング結果表示画像３３を表示する代わりに、トリミング領域３３ａのみを表示するようにしてもよい。また、トリミング結果表示画像３３の適当な位置に、トリミング画像を記録するか否かを問合わせるメッセージを出力し、撮影者に入力部９からの選択入力を促すようにしてもよい。
【００５０】
入力部９からトリミング画像を記録する操作指示信号が所定時間内に入力された場合（ステップＳ１６，Ｙｅｓ）、撮像装置１はトリミング後の画像データを圧縮伸張部７で所定のサイズに圧縮し、この圧縮したトリミング画像データを、記録媒体インターフェース８を介して記録媒体１００へ記録する（ステップＳ１７）。トリミング画像データには、トリミング画像に含まれる人物の主人公度が追加情報として書き込まれる。トリミング画像を記録する操作指示信号が所定時間内に入力されなかった場合（ステップＳ１６，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００５１】
撮像装置１がトリミングモードに設定されていない場合（ステップＳ１３，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００５２】
次に、撮像装置１が撮影モードに設定されており（ステップＳ１，撮影モード）、かつ撮影前主人公度算出モードに設定されていない場合（ステップＳ２，Ｎｏ）を説明する。この場合、撮像装置１は通常撮影処理を行う（ステップＳ１８）。以後、通常撮影処理において１枚の画像が撮影され、この画像の画像データが記録媒体インターフェース８を介して記録媒体１００へ書き込まれたものとする。
【００５３】
通常撮影処理に続く処理は、撮像装置１が撮影後主人公度算出トリミングモードに設定されているか否かによって異なる。撮像装置１が撮影後主人公度算出トリミングモードに設定されている場合（ステップＳ１９，Ｙｅｓ）、顔検出部４１は、ステップＳ１８で記録媒体１００に記録された画像データを読み出し、この読み出した画像データに対してステップＳ３と同じ顔検出処理を行う（ステップＳ２０）。これに対して、撮像装置１が撮影後主人公度算出トリミングモードに設定されていない場合（ステップＳ１９，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００５４】
以下、撮像装置１が撮影後主人公度算出トリミングモードに設定されている場合を説明する。この場合、まず顔検出部４１が撮影した画像に存在する人物の顔を検出する（ステップＳ２０）。顔検出部４１が所定時間内に複数の顔を検出した場合（ステップＳ２１，Ｙｅｓ）、撮像装置１はステップＳ５と同じループ処理を行う（ステップＳ２２）。すなわち、撮像装置１は、ステップＳ５１に対応する目線推定処理（ステップＳ２２１）、ステップＳ５２に対応する距離算出処理（ステップＳ２２２）およびステップＳ５３に対応する表情係数算出処理（ステップＳ２２３）を顔検出部４１が検出した全ての顔に対して行う。なお、ステップＳ２１において顔検出部４１が複数の顔を所定時間内に検出しなかった場合（ステップＳ２１，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００５５】
この後、ターゲット係数算出部４５が目線元の人物とこの人物のターゲット候補である人物との全ての組み合わせに対してターゲット係数を算出し（ステップＳ２３）、主人公度算出部４６が画像に含まれる全ての人物の主人公度を算出する（ステップＳ２４）。ステップＳ２３およびＳ２４の処理は、上述したステップＳ６およびＳ７の処理とそれぞれ同じである。
【００５６】
続いて、撮像装置１は、撮影した画像に対して主人公度の算出結果に応じたトリミングを行う（ステップＳ１４〜Ｓ１７）。
【００５７】
次に、撮像装置１が再生モードに設定されている場合（ステップＳ１，再生モード）を説明する。まず、撮像装置１は、記録媒体１００が記憶する画像データから撮影者によって選択された画像データを読み出して表示部５で再生表示する（ステップＳ２５）。
【００５８】
撮像装置１が再生後主人公度算出トリミングモードに設定されている場合（ステップＳ２６，Ｙｅｓ）、撮像装置１はステップＳ２０の顔検出処理へ進む。ステップＳ２０以降の処理は、上述した通りである。
【００５９】
一方、撮像装置１が再生後主人公度算出トリミングモードに設定されていない場合（ステップＳ２６，Ｎｏ）、撮像装置１が主人公度算出済画像再生トリミングモードに設定されていれば（ステップＳ２７，Ｙｅｓ）、撮像装置１は再生画像に含まれる人物の主人公度に基づいてトリミング処理を行う（ステップＳ１４〜Ｓ１７）。これに対して、撮像装置１が主人公度算出済画像再生トリミングモードに設定されていなければ（ステップＳ２７，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００６０】
以上説明した本発明の一実施の形態によれば、画像に含まれる人物の目線のターゲットが同じ画像に含まれる人物であるか否かを量的に示すターゲット係数と、顔の表情が所定の表情と類似している度合いを量的に示す表情係数とを用いることにより、画像中の他の人物から注目されている度合いを量的に示す主人公度を算出しているため、画像に含まれる人物間に何らかのコミュニケーションが発生している場合には、主人公度が他の人物よりも大きい値を有する人物が存在することとなる。したがって、複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出することが可能となる。
【００６１】
ここまで、本発明を実施するための最良の形態を詳述してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。例えば、撮像装置が撮影モードに設定されている場合に連写モードを設定できるようにしてもよい。撮像装置が連写モードに設定されている場合には、連写した全ての画像に対して画像に含まれる人物の主人公度を算出するようにしてもよいし、連写した画像のうち一部の画像に対して画像に含まれる主人公度を算出するようにしてもよい。また、撮像装置が連写モードおよびトリミングモードに設定されている場合には、連写した複数の画像の中で最大の主人公度を有する人物が含まれている画像をトリミング対象としてもよいし、撮影者にトリミング対象の画像を選択させるようにしてもよい。
【００６２】
また、本発明は、動画を撮影するデジタルビデオカメラ等にも適用可能である。この場合には、上述した連写モードの場合と同様、全てのフレーム画像に対して順次主人公度算出処理を行ってもよいし、一部のフレーム画像に対して主人公度算出処理を行ってもよい。
【００６３】
また、本発明で適用する表情係数は笑顔に関するものに限られるわけではない。例えば、驚いている表情の表情係数や、怒っている表情の表情係数を定義して主人公度の算出に適用してもよいし、複数の表情に対して定義される表情係数をそれぞれ算出し、この算出した表情係数のうち最大値を有する表情を採用して主人公度を算出するようにしてもよい。
【００６４】
このように、本発明は、ここでは記載していない様々な実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施の形態に係る画像処理装置（撮像装置）の構成を模式的に示す図である。
【図２】本発明の一実施の形態に係る画像処理装置（撮像装置）で設定可能な動作モードの一部を示す図である。
【図３】本発明の一実施の形態に係る画像処理装置（撮像装置）が行う処理の外洋を示すフローチャートである。
【図４】撮像領域の一例を模式的に示す図である。
【図５】本発明の一実施の形態に係る画像処理装置（撮像装置）と図４に示す撮像領域との位置関係を模式的に示す図である。
【図６】表情検出算出処理の概要を示すフローチャートである。
【図７】画像に含まれる人物の顔が笑っている状態を示す図である。
【図８】画像に含まれる人物が顔をしかめている状態を示す図である。
【図９】ＯＫ表示の表示例を示す図である。
【図１０】トリミング結果の表示例を示す図である。
【符号の説明】
【００６６】
１ 撮像装置（画像処理装置）
２ 撮像部
３ センサ部
４ 画像処理部
５ 表示部
６ 表示制御部
７ 圧縮伸張部
８ 記録媒体インターフェース
９ 入力部
１０ 音声出力部
１１ 補助光投射部
１２ 制御部
１３ 記憶部
１４ レンズ駆動部
１５ 絞り駆動部
２１ 撮影レンズ
２２ 絞り
２３ 撮像素子
２４ アナログ信号処理部
２５ Ａ／Ｄ変換部
３１、３２ 表示領域
３３ トリミング結果表示画像
３３ａ トリミング領域
４１ 顔検出部
４２ 目線推定部
４３ 距離算出部
４４ 表情係数算出部
４５ ターゲット係数算出部
４６ 主人公度算出部
４７ トリミング部
１００ 記録媒体
１２１ 時計
１３１ プログラム記憶部
１３２ パターン情報記憶部
１３３ 顔情報記憶部
Ａ１〜Ａ７ 人物
【技術分野】
【０００１】
本発明は、画像信号に対して所定の処理を施す画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、撮像機能を備えたデジタルカメラ等の画像処理装置においては、被写体が人間である場合にその人間の顔を検出し、この検出した顔の位置にピントを合わせる技術が知られている。また、近年では、被写体である人間が笑顔等の撮影に好適な表情を見せているタイミングを自動的に認識することによって撮影を行う技術も知られている。
【０００３】
このような状況の下、複数の人物を対象とした撮影を行う際、個々の人物の顔の向きや黒目の位置を判定することによってカメラ目線の画像を抽出する技術が開示されている（例えば、特許文献１を参照）。また、映像から検出した人物の目線方向を推定し、この目線方向の特徴を抽出することによってその人物の行動意図を判定する技術も開示されている（例えば、特許文献２を参照）。さらに、前述した従来技術以外にも、画像中の人物の顔や目線の向きを解析するための様々な技術が開示されている（例えば、特許文献３〜５を参照）。
【０００４】
【特許文献１】特開２００７−９６４４０号公報
【特許文献２】特開２００１−５１３３８号公報
【特許文献３】特開２０００−３２２５７７号公報
【特許文献４】特開２００６−７４３６８号公報
【特許文献５】特開２００７−２６３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、個々の人物の顔や目線を個別に判定するだけであるため、画像中に複数の人物が存在している場合、人物間に会話や話しかけ等の何らかのコミュニケーションが発生している場面を抽出することができなかった。
【０００６】
本発明は、上記に鑑みてなされたものであって、複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出することができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像信号に対応する画像のパターンに基づいて前記画像に含まれる複数の人物の顔を検出する顔検出部と、前記顔検出部が検出した顔の目線を推定する目線推定部と、前記目線推定部が推定した目線のターゲットが前記画像に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物と該人物のターゲット候補である人物との全ての組み合わせに対して算出するターゲット係数算出部と、顔の表情が所定の表情と類似している度合いを量的に示す表情係数を前記複数の人物の顔に対してそれぞれ算出する表情係数算出部と、前記ターゲット係数算出部が算出したターゲット係数および前記表情係数算出部が算出した表情係数を用いることにより、前記画像に含まれる他の人物から注目されている度合いを量的に示す主人公度を前記複数の人物に対してそれぞれ算出する主人公度算出部と、を備えたことを特徴とする。
【０００８】
また、本発明に係る画像処理装置は、上記発明において、前記主人公度は、当該主人公度の算出対象である人物を前記ターゲット候補とする前記ターゲット係数と該ターゲット係数における前記目線元の人物の表情係数との積を全ての前記目線元の人物について足し合わせた量であることを特徴とする。
【０００９】
また、本発明に係る画像処理装置は、上記発明において、前記目線推定部が目線を推定した人物までの距離を算出する距離算出部を備え、前記ターゲット係数算出部は、前記目線推定部の推定結果および前記距離算出部の算出結果を用いることによって前記目線元の人物と前記ターゲット候補の人物とが所定の位置関係を満たしているか否かを判定し、この判定結果に応じたターゲット係数を算出することを特徴とする。
【００１０】
また、本発明に係る画像処理装置は、上記発明において、前記画像を表示する表示部を備え、前記表示部は、前記主人公度算出部の算出結果に基づく情報を前記画像に重畳して表示することを特徴とする。
【００１１】
また、本発明に係る画像処理装置は、上記発明において、所定の視野領域内の被写体を撮像して画像信号を生成する撮像部と、前記撮像部が撮像している被写体を撮影する制御を行う制御部と、を備えたことを特徴とする。
【００１２】
また、本発明に係る画像処理装置は、上記発明において、前記制御部は、前記主人公度算出部が算出した前記複数の人物の各々の主人公度に応じて前記画像の露出およびピントを調整する制御を行うことを特徴とする。
【００１３】
また、本発明に係る画像処理装置は、上記発明において、前記制御部は、露出およびピントを調整した前記画像を自動的に撮影する制御を行うことを特徴とする。
【００１４】
また、本発明に係る画像処理装置は、上記発明において、前記複数の人物のうち前記主人公度が最大の人物を少なくとも残して前記画像のトリミングを行うトリミング部を備えたことを特徴とする。
【００１５】
また、本発明に係る画像処理プログラムは、画像信号に対して処理を施す画像処理装置に、前記画像信号に対応する画像のパターンに基づいて前記画像に含まれる複数の人物の顔を検出する顔検出ステップ、前記顔検出ステップで検出した顔の目線を推定する目線推定ステップ、前記目線推定ステップで推定した目線のターゲットが前記画像に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物と該人物のターゲット候補である人物との全ての組み合わせに対して算出し、この算出したターゲット係数を前記画像処理装置が備える記憶部へ格納するターゲット係数算出ステップ、顔の表情が所定の表情と類似している度合いを量的に示す表情係数を前記複数の人物の顔に対してそれぞれ算出し、この算出した表情係数を前記記憶部へ格納する表情係数算出ステップ、前記ターゲット係数算出ステップで算出したターゲット係数および前記表情係数算出ステップで算出した表情係数を前記記憶部から読み出し、この読み出したターゲット係数および表情係数を用いることにより、前記画像に含まれる他の人物から注目されている度合いを量的に示す主人公度を前記複数の人物に対してそれぞれ算出する主人公度算出ステップ、を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、画像に含まれる人物の目線のターゲットが同じ画像に含まれる人物であるか否かを量的に示すターゲット係数と、顔の表情が所定の表情と類似している度合いを量的に示す表情係数とを用いることにより、画像中の他の人物から注目されている度合いを量的に示す主人公度を算出しているため、画像に含まれる人物間に何らかのコミュニケーションが発生している場合には、主人公度が他の人物よりも大きい値を有する人物が存在することとなる。したがって、複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。
【００１８】
図１は、本発明の一実施の形態に係る画像処理装置である撮像装置１の構成を模式的に示す図である。撮像装置１は、所定の視野領域内の被写体を撮像して画像信号を生成する撮像部２、撮像部２の視野領域の状態を検出するセンサ部３、撮像部２が出力した画像信号に対して画像処理を施す画像処理部４、画像処理部４が出力する画像データを含む情報を表示する表示部５、表示部５の表示を制御する表示制御部６、画像データの圧縮および伸張を行う圧縮伸張部７、撮像装置１に外部から装着されるメモリカード等の記録媒体１００に対して画像データ等の情報を記録する一方、記録媒体１００が記録する情報を読み出す記録媒体インターフェース８、撮像装置１の操作指示信号が入力される入力部９、警告を含む各種情報の音声出力を行う音声出力部１０、撮像領域へ向けて補助光を投射する補助光投射部１１、撮像装置１の動作を制御する制御部１２、撮像装置１の動作に関する各種情報を記憶する記憶部１３を備える。
【００１９】
撮像部２は、所定の視野領域にある被写体からの光を集光する撮影レンズ２１、撮影レンズ２１が集光した光の入射量を調整する絞り２２、絞り２２を通過した入射光を受光して電気信号に変換するＣＣＤ等の撮像素子２３、撮像素子２３から出力されるアナログ信号に対して感度補正やホワイトバランスを含む各種処理を施すアナログ信号処理部２４、アナログ信号処理部２４が出力した信号からデジタルの画像データを生成するＡ／Ｄ変換部２５を有する。このうち、撮影レンズ２１は、一または複数のレンズによって構成される光学系であり、レンズ駆動部１４によって駆動される。また、絞り２２は絞り駆動部１５によって駆動される。
【００２０】
画像処理部４は、画像信号に対応する画像のパターンに基づいて画像に含まれる複数の人物の顔を検出する顔検出部４１、顔検出部４１が検出した顔の目線を推定する目線推定部４２、顔検出部４１が検出した顔までの距離を算出する距離算出部４３、顔の表情が所定の表情と類似している度合いを量的に示す表情係数を複数の人物の顔に対してそれぞれ算出する表情係数算出部４４、目線推定部４２が推定した目線のターゲットが画像信号中に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物とこの人物のターゲット候補である人物との全ての組み合わせに対して算出するターゲット係数算出部４５、表情係数算出部４４およびターゲット係数算出部４５の算出結果を用いることにより、画像に含まれる他の人物から注目されている度合いを量的に示す主人公度を複数の人物に対してそれぞれ算出する主人公度算出部４６、主人公度算出部４６の算出結果に基づいて画像データのトリミングを行うトリミング部４７、を有する。
【００２１】
入力部９は、撮像装置１の電源ボタン、撮像指示を与えるシャッターボタン、撮像装置１が有する各種動作モードの切替を行うモード切替ボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。
【００２２】
制御部１２は、撮影日時の判定等を行う時計１２１を有しており、センサ部３の検知結果や入力部９で入力された操作指示信号に応じて撮像装置１の動作を制御する。制御部１２は、ＭＰＵを用いて実現され、制御対象の各部とバスラインを介して接続されている。
【００２３】
記憶部１３は、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部１３１と、画像処理部４の顔検出部４１および目線推定部４２が参照する顔、目、口などのパターンを記憶するパターン情報記憶部１３２と、画像処理部４が画像信号中の人物の顔に対して行った処理の結果を顔情報として記憶する顔情報記憶部１３３とを有する。記憶部１３は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ等の半導体メモリを用いて実現される。
【００２４】
図２は、撮像装置１で設定可能な動作モードの一部を示す図である。図２では、撮像装置１に特有の動作モードを中心に記載し、従来の撮像装置で設定可能な動作モードと同じ動作モードについては記載を省略している。撮像装置１が撮影モードに設定されている場合、撮影前に主人公度を算出する処理を行う撮影前主人公度算出モードを設定することができる。また、撮影モードでは、撮影後に主人公度を算出し、この算出結果に基づいて画像のトリミングを行う撮影後主人公度算出トリミングモードを設定することができる。撮像装置１が撮影前主人公度算出モードに設定されている場合、画像のトリミングを行うトリミングモードおよび／または自動撮影をさらに設定することができる。
【００２５】
一方、撮像装置１が再生モードに設定されている場合、記録媒体１００が記録する画像データを再生した後で主人公度を算出し、この算出結果に基づいて画像のトリミングを行う再生後主人公度算出トリミングモードを設定することができる。また、再生モードでは、主人公度がすでに算出されている画像のトリミングを行う主人公度算出済画像再生トリミングモードを設定することができる。
【００２６】
図３は、撮像装置１が上述した各種モードに設定されている場合の処理の流れを示すフローチャートである。まず、撮像装置１が撮影モードに設定され（ステップＳ１，撮影モード）、かつ撮影前主人公度算出モードに設定されている場合（ステップＳ２，Ｙｅｓ）を説明する。この場合、顔検出部４１は、撮像部２から出力された画像信号に対応する画像に存在する人物の顔を検出する（ステップＳ３）。顔検出部４１は、パターン情報記憶部１３２が記憶する人物の顔のパターンを用いてパターンマッチングを行うことにより、人物の顔の検出を行う。顔検出部４１は、検出した顔の目や口の位置、形状、歯の有無、眉間の皺の有無等の情報を顔情報記憶部１３３に書き込む。
【００２７】
顔検出部４１が所定時間内に複数の顔を検出した場合（ステップＳ４，Ｙｅｓ）、検出した全ての顔に対して目線を推定し、撮像装置１からの距離を算出し、顔の表情係数を算出する処理を行う（ステップＳ５）。一方、顔検出部４１が所定時間内に複数の顔を検出しなかった場合（ステップＳ４，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００２８】
ステップＳ５において、まず目線推定部４２が、顔検出部４１が検出した顔の目線方向を推定する（ステップＳ５１）。具体的には、目線推定部４２は、顔情報記憶部１３３から目の情報とパターン情報記憶部１３２が記憶する目のパターン情報とを読み出してパターンマッチングを行うことによって目線方向を推定する。なお、両目の目線方向が異なる場合には、顔の角度等の条件に応じて左右の目線方向に重み付けしたものを推定値として算出すればよい。例えば、顔が右方（撮像装置１から見て撮影レンズ２１の光軸に対して左方）を向いている場合、左目の重みを右目の重みよりも大きくして推定値を算出する。また、顔が正面付近を向いている時は、両目の目線方向の平均を推定値として算出する。
【００２９】
次に、距離算出部４３は、撮影レンズ２１を起点として目線推定を行った人物Ａｉ（ｉ＝１，２，３，…）までの距離Ｌｉを算出し、算出結果を顔情報記憶部１３３へ書き込む（ステップＳ５２）。この際には、絞り駆動部１５が絞り２２を小さくして焦点の深度を深くすることにより、撮影レンズ２１からの距離が異なる複数の被写体にピント合わせを行う。
【００３０】
図４は、以下の説明において参照する画像の表示例を示す図であり、撮像装置１が撮像している画像（スルー画像）の表示部５における表示例を模式的に示す図である。また、図５は、図４に示す表示画像３１と撮像装置１との位置関係を模式的に示す図である。図５では、撮像装置１からの距離が最も遠い人物Ａ１の位置を座標原点Ｏとして撮影レンズ２１の光軸Ｐと平行な軸をＬ軸とする一方、撮影レンズ２１の光軸Ｐと直交する軸をＸ軸としている。また、図５では、人物Ａ１〜Ａ３の光軸Ｐに対する水平方向の目線角度をそれぞれφ１〜φ３とし、撮影レンズ２１の画角をθXとしている。なお、図５に示す場合、人物Ａ２の水平方向の目線角度φ２は０（度）である。目線角度φ１〜φ３の値は、上記ステップＳ５１で目線推定部４２が推定した値である。
【００３１】
この後、表情係数算出部４４は、画像に含まれる人物の顔の表情係数を算出する（ステップＳ５３）。図６は、表情係数算出部４４が行う表情係数算出処理の概要を示すフローチャートである。まず、表情係数算出部４４は、人物Ａｉの目の形状や位置に関する情報を顔情報記憶部１３３から読み出し、この読み出した顔情報から人物Ａｉの目の両端を結ぶ直線（直線ｅiという）より上方に位置する目の部分の面積（目面積）ＥＡiおよび直線ｅiより下方に位置する目面積ＥＢiをそれぞれ算出する（ステップＳ５３１）。
【００３２】
続いて、表情係数算出部４４は、人物Ａｉの目部笑顔度ＲＥiを算出する（ステップＳ５３２）。図７は、人物Ａｉの顔が笑っている状態を示す図である。図７に示す場合、目面積ＥＡiは目面積ＥＢiよりも大きい。これに対して、図８は人物Ａｉが顔をしかめている状態を示す図である。図８に示す場合、目面積ＥＡiは目面積ＥＢiと同程度である。目部笑顔度ＲＥiは、図７および図８に示すような特徴をふまえた上で、
【数１】
と定義される。式（１）から明らかなように、目部笑顔度ＲＥiは人物Ａｉの顔が笑顔である場合の方が大きい。
【００３３】
次に、表情係数算出部４４は、人物Ａｉの口の形状や位置に関する情報を顔情報記憶部１３３から読み出し、この読み出した顔情報から人物Ａｉの口の両端を結ぶ直線（直線ｍiという）の上方に位置する唇の部分の面積（唇面積）ＬＡiおよび直線ｍiの下方に位置する唇面積ＬＢiを算出する（ステップＳ５３３）。
【００３４】
この後、表情係数算出部４４は、人物Ａｉの口部笑顔度ＲＬiを算出する（ステップＳ５３４）。人物Ａｉの顔が笑っている場合、唇面積ＬＢiの方が唇面積ＬＡiよりも大きい（図７を参照）。これに対して、人物Ａｉが顔をしかめている場合、唇面積ＬＡiは唇面積ＬＢiと同程度である（図８を参照）。このような特徴をふまえ、口部笑顔度ＲＬiは、
【数２】
と定義される。式（２）から明らかなように、口部笑顔度ＲＬiは人物Ａｉの顔が笑顔である場合の方が大きい。
【００３５】
続いて、表情係数算出部４４は、目部笑顔度ＲＥiと口部笑顔度ＲＬiとの和として定義される人物Ａｉの表情係数Ｒi＝ＲＥi＋ＲＬiを算出し、この和を顔情報記憶部１３３に書き込む（ステップＳ５３５）。
【００３６】
なお、パターン情報記憶部１３２において目の形状と目部笑顔度ＲＥi、および口の形状と口部笑顔度ＲＬiをそれぞれ対応付けたテーブルを予め記憶部１３で記憶しておき、表情係数算出部４４がそのテーブルを参照することによって目部笑顔度ＲＥiや口部笑顔度ＲＬiを算出するようにしてもよい。
【００３７】
ステップＳ５３５の後、表情係数算出部４４は、顔検出部４１によって人物Ａｉの口の中に歯が検出されている場合（ステップＳ５３６，Ｙｅｓ）、表情係数Ｒiに正の定数αを加えた和Ｒi＋αを新たな表情係数Ｒiとする（ステップＳ５３７）。定数αの値は任意に設定可能であるが、表情係数Ｒiは０＜Ｒi≦２であるため、定数αの値も０＜α≦２であることが望ましい。
【００３８】
続いて、表情係数算出部４４は、顔検出部４１によって人物Ａｉの眉間に皺が検出されている場合（ステップＳ５３８，Ｙｅｓ）、表情係数Ｒiから定数βを引いた差Ｒi−βを新たな表情係数Ｒiとする（ステップＳ５３９）。定数β（＞０）は任意であるが、定数αと同程度の値であればよく、定数αと等しくてもよい。
【００３９】
顔検出部４１が人物Ａｉの口の中に歯を検出していない場合（ステップＳ５３７，Ｎｏ）、表情係数算出部４４はステップＳ５３８へ進む。また、顔検出部４１が人物Ａｉの眉間に皺を検出していない場合（ステップＳ５３８，Ｎｏ）、表情係数算出部４４は一連の表情係数算出処理を終了する。
【００４０】
なお、表情係数算出部４４は、上記以外の顔の情報、例えば鼻や眉毛の形状、口端部の影の有無などの情報を用いることによって表情係数を算出するようにしてもよい。
【００４１】
以上説明したステップＳ５の処理を顔検出部４１が検出した全ての顔に対して行った後、ターゲット係数算出部４５は、目線元の人物とこの人物のターゲット候補である人物との全ての組み合わせに対してターゲット係数を算出する（ステップＳ６）。まず、ターゲット係数算出部４５は、距離算出部４３が算出した距離Ｌｉを顔情報記憶部１３３から読み出し、人物Ａｉと人物Ａｊ（ｉ≠ｊ）のＬ座標の差分ΔＬijおよびＸ座標の差分ΔＸijを以下に示す式（３）、（４）にしたがってそれぞれ算出する。
ΔＬij＝Ｌｉ−Ｌｊ …（３）
ΔＸij＝Ｌｉ・ｔａｎ（ρｉ）＋Ｌｊ・ｔａｎ（ρｊ） …（４）
ここで、式（４）のρｉ（＜θX）は、撮影レンズ２１から見た人物Ａｉの方向と撮影レンズ２１の光軸Ｐとのなす角度である。なお、図５に示す場合には、ρ２＝０（度）である。
【００４２】
続いて、ターゲット係数算出部４５は、人物Ａｉの水平方向の目線角度φｉを用いることにより、Ｌ座標の差分ΔＬijとＸ座標の差分ΔＸijとが、
ΔＸij＝ΔＬij・ｔａｎ（φｉ） …（５）
を満たしているか否かを判定する。ΔＬijとΔＸijが式（５）を満たしている場合、ターゲット係数算出部４５は、人物Ａｉの目線の真のターゲットが人物Ａｊであると判定する。図５に示す場合には、（ｉ，ｊ）＝（１，２），（３，２）のときに式（５）が満たされる。なお、式（５）で用いるΔＬij，ΔＸij，φｉは推定値であることに鑑み、ターゲット係数算出部４５は、式（５）の左辺と右辺とが厳密に一致していなくても所定の範囲内に入っていれば等号が成立しているとみなす。
【００４３】
ターゲット係数算出部４５は、式（５）を用いた判定結果に基づいてターゲット係数Ｔijを算出する。ターゲット係数Ｔijの値は、式（５）の等号が成立している場合にゼロでない定数（例えば１）を有する一方、式（５）の等号が成立していない場合にゼロである。ターゲット係数算出部４５は、画像中にＮ人の人物がいる場合、Ｎ（Ｎ−１）通りのターゲット係数を算出する。したがって、図５に示す場合、ターゲット係数算出部４５は３×２＝６通りのターゲット係数を算出する。
【００４４】
ステップＳ６に続いて、主人公度算出部４６は人物Ａｉの主人公度Ｈｉを算出する（ステップＳ７）。人物Ａｉの主人公度Ｈiは、
【数３】
と定義される。式（６）の右辺は、目線元の人物Ａｊの表情係数Ｒjとターゲット候補が人物Ａｊである場合のターゲット係数Ｔijとの積を全ての目線元の人物Ａｊ（ｊ≠ｉ）について足し合わせた量である。図５に示す場合、ターゲット係数はＴ12，Ｔ32以外はゼロである。したがって、ターゲット係数Ｔ12，Ｔ32をそれぞれ１と定義すると、人物Ａ１〜Ａ３の主人公度は、Ｈ1＝Ｈ3＝０、Ｈ2＝Ｒ1＋Ｒ2となる。
【００４５】
この後、制御部１２は、主人公度算出部４６が算出した結果に基づいて露出およびピントを調整する（ステップＳ８）。具体的には、制御部１２は、主人公度が最大の人物（図５に示す場合には人物Ａ２）とその人物を目線のターゲットとしている人物（図５に示す場合には人物Ａ１、Ａ３）に露出およびピントを合わせる。なお、制御部１２は、主人公度が最大の人物にのみ露出およびピントを合わせるようにしてもよい。
【００４６】
ステップＳ８に続く処理は、撮像装置１が自動撮影モードに設定されているか否かによって異なる。撮像装置１が自動撮影モードに設定されていない場合（ステップＳ９，Ｎｏ）、表示部５はＯＫ表示を表示する（ステップＳ１０）。図９は、表示部５におけるＯＫ表示の表示例を示す図であり、図４および図５に示す状況に対応したＯＫ表示の表示例を示す図である。図９に示す表示画像３２では、３人の人物Ａ１〜Ａ３のうち人物Ａ２が主人公であると判定されたため、画像の中央部上方に「タイミングＯＫ」という文字列が重畳して表示されている。ＯＫ表示を見た撮影者は、入力部９を介して撮影指示信号を入力する。所定時間内に撮影指示信号が入力された場合（ステップＳ１１，Ｙｅｓ）、撮像装置１は制御部１２の制御のもとで撮影を行う（ステップＳ１２）。一方、所定時間内に撮影指示信号が入力されない場合（ステップＳ１１，Ｎｏ）、撮像装置１はステップＳ３に戻る。なお、表示部５でＯＫ表示を表示する際には、主人公度が最大である人物（図９に示す場合には人物Ａ２）を識別できる情報をさらに表示してもよい。
【００４７】
撮像装置１が自動撮影モードに設定されている場合（ステップＳ９，Ｙｅｓ）、撮像装置１は制御部１２の制御のもとで自動的に撮影を行う（ステップＳ１２）。
【００４８】
撮像装置１が撮影した後の処理を説明する。撮像装置１がトリミングモードに設定されている場合（ステップＳ１３，Ｙｅｓ）、トリミング部４７は、主人公度が最大の人物とその人物を目線のターゲットとする人物を残して画像のトリミングを行う（ステップＳ１４）。なお、トリミング部４７が、主人公度が最大の人物のみを残して画像のトリミングを行うようにしてもよい。
【００４９】
続いて、表示部５は、トリミング部４７によってトリミングされた結果を表示する（ステップＳ１５）。図１０は、表示部５におけるトリミング結果の表示例を示す図である。同図に示すトリミング結果表示画像３３は、４人の人物Ａ４〜Ａ７のうち、目線が他の３人とは無関係の方向を向いている人物Ａ７を除いた領域をトリミング領域３３ａとして破線を用いて表示している。なお、ステップＳ１５では、表示部５がトリミング結果表示画像３３を表示する代わりに、トリミング領域３３ａのみを表示するようにしてもよい。また、トリミング結果表示画像３３の適当な位置に、トリミング画像を記録するか否かを問合わせるメッセージを出力し、撮影者に入力部９からの選択入力を促すようにしてもよい。
【００５０】
入力部９からトリミング画像を記録する操作指示信号が所定時間内に入力された場合（ステップＳ１６，Ｙｅｓ）、撮像装置１はトリミング後の画像データを圧縮伸張部７で所定のサイズに圧縮し、この圧縮したトリミング画像データを、記録媒体インターフェース８を介して記録媒体１００へ記録する（ステップＳ１７）。トリミング画像データには、トリミング画像に含まれる人物の主人公度が追加情報として書き込まれる。トリミング画像を記録する操作指示信号が所定時間内に入力されなかった場合（ステップＳ１６，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００５１】
撮像装置１がトリミングモードに設定されていない場合（ステップＳ１３，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００５２】
次に、撮像装置１が撮影モードに設定されており（ステップＳ１，撮影モード）、かつ撮影前主人公度算出モードに設定されていない場合（ステップＳ２，Ｎｏ）を説明する。この場合、撮像装置１は通常撮影処理を行う（ステップＳ１８）。以後、通常撮影処理において１枚の画像が撮影され、この画像の画像データが記録媒体インターフェース８を介して記録媒体１００へ書き込まれたものとする。
【００５３】
通常撮影処理に続く処理は、撮像装置１が撮影後主人公度算出トリミングモードに設定されているか否かによって異なる。撮像装置１が撮影後主人公度算出トリミングモードに設定されている場合（ステップＳ１９，Ｙｅｓ）、顔検出部４１は、ステップＳ１８で記録媒体１００に記録された画像データを読み出し、この読み出した画像データに対してステップＳ３と同じ顔検出処理を行う（ステップＳ２０）。これに対して、撮像装置１が撮影後主人公度算出トリミングモードに設定されていない場合（ステップＳ１９，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００５４】
以下、撮像装置１が撮影後主人公度算出トリミングモードに設定されている場合を説明する。この場合、まず顔検出部４１が撮影した画像に存在する人物の顔を検出する（ステップＳ２０）。顔検出部４１が所定時間内に複数の顔を検出した場合（ステップＳ２１，Ｙｅｓ）、撮像装置１はステップＳ５と同じループ処理を行う（ステップＳ２２）。すなわち、撮像装置１は、ステップＳ５１に対応する目線推定処理（ステップＳ２２１）、ステップＳ５２に対応する距離算出処理（ステップＳ２２２）およびステップＳ５３に対応する表情係数算出処理（ステップＳ２２３）を顔検出部４１が検出した全ての顔に対して行う。なお、ステップＳ２１において顔検出部４１が複数の顔を所定時間内に検出しなかった場合（ステップＳ２１，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００５５】
この後、ターゲット係数算出部４５が目線元の人物とこの人物のターゲット候補である人物との全ての組み合わせに対してターゲット係数を算出し（ステップＳ２３）、主人公度算出部４６が画像に含まれる全ての人物の主人公度を算出する（ステップＳ２４）。ステップＳ２３およびＳ２４の処理は、上述したステップＳ６およびＳ７の処理とそれぞれ同じである。
【００５６】
続いて、撮像装置１は、撮影した画像に対して主人公度の算出結果に応じたトリミングを行う（ステップＳ１４〜Ｓ１７）。
【００５７】
次に、撮像装置１が再生モードに設定されている場合（ステップＳ１，再生モード）を説明する。まず、撮像装置１は、記録媒体１００が記憶する画像データから撮影者によって選択された画像データを読み出して表示部５で再生表示する（ステップＳ２５）。
【００５８】
撮像装置１が再生後主人公度算出トリミングモードに設定されている場合（ステップＳ２６，Ｙｅｓ）、撮像装置１はステップＳ２０の顔検出処理へ進む。ステップＳ２０以降の処理は、上述した通りである。
【００５９】
一方、撮像装置１が再生後主人公度算出トリミングモードに設定されていない場合（ステップＳ２６，Ｎｏ）、撮像装置１が主人公度算出済画像再生トリミングモードに設定されていれば（ステップＳ２７，Ｙｅｓ）、撮像装置１は再生画像に含まれる人物の主人公度に基づいてトリミング処理を行う（ステップＳ１４〜Ｓ１７）。これに対して、撮像装置１が主人公度算出済画像再生トリミングモードに設定されていなければ（ステップＳ２７，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００６０】
以上説明した本発明の一実施の形態によれば、画像に含まれる人物の目線のターゲットが同じ画像に含まれる人物であるか否かを量的に示すターゲット係数と、顔の表情が所定の表情と類似している度合いを量的に示す表情係数とを用いることにより、画像中の他の人物から注目されている度合いを量的に示す主人公度を算出しているため、画像に含まれる人物間に何らかのコミュニケーションが発生している場合には、主人公度が他の人物よりも大きい値を有する人物が存在することとなる。したがって、複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出することが可能となる。
【００６１】
ここまで、本発明を実施するための最良の形態を詳述してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。例えば、撮像装置が撮影モードに設定されている場合に連写モードを設定できるようにしてもよい。撮像装置が連写モードに設定されている場合には、連写した全ての画像に対して画像に含まれる人物の主人公度を算出するようにしてもよいし、連写した画像のうち一部の画像に対して画像に含まれる主人公度を算出するようにしてもよい。また、撮像装置が連写モードおよびトリミングモードに設定されている場合には、連写した複数の画像の中で最大の主人公度を有する人物が含まれている画像をトリミング対象としてもよいし、撮影者にトリミング対象の画像を選択させるようにしてもよい。
【００６２】
また、本発明は、動画を撮影するデジタルビデオカメラ等にも適用可能である。この場合には、上述した連写モードの場合と同様、全てのフレーム画像に対して順次主人公度算出処理を行ってもよいし、一部のフレーム画像に対して主人公度算出処理を行ってもよい。
【００６３】
また、本発明で適用する表情係数は笑顔に関するものに限られるわけではない。例えば、驚いている表情の表情係数や、怒っている表情の表情係数を定義して主人公度の算出に適用してもよいし、複数の表情に対して定義される表情係数をそれぞれ算出し、この算出した表情係数のうち最大値を有する表情を採用して主人公度を算出するようにしてもよい。
【００６４】
このように、本発明は、ここでは記載していない様々な実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施の形態に係る画像処理装置（撮像装置）の構成を模式的に示す図である。
【図２】本発明の一実施の形態に係る画像処理装置（撮像装置）で設定可能な動作モードの一部を示す図である。
【図３】本発明の一実施の形態に係る画像処理装置（撮像装置）が行う処理の外洋を示すフローチャートである。
【図４】撮像領域の一例を模式的に示す図である。
【図５】本発明の一実施の形態に係る画像処理装置（撮像装置）と図４に示す撮像領域との位置関係を模式的に示す図である。
【図６】表情検出算出処理の概要を示すフローチャートである。
【図７】画像に含まれる人物の顔が笑っている状態を示す図である。
【図８】画像に含まれる人物が顔をしかめている状態を示す図である。
【図９】ＯＫ表示の表示例を示す図である。
【図１０】トリミング結果の表示例を示す図である。
【符号の説明】
【００６６】
１ 撮像装置（画像処理装置）
２ 撮像部
３ センサ部
４ 画像処理部
５ 表示部
６ 表示制御部
７ 圧縮伸張部
８ 記録媒体インターフェース
９ 入力部
１０ 音声出力部
１１ 補助光投射部
１２ 制御部
１３ 記憶部
１４ レンズ駆動部
１５ 絞り駆動部
２１ 撮影レンズ
２２ 絞り
２３ 撮像素子
２４ アナログ信号処理部
２５ Ａ／Ｄ変換部
３１、３２ 表示領域
３３ トリミング結果表示画像
３３ａ トリミング領域
４１ 顔検出部
４２ 目線推定部
４３ 距離算出部
４４ 表情係数算出部
４５ ターゲット係数算出部
４６ 主人公度算出部
４７ トリミング部
１００ 記録媒体
１２１ 時計
１３１ プログラム記憶部
１３２ パターン情報記憶部
１３３ 顔情報記憶部
Ａ１〜Ａ７ 人物
【特許請求の範囲】
【請求項１】
画像信号に対応する画像のパターンに基づいて前記画像に含まれる複数の人物の顔を検出する顔検出部と、
前記顔検出部が検出した顔の目線を推定する目線推定部と、
前記目線推定部が推定した目線のターゲットが前記画像に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物と該人物のターゲット候補である人物との全ての組み合わせに対して算出するターゲット係数算出部と、
顔の表情が所定の表情と類似している度合いを量的に示す表情係数を前記複数の人物の顔に対してそれぞれ算出する表情係数算出部と、
前記ターゲット係数算出部が算出したターゲット係数および前記表情係数算出部が算出した表情係数を用いることにより、前記画像に含まれる他の人物から注目されている度合いを量的に示す主人公度を前記複数の人物に対してそれぞれ算出する主人公度算出部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記主人公度は、
当該主人公度の算出対象である人物を前記ターゲット候補とする前記ターゲット係数と該ターゲット係数における前記目線元の人物の表情係数との積を全ての前記目線元の人物について足し合わせた量であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記目線推定部が目線を推定した人物までの距離を算出する距離算出部を備え、
前記ターゲット係数算出部は、
前記目線推定部の推定結果および前記距離算出部の算出結果を用いることによって前記目線元の人物と前記ターゲット候補の人物とが所定の位置関係を満たしているか否かを判定し、この判定結果に応じたターゲット係数を算出することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記画像を表示する表示部を備え、
前記表示部は、前記主人公度算出部の算出結果に基づく情報を前記画像に重畳して表示することを特徴とする請求項１〜３のいずれか一項記載の画像処理装置。
【請求項５】
所定の視野領域内の被写体を撮像して画像信号を生成する撮像部と、
前記撮像部が撮像している被写体を撮影する制御を行う制御部と、
を備えたことを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
【請求項６】
前記制御部は、
前記主人公度算出部が算出した前記複数の人物の各々の主人公度に応じて前記画像の露出およびピントを調整する制御を行うことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記制御部は、
露出およびピントを調整した前記画像を自動的に撮影する制御を行うことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記複数の人物のうち前記主人公度が最大の人物を少なくとも残して前記画像のトリミングを行うトリミング部を備えたことを特徴とする請求項１〜７のいずれか一項記載の画像処理装置。
【請求項９】
画像信号に対して処理を施す画像処理装置に、
前記画像信号に対応する画像のパターンに基づいて前記画像に含まれる複数の人物の顔を検出する顔検出ステップ、
前記顔検出ステップで検出した顔の目線を推定する目線推定ステップ、
前記目線推定ステップで推定した目線のターゲットが前記画像に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物と該人物のターゲット候補である人物との全ての組み合わせに対して算出し、この算出したターゲット係数を前記画像処理装置が備える記憶部へ格納するターゲット係数算出ステップ、
顔の表情が所定の表情と類似している度合いを量的に示す表情係数を前記複数の人物の顔に対してそれぞれ算出し、この算出した表情係数を前記記憶部へ格納する表情係数算出ステップ、
前記ターゲット係数算出ステップで算出したターゲット係数および前記表情係数算出ステップで算出した表情係数を前記記憶部から読み出し、この読み出したターゲット係数および表情係数を用いることにより、前記画像に含まれる他の人物から注目されている度合いを量的に示す主人公度を前記複数の人物に対してそれぞれ算出する主人公度算出ステップ、
を実行させることを特徴とする画像処理プログラム。
【請求項１】
画像信号に対応する画像のパターンに基づいて前記画像に含まれる複数の人物の顔を検出する顔検出部と、
前記顔検出部が検出した顔の目線を推定する目線推定部と、
前記目線推定部が推定した目線のターゲットが前記画像に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物と該人物のターゲット候補である人物との全ての組み合わせに対して算出するターゲット係数算出部と、
顔の表情が所定の表情と類似している度合いを量的に示す表情係数を前記複数の人物の顔に対してそれぞれ算出する表情係数算出部と、
前記ターゲット係数算出部が算出したターゲット係数および前記表情係数算出部が算出した表情係数を用いることにより、前記画像に含まれる他の人物から注目されている度合いを量的に示す主人公度を前記複数の人物に対してそれぞれ算出する主人公度算出部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記主人公度は、
当該主人公度の算出対象である人物を前記ターゲット候補とする前記ターゲット係数と該ターゲット係数における前記目線元の人物の表情係数との積を全ての前記目線元の人物について足し合わせた量であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記目線推定部が目線を推定した人物までの距離を算出する距離算出部を備え、
前記ターゲット係数算出部は、
前記目線推定部の推定結果および前記距離算出部の算出結果を用いることによって前記目線元の人物と前記ターゲット候補の人物とが所定の位置関係を満たしているか否かを判定し、この判定結果に応じたターゲット係数を算出することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記画像を表示する表示部を備え、
前記表示部は、前記主人公度算出部の算出結果に基づく情報を前記画像に重畳して表示することを特徴とする請求項１〜３のいずれか一項記載の画像処理装置。
【請求項５】
所定の視野領域内の被写体を撮像して画像信号を生成する撮像部と、
前記撮像部が撮像している被写体を撮影する制御を行う制御部と、
を備えたことを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
【請求項６】
前記制御部は、
前記主人公度算出部が算出した前記複数の人物の各々の主人公度に応じて前記画像の露出およびピントを調整する制御を行うことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記制御部は、
露出およびピントを調整した前記画像を自動的に撮影する制御を行うことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記複数の人物のうち前記主人公度が最大の人物を少なくとも残して前記画像のトリミングを行うトリミング部を備えたことを特徴とする請求項１〜７のいずれか一項記載の画像処理装置。
【請求項９】
画像信号に対して処理を施す画像処理装置に、
前記画像信号に対応する画像のパターンに基づいて前記画像に含まれる複数の人物の顔を検出する顔検出ステップ、
前記顔検出ステップで検出した顔の目線を推定する目線推定ステップ、
前記目線推定ステップで推定した目線のターゲットが前記画像に含まれる人物であるか否かを量的に示すターゲット係数を目線元の人物と該人物のターゲット候補である人物との全ての組み合わせに対して算出し、この算出したターゲット係数を前記画像処理装置が備える記憶部へ格納するターゲット係数算出ステップ、
顔の表情が所定の表情と類似している度合いを量的に示す表情係数を前記複数の人物の顔に対してそれぞれ算出し、この算出した表情係数を前記記憶部へ格納する表情係数算出ステップ、
前記ターゲット係数算出ステップで算出したターゲット係数および前記表情係数算出ステップで算出した表情係数を前記記憶部から読み出し、この読み出したターゲット係数および表情係数を用いることにより、前記画像に含まれる他の人物から注目されている度合いを量的に示す主人公度を前記複数の人物に対してそれぞれ算出する主人公度算出ステップ、
を実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−４４５０６（Ｐ２０１０−４４５０６Ａ）
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願番号】特願２００８−２０７１６０（Ｐ２００８−２０７１６０）
【出願日】平成２０年８月１１日（２００８．８．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願日】平成２０年８月１１日（２００８．８．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]