画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
【課題】画像データに含まれる複数の被写体の重要度をより正確に判別する。
【解決手段】画像フレームから顔検出により検出された複数の被写体の重要度若しくは優先順位付けを行なう際に、以前の画像フレームにおいて判定された優先順位の結果を参照することで、画像フレーム内で各被写体の位置や大きさが時々刻々と変化する場合であっても、優先順位決定の結果が時間方向で安定化する。この結果、モニタリング中に検出された被写体に対するオート・フォーカスなどの制御を行なうときに、優先順位の高い被写体が頻繁に切り替わる現象を抑制して、安定した制御を実現することができる。
【解決手段】画像フレームから顔検出により検出された複数の被写体の重要度若しくは優先順位付けを行なう際に、以前の画像フレームにおいて判定された優先順位の結果を参照することで、画像フレーム内で各被写体の位置や大きさが時々刻々と変化する場合であっても、優先順位決定の結果が時間方向で安定化する。この結果、モニタリング中に検出された被写体に対するオート・フォーカスなどの制御を行なうときに、優先順位の高い被写体が頻繁に切り替わる現象を抑制して、安定した制御を実現することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物などの被写体を含んだ画像データを処理する画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムに係り、特に、画像データに含まれる被写体を検出して該被写体に応じた画像処理を実施する画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、複数の被写体を含んだ画像データを処理する画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムに係り、特に、画像データに含まれる複数の被写体の重要度を判別する画像処理装置及び画像処理方法、重要度の判別結果に基づいて撮像処理を行なう撮像装置、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。
【０００４】
銀塩カメラも、デジタルカメラも、基本的なカメラ・ワークはほとんど同じである。すなわち、撮影者は、まず被写体にフォーカスを合わせ、絞りすなわち露光量を調整し、被写体を含む適当な構図を形成するようフレーミングを行なってから、シャッタを押す。また、手振れを押さえたいときには、撮影者はカメラ本体をしっかりと把持する、あるいはカメラを３脚に取り付ける。
【０００５】
このようなカメラ・ワークに関して自動化技術が進んでおり、このため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。例えば、オート・フォーカス機能（ＡＦ）、自動露光（ＡＥ）、手振れ補正、オート・シャッタなどである。デジタルカメラの場合、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）により撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。
【０００６】
オート・フォーカスや画質補正などの機能は、画像フレーム内に存在する１以上の被写体のうちいずれに合わせて処理を行なうべきである。古くは、ユーザが重要な被写体をマニュアル操作で設定することが行なわれていた。最近では、撮像画像から顔を検出して、その顔に対して自動的にフォーカスを合わせる、あるいは、その顔に合わせて自動的に画質を補正する、といった顔検出を利用した撮像技術が導入されている。
【０００７】
ここで、撮像した画像信号から顔を検出する手法として、例えば、平均的な顔画像をテンプレートとして利用し、入力画像信号とマッチングする手法が当業界において広く知られている（例えば、特許文献１を参照のこと）。また、撮像された顔が傾いていると、顔を正しく検出し難いため、顔の角度を検出して、その検出値に応じて顔の画像を回転させた後、マッチング処理などを行なうなどの手法も知られている。顔の角度を検出する方法としては、顔の中心線を検出し、その中心線らしさを示す度合いを顔の左右対称性に基づいて算出して、その度合いの高い中心線の角度を顔の角度として出力する手法などが挙げられる（例えば、特許文献２を参照のこと）。
【０００８】
また、顔検出を利用した撮像技術として、光学系を解して得られた画像信号の中から顔画像を検出したことに応答して、被写体の撮影を実行するレリーズ・ボタンを押下するデジタルカメラ撮像装置について提案がなされている（例えば、特許文献３を参照のこと）。
【０００９】
また、撮像画像のうち被写体の顔の部分を検出するとともに、検出顔に対して赤目現象を軽減する画像処理を行なう電子カメラについて提案がなされている（例えば、特許文献４を参照のこと）。
【００１０】
上述したような顔検出を利用したカメラ・ワークの自動化技術や画像処理技術は、当然ながら、顔の検出精度が高いほど、ユーザにとって利便性の高い有効な機能となる。すなわち、検出された顔が、撮像者にとって重要であるか否かを判定する機能を備えていれば、必要な顔に対して確実に、フォーカス合わせや画質補正などを行なうことが可能となる。
【００１１】
例えば、画像データをＲＡＷ圧縮方式で圧縮されたデータの状態でメモリ空間Ａに記憶する一方で、画像データにγ補正、補間処理、マトリクス変換などを施して作成した映像データをメモリ空間Ｂに記憶し、より容量の小さいメモリ空間Ｂの画像データを基に短い時間で顔領域の検出を行なうことで、人物の動きや手振れに強い撮影装置について提案がなされている（例えば、特許文献５を参照のこと）。
【００１２】
また、被写体の顔全体にピントが合うように、まず目に焦点を合わせ、その焦点距離を中心にその前後１０ｃｍが略合焦するように被写体深度を設定する電子スチルカメラについて提案がなされている（例えば、特許文献６を参照のこと）。
【００１３】
しかし、実際には、検出した顔が撮像者にとって本当にフォーカス合わせや画質補正の対象とすべきものであるとは限らず、必要のない顔に対して、フォーカス合わせや画質補正が行なわれる場合もあり得る。とりわけ、撮像画像内に２人以上の被写体が写っているときには、誰に対してフォーカス合わせを行なうべきか（言い換えれば、どの被写体を「主役」とすべきか）、判断が難しくなる。
【００１４】
直感的には、撮像画像の中央付近に写っている被写体や、画像内で大きなサイズで写っている被写体は重要度が高く、主役と推定することができる。したがって、撮像画像に写っている被写体を顔検出処理などによって特定した後、各被写体の画像中心からの距離や被写体領域の大きさに基づいて優先順位付けして、主役判定を行なうことができる。
【００１５】
例えば、画像信号から検出された顔のサイズ情報及び位置情報を取得し、サイズ情報に基づいて第１の重要度因子を演算するとともに、位置情報に基づいて第２の重要度因子を演算し、これら第１及び第２の重要度因子に基づいて、最終的な重要度を演算することで、撮影者にとっての重要度をより精度よく判定できるようにした顔重要度判定装置について提案がなされている（例えば、本出願人に既に譲渡されている特願２００６−２０１３７号明細書を参照のこと）。
【００１６】
また、対象物の容貌に関する情報をあらかじめ記録しておき、画像データの中から顔検出を行なって、検出顔のうち所定の容貌と一致するものを検出して、この対象物に対して焦点合わせを行なう撮像装置について提案がなされている（例えば、特許文献７を参照のこと）。同撮像装置は、対象物の容貌に関する情報を優先度とともに記録しておき、複数の人物が画像データ内に存在するときには、優先度の高い顔貌の順に一致判定を行なうようになっている。
【００１７】
また、画像データに含まれる人物の目を検出して、検出された目の位置や大きさに基づいてフォーカス枠を設定するとともに、フォーカス枠毎に合焦点位置を検出し、各合焦点位置のうち最至近のものを最終的な合焦点位置に決定する焦点調節装置について提案がなされている（例えば、特許文献８を参照のこと）。この場合、最至近であることが主役判定の基準となる。
【００１８】
また、スルー画像を利用して顔検出を行なうときには、顔検出を行なっていないときよりもスルー画像の輝度を上げて顔検出し易くするデジタルカメラについて提案がなされている（例えば、特許文献９を参照のこと）。このデジタルカメラでは、複数の顔が検出された場合には、一番大きい又は最至近の顔の枠がＡＦエリアに設定されるようになっている。
【００１９】
また、検出した顔のうち距離が最も近い顔に焦点が合うように撮影レンズの焦点調整を行なうとともに、液晶表示器には焦点が合わされた顔を囲む枠を表示し、枠で囲まれた顔が所望の人物の顔でないときには十字キーなどのユーザ操作によって他の顔に枠を移動する撮像装置について提案がなされている（例えば、特許文献１０を参照のこと）。この撮像装置は、基本的には、最至近であることが主役判定の基準となる。
【００２０】
しかしながら、人物やペットなどの動物を対象とする撮影においては、撮像画像中のこれら被写体の位置や大きさは固定的ではなく時々刻々と変化する。言い換えれば、スルー画像や動画像においては、主役となる被写体の判定結果が頻繁に切り替わり、オート・フォーカスや画質補正の動作が時間方向で不安定になってしまう、という問題がある。
【００２１】
【特許文献１】特開２００３−２７１９３３号公報（段落００５１〜００５３、図６）
【特許文献２】特開平９−１７１５６０号公報（段落００３２〜００４４、図４）
【特許文献３】特開２００３−９２７００号公報
【特許文献４】特開２００５−８６２７１号公報
【特許文献５】特開２００５−３１８５５４号公報
【特許文献６】特許第３１６４６９２号公報
【特許文献７】特開２００２−３３３６５２号公報
【特許文献８】特開２００５−１２８１５６号公報
【特許文献９】特開２００６−３３４３７号公報
【特許文献１０】特開２００６−１４５６２９号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
本発明の目的は、画像データに含まれる被写体を検出して該被写体に応じた画像処理を好適に実施することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
【００２３】
本発明のさらなる目的は、画像データに含まれる複数の被写体の重要度をより正確に判別するとともに、重要度の高い被写体に応じた画像処理を好適に実施することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
【００２４】
本発明のさらなる目的は、時間とともに各被写体の位置や大きさが変化する画像データの中から重要度の高い被写体を検出する処理を安定化するとともに、重要度の高い被写体に応じた画像処理を好適に実施することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００２５】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、顔画像を含む画像情報を処理する画像処理装置であって、
画像フレーム内から顔画像を検出する顔検出手段と、
前記顔検出手段により検出された各検出顔の重要度を判定する重要度判定手段と、
前記重要度判定手段により判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定手段を備え、
前記重要度判定手段は、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定手段により前回までに決定された優先順位を考慮して、重要度を判定する、
ことを特徴とする画像処理装置である。
【００２６】
最近では、オート・フォーカス機能（ＡＦ）、自動露光（ＡＥ）、手振れ補正、オート・シャッタといった、カメラ・ワークに関する自動化技術が進んでいる。とりわけデジタルカメラの場合、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。
【００２７】
オート・フォーカスや画質補正などの機能は、画像フレーム内に存在する１以上の被写体のうちいずれに合わせて処理を行なうべきであり、顔検出技術を利用して、画像内の検出顔を対象として、ＡＥ、ＡＦ、画質補正を行なう技術が導入されている。ここで、撮像画像内に２人以上の被写体が写っているときには、誰に対してフォーカス合わせを行なうべきか（言い換えれば、どの被写体を「主役」とすべきか）を適切に判定する必要がある。
【００２８】
直感的には、撮像画像の中央付近に写っている被写体や、画像内で大きなサイズで写っている被写体は重要度が高く、主役と推定することができる。しかしながら、スルー画像などの動画像から顔検出を行なう場合には、被写体の位置や大きさは固定的ではなく時々刻々と変化することから、主役が頻繁に切り替わってしまい、オート・フォーカスや画質補正の動作が時間方向で不安定になってしまう、という問題がある。
【００２９】
そこで、本発明では、スルー画像などの動画像フレームから顔検出により検出された複数の被写体の重要度判定若しくは優先順位付けを行なう際に、以前の画像フレームにおいて判定された優先順位の結果を参照する、という方法を採用している。このような方法によれば、画像フレーム内で各被写体の位置や大きさが時々刻々と変化する場合であっても、優先順位決定の結果が時間方向で安定化する。この結果、モニタリング中に検出された被写体に対するオート・フォーカスなどの制御を行なうときに、優先順位の高い被写体（すなわち主役）が頻繁に切り替わる現象を抑制して、安定した制御を実現することができる。
【００３０】
また、本発明では、画面内で速く動き回る被写体の重要度を低く抑制する判定方法を導入することによって、優先順位決定の結果が時間方向で安定化するようにしている。
【００３１】
本発明では、動画像に含まれる１以上の検出顔のそれぞれについて、例えば下式に従って重要度Ｗｆを算出し、重要度に基づいて各検出顔の優先順位を決定する。そして、デジタルカメラなどにおいて、ＡＦやＡＥといったカメラ制御を行なうときや、ＡＷＢやその他の画質調整を行なうときには、優先順位の高い検出顔に応じてこれらの処理を実施する。
【００３２】
Ｗｆ＝（サイズ係数）×（画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］）
【００３３】
上記の重要度計算式において、サイズ係数を大きくとることによって、撮像画像中で大きく映されている被写体ほど主要被写体と判定され易くなる。また、ｘ係数並びにｙ係数を大きくとることにより、撮像画像中で水平方向並びに垂直方向のそれぞれで真ん中に近い位置に存在するほど主要被写体と判定され易くなる。
【００３４】
また、上記の重要度計算式において、画面内での検出顔の平均速さに関するファクタ（ｖ係数）×（平均速さ）を重要度Ｗｆから引き算することによって、動きの大きな検出顔の優先順位を抑制するようにしている。また、ｖ係数を大きくすれば、速さが遅いほど主要被写体として判定され易くなる。
【００３５】
ここで、上記の重要度計算式の右辺で用いる各係数の基本的な大小関係は、例えば以下の通りである。
【００３６】
ｖ係数 ＞ サイズ係数 ＞ ｘ係数 ＞ ｙ係数
【００３７】
上記のような大小関係によれば、画面内で動きの早い被写体はまず優先順位を下げるようにすることができる。また、複数の画像フレームにわたって静止している被写体のうち、サイズが大きく且つ、横方向で中心に近いものを優先するようにすることができる。但し、本発明の要旨は、上式に示した係数間の大小関係に必ずしも限定されるものではない。ポートレート撮影、風景撮影、スポーツ撮影といった、カメラに設定する撮影モード若しくは動作モードや、夜景、暗闇といったカメラの撮影環境若しくは動作環境などに応じて、各重み係数の大小関係を動的に変更するようにしてもよい。
【００３８】
また、上記の重要度計算式において、さらに右辺第５項として、優遇定数を重要度Ｗｆに加算している。ここで言う優遇定数は、前回の優先順位に応じた重み定数であり、前回の優先順位が高い検出顔ほどより大きな値の優遇定数を与えることにより、制御周期毎の優先順位の変動を少なくすることで、オート・フォーカスや画質補正の動作を時間方向で安定化するという効果がある。優遇定数は、検出顔のサイズや画面中心からの距離などが１０％程度変動しても、前回は最も重要度Ｗｆが高い被写体の優先順位が変動しない程度の値に設定することが望ましい。
【００３９】
また、例えば集合写真のように手前から順番に被写体が並んでいる場合には、画面下にある被写体の方がより至近にあることが推測されることから、下方の被写体ほど優先して取り扱うよう、重要度の計算式を以下のように変形してもよい。
【００４０】
Ｗｆ＝（サイズ係数）×（画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面下端から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］）
【００４１】
また、背景を考慮した構図などの場合には、複数の被写体が画面中心からは隔たった場所に並ぶこともある。そこで、下式のように、「画面中心から検出顔までのｘ距離」ではなく、「全被写体の重心からのｘ距離」に基づいて重要度Ｗｆを計算するようにしてもよい。
【００４２】
Ｗｆ＝（サイズ係数）×（画面内での検出顔のサイズ）
−（ｘ係数）×（全被写体の重心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］）
【００４３】
また、検出顔の情報だけでなく、さらに顔認識結果も利用して、重要度の計算を行なうようにしてもよい。顔認識結果をさらに利用して検出顔の重要度Ｗｆを計算する方法の一例を以下の式に示す。
【００４４】
Ｗｆ＝（サイズ係数）×（画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］）
＋（認識定数）
【００４５】
上式に示す重要度計算式によれば、検出顔が顔認識部において既に登録されている登録顔である場合には主要被写体と判定され易くなる。
【００４６】
上述したように、本発明に係る画像処理装置によれば、複数の被写体を写した動画像から、主要な被写体を安定して判定することができる。そして、このような技術をデジタルカメラなどの撮像装置に適用すれば、ＡＦ、ＡＥなどのカメラ・ワークの制御や、ＡＷＢ、シャープネス・再度コントラスト調整、フラッシュ調光や赤目軽減などの画質調整処理を、主要被写体に合わせて実施することができる。
【００４７】
また、本発明の第２の側面は、顔画像を含む画像情報の処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
画像情報を入力する画像入力手順と、
入力された画像情報の画像フレーム内から顔画像を検出する顔検出手順と、
前記顔検出手順を実行して検出された各検出顔の重要度を判定する重要度判定手順と、
前記重要度判定手順を実行して判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定手順を実行させ、
前記重要度判定手順では、前記コンピュータに対し、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定手段により前回までに決定された優先順位を考慮して、重要度を判定させる、
ことを特徴とするコンピュータ・プログラムである。
【００４８】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００４９】
本発明によれば、画像データに含まれる複数の被写体の重要度をより正確に判別するとともに、重要度の高い被写体に応じた画像処理を好適に実施することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。
【００５０】
また、本発明によれば、時間とともに各被写体の位置や大きさが変化する画像データの中から重要度の高い被写体を検出する処理を安定化するとともに、重要度の高い被写体に応じた画像処理を好適に実施することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。
【００５１】
本発明では、スルー画像などの動画像フレームから顔検出により検出された複数の被写体の重要度判定若しくは優先順位付けを行なう際に、以前の画像フレームにおいて判定された優先順位の結果を参照することで、画像フレーム内で各被写体の位置や大きさが時々刻々と変化する場合であっても、優先順位決定の結果が時間方向で安定化する。この結果、モニタリング中に検出された被写体に対するオート・フォーカスなどの制御を行なうときに、優先順位の高い被写体（すなわち主役）が頻繁に切り替わる現象を抑制して、安定した制御を実現することができる。
【００５２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００５３】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００５４】
図１には、本発明の一実施形態に係るデジタルスチルカメラの構成を示している。
【００５５】
図示のデジタルスチルカメラ１は、撮像素子１１と、前処理部１２と、カメラ・デジタル信号処理部（ＤＳＰ）１６で構成され、
【００５６】
光学系１０は、被写体からの光を撮像素子１１に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像素子１１に入射させるシャッタ機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構（いずれも図示しない）を含んでいる。ドライバ１０ａは、後述するＣＰＵ２９からの制御信号に基づいて、光学系１０内の各機構の駆動を制御する。
【００５７】
撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換効果を持つ各画素が２次元に配列され、被写体からの入射光を電気信号に変換する。受光側には例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。なお、撮像素子１１から出力されるアナログ画像信号は、ＲＧＢ各色の原色信号であるが、補色系の色信号であってもよい。
【００５８】
ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部１２は、ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３と、タイミング・ジェネレータ１４と、Ｖドライバ１５を備え、例えば１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップとして構成される。
【００５９】
ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３では、画素信号中の撮像素子２１１から受ける信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、サンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかけて、ＡＤ変換を施してデジタル画像信号を出力する。
【００６０】
タイミング・ジェネレータ１４は、撮像素子１１を駆動するためのタイミング・パルス信号を生成する。そして、Ｖドライバ１５は、このタイミング・パルス信号に従って、撮像素子１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。
【００６１】
カメラＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）部１６は、カメラ信号処理部１７と、解像度変換部１８と、画像コーデック処理部１９と、メモリ制御部２０と、表示制御部２１と、メディア制御部２２を備え、例えば１つのＩＣチップとして構成されている。
【００６２】
カメラ信号処理部１７は、ＡＦＥ部１２から送られてくる画像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御などの前処理を施した後、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）によりホワイトバランス・ゲインを掛けるとともに、シャープネス・再度コントラスト調整などの画質補正処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する（画質調整には、フラッシュ調光や赤目軽減などの処理を含めることができる）。また、カメラ信号処理部１７は、ＲＧＢ画像信号に対してγ補正を施し、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。また、カメラ信号処理部１７では、ＡＦＥ部１３の出力画像信号を基に、輝度情報を検波し、所定範囲毎のヒストグラムを算出するヒストグラム検波、並びに所定範囲毎に色情報を検波する色検波が行なわれる。ヒストグラム検波並びに色検波の結果は、後述する制御部２７に出力される。
【００６３】
解像度変換部１８は、画像のサイズの変更を行なう。画像コーデック処理部２１９は、ＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換し、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの符号化処理を行なう。
【００６４】
メモリ制御部２０は、撮影した画像情報などのデータを、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）などからなるメモリ装置２４に対して書き込みや読み出しを行なうためのアクセス動作を制御する。
【００６５】
モニタ・ディスプレイ２５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などで構成される。表示制御部２１は、モニタ・ディスプレイ２５の駆動を制御し、カメラ信号処理部１７から出力された画像データや、メモリ装置２４に保持されている画像データを、モニタ・ディスプレイ２５に表示するための信号に変換して、モニタ・ディスプレイ２５に出力する。また、後述する制御部２７からの要求に応じて、メニュー画面や各種設定画面、各種警告情報などを合成して、ＯＳＤ（Ｏｎ ＳＣｒｅｅｎ Ｄｉｓｐｌａｙ）出力する。
【００６６】
メディア制御部２２は、メモリスティック（登録商標）などの着脱可能な記録メディア２６を装填するためのスロットを備え、記録メディア２６へのデータの書き込みや読み出しを行なう。メディア制御部２２は、例えば、メモリ装置２４に保持されている撮影画像ファイルを記録メディア２６に記録する。
【００６７】
また、カメラＤＳＰ部１６は、バス・インターフェース・ユニット（ＢＩＵ）２３を介して制御部２７に接続されている。制御部２７は、シャッタボタンやズーム、その他のカメラ・ワークなどをユーザが指示するための操作部２８と、ユーザ操作に応じて当該装置全体の動作を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９と、ＣＰＵ２９にとっての主記憶メモリであるＲＡＭ３０と、プログラム・コードや装置情報などを不揮発的に保持するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）３１などで構成される。
【００６８】
操作部２８は、例えば、シャッタ・レリーズ・ボタンやフラッシュ発行のオン／オフなどの各種設定を行なうためのキーやダイヤルなどを備え、これらへのユーザ操作に応じた制御信号がＣＰＵ２９に入力される。
【００６９】
フラッシュ発光部３２は、制御部２７からのフラッシュ制御情報に従って、フラッシュを発光する。
【００７０】
このデジタルスチルカメラ１では、撮像素子１１によって受光されて光電変換された信号が、順次ＡＦＥ部１２に供給され、ＣＤＳ処理やＡＦＥ処理が施された後、デジタル信号に変換される。カメラ信号処理部１７は、ＡＦＥ部１２から供給されたデジタル画像信号を画質補正し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換して出力する。
【００７１】
カメラ信号処理部１７から出力された画像データは、表示制御部２１によって表示用の画像信号に変換され、モニタ・ディスプレイ２５上でスルー画像が表示される。また、操作部２８を介したユーザ操作などで制御部２７に画像の記録が指示されると、カメラ信号処理部１７からの画像データは画像コーデック処理部１９に供給され、所定の圧縮符号化処理が施されて、メモリ制御部２０を通じてメモリ装置２４に保存され、あるいはメディア制御部２２を通じて記録メディア２６に保存される。静止画像の記録の際には、カメラ信号処理部１７からは１フレーム分の画像データが画像コーデック処理部１９に供給される。また、動画像の記録の際には、処理された画像データが画像コーデック処理部１９に連続的に供給される。
【００７２】
本実施形態では、顔認識の結果に基づいて、ＡＦやＡＥなどのカメラ信号処理や、画質補正などの信号補正処理を行なうようになっている。このため、制御部２７では、ＣＰＵ２９が所定の制御プログラムを実行することによって、上記のカメラ信号処理によって得られた画像信号から被写体となる顔画像の顔認識処理を行なう。ここで、画像データ中に２以上の顔画像が含まれている場合には、これらの重要度判別若しくは優先順位付けを行なう。そして、制御部２７は、最も優先順位の高い被写体を対象としてＡＦ、ＡＥを行なうための制御信号をドライバ１１ａに出力する。あるいは、制御部２７は、最も優先順位の高い被写体を対象としてＡＦやＡＥなどのカメラ信号処理、あるいはＡＷＢやその他の画質補正処理を行なうための制御信号をカメラＤＳＰ部１３内のカメラ信号処理部１７に出力する。
【００７３】
ここで、顔認識のシステムは、画像認識処理を実行し、その人物が登録された人物か否かを判定する処理を実行するが、顔検出と顔識別という２つの処理で構成される。顔検出とは、画像データから顔画像を検出しその顔領域を抽出する処理のことであり、ある１枚の画像（１枚の写真や動画像の１ピクチャ（フィールド又はフレーム）に当たる）に対して、人物顔を検出しその位置と大きさを出力する。一方、顔認識とは、検出されたある１個の顔が以前に登録された顔と同一人物かを識別することを言う。
【００７４】
図２には、顔認識システムの構成例を示している。図示のシステム５０は、画像取得部５１と、顔検出部５２と、顔画像変換部５３と、顔認識処理部５４と、顔登録データベース５５と、認識結果出力部５６で構成され、学習モードと認識モードの２つの動作モードで動作する。学習モード下では、学習用の画像を用いて認識処理を学習し、認識モードにおける認識処理に用いる認識器を生成する処理を実行する。また、認識モード下では、学習モードによって生成された認識器を用いて画像を認識し、認識対象の画像が、登録された人物の顔を含むものであるか否かを判定する処理を実行する。
【００７５】
顔認識システムが図１に示したデジタルスチルカメラ１に搭載されている場合、画像取得部５１は、例えばカメラ信号処理部１７から撮影画像を取得する。取得される画像には、人の顔の部分が少なくとも含まれる画像であるとする。学習モード下では、例えば、撮像画像中の顔の大きさや向きが異なるような学習用画像を、ある人物において複数取得するとともに、その人物の顔の画像を含まない画像を複数取得する。また、認識モード下では、認識対象となる人物の顔の部分を含む撮像画像を取得する。画像取得部５１に取得された画像は、顔検出部５２に供給される。
【００７６】
顔検出部５２は、画像取得部５１から供給された画像を解析することにより、人の顔の部分（顔の位置と大きさ）を抽出し、抽出された人の顔の部分の画像すなわち「顔画像」を検出する。画像取得部５１から供給される画像は、認識対象となる人物（若しくはペットなどの動物）の顔を含む画像であるが、例えば、全身像が撮影されているような画像など、顔の画像だけでない場合もある。顔検出部５２は、そのような画像から、人の顔の領域を判断し、人の顔の部分に対応する画像を抽出する。検出された顔画像は、顔画像変換部５３内の顔特徴点検出部６１及び顔アライメント部６２に供給される。
【００７７】
顔画像変換部５３は、顔特徴点検出部６１と、顔アライメント部６２で構成される。
【００７８】
顔特徴点検出部６１は、顔検出部５２から供給された顔画像とから、顔アライメント部６２によるモーフィング処理に用いられるアライメント用特徴点を検出する。アライメント用特徴点は、例えば、目、鼻、口といった人の顔の中でも特徴となる部分、すなわち顔特徴部分であっても良いし、顔特徴部分のみならず、さらに詳細に部分分けして特徴点を検出するようにしても良い。例えば、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ）などの方法などを適用して、特徴位置を検出することが可能である。
【００７９】
顔アライメント部６２は、顔検出部３２から供給された顔画像、及び、顔特徴点検出部６１により検出されたアライメント用特徴点を解析することにより、抽出された顔がどの方向を向いているかを検出し、顔特徴位置が基準位置にくるように、アフィン変換などのモーフィング処理を行なう。例えば、正面から見た顔の画像である場合には、左右の目が水平な位置に所定の距離だけ離間し、左右の目の中間の下方に鼻が位置し、その鼻よりさらに下方に口が位置するようにモーフィング処理が行なわれ、顔検出部５２から供給された顔画像が正面を向いていないものであっても、正面を向いた場合の顔画像と略同様なものに変換される。その結果、画像取得部５１により取得された顔画像が正面を向いていない場合であっても、後段の顔認識処理部５４では顔画像の識別が可能になる。
【００８０】
顔認識処理部５４は、局所特徴計算部７１と、認識器生成部７２と、学習データ格納部７３と、顔認識部７４で構成される。
【００８１】
抽出された特徴点が基準位置に直された顔画像は、顔認識処理部５４内の局所特徴計算部７１に供給される。局所特徴計算部７１は、供給された顔画像の複数の特徴点における局所的な特徴量を計算する。局所特徴量を求めるための特徴点は、顔特徴点検出部５１において検出されたアライメント用特徴点と同一であっても良いし、顔特徴点検出部５１において検出されたアライメント特徴点とは全く異なる複数の点であっても良い。
【００８２】
局所特徴計算部７１は、方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、顔画像の特徴量を抽出する「ガボア・フィルタ（Ｇａｂｏｒ Ｆｉｌｔｅｒ）」で構成される。人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判明されている。これは、垂直の線に対して発火する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタは、これと同様に、方向選択性を持つ複数のフィルタで構成される空間フィルタである。ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。フィルタ窓の大きさは例えば２４×２４固定とする。また、周波数ｆを５種類、角度θを８方向とすると、４０種類のガボア・フィルタが構成される。
【００８３】
ガボア・フィルタの演算は、ガボア・フィルタを適用する画素とガボア・フィルタの係数との畳み込みである。ガボア・フィルタの係数は、周波数応答がコサイン関数からなる実部と周波数応答がサイン関数からなる虚部に分離することができ、それぞれに畳み込み演算を実施し、それぞれの成分を合成して１個のスカラ値からなるガボア・フィルタ結果を求めることができる。このような演算を、周波数ｆと角度θを切り替えながら最大４０種類のガボア・フィルタを適用することによって、最大４０個のスカラ値の組からなる特徴量ベクトルすなわち「ガボア・ジェット」を得ることができる。顔画像データ上で水平方向及び垂直方向に一定間隔で検出される特徴量抽出位置毎に、局所特徴量としてガボア・ジェットが求められる。ガボア・ジェットは、特徴量抽出位置のある程度の位置のずれや変形に対して、不変であるという特徴を有している。
【００８４】
局所特徴計算部７１は、学習モード下では、それぞれの特徴点において、４０以下のパラメータを有する複数の特徴量ベクトルを、認識器生成部７２に供給する。また、局所特徴計算部７１は、認識モード下では、学習データ格納部７３に格納されている認識用特徴量に基づいて、対応する特徴点の対応する局所特徴量を計算し、顔認識部７４に供給する。認識用特徴量とは、認識器生成部７２において学習により生成された認識器において用いられているのが、いずれの特徴点のどの局所特徴量（ガボア・フィルタのどの部分）であるかを示す情報である。これにより、認識器の生成、及び、顔認識時に実行される相関係数の算出を、それぞれの特徴点において、すべての次元を用いた特徴量ベクトルによる１種類の相関係数だけはなく、一部の次元を用いた特徴量ベクトルを含む複数の相関係数について行なうことが可能となる。換言すれば、それぞれ異なる次元の複数の特徴量を学習及び認識に用いることが可能となる。
【００８５】
認識器生成部７２は、学習モード下では、局所特徴計算部７１により算出された学習用画像の特徴量と、あらかじめ保持している学習用モデルの特徴量とを用いて、Ａｄａｂｏｏｓｔを利用した統計学習処理を実行し、認識モード下では認識処理に用いる認識器を生成し、生成された認識器と、その認識器に関する情報（相関値と、その認識器の確からしさを示す情報）を学習データ格納部７３に記憶させる。また、認識器生成部７２は、認識器の学習の過程で、対象となる顔画像を認識するのに大きく影響するモデル特徴量のみを抽出し、認識器において用いられているのがいずれの特徴点のどの局所特徴量（ガボ・アフィルタのどの矩形領域部分）であるかを示す情報である認識用特徴量として、学習データ格納部７３に供給して記憶させる。
【００８６】
ここで、Ａｄａｂｏｏｓｔとは、「ランダムよりも少し良い弱い識別器」（ＷｅａｋＬｅａｒｎｅｒとも呼ぶ）を多数組み合わせることで、「強い識別器」を構築できるとする理論であり、１９９６年にＦｒｅｕｎｄらによって提案されているものである。認識器生成部７２により生成される認識器は、この「ランダムよりも少し良い弱い識別器」であり、それぞれの認識機は、自分の前に生成された認識機が不得意とする認識に重みを置くようにして生成される。そして、認識処理では、それぞれの弱認識器がどのくらい信頼をおけるかによって信頼度を求め、それに基づき多数決を行なう。
【００８７】
学習データ格納部７３には、認識器生成部７２により生成された認識器とその認識器に関する情報、及び、認識用特徴量が格納される。
【００８８】
顔認識部７４は、認識モードにおいて、学習データ格納部７３に格納されている認識器を用いて、局所特徴計算部７１により算出された特徴量と、顔登録データベース３５に登録されている登録顔画像データの相関係数を計算し、登録されている人物と一致するか否かを判断し、判断結果を認識結果出力部３６に供給する。すなわち、顔認識部７４は、学習データ格納部７３に格納されている認識器の信頼度に基づいて、認識器の判定結果の多数決を行ない、登録されている人物と一致するか否かの判断を実行する。
【００８９】
顔登録データベース５５には、登録されている人物の認識に必要な特徴量の情報が登録されている。顔登録データベース３５には、登録されている人物の顔画像のすべての特徴点におけるすべてのガボア・ジェット（前述）が登録されていても良いが、少なくとも、認識用特徴量に対応する特徴量の情報が登録されていればよい。
【００９０】
認識結果出力部５６は、顔認識部７４から供給された判断結果を出力する。例えば、入力された画像に含まれる顔画像と一致する登録顔画像が、顔登録データベース５５に登録されていた場合、一致していると判定された登録顔画像に関連付けられている人の名前などの情報が顔登録データベース５５から読み出され、その名前などの情報が、認識結果出力部３６から出力される。
【００９１】
なお、顔認識システムの詳細に関しては、例えば本出願人に既に譲渡されている特願２００６−３３２３０２号明細書を参照されたい。
【００９２】
最近のデジタルカメラでは、カメラ・ワークや画質補正に関して自動化技術の導入が進められている。この種の自動化技術は、顔認識技術と組み合わせて、画像データ中の被写体を特定することで、さらに利便性が高まる。
【００９３】
図３には、顔認識の結果に基づいて、ＡＦやＡＥなどのカメラ信号処理や、画質補正などの信号補正処理を行なうための機能的構成例を示している。図示の機能ブロックは、顔認識部１０１と、優先順位算出部１０２と、カメラ制御部１０３で構成される。各機能モジュール１０１〜１０３は、実際には、ＣＰＵ２７において所定の制御プログラムを実行することによって構築される。また、顔認識部１０１は、図２に示した顔認識システムによって構成されるものとする。
【００９４】
顔認識部１０１には、カメラＤＳＰ部１３内のカメラ信号処理部１７からスルー画像が供給される。そして、上述した顔検出並びに顔認識処理が実施され、画像フレーム中の各検出顔の位置と大きさなどの顔検出結果、並びに各検出顔に一致する人物の情報などの顔認識結果が後段の優先順位算出部１０２に出力される。ここで、顔検出処理はスルー画像を構成する画像フレーム毎（若しくは所定フレーム間隔）に実施され、検出顔の情報が逐次優先順位算出部１０２に出力されるものとする。
【００９５】
優先順位算出部１０２は、画像フレームに含まれる各検出顔について、顔検出結果や顔認識結果に基づいて重要度（スコア）Ｗｆを計算し、それぞれのスコア値に従って、各検出顔に優先順位を付与して、その結果をカメラ制御部１０３に出力する。
【００９６】
スルー画像などの動画像フレームから顔検出により検出された複数の被写体の重要度判定を行なう際、画像フレーム内で各被写体の位置や大きさが時々刻々と変化することから、優先順位決定の結果が時間方向で不安定になる、すなわち画像フレーム内の主役が頻繁に切り換わってしまうという事態が想定される。そこで、本実施形態では、以前の画像フレームにおいて判定された優先順位の結果を参照することで、優先順位決定の結果が時間方向で安定化するようにしている。優先順位算出の処理手順の詳細については後述に譲る。
【００９７】
カメラ制御部１０３は、優先順位算出部１０２から各検出顔の優先順位を受け取ると、優先順位の高い検出顔に合わせてオート・フォーカスや画質補正などの機能を実現するための制御信号を出力する。具体的には、光学系１１を駆動するドライバ１１ａに対して、ＡＦ、ＡＥに関する制御信号を出力する。あるいは、カメラ信号処理部１７に対してＡＦやＡＥなどのカメラ信号処理、又はＡＷＢなどの画質調整処理を実施するための制御信号を出力する。あるいは、フラッシュ発光部３２に対してフラッシュ発光のタイミングを制御する。
【００９８】
顔検出を利用したカメラ・ワークの自動化技術や画像処理技術は、当然ながら、顔の検出精度が高いほど、ユーザにとって利便性の高い有効な機能となる。画像フレーム内に２人以上の被写体が写っているときには、誰に対してフォーカス合わせを行なうべきか判断が難しくなる。これに対し、本実施形態では、動画像フレームに対して重要度判定を行なう際に、以前の画像フレームにおいて判定された優先順位の結果を参照することで、優先順位決定の結果が時間方向で安定化するようにしている。したがって、カメラ制御部１０３においても、フォーカスや画質補正を行なう対象となる被写体が時間方向で安定するので、ひいてはカメラ制御も時間変動が抑制され安定化する。
【００９９】
続いて、顔検出の結果に基づいてデジタルスチルカメラ１における露出制御並びにフラッシュ発光制御を行なうための処理動作について説明する。撮像素子１１を介して取り込まれた画像フレーム中に複数の被写体が写っている場合には、各検出顔について重要度若しくは優先順位を求め、重要度の高い検出顔を主役として露出制御並びにフラッシュ発光制御が行なわれるものとする。図４には、その処理手順をフローチャートの形式で示している。
【０１００】
まず、カメラ制御部１０３は、カメラ信号処理部１７からの画像信号の検波値に基づいて、通常のＡＥ制御方法で、露出制御量及びフラッシュ制御情報を計算する（ステップＳ１）。
【０１０１】
ここで言う「通常のＡＥ制御方法」とは、以下のステップＳ２〜Ｓ１０に示すような顔の検出結果を用いずに、従来からの一般的な処理によって露出制御量及びフラッシュ制御情報を演算する処理のことであり、基本的には、画面全体の撮像画像信号から検波した輝度情報などに基づいて露出制御量及びフラッシュ制御情報を演算する。また、露出制御量は、例えば、光学系１０内のアイリスの開度、メカニカル・シャッタ及び撮像素子１１での電子シャッタ（あるいはそれらの一方）によるシャッタ速度、ＡＦＥ部１２内のＡＧＣのゲイン量などを制御するための値であり、フラッシュ制御情報は、フラッシュ発光部３２の発光動作を制御するための情報である。
【０１０２】
次いで、顔検出部５２は、カメラ信号処理部１７の出力画像から、人間の顔を検出する（ステップＳ２）。
【０１０３】
ここで、顔認識部１０１は、顔検出部５２により顔が検出されたか否かを判定する（ステップＳ３）。画像フレームから顔が検出された場合には（ステップＳ３のＹｅｓ）、後続のステップＳ４に進むが、顔が検出されなかった場合には（ステップＳ３のＮｏ）、上記のステップＳ１で計算した露出制御量及びフラッシュ制御情報を最終的な値として確定し、本処理ルーチン全体を終了する。
【０１０４】
ステップＳ４では、優先順位判定部１０２は、顔認識部１０１から画像フレーム中の各検出顔の位置と大きさなどの顔検出結果、並びに各検出顔に一致する人物の情報などの顔認識結果を受け取ると、顔検出結果又は顔認識結果のうち少なくとも一方を用いて、各検出顔の重要度Ｗｆを計算する。そして、ステップＳ５では、優先順位判定部１０２は、計算された重要度が一定値より高い顔があるか否かを判定する。
【０１０５】
そして、重要度Ｗｆが一定値よりも高い顔がある場合には（ステップＳ５のＹｅｓ）、さらに後続のステップＳ６に進む。他方、重要度Ｗｆが一定値よりも高い顔がない場合には（ステップＳ５のＮｏ）、いずれの検出顔も重要でない（すなわち、これを対象として露光制御やフラッシュ発光制御を実施すべきでない）と判断されるので、上記のステップＳ１で計算した露出制御量及びフラッシュ制御情報を最終的な値として確定し、本処理ルーチン全体を終了する。
【０１０６】
ステップＳ６では、カメラ制御部１０３は、ヒストグラム検波及び色検波のそれぞれに関して、輝度検波及び色検波のための検波枠を設定する。そして、設定した検波枠を用いて、各検出顔に対応する輝度のヒストグラム・データ及び色検波値を取得する。また、ステップＳ５で重要度が高いと判定された検出顔が複数である場合には、各顔の輝度のヒストグラム・データを、各検出顔の重要度に応じて顔領域全体に対して正規化する（ステップＳ７）。
【０１０７】
次いで、カメラ制御部１０３は、検出顔のヒストグラム・データのピークを判定する（ステップＳ８）。そして、そのピークでの頻度値及び輝度に基づいて、ピーク領域を定義する限界輝度値Ｙｆ＿ｌ及びＹｆ＿ｈを検索する。
【０１０８】
次いで、カメラ制御部１０３は、顔の重要度及び色、外光情報に基づいて、顔の目標輝度範囲を設定する（ステップＳ９）。
【０１０９】
顔のヒストグラム・データ（分割検波方式の場合は、ステップＳ７で正規化されたヒストグラム・データ）と、ステップＳ９で設定した目標輝度範囲と、ステップＳ１で算出した露出制御量及びフラッシュ制御情報に基づいて、最終的な露出制御量及びフラッシュ制御情報を再計算する（ステップＳ１０）。そして、カメラ制御部１０３は、ドライバ１１ａ又はカメラ信号処理部１７に対して露出制御信号を出力するとともに、フラッシュ発光部３２に対してフラッシュ制御信号を出力する。
【０１１０】
上記の処理によれば、撮像画像から顔が検出され（ステップＳ３）、それらの顔のうち、重要度がある程度高い顔が存在した場合のみ（ステップＳ５）、それらの顔と背景との明るさのバランスを考慮した露出制御（ステップＳ６〜Ｓ１０）が実行され、それ以外の場合には、従来のオート撮像モードでの露出制御が実行される。
【０１１１】
したがって、撮像された顔、特に、撮影者にとって重要と考えられる顔が、適切な明るさで撮像され、且つ、その顔と背景との明るさのバランスが良好に保たれるように、露出の制御を実行することができる。そして、このような顔と背景との明るさのバランスを考慮した露出制御が、通常のオート撮像モードにおいて、特に撮影者が設定操作を行なうことなく、顔を検出した場合にのみ自動的に実行することができる。
【０１１２】
なお、図４に示したフローチャート中のＳ１で実行される通常のＡＥ制御方法による制御値演算処理、ステップＳ６〜Ｓ７で実施される輝度のヒストグラム・データ及び色の検波処理、ステップＳ８で実施されるヒストグラム・データのピーク判定処理、ステップＳ９で実施される顔の目標輝度範囲の設定処理、ステップＳ１０で実施される露出制御量及びフラッシュ制御情報の再計算処理の詳細に関しては、本出願人に既に譲渡されている特願２００６−２０１３７号明細書を参照されたい。
【０１１３】
続いて、図４に示したフローチャート中のステップＳ４〜Ｓ５で実施される、画像データに含まれる複数の検出顔の重要度判別若しくは優先順位付けを行なうための処理について説明する。
【０１１４】
上述したような顔検出を利用したカメラ・ワークの自動化技術や画像処理技術は、当然ながら、顔の検出精度が高いほど、ユーザにとって利便性の高い有効な機能となる。画像データ内に複数の被写体が移っている場合には、ＡＦやＡＥ、あるいは画質補正などの機能は画像データに含まれるいずれの被写体に合わせて処理を行なうべきか、各被写体の重要度を判別する必要がある。直感的には、撮像画像の中央付近に写っている被写体や、画像内で大きなサイズで写っている被写体は重要度が高く、主役と推定することができる。したがって、撮像画像に写っている被写体を顔検出処理などによって特定した後、各被写体の画像中心からの距離や被写体領域の大きさに基づいて優先順位付けして、主役判定を行なうことができる。
【０１１５】
図５には、画像信号から検出された顔のサイズ情報及び位置情報に基づいて顔重要度を判定するための処理手順の一例をフローチャートの形式で示している。この処理手順は、図４に示したフローチャートのステップＳ４で実施される。図示の処理手順では、画像信号から検出された顔のサイズ情報及び位置情報を取得し、サイズ情報に基づいて第１の重要度因子を演算するとともに、位置情報に基づいて第２の重要度因子を演算し、これら第１及び第２の重要度因子に基づいて、最終的な重要度を演算することで、撮影者にとっての重要度を判定している。
【０１１６】
まず、優先順位算出部１０２は、顔認識部１０１から、検出された各顔の検出情報として、顔のサイズ、位置、及び傾きの情報を取得する（ステップＳ２１）。
【０１１７】
次いで、優先順位算出部１０２は、各検出顔について、そのサイズと画面全体のサイズとの比（顔の割合）を計算し、図示しないＲＡＭなどに一旦記憶する（ステップＳ２２）。
【０１１８】
次いで、優先順位算出部１０２は、ステップＳ２２における計算結果に基づいて、画面全体に対する顔のサイズ比から想定される重要度を示す顔のサイズ重要度因子Ｗｓｉｚｅを、各検出顔について計算する（ステップＳ２３）。顔のサイズ重要度因子Ｗｓｉｚｅは、例えば、顔の割合ｒ＿ｓｉｚｅの大きさに応じて以下の式（１）〜（２）により計算される。なお、Ｒｆｂ１，Ｒｆｂ２はそれぞれ閾値であり、Ｒｆｂ１＜Ｒｆｂ２である。
【０１１９】
ｒ＿ｓｉｚｅ＞Ｒｆｂ２のとき：
Ｗｓｉｚｅ＝１００［％］ …（１）
Ｒｆｂ１≦ｒ＿ｓｉｚｅ≦Ｒｆｂ２のとき：
Ｗｓｉｚｅ＝（ｒ＿ｓｉｚｅ−Ｒｆｂ１）／（Ｒｆｂ２−Ｒｆｂ１） …（２）
ｒ＿ｓｉｚｅ＜Ｒｆｂ１のとき：
Ｗｓｉｚｅ＝０ ……（３）
【０１２０】
図６には、顔の割合ｒ＿ｓｉｚｅと顔のサイズ重要度因子Ｗｓｉｚｅとの対応を表したグラフを示している。上記の式（１）〜（３）、及び図６によれば、画面に対する顔の割合ｒ＿ｓｉｚｅが一定の閾値Ｒｆｂ２を超えている場合には、撮影者がその顔を意図的に撮像対象としたものと判断して、顔のサイズ重要度因子Ｗｓｉｚｅを最大値の１００％としている。逆に、顔の割合ｒ＿ｓｉｚｅが一定のしきい値Ｒｆｂ１未満の場合には、その顔が撮像対象ではなく、他の顔や背景などが撮像対象になっていると判断して、顔のサイズ重要度因子Ｗｓｉｚｅを０としている。また、顔の割合ｒ＿ｓｉｚｅがある範囲（Ｒｆｂ１〜Ｒｆｂ２）の場合には、その顔が撮像対象であるか否かについて明確な判断ができないため、その割合に応じてサイズ重要度因子Ｗｓｉｚｅを連続的に変化させている。すなわち、顔の割合ｒ＿ｓｉｚｅが大きいほど、撮像対象である確率が高く、重要度が高いと判断する。
【０１２１】
次いで、優先順位判別部１０２は、顔のサイズ重要度因子Ｗｓｉｚｅが０であるか否かを判定する（ステップＳ２４）。そして、Ｗｓｉｚｅが０でない場合は（ステップＳ２４のＮｏ）、後続のステップＳ２５の処理を実行する。また、Ｗｓｉｚｅが０である場合は（ステップＳ２４のＹｅｓ）、ステップＳ１０の処理を実行する。
【０１２２】
ステップＳ５では、あらかじめ設定された画面中心領域と顔との距離Ｌを計算する。そして、画面内における顔の位置から想定される重要度を示す顔の位置重要度因子ＰｏｓＷを計算する（ステップＳ２６）。ここでは、ステップＳ５で算出した距離Ｌに応じて、顔の位置重要度因子の最大値ＰｏｓＷｈと最小値ＰｏｓＷｌを計算する。
【０１２３】
次いで、優先順位算出部１０２は、顔の位置と傾きの情報に基づいて、顔から足への予測重心射線ＬｉｎｅＡと、顔から画面中心への射線ＬｉｎｅＢとがなす夾角ａｎｇを計算する（ステップＳ２７）。
【０１２４】
次いで、上記のステップＳ２６及びＳ２７における各計算結果に基づいて、顔の位置姿勢重要度因子Ｗｐｏｓを計算する（ステップＳ２８）。この顔の位置姿勢重要度因子Ｗｐｏｓは、画面内の顔の位置と傾きとから想定される重要度を示すものである。顔の位置姿勢重要度因子Ｗｐｏｓの採る範囲は、ステップＳ２５での計算結果に基づいて、画面中心領域と顔との距離Ｌの値に応じて制限されるものとする。
【０１２５】
そして、優先順位算出部１０２は、以下の式（４）を用いて、検出顔についての最終的な重要度Ｗｆを計算する（ステップＳ２９）。
【０１２６】
Ｗｆ＝Ｗｓｉｚｅ×Ｗｐｏｓ …（４）
【０１２７】
上式（４）を用いることにより、顔の重要度Ｗｆは、画面上の顔の大きさ、位置、及び傾きの３つのパラメータに基づいて判定される。
【０１２８】
なお、顔の重要度Ｗｆの計算式の変形例として下式（５）を挙げておく。同式によれば、画面上の顔の大きさと位置に基づいて重要度Ｗｆが判定される。
【０１２９】
Ｗｆ＝（サイズ係数）×ｒ＿ｓｉｚｅ
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離） …（５）
【０１３０】
上式（５）において、サイズ係数を大きくとることによって、撮像画像中で大きく映されている被写体ほど主要被写体と判定され易くなる。また、ｘ係数並びにｙ係数を大きくとることにより、撮像画像中で水平方向並びに垂直方向のそれぞれで真ん中に近い位置に存在するほど主要被写体と判定され易くなる。
【０１３１】
また、優先順位算出部１０２は、上記のステップＳ２３で算出した顔の重要度Ｗｆが０であったときには（ステップＳ２４のＹｅｓ）、最終的な顔の重要度Ｗｆを０とする（ステップＳ３０）。
【０１３２】
ステップＳ２９又はＳ３０の処理を実行した後、優先順位算出部１０２は、顔認識部１０１で検出されたすべての顔について、重要度Ｗｆの計算が終了したか否かを判定する（ステップＳ３１）。終了していなかった場合には（ステップＳ３１のＮｏ）、ステップＳ２３に戻って、他の検出顔について同様に重要度Ｗｆの計算を実行する。そして、すべての顔についての計算が済んだ場合には（ステップＳ３１のＹｅｓ）、本処理ルーチン全体を終了する。
【０１３３】
なお、ステップＳ２５〜Ｓ２８における処理の詳細については、本出願人に既に譲渡されている特願２００６−２０１３７号明細書を参照されたい。
【０１３４】
優先順位算出部１０２は、上式（４）又は（５）を用いて各検出顔について重要度Ｗｆを計算し、重要度Ｗｆの値が大きい順に優先順位を付与する。したがって、最も優先順位の高い検出顔が、ユーザが意図的に撮像対象としたものか否かを適切に判定することができる。言い換えれば、カメラ制御部１０３は、最も優先順位の高い検出顔を対象にして、ＡＦやＡＥなどのカメラ・ワークの自動制御や、ＡＷＢなどの画質調整制御を実行すればよい。
【０１３５】
ここで、人物やペットなどの動物を対象とする撮影においては、撮像画像中のこれら被写体の位置や大きさは固定的ではなく時々刻々と変化する。１枚の静止画のみを処理対象とする場合には、重要度の判定結果は、判定アルゴリズムに応じて一意に決定される。これに対し、スルー画像など動画像から被写体の重要度判定を行なう場合には、各被写体の位置や大きさは、時間軸上で連続するすべての画像フレームにわたって固定的ではなく、時々刻々と変化する。
【０１３６】
上記の計算式（４）又は（５）などを用いた重要度の判定方法は、１枚の静止画から重要度を計算するものである。このため、画像フレーム間で各検出顔の大きさや位置が変化すると、これに伴って、検出顔の重要度すなわち優先順位の判定結果も変動することが想定される。この結果、主役が頻繁に切り替わってしまい、オート・フォーカスや画質補正の動作が時間方向で不安定になってしまう、という問題がある。
【０１３７】
この問題を解決すべく、本発明者らは、スルー画像などの動画像フレームから顔検出により検出された複数の被写体の重要度判定若しくは優先順位付けを行なう際に、以前の画像フレームにおいて判定された優先順位の結果を参照する、という方法を提案する。この方法によれば、画像フレーム内で各被写体の位置や大きさが時々刻々と変化する場合であっても、優先順位決定の結果が時間方向で安定化する。この結果、モニタリング中に検出された被写体に対するオート・フォーカスなどの制御を行なうときに、優先順位の高い被写体（すなわち主役）が頻繁に切り替わる現象を抑制して、安定した制御を実現することができる。
【０１３８】
また、本発明者らは、動画像において被写体の重要度判定若しくは優先順位付けを安定化する他の方法として、画面内で速く動き回る被写体の重要度が低くなる計算式を導入して、このような被写体が主要被写体と判定され難くする方法を提案する。この場合も、優先順位決定の結果が時間方向で安定化する。
【０１３９】
動画像から検出された検出顔の重要度Ｗｆを計算する方法の一例を以下の式（６）に示す。
【０１４０】
Ｗｆ＝（サイズ係数）×（ｒ＿ｓｉｚｅ：画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］） …（６）
【０１４１】
上式（６）の右辺の第３項までは上式（５）の重要度計算式と同様であり、重要な被写体は画面内で大きく且つ画面中央よりに配置される、という前提に基づく。そして、サイズ係数を大きくとることによって、撮像画像中で大きく映されている被写体ほど主要被写体と判定され易くなる。また、ｘ係数並びにｙ係数を大きくとることにより、撮像画像中で水平方向並びに垂直方向のそれぞれで真ん中に近い位置に存在するほど主要被写体と判定され易くなる。
【０１４２】
ここで、スルー画像などの動画像から検出顔の重要度を判定する場合、ある時点の画像フレーム内（あるいは画像フレーム単位）での計算では、式（６）の右辺第３項までは高い値を示したとしても、フレーム間での位置の動きが激しい検出顔に関しては、重要度が高いと判定すると、オート・フォーカスや画質補正の動作が時間方向で不安定になってしまう。そこで、同式（６）の第４項において、画面内での検出顔の平均速さに関するファクタ（ｖ係数）×（平均速さ）を重要度Ｗｆから引き算している。これによって、動きの大きな検出顔の優先順位を抑制するようにしている。また、ｖ係数を大きくすれば、速さが遅いほど主要被写体として判定され易くなる。
【０１４３】
ここで、式（６）の右辺で用いる各係数の基本的な大小関係は、例えば以下の通りである。
【０１４４】
ｖ係数 ＞ サイズ係数 ＞ ｘ係数 ＞ ｙ係数 …（７）
【０１４５】
上記のような大小関係によれば、画面内で動きの早い被写体はまず優先順位を下げるようにすることができる。また、複数の画像フレームにわたって静止している被写体のうち、サイズが大きく且つ、横方向で中心に近いものを優先するようにすることができる。但し、本発明の要旨は、上式（７）に示した係数間の大小関係に必ずしも限定されるものではない。ポートレート撮影、風景撮影、スポーツ撮影といった、カメラに設定する撮影モード若しくは動作モードや、夜景、暗闇といったカメラの撮影環境若しくは動作環境などに応じて、各重み係数の大小関係を動的に変更するようにしてもよい。
【０１４６】
なお、デジタルスチルカメラにおいて「スポーツ・モード」や「動画モード」などの撮影モード、あるいはビデオカメラなどでは、ｖ係数の符号をマイナスにとるか、又は当該係数の絶対値を小さくすることで、上記とは逆に、動いている被写体に対する優先度を上げるようにすることもできる。
【０１４７】
また、スルー画像などの動画像では画像フレーム間で各検出顔の大きさや位置が変化すると、これに伴って、式（６）の右辺第３項までで表される検出顔の重要度Ｗｆの計算結果も変動することが想定される。このような現象に単純に追従すると、主役が頻繁に切り替わってしまい、オート・フォーカスや画質補正の動作が時間方向で不安定になってしまう。そこで、同式（６）では、さらに右辺第５項として、優遇定数を重要度Ｗｆに加算している。ここで言う優遇定数は、前回の優先順位に応じた重み定数である。前回の優先順位が高い検出顔ほどより大きな値の優遇定数を与えることにより、制御周期毎の優先順位の変動を少なくすることで、オート・フォーカスや画質補正の動作を時間方向で安定化するという効果がある。
【０１４８】
優遇定数は、検出顔のサイズや画面中心からの距離などが１０％程度変動しても、前回は最も重要度Ｗｆが高い被写体の優先順位が変動しない程度の値に設定することが望ましい。
【０１４９】
上式（６）に示したような重要度Ｗｆの計算式を用いる場合、図４に示したフローチャート中のステップＳ４における顔の重要度の計算は、図７に示すような処理手順に置き換わる。すなわち、顔のループ（Ｓ３１）では、顔検出部５２で画像内から検出されたすべての顔について、平均速さを計算するとともに（Ｓ３２）、計算された平均速さと前回の優先順位に基づく優遇定数を考慮して、重要度Ｗｆを計算する（ステップＳ３３）。そして、算出された重要度Ｗｆに基づいて、各検出顔の優先順位を更新する（Ｓ３４）。
【０１５０】
なお、図７では、ＰＡＤ（Ｐｒｏｂｌｅｍ Ａｎａｌｙｓｉｓ Ｄｉａｇｒａｍ）と呼ばれる、ＪＩＳフローチャートとは異なるプログラム用チャート記法でアルゴリズムの構造を示している。アルゴリズムは本質的に、連接、反復、選択の３つの基本単位の合成として表現することができ、ＰＡＤはこの３種類を基本単位とした記述方式を採っている。但し、本発明に係る検出顔の優先度獣医を決定する処理は、特定のチャート記法に限定されるものではない。
【０１５１】
上記の重要度判別式（６）では、画像から得られる検出顔の幾何学的な情報として、検出顔のサイズと、画面内での検出顔の位置を利用している。ここで、重要度を決定する上で、画面内の検出顔の位置情報の解釈には幾通りの方法がある。
【０１５２】
上式（６）では画面中心から検出顔までの距離に基づいて重要度を算出しているが、例えば集合写真のように手前から順番に被写体が並んでいる場合には、画面下にある被写体の方がより至近にあることが推測され（図８を参照のこと）、優先すべきと考えられる。そこで、下式（８）のように、「画面中心から検出顔までのｙ距離」ではなく、「画面下端から検出顔までのｙ距離」に基づいて重要度Ｗｆを計算するようにしてもよい。
【０１５３】
Ｗｆ＝（サイズ係数）×（ｒ＿ｓｉｚｅ：画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面下端から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］） …（８）
【０１５４】
また、上式（６）では画面中心から検出顔までの距離に基づいて重要度を算出しているが、例えば背景を考慮して、複数の被写体が画面中心からは隔たった場所に並ぶという構図も考えられる（図９を参照のこと）。このような場合には、下式（９）のように、「画面中心から検出顔までのｘ距離」ではなく、「全被写体の重心から検出顔までのｘ距離」に基づいて重要度Ｗｆを計算するようにしてもよい。
【０１５５】
Ｗｆ＝（サイズ係数）×（ｒ＿ｓｉｚｅ：画面内での検出顔のサイズ）
−（ｘ係数）×（全被写体の重心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］） …（９）
【０１５６】
また、上記の重要度計算式（６）、（８）、（９）ではいずれも、顔検出部５２から出力される検出顔の情報を利用するものであるが、さらにその後段の顔認識部７４における顔認識結果も利用して、重要度の計算を行なうようにしてもよい。顔認識結果をさらに利用して検出顔の重要度Ｗｆを計算する方法の一例を以下の式（１０）に示す。
【０１５７】
Ｗｆ＝（サイズ係数）×（ｒ＿ｓｉｚｅ：画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］）
＋（認識定数） …（１０）
【０１５８】
上式（１０）では、式（６）の右辺に対し、第６項としてさらに認識定数が加算されている。同第６項は、顔認識部７４で登録顔と認識された検出された検出顔に対して、所定の定数を加算して重要度を高めるようにしている。この結果、登録顔が主要被写体として選ばれ易くなる。
【０１５９】
上式（１０）で用いられる認識定数は、学習データ格納部７３に既に登録されている登録顔に対して一様な値を与えるようにしてもよい。あるいは、学習データ格納部７３に登録された順序やその他の規則に従って、例えば下表のように人物毎に認識定数を差別化するようにしてもよい。
【０１６０】
【表１】
【０１６１】
なお、顔認識部１０１は、人物だけでなく、ペットの認識を行なうようにしてもよい。認識顔がペットの場合、人物よりも高い認識定数を与えることが良い。何故ならば、わざわざペットを含んだ構図を決める場合には、ペットが主役である可能性が極めて高いからである。
【０１６２】
上述のようにして、優先順位算出部１０２が決定した優先順位に従って、画像フレーム中の主要な被写体を判定することができる。そして、カメラ制御部１０３は、ＡＦ、ＡＥなどのカメラ・ワークの制御や、ＡＷＢ、シャープネス・再度コントラスト調整、フラッシュ調光や赤目軽減などの画質調整処理を、主要被写体に合わせて実施することができる。
【０１６３】
これまでは、主に顔検出結果に基づいて被写体の重要度・優先順位を算出するシステムに関する実施例について説明してきた。かかる実施例に対し、さらに物体追尾の技術を適用する実施例も考えられる。
【０１６４】
物体追尾はカメラを目的とする物体の動きに合わせて視線方向を動かして、目的物体を追跡する技術である。例えば、本出願人に既に譲渡されている特開２００５−７８３７６号公報には、肌色を用いた追尾を行なう技術について開示されている。
【０１６５】
図１０には、顔認識の結果とともに、肌色追尾の結果に基づいて、ＡＦやＡＥなどのカメラ信号処理や、画質補正などの信号補正処理を行なうための機能的構成を示している。優先順位算出部１０２において決定される各被写体の優先順位は、肌色追尾部１０４にもフィードバックされる。
【０１６６】
また、図１１には、肌色追尾を行なうためのアルゴリズム構造をＰＡＤ形式で示している。
【０１６７】
Ｓ４１では、前回の画像フレームにおける検出結果が１つ以上かどうかを判別する。
【０１６８】
ここで、前回の画像フレーム内で１人の被写体でも顔検出されている場合には、Ｓ４２で、前回は最優先だった顔の色を用いた領域抽出を行なう。
【０１６９】
一方、１人の被写体も検出されていない場合には、ステップＳ４３であらかじめ決まった色（例えば、典型的な肌色）を用いて領域抽出を行なう。
【０１７０】
そして、Ｓ４４ではその結果を用いて色を用いた追尾を行なう。
【０１７１】
これまで説明してきたように、本発明によれば、顔検出結果あるいは顔認識結果から画像フレーム内の各被写体の重要度を算出し、これによって得られた被写体に優先順位を用いて、ＡＦ、ＡＥなどのカメラ・ワークの自動制御や画質調整を好適に行なうことができる。また、本発明に係る被写体の重要度・優先順位の算出方法は、デジタルカメラにおける撮影時だけでなく、撮影画像の再生時においても効果的に利用することができる。
【０１７２】
例えば、従来のデジタルスチルカメラの多くは、撮影画像を再生する際には、単純に記録した順に記録メディア２６から読み出してモニタ２５上に表示出力するに過ぎない。これに対し、本発明に係る被写体の重要度・優先順位の算出技術を搭載したデジタルカメラの場合には、画像フレーム毎に、各被写体の重要度、主役となる被写体、主役の重要度といった数値データを有することができる。したがって、この種の数値データを基に、複数の画像フレームの再生順序や再生方法を制御することができる（図１２を参照のこと）。
【０１７３】
（１）主役となる人物毎に画像フレームをグループ化する。
（２）主役となる被写体の重要度の大きさ順に、画像フレームの再生順序を決定する。
（３）各画像フレームに含まれるすべての（あるいは上位数人までの主要な）被写体が持つ重要度の合計値の大きさ順に、画像フレームの再生順序を決定する。
（４）被写体に与えられた重要度に関する数値データの大きさに基づいて、各画像フレームの再生時間を決定する。例えば、（２）や（３）の方法を基に、画像フレーム毎の重要度を決定し、重要度の高い画像フレームほど再生時間を長くする。
【０１７４】
また、カメラからの映像出力を切り替える場合、ワイプなどの特殊効果（エフェクト）を用いて画面転換を行なう方法が広く知られている。例えば、デジタルスチルカメラやカムコーダなどで撮影された動画像や静止画などの複数のデジタル画像を合成する際、ワイプなどの特殊効果の手法を用いて画面転換若しくはシーン切り替えを行なうことができる。本発明に係る被写体の重要度・優先順位の算出技術を搭載したデジタルカメラの場合には、被写体の重要度を利用して画面遷移処理を効果的に行なうことができる。例えば、重要度の高い上位者にフォーカスしてスライドショーを作成する。あるいは、重要度の高い人の再生時間を長くする、重要度に応じてエフェクト効果などを変更する、といった処理を自動で行なうことができる。
【産業上の利用可能性】
【０１７５】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１７６】
本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。デジタルビデオカメラや、顔画像を含む画像データに対して補正や合成、保存・管理、再生といった処理を行なうその他のさまざまな装置に対しても、同様に本発明を適用することができる。
【０１７７】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【０１７８】
【図１】図１は、本発明の一実施形態に係るデジタルスチルカメラの構成を示した図である。
【図２】図２は、顔認識システムの構成例を示した図である。
【図３】図３は、顔認識の結果に基づいて、ＡＦやＡＥなどのカメラ信号処理や、画質補正などの信号補正処理を行なうための機能的構成を示した図である。
【図４】図４は、顔検出の結果に基づいてデジタルスチルカメラ１における露出制御並びにフラッシュ発光制御を行なうための処理手順を示したフローチャートである。
【図５】図５は、画像信号から検出された顔のサイズ情報及び位置情報に基づいて顔重要度を判定するための処理手順の一例を示したフローチャートである。
【図６】図６は、顔の割合ｒ＿ｓｉｚｅと顔のサイズ重要度因子Ｗｓｉｚｅとの対応を表したグラフである。
【図７】図７は、動画像中の各検出顔の重要度を計算するとともに優先順位を決定するためのアルゴリズム構造を示した図である。
【図８】図８は、手前から順番に被写体が並んでいる撮像画像の一例を示した図である。
【図９】図９は、複数の被写体が画面中心からは隔たった場所に並ぶ構図で撮影された画像の一例を示した図である。
【図１０】図１０は、顔認識の結果とともに、肌色追尾の結果に基づいて、ＡＦやＡＥなどのカメラ信号処理や、画質補正などの信号補正処理を行なうための機能的構成を示した図である。
【図１１】図１１は、肌色追尾を行なうためのアルゴリズム構造をＰＡＤ形式で示した図である。
【図１２】図１２は、被写体の重要度に応じて画像再生を制御する様子を示した図である。
【符号の説明】
【０１７９】
１…デジタルスチルカメラ
１０…光学系
１０ａ…ドライバ
１１…撮像素子
１２…ＡＦＥ部
１３…ＣＤＳ／ＡＧＣ／ＡＤＣブロック
１４…タイミング・ジェネレータ
１５…Ｖドライバ
１６…カメラＤＳＰ部
１７…カメラ信号処理部
１８…解像度変換部
１９…画像コーデック処理部
２０…メモリ制御部
２１…表示制御部
２２…メディア制御部
２３…バス・インターフェース・ユニット
２４…メモリ装置
２５…モニタ・ディスプレイ
２６…記録メディア
２７…制御部
２８…操作部
２９…ＣＰＵ
３０…ＲＡＭ
３１…ＥＥＰＲＯＭ
３２…フラッシュ発光部
５０…顔認識システム
５１…画像取得部
５２…顔検出部
５３…顔画像変換部
５４…顔認識処理部
５５…顔登録データベース
５６…認識結果出力部
６１…顔特徴点検出部
６２…顔アライメント部
７１…局所特徴計算部
７２…認識器生成部
７３…学習データ格納部
７４…顔認識部
１０１…顔認識部
１０２…優先順位算出部
１０３…カメラ制御部
１０４…肌色追跡部
【技術分野】
【０００１】
本発明は、人物などの被写体を含んだ画像データを処理する画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムに係り、特に、画像データに含まれる被写体を検出して該被写体に応じた画像処理を実施する画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、複数の被写体を含んだ画像データを処理する画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムに係り、特に、画像データに含まれる複数の被写体の重要度を判別する画像処理装置及び画像処理方法、重要度の判別結果に基づいて撮像処理を行なう撮像装置、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。
【０００４】
銀塩カメラも、デジタルカメラも、基本的なカメラ・ワークはほとんど同じである。すなわち、撮影者は、まず被写体にフォーカスを合わせ、絞りすなわち露光量を調整し、被写体を含む適当な構図を形成するようフレーミングを行なってから、シャッタを押す。また、手振れを押さえたいときには、撮影者はカメラ本体をしっかりと把持する、あるいはカメラを３脚に取り付ける。
【０００５】
このようなカメラ・ワークに関して自動化技術が進んでおり、このため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。例えば、オート・フォーカス機能（ＡＦ）、自動露光（ＡＥ）、手振れ補正、オート・シャッタなどである。デジタルカメラの場合、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）により撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。
【０００６】
オート・フォーカスや画質補正などの機能は、画像フレーム内に存在する１以上の被写体のうちいずれに合わせて処理を行なうべきである。古くは、ユーザが重要な被写体をマニュアル操作で設定することが行なわれていた。最近では、撮像画像から顔を検出して、その顔に対して自動的にフォーカスを合わせる、あるいは、その顔に合わせて自動的に画質を補正する、といった顔検出を利用した撮像技術が導入されている。
【０００７】
ここで、撮像した画像信号から顔を検出する手法として、例えば、平均的な顔画像をテンプレートとして利用し、入力画像信号とマッチングする手法が当業界において広く知られている（例えば、特許文献１を参照のこと）。また、撮像された顔が傾いていると、顔を正しく検出し難いため、顔の角度を検出して、その検出値に応じて顔の画像を回転させた後、マッチング処理などを行なうなどの手法も知られている。顔の角度を検出する方法としては、顔の中心線を検出し、その中心線らしさを示す度合いを顔の左右対称性に基づいて算出して、その度合いの高い中心線の角度を顔の角度として出力する手法などが挙げられる（例えば、特許文献２を参照のこと）。
【０００８】
また、顔検出を利用した撮像技術として、光学系を解して得られた画像信号の中から顔画像を検出したことに応答して、被写体の撮影を実行するレリーズ・ボタンを押下するデジタルカメラ撮像装置について提案がなされている（例えば、特許文献３を参照のこと）。
【０００９】
また、撮像画像のうち被写体の顔の部分を検出するとともに、検出顔に対して赤目現象を軽減する画像処理を行なう電子カメラについて提案がなされている（例えば、特許文献４を参照のこと）。
【００１０】
上述したような顔検出を利用したカメラ・ワークの自動化技術や画像処理技術は、当然ながら、顔の検出精度が高いほど、ユーザにとって利便性の高い有効な機能となる。すなわち、検出された顔が、撮像者にとって重要であるか否かを判定する機能を備えていれば、必要な顔に対して確実に、フォーカス合わせや画質補正などを行なうことが可能となる。
【００１１】
例えば、画像データをＲＡＷ圧縮方式で圧縮されたデータの状態でメモリ空間Ａに記憶する一方で、画像データにγ補正、補間処理、マトリクス変換などを施して作成した映像データをメモリ空間Ｂに記憶し、より容量の小さいメモリ空間Ｂの画像データを基に短い時間で顔領域の検出を行なうことで、人物の動きや手振れに強い撮影装置について提案がなされている（例えば、特許文献５を参照のこと）。
【００１２】
また、被写体の顔全体にピントが合うように、まず目に焦点を合わせ、その焦点距離を中心にその前後１０ｃｍが略合焦するように被写体深度を設定する電子スチルカメラについて提案がなされている（例えば、特許文献６を参照のこと）。
【００１３】
しかし、実際には、検出した顔が撮像者にとって本当にフォーカス合わせや画質補正の対象とすべきものであるとは限らず、必要のない顔に対して、フォーカス合わせや画質補正が行なわれる場合もあり得る。とりわけ、撮像画像内に２人以上の被写体が写っているときには、誰に対してフォーカス合わせを行なうべきか（言い換えれば、どの被写体を「主役」とすべきか）、判断が難しくなる。
【００１４】
直感的には、撮像画像の中央付近に写っている被写体や、画像内で大きなサイズで写っている被写体は重要度が高く、主役と推定することができる。したがって、撮像画像に写っている被写体を顔検出処理などによって特定した後、各被写体の画像中心からの距離や被写体領域の大きさに基づいて優先順位付けして、主役判定を行なうことができる。
【００１５】
例えば、画像信号から検出された顔のサイズ情報及び位置情報を取得し、サイズ情報に基づいて第１の重要度因子を演算するとともに、位置情報に基づいて第２の重要度因子を演算し、これら第１及び第２の重要度因子に基づいて、最終的な重要度を演算することで、撮影者にとっての重要度をより精度よく判定できるようにした顔重要度判定装置について提案がなされている（例えば、本出願人に既に譲渡されている特願２００６−２０１３７号明細書を参照のこと）。
【００１６】
また、対象物の容貌に関する情報をあらかじめ記録しておき、画像データの中から顔検出を行なって、検出顔のうち所定の容貌と一致するものを検出して、この対象物に対して焦点合わせを行なう撮像装置について提案がなされている（例えば、特許文献７を参照のこと）。同撮像装置は、対象物の容貌に関する情報を優先度とともに記録しておき、複数の人物が画像データ内に存在するときには、優先度の高い顔貌の順に一致判定を行なうようになっている。
【００１７】
また、画像データに含まれる人物の目を検出して、検出された目の位置や大きさに基づいてフォーカス枠を設定するとともに、フォーカス枠毎に合焦点位置を検出し、各合焦点位置のうち最至近のものを最終的な合焦点位置に決定する焦点調節装置について提案がなされている（例えば、特許文献８を参照のこと）。この場合、最至近であることが主役判定の基準となる。
【００１８】
また、スルー画像を利用して顔検出を行なうときには、顔検出を行なっていないときよりもスルー画像の輝度を上げて顔検出し易くするデジタルカメラについて提案がなされている（例えば、特許文献９を参照のこと）。このデジタルカメラでは、複数の顔が検出された場合には、一番大きい又は最至近の顔の枠がＡＦエリアに設定されるようになっている。
【００１９】
また、検出した顔のうち距離が最も近い顔に焦点が合うように撮影レンズの焦点調整を行なうとともに、液晶表示器には焦点が合わされた顔を囲む枠を表示し、枠で囲まれた顔が所望の人物の顔でないときには十字キーなどのユーザ操作によって他の顔に枠を移動する撮像装置について提案がなされている（例えば、特許文献１０を参照のこと）。この撮像装置は、基本的には、最至近であることが主役判定の基準となる。
【００２０】
しかしながら、人物やペットなどの動物を対象とする撮影においては、撮像画像中のこれら被写体の位置や大きさは固定的ではなく時々刻々と変化する。言い換えれば、スルー画像や動画像においては、主役となる被写体の判定結果が頻繁に切り替わり、オート・フォーカスや画質補正の動作が時間方向で不安定になってしまう、という問題がある。
【００２１】
【特許文献１】特開２００３−２７１９３３号公報（段落００５１〜００５３、図６）
【特許文献２】特開平９−１７１５６０号公報（段落００３２〜００４４、図４）
【特許文献３】特開２００３−９２７００号公報
【特許文献４】特開２００５−８６２７１号公報
【特許文献５】特開２００５−３１８５５４号公報
【特許文献６】特許第３１６４６９２号公報
【特許文献７】特開２００２−３３３６５２号公報
【特許文献８】特開２００５−１２８１５６号公報
【特許文献９】特開２００６−３３４３７号公報
【特許文献１０】特開２００６−１４５６２９号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
本発明の目的は、画像データに含まれる被写体を検出して該被写体に応じた画像処理を好適に実施することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
【００２３】
本発明のさらなる目的は、画像データに含まれる複数の被写体の重要度をより正確に判別するとともに、重要度の高い被写体に応じた画像処理を好適に実施することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
【００２４】
本発明のさらなる目的は、時間とともに各被写体の位置や大きさが変化する画像データの中から重要度の高い被写体を検出する処理を安定化するとともに、重要度の高い被写体に応じた画像処理を好適に実施することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００２５】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、顔画像を含む画像情報を処理する画像処理装置であって、
画像フレーム内から顔画像を検出する顔検出手段と、
前記顔検出手段により検出された各検出顔の重要度を判定する重要度判定手段と、
前記重要度判定手段により判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定手段を備え、
前記重要度判定手段は、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定手段により前回までに決定された優先順位を考慮して、重要度を判定する、
ことを特徴とする画像処理装置である。
【００２６】
最近では、オート・フォーカス機能（ＡＦ）、自動露光（ＡＥ）、手振れ補正、オート・シャッタといった、カメラ・ワークに関する自動化技術が進んでいる。とりわけデジタルカメラの場合、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。
【００２７】
オート・フォーカスや画質補正などの機能は、画像フレーム内に存在する１以上の被写体のうちいずれに合わせて処理を行なうべきであり、顔検出技術を利用して、画像内の検出顔を対象として、ＡＥ、ＡＦ、画質補正を行なう技術が導入されている。ここで、撮像画像内に２人以上の被写体が写っているときには、誰に対してフォーカス合わせを行なうべきか（言い換えれば、どの被写体を「主役」とすべきか）を適切に判定する必要がある。
【００２８】
直感的には、撮像画像の中央付近に写っている被写体や、画像内で大きなサイズで写っている被写体は重要度が高く、主役と推定することができる。しかしながら、スルー画像などの動画像から顔検出を行なう場合には、被写体の位置や大きさは固定的ではなく時々刻々と変化することから、主役が頻繁に切り替わってしまい、オート・フォーカスや画質補正の動作が時間方向で不安定になってしまう、という問題がある。
【００２９】
そこで、本発明では、スルー画像などの動画像フレームから顔検出により検出された複数の被写体の重要度判定若しくは優先順位付けを行なう際に、以前の画像フレームにおいて判定された優先順位の結果を参照する、という方法を採用している。このような方法によれば、画像フレーム内で各被写体の位置や大きさが時々刻々と変化する場合であっても、優先順位決定の結果が時間方向で安定化する。この結果、モニタリング中に検出された被写体に対するオート・フォーカスなどの制御を行なうときに、優先順位の高い被写体（すなわち主役）が頻繁に切り替わる現象を抑制して、安定した制御を実現することができる。
【００３０】
また、本発明では、画面内で速く動き回る被写体の重要度を低く抑制する判定方法を導入することによって、優先順位決定の結果が時間方向で安定化するようにしている。
【００３１】
本発明では、動画像に含まれる１以上の検出顔のそれぞれについて、例えば下式に従って重要度Ｗｆを算出し、重要度に基づいて各検出顔の優先順位を決定する。そして、デジタルカメラなどにおいて、ＡＦやＡＥといったカメラ制御を行なうときや、ＡＷＢやその他の画質調整を行なうときには、優先順位の高い検出顔に応じてこれらの処理を実施する。
【００３２】
Ｗｆ＝（サイズ係数）×（画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］）
【００３３】
上記の重要度計算式において、サイズ係数を大きくとることによって、撮像画像中で大きく映されている被写体ほど主要被写体と判定され易くなる。また、ｘ係数並びにｙ係数を大きくとることにより、撮像画像中で水平方向並びに垂直方向のそれぞれで真ん中に近い位置に存在するほど主要被写体と判定され易くなる。
【００３４】
また、上記の重要度計算式において、画面内での検出顔の平均速さに関するファクタ（ｖ係数）×（平均速さ）を重要度Ｗｆから引き算することによって、動きの大きな検出顔の優先順位を抑制するようにしている。また、ｖ係数を大きくすれば、速さが遅いほど主要被写体として判定され易くなる。
【００３５】
ここで、上記の重要度計算式の右辺で用いる各係数の基本的な大小関係は、例えば以下の通りである。
【００３６】
ｖ係数 ＞ サイズ係数 ＞ ｘ係数 ＞ ｙ係数
【００３７】
上記のような大小関係によれば、画面内で動きの早い被写体はまず優先順位を下げるようにすることができる。また、複数の画像フレームにわたって静止している被写体のうち、サイズが大きく且つ、横方向で中心に近いものを優先するようにすることができる。但し、本発明の要旨は、上式に示した係数間の大小関係に必ずしも限定されるものではない。ポートレート撮影、風景撮影、スポーツ撮影といった、カメラに設定する撮影モード若しくは動作モードや、夜景、暗闇といったカメラの撮影環境若しくは動作環境などに応じて、各重み係数の大小関係を動的に変更するようにしてもよい。
【００３８】
また、上記の重要度計算式において、さらに右辺第５項として、優遇定数を重要度Ｗｆに加算している。ここで言う優遇定数は、前回の優先順位に応じた重み定数であり、前回の優先順位が高い検出顔ほどより大きな値の優遇定数を与えることにより、制御周期毎の優先順位の変動を少なくすることで、オート・フォーカスや画質補正の動作を時間方向で安定化するという効果がある。優遇定数は、検出顔のサイズや画面中心からの距離などが１０％程度変動しても、前回は最も重要度Ｗｆが高い被写体の優先順位が変動しない程度の値に設定することが望ましい。
【００３９】
また、例えば集合写真のように手前から順番に被写体が並んでいる場合には、画面下にある被写体の方がより至近にあることが推測されることから、下方の被写体ほど優先して取り扱うよう、重要度の計算式を以下のように変形してもよい。
【００４０】
Ｗｆ＝（サイズ係数）×（画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面下端から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］）
【００４１】
また、背景を考慮した構図などの場合には、複数の被写体が画面中心からは隔たった場所に並ぶこともある。そこで、下式のように、「画面中心から検出顔までのｘ距離」ではなく、「全被写体の重心からのｘ距離」に基づいて重要度Ｗｆを計算するようにしてもよい。
【００４２】
Ｗｆ＝（サイズ係数）×（画面内での検出顔のサイズ）
−（ｘ係数）×（全被写体の重心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］）
【００４３】
また、検出顔の情報だけでなく、さらに顔認識結果も利用して、重要度の計算を行なうようにしてもよい。顔認識結果をさらに利用して検出顔の重要度Ｗｆを計算する方法の一例を以下の式に示す。
【００４４】
Ｗｆ＝（サイズ係数）×（画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］）
＋（認識定数）
【００４５】
上式に示す重要度計算式によれば、検出顔が顔認識部において既に登録されている登録顔である場合には主要被写体と判定され易くなる。
【００４６】
上述したように、本発明に係る画像処理装置によれば、複数の被写体を写した動画像から、主要な被写体を安定して判定することができる。そして、このような技術をデジタルカメラなどの撮像装置に適用すれば、ＡＦ、ＡＥなどのカメラ・ワークの制御や、ＡＷＢ、シャープネス・再度コントラスト調整、フラッシュ調光や赤目軽減などの画質調整処理を、主要被写体に合わせて実施することができる。
【００４７】
また、本発明の第２の側面は、顔画像を含む画像情報の処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
画像情報を入力する画像入力手順と、
入力された画像情報の画像フレーム内から顔画像を検出する顔検出手順と、
前記顔検出手順を実行して検出された各検出顔の重要度を判定する重要度判定手順と、
前記重要度判定手順を実行して判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定手順を実行させ、
前記重要度判定手順では、前記コンピュータに対し、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定手段により前回までに決定された優先順位を考慮して、重要度を判定させる、
ことを特徴とするコンピュータ・プログラムである。
【００４８】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００４９】
本発明によれば、画像データに含まれる複数の被写体の重要度をより正確に判別するとともに、重要度の高い被写体に応じた画像処理を好適に実施することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。
【００５０】
また、本発明によれば、時間とともに各被写体の位置や大きさが変化する画像データの中から重要度の高い被写体を検出する処理を安定化するとともに、重要度の高い被写体に応じた画像処理を好適に実施することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。
【００５１】
本発明では、スルー画像などの動画像フレームから顔検出により検出された複数の被写体の重要度判定若しくは優先順位付けを行なう際に、以前の画像フレームにおいて判定された優先順位の結果を参照することで、画像フレーム内で各被写体の位置や大きさが時々刻々と変化する場合であっても、優先順位決定の結果が時間方向で安定化する。この結果、モニタリング中に検出された被写体に対するオート・フォーカスなどの制御を行なうときに、優先順位の高い被写体（すなわち主役）が頻繁に切り替わる現象を抑制して、安定した制御を実現することができる。
【００５２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００５３】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００５４】
図１には、本発明の一実施形態に係るデジタルスチルカメラの構成を示している。
【００５５】
図示のデジタルスチルカメラ１は、撮像素子１１と、前処理部１２と、カメラ・デジタル信号処理部（ＤＳＰ）１６で構成され、
【００５６】
光学系１０は、被写体からの光を撮像素子１１に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像素子１１に入射させるシャッタ機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構（いずれも図示しない）を含んでいる。ドライバ１０ａは、後述するＣＰＵ２９からの制御信号に基づいて、光学系１０内の各機構の駆動を制御する。
【００５７】
撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換効果を持つ各画素が２次元に配列され、被写体からの入射光を電気信号に変換する。受光側には例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。なお、撮像素子１１から出力されるアナログ画像信号は、ＲＧＢ各色の原色信号であるが、補色系の色信号であってもよい。
【００５８】
ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部１２は、ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３と、タイミング・ジェネレータ１４と、Ｖドライバ１５を備え、例えば１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップとして構成される。
【００５９】
ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３では、画素信号中の撮像素子２１１から受ける信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、サンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかけて、ＡＤ変換を施してデジタル画像信号を出力する。
【００６０】
タイミング・ジェネレータ１４は、撮像素子１１を駆動するためのタイミング・パルス信号を生成する。そして、Ｖドライバ１５は、このタイミング・パルス信号に従って、撮像素子１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。
【００６１】
カメラＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）部１６は、カメラ信号処理部１７と、解像度変換部１８と、画像コーデック処理部１９と、メモリ制御部２０と、表示制御部２１と、メディア制御部２２を備え、例えば１つのＩＣチップとして構成されている。
【００６２】
カメラ信号処理部１７は、ＡＦＥ部１２から送られてくる画像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御などの前処理を施した後、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）によりホワイトバランス・ゲインを掛けるとともに、シャープネス・再度コントラスト調整などの画質補正処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する（画質調整には、フラッシュ調光や赤目軽減などの処理を含めることができる）。また、カメラ信号処理部１７は、ＲＧＢ画像信号に対してγ補正を施し、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。また、カメラ信号処理部１７では、ＡＦＥ部１３の出力画像信号を基に、輝度情報を検波し、所定範囲毎のヒストグラムを算出するヒストグラム検波、並びに所定範囲毎に色情報を検波する色検波が行なわれる。ヒストグラム検波並びに色検波の結果は、後述する制御部２７に出力される。
【００６３】
解像度変換部１８は、画像のサイズの変更を行なう。画像コーデック処理部２１９は、ＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換し、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの符号化処理を行なう。
【００６４】
メモリ制御部２０は、撮影した画像情報などのデータを、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）などからなるメモリ装置２４に対して書き込みや読み出しを行なうためのアクセス動作を制御する。
【００６５】
モニタ・ディスプレイ２５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などで構成される。表示制御部２１は、モニタ・ディスプレイ２５の駆動を制御し、カメラ信号処理部１７から出力された画像データや、メモリ装置２４に保持されている画像データを、モニタ・ディスプレイ２５に表示するための信号に変換して、モニタ・ディスプレイ２５に出力する。また、後述する制御部２７からの要求に応じて、メニュー画面や各種設定画面、各種警告情報などを合成して、ＯＳＤ（Ｏｎ ＳＣｒｅｅｎ Ｄｉｓｐｌａｙ）出力する。
【００６６】
メディア制御部２２は、メモリスティック（登録商標）などの着脱可能な記録メディア２６を装填するためのスロットを備え、記録メディア２６へのデータの書き込みや読み出しを行なう。メディア制御部２２は、例えば、メモリ装置２４に保持されている撮影画像ファイルを記録メディア２６に記録する。
【００６７】
また、カメラＤＳＰ部１６は、バス・インターフェース・ユニット（ＢＩＵ）２３を介して制御部２７に接続されている。制御部２７は、シャッタボタンやズーム、その他のカメラ・ワークなどをユーザが指示するための操作部２８と、ユーザ操作に応じて当該装置全体の動作を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９と、ＣＰＵ２９にとっての主記憶メモリであるＲＡＭ３０と、プログラム・コードや装置情報などを不揮発的に保持するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）３１などで構成される。
【００６８】
操作部２８は、例えば、シャッタ・レリーズ・ボタンやフラッシュ発行のオン／オフなどの各種設定を行なうためのキーやダイヤルなどを備え、これらへのユーザ操作に応じた制御信号がＣＰＵ２９に入力される。
【００６９】
フラッシュ発光部３２は、制御部２７からのフラッシュ制御情報に従って、フラッシュを発光する。
【００７０】
このデジタルスチルカメラ１では、撮像素子１１によって受光されて光電変換された信号が、順次ＡＦＥ部１２に供給され、ＣＤＳ処理やＡＦＥ処理が施された後、デジタル信号に変換される。カメラ信号処理部１７は、ＡＦＥ部１２から供給されたデジタル画像信号を画質補正し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換して出力する。
【００７１】
カメラ信号処理部１７から出力された画像データは、表示制御部２１によって表示用の画像信号に変換され、モニタ・ディスプレイ２５上でスルー画像が表示される。また、操作部２８を介したユーザ操作などで制御部２７に画像の記録が指示されると、カメラ信号処理部１７からの画像データは画像コーデック処理部１９に供給され、所定の圧縮符号化処理が施されて、メモリ制御部２０を通じてメモリ装置２４に保存され、あるいはメディア制御部２２を通じて記録メディア２６に保存される。静止画像の記録の際には、カメラ信号処理部１７からは１フレーム分の画像データが画像コーデック処理部１９に供給される。また、動画像の記録の際には、処理された画像データが画像コーデック処理部１９に連続的に供給される。
【００７２】
本実施形態では、顔認識の結果に基づいて、ＡＦやＡＥなどのカメラ信号処理や、画質補正などの信号補正処理を行なうようになっている。このため、制御部２７では、ＣＰＵ２９が所定の制御プログラムを実行することによって、上記のカメラ信号処理によって得られた画像信号から被写体となる顔画像の顔認識処理を行なう。ここで、画像データ中に２以上の顔画像が含まれている場合には、これらの重要度判別若しくは優先順位付けを行なう。そして、制御部２７は、最も優先順位の高い被写体を対象としてＡＦ、ＡＥを行なうための制御信号をドライバ１１ａに出力する。あるいは、制御部２７は、最も優先順位の高い被写体を対象としてＡＦやＡＥなどのカメラ信号処理、あるいはＡＷＢやその他の画質補正処理を行なうための制御信号をカメラＤＳＰ部１３内のカメラ信号処理部１７に出力する。
【００７３】
ここで、顔認識のシステムは、画像認識処理を実行し、その人物が登録された人物か否かを判定する処理を実行するが、顔検出と顔識別という２つの処理で構成される。顔検出とは、画像データから顔画像を検出しその顔領域を抽出する処理のことであり、ある１枚の画像（１枚の写真や動画像の１ピクチャ（フィールド又はフレーム）に当たる）に対して、人物顔を検出しその位置と大きさを出力する。一方、顔認識とは、検出されたある１個の顔が以前に登録された顔と同一人物かを識別することを言う。
【００７４】
図２には、顔認識システムの構成例を示している。図示のシステム５０は、画像取得部５１と、顔検出部５２と、顔画像変換部５３と、顔認識処理部５４と、顔登録データベース５５と、認識結果出力部５６で構成され、学習モードと認識モードの２つの動作モードで動作する。学習モード下では、学習用の画像を用いて認識処理を学習し、認識モードにおける認識処理に用いる認識器を生成する処理を実行する。また、認識モード下では、学習モードによって生成された認識器を用いて画像を認識し、認識対象の画像が、登録された人物の顔を含むものであるか否かを判定する処理を実行する。
【００７５】
顔認識システムが図１に示したデジタルスチルカメラ１に搭載されている場合、画像取得部５１は、例えばカメラ信号処理部１７から撮影画像を取得する。取得される画像には、人の顔の部分が少なくとも含まれる画像であるとする。学習モード下では、例えば、撮像画像中の顔の大きさや向きが異なるような学習用画像を、ある人物において複数取得するとともに、その人物の顔の画像を含まない画像を複数取得する。また、認識モード下では、認識対象となる人物の顔の部分を含む撮像画像を取得する。画像取得部５１に取得された画像は、顔検出部５２に供給される。
【００７６】
顔検出部５２は、画像取得部５１から供給された画像を解析することにより、人の顔の部分（顔の位置と大きさ）を抽出し、抽出された人の顔の部分の画像すなわち「顔画像」を検出する。画像取得部５１から供給される画像は、認識対象となる人物（若しくはペットなどの動物）の顔を含む画像であるが、例えば、全身像が撮影されているような画像など、顔の画像だけでない場合もある。顔検出部５２は、そのような画像から、人の顔の領域を判断し、人の顔の部分に対応する画像を抽出する。検出された顔画像は、顔画像変換部５３内の顔特徴点検出部６１及び顔アライメント部６２に供給される。
【００７７】
顔画像変換部５３は、顔特徴点検出部６１と、顔アライメント部６２で構成される。
【００７８】
顔特徴点検出部６１は、顔検出部５２から供給された顔画像とから、顔アライメント部６２によるモーフィング処理に用いられるアライメント用特徴点を検出する。アライメント用特徴点は、例えば、目、鼻、口といった人の顔の中でも特徴となる部分、すなわち顔特徴部分であっても良いし、顔特徴部分のみならず、さらに詳細に部分分けして特徴点を検出するようにしても良い。例えば、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ）などの方法などを適用して、特徴位置を検出することが可能である。
【００７９】
顔アライメント部６２は、顔検出部３２から供給された顔画像、及び、顔特徴点検出部６１により検出されたアライメント用特徴点を解析することにより、抽出された顔がどの方向を向いているかを検出し、顔特徴位置が基準位置にくるように、アフィン変換などのモーフィング処理を行なう。例えば、正面から見た顔の画像である場合には、左右の目が水平な位置に所定の距離だけ離間し、左右の目の中間の下方に鼻が位置し、その鼻よりさらに下方に口が位置するようにモーフィング処理が行なわれ、顔検出部５２から供給された顔画像が正面を向いていないものであっても、正面を向いた場合の顔画像と略同様なものに変換される。その結果、画像取得部５１により取得された顔画像が正面を向いていない場合であっても、後段の顔認識処理部５４では顔画像の識別が可能になる。
【００８０】
顔認識処理部５４は、局所特徴計算部７１と、認識器生成部７２と、学習データ格納部７３と、顔認識部７４で構成される。
【００８１】
抽出された特徴点が基準位置に直された顔画像は、顔認識処理部５４内の局所特徴計算部７１に供給される。局所特徴計算部７１は、供給された顔画像の複数の特徴点における局所的な特徴量を計算する。局所特徴量を求めるための特徴点は、顔特徴点検出部５１において検出されたアライメント用特徴点と同一であっても良いし、顔特徴点検出部５１において検出されたアライメント特徴点とは全く異なる複数の点であっても良い。
【００８２】
局所特徴計算部７１は、方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、顔画像の特徴量を抽出する「ガボア・フィルタ（Ｇａｂｏｒ Ｆｉｌｔｅｒ）」で構成される。人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判明されている。これは、垂直の線に対して発火する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタは、これと同様に、方向選択性を持つ複数のフィルタで構成される空間フィルタである。ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。フィルタ窓の大きさは例えば２４×２４固定とする。また、周波数ｆを５種類、角度θを８方向とすると、４０種類のガボア・フィルタが構成される。
【００８３】
ガボア・フィルタの演算は、ガボア・フィルタを適用する画素とガボア・フィルタの係数との畳み込みである。ガボア・フィルタの係数は、周波数応答がコサイン関数からなる実部と周波数応答がサイン関数からなる虚部に分離することができ、それぞれに畳み込み演算を実施し、それぞれの成分を合成して１個のスカラ値からなるガボア・フィルタ結果を求めることができる。このような演算を、周波数ｆと角度θを切り替えながら最大４０種類のガボア・フィルタを適用することによって、最大４０個のスカラ値の組からなる特徴量ベクトルすなわち「ガボア・ジェット」を得ることができる。顔画像データ上で水平方向及び垂直方向に一定間隔で検出される特徴量抽出位置毎に、局所特徴量としてガボア・ジェットが求められる。ガボア・ジェットは、特徴量抽出位置のある程度の位置のずれや変形に対して、不変であるという特徴を有している。
【００８４】
局所特徴計算部７１は、学習モード下では、それぞれの特徴点において、４０以下のパラメータを有する複数の特徴量ベクトルを、認識器生成部７２に供給する。また、局所特徴計算部７１は、認識モード下では、学習データ格納部７３に格納されている認識用特徴量に基づいて、対応する特徴点の対応する局所特徴量を計算し、顔認識部７４に供給する。認識用特徴量とは、認識器生成部７２において学習により生成された認識器において用いられているのが、いずれの特徴点のどの局所特徴量（ガボア・フィルタのどの部分）であるかを示す情報である。これにより、認識器の生成、及び、顔認識時に実行される相関係数の算出を、それぞれの特徴点において、すべての次元を用いた特徴量ベクトルによる１種類の相関係数だけはなく、一部の次元を用いた特徴量ベクトルを含む複数の相関係数について行なうことが可能となる。換言すれば、それぞれ異なる次元の複数の特徴量を学習及び認識に用いることが可能となる。
【００８５】
認識器生成部７２は、学習モード下では、局所特徴計算部７１により算出された学習用画像の特徴量と、あらかじめ保持している学習用モデルの特徴量とを用いて、Ａｄａｂｏｏｓｔを利用した統計学習処理を実行し、認識モード下では認識処理に用いる認識器を生成し、生成された認識器と、その認識器に関する情報（相関値と、その認識器の確からしさを示す情報）を学習データ格納部７３に記憶させる。また、認識器生成部７２は、認識器の学習の過程で、対象となる顔画像を認識するのに大きく影響するモデル特徴量のみを抽出し、認識器において用いられているのがいずれの特徴点のどの局所特徴量（ガボ・アフィルタのどの矩形領域部分）であるかを示す情報である認識用特徴量として、学習データ格納部７３に供給して記憶させる。
【００８６】
ここで、Ａｄａｂｏｏｓｔとは、「ランダムよりも少し良い弱い識別器」（ＷｅａｋＬｅａｒｎｅｒとも呼ぶ）を多数組み合わせることで、「強い識別器」を構築できるとする理論であり、１９９６年にＦｒｅｕｎｄらによって提案されているものである。認識器生成部７２により生成される認識器は、この「ランダムよりも少し良い弱い識別器」であり、それぞれの認識機は、自分の前に生成された認識機が不得意とする認識に重みを置くようにして生成される。そして、認識処理では、それぞれの弱認識器がどのくらい信頼をおけるかによって信頼度を求め、それに基づき多数決を行なう。
【００８７】
学習データ格納部７３には、認識器生成部７２により生成された認識器とその認識器に関する情報、及び、認識用特徴量が格納される。
【００８８】
顔認識部７４は、認識モードにおいて、学習データ格納部７３に格納されている認識器を用いて、局所特徴計算部７１により算出された特徴量と、顔登録データベース３５に登録されている登録顔画像データの相関係数を計算し、登録されている人物と一致するか否かを判断し、判断結果を認識結果出力部３６に供給する。すなわち、顔認識部７４は、学習データ格納部７３に格納されている認識器の信頼度に基づいて、認識器の判定結果の多数決を行ない、登録されている人物と一致するか否かの判断を実行する。
【００８９】
顔登録データベース５５には、登録されている人物の認識に必要な特徴量の情報が登録されている。顔登録データベース３５には、登録されている人物の顔画像のすべての特徴点におけるすべてのガボア・ジェット（前述）が登録されていても良いが、少なくとも、認識用特徴量に対応する特徴量の情報が登録されていればよい。
【００９０】
認識結果出力部５６は、顔認識部７４から供給された判断結果を出力する。例えば、入力された画像に含まれる顔画像と一致する登録顔画像が、顔登録データベース５５に登録されていた場合、一致していると判定された登録顔画像に関連付けられている人の名前などの情報が顔登録データベース５５から読み出され、その名前などの情報が、認識結果出力部３６から出力される。
【００９１】
なお、顔認識システムの詳細に関しては、例えば本出願人に既に譲渡されている特願２００６−３３２３０２号明細書を参照されたい。
【００９２】
最近のデジタルカメラでは、カメラ・ワークや画質補正に関して自動化技術の導入が進められている。この種の自動化技術は、顔認識技術と組み合わせて、画像データ中の被写体を特定することで、さらに利便性が高まる。
【００９３】
図３には、顔認識の結果に基づいて、ＡＦやＡＥなどのカメラ信号処理や、画質補正などの信号補正処理を行なうための機能的構成例を示している。図示の機能ブロックは、顔認識部１０１と、優先順位算出部１０２と、カメラ制御部１０３で構成される。各機能モジュール１０１〜１０３は、実際には、ＣＰＵ２７において所定の制御プログラムを実行することによって構築される。また、顔認識部１０１は、図２に示した顔認識システムによって構成されるものとする。
【００９４】
顔認識部１０１には、カメラＤＳＰ部１３内のカメラ信号処理部１７からスルー画像が供給される。そして、上述した顔検出並びに顔認識処理が実施され、画像フレーム中の各検出顔の位置と大きさなどの顔検出結果、並びに各検出顔に一致する人物の情報などの顔認識結果が後段の優先順位算出部１０２に出力される。ここで、顔検出処理はスルー画像を構成する画像フレーム毎（若しくは所定フレーム間隔）に実施され、検出顔の情報が逐次優先順位算出部１０２に出力されるものとする。
【００９５】
優先順位算出部１０２は、画像フレームに含まれる各検出顔について、顔検出結果や顔認識結果に基づいて重要度（スコア）Ｗｆを計算し、それぞれのスコア値に従って、各検出顔に優先順位を付与して、その結果をカメラ制御部１０３に出力する。
【００９６】
スルー画像などの動画像フレームから顔検出により検出された複数の被写体の重要度判定を行なう際、画像フレーム内で各被写体の位置や大きさが時々刻々と変化することから、優先順位決定の結果が時間方向で不安定になる、すなわち画像フレーム内の主役が頻繁に切り換わってしまうという事態が想定される。そこで、本実施形態では、以前の画像フレームにおいて判定された優先順位の結果を参照することで、優先順位決定の結果が時間方向で安定化するようにしている。優先順位算出の処理手順の詳細については後述に譲る。
【００９７】
カメラ制御部１０３は、優先順位算出部１０２から各検出顔の優先順位を受け取ると、優先順位の高い検出顔に合わせてオート・フォーカスや画質補正などの機能を実現するための制御信号を出力する。具体的には、光学系１１を駆動するドライバ１１ａに対して、ＡＦ、ＡＥに関する制御信号を出力する。あるいは、カメラ信号処理部１７に対してＡＦやＡＥなどのカメラ信号処理、又はＡＷＢなどの画質調整処理を実施するための制御信号を出力する。あるいは、フラッシュ発光部３２に対してフラッシュ発光のタイミングを制御する。
【００９８】
顔検出を利用したカメラ・ワークの自動化技術や画像処理技術は、当然ながら、顔の検出精度が高いほど、ユーザにとって利便性の高い有効な機能となる。画像フレーム内に２人以上の被写体が写っているときには、誰に対してフォーカス合わせを行なうべきか判断が難しくなる。これに対し、本実施形態では、動画像フレームに対して重要度判定を行なう際に、以前の画像フレームにおいて判定された優先順位の結果を参照することで、優先順位決定の結果が時間方向で安定化するようにしている。したがって、カメラ制御部１０３においても、フォーカスや画質補正を行なう対象となる被写体が時間方向で安定するので、ひいてはカメラ制御も時間変動が抑制され安定化する。
【００９９】
続いて、顔検出の結果に基づいてデジタルスチルカメラ１における露出制御並びにフラッシュ発光制御を行なうための処理動作について説明する。撮像素子１１を介して取り込まれた画像フレーム中に複数の被写体が写っている場合には、各検出顔について重要度若しくは優先順位を求め、重要度の高い検出顔を主役として露出制御並びにフラッシュ発光制御が行なわれるものとする。図４には、その処理手順をフローチャートの形式で示している。
【０１００】
まず、カメラ制御部１０３は、カメラ信号処理部１７からの画像信号の検波値に基づいて、通常のＡＥ制御方法で、露出制御量及びフラッシュ制御情報を計算する（ステップＳ１）。
【０１０１】
ここで言う「通常のＡＥ制御方法」とは、以下のステップＳ２〜Ｓ１０に示すような顔の検出結果を用いずに、従来からの一般的な処理によって露出制御量及びフラッシュ制御情報を演算する処理のことであり、基本的には、画面全体の撮像画像信号から検波した輝度情報などに基づいて露出制御量及びフラッシュ制御情報を演算する。また、露出制御量は、例えば、光学系１０内のアイリスの開度、メカニカル・シャッタ及び撮像素子１１での電子シャッタ（あるいはそれらの一方）によるシャッタ速度、ＡＦＥ部１２内のＡＧＣのゲイン量などを制御するための値であり、フラッシュ制御情報は、フラッシュ発光部３２の発光動作を制御するための情報である。
【０１０２】
次いで、顔検出部５２は、カメラ信号処理部１７の出力画像から、人間の顔を検出する（ステップＳ２）。
【０１０３】
ここで、顔認識部１０１は、顔検出部５２により顔が検出されたか否かを判定する（ステップＳ３）。画像フレームから顔が検出された場合には（ステップＳ３のＹｅｓ）、後続のステップＳ４に進むが、顔が検出されなかった場合には（ステップＳ３のＮｏ）、上記のステップＳ１で計算した露出制御量及びフラッシュ制御情報を最終的な値として確定し、本処理ルーチン全体を終了する。
【０１０４】
ステップＳ４では、優先順位判定部１０２は、顔認識部１０１から画像フレーム中の各検出顔の位置と大きさなどの顔検出結果、並びに各検出顔に一致する人物の情報などの顔認識結果を受け取ると、顔検出結果又は顔認識結果のうち少なくとも一方を用いて、各検出顔の重要度Ｗｆを計算する。そして、ステップＳ５では、優先順位判定部１０２は、計算された重要度が一定値より高い顔があるか否かを判定する。
【０１０５】
そして、重要度Ｗｆが一定値よりも高い顔がある場合には（ステップＳ５のＹｅｓ）、さらに後続のステップＳ６に進む。他方、重要度Ｗｆが一定値よりも高い顔がない場合には（ステップＳ５のＮｏ）、いずれの検出顔も重要でない（すなわち、これを対象として露光制御やフラッシュ発光制御を実施すべきでない）と判断されるので、上記のステップＳ１で計算した露出制御量及びフラッシュ制御情報を最終的な値として確定し、本処理ルーチン全体を終了する。
【０１０６】
ステップＳ６では、カメラ制御部１０３は、ヒストグラム検波及び色検波のそれぞれに関して、輝度検波及び色検波のための検波枠を設定する。そして、設定した検波枠を用いて、各検出顔に対応する輝度のヒストグラム・データ及び色検波値を取得する。また、ステップＳ５で重要度が高いと判定された検出顔が複数である場合には、各顔の輝度のヒストグラム・データを、各検出顔の重要度に応じて顔領域全体に対して正規化する（ステップＳ７）。
【０１０７】
次いで、カメラ制御部１０３は、検出顔のヒストグラム・データのピークを判定する（ステップＳ８）。そして、そのピークでの頻度値及び輝度に基づいて、ピーク領域を定義する限界輝度値Ｙｆ＿ｌ及びＹｆ＿ｈを検索する。
【０１０８】
次いで、カメラ制御部１０３は、顔の重要度及び色、外光情報に基づいて、顔の目標輝度範囲を設定する（ステップＳ９）。
【０１０９】
顔のヒストグラム・データ（分割検波方式の場合は、ステップＳ７で正規化されたヒストグラム・データ）と、ステップＳ９で設定した目標輝度範囲と、ステップＳ１で算出した露出制御量及びフラッシュ制御情報に基づいて、最終的な露出制御量及びフラッシュ制御情報を再計算する（ステップＳ１０）。そして、カメラ制御部１０３は、ドライバ１１ａ又はカメラ信号処理部１７に対して露出制御信号を出力するとともに、フラッシュ発光部３２に対してフラッシュ制御信号を出力する。
【０１１０】
上記の処理によれば、撮像画像から顔が検出され（ステップＳ３）、それらの顔のうち、重要度がある程度高い顔が存在した場合のみ（ステップＳ５）、それらの顔と背景との明るさのバランスを考慮した露出制御（ステップＳ６〜Ｓ１０）が実行され、それ以外の場合には、従来のオート撮像モードでの露出制御が実行される。
【０１１１】
したがって、撮像された顔、特に、撮影者にとって重要と考えられる顔が、適切な明るさで撮像され、且つ、その顔と背景との明るさのバランスが良好に保たれるように、露出の制御を実行することができる。そして、このような顔と背景との明るさのバランスを考慮した露出制御が、通常のオート撮像モードにおいて、特に撮影者が設定操作を行なうことなく、顔を検出した場合にのみ自動的に実行することができる。
【０１１２】
なお、図４に示したフローチャート中のＳ１で実行される通常のＡＥ制御方法による制御値演算処理、ステップＳ６〜Ｓ７で実施される輝度のヒストグラム・データ及び色の検波処理、ステップＳ８で実施されるヒストグラム・データのピーク判定処理、ステップＳ９で実施される顔の目標輝度範囲の設定処理、ステップＳ１０で実施される露出制御量及びフラッシュ制御情報の再計算処理の詳細に関しては、本出願人に既に譲渡されている特願２００６−２０１３７号明細書を参照されたい。
【０１１３】
続いて、図４に示したフローチャート中のステップＳ４〜Ｓ５で実施される、画像データに含まれる複数の検出顔の重要度判別若しくは優先順位付けを行なうための処理について説明する。
【０１１４】
上述したような顔検出を利用したカメラ・ワークの自動化技術や画像処理技術は、当然ながら、顔の検出精度が高いほど、ユーザにとって利便性の高い有効な機能となる。画像データ内に複数の被写体が移っている場合には、ＡＦやＡＥ、あるいは画質補正などの機能は画像データに含まれるいずれの被写体に合わせて処理を行なうべきか、各被写体の重要度を判別する必要がある。直感的には、撮像画像の中央付近に写っている被写体や、画像内で大きなサイズで写っている被写体は重要度が高く、主役と推定することができる。したがって、撮像画像に写っている被写体を顔検出処理などによって特定した後、各被写体の画像中心からの距離や被写体領域の大きさに基づいて優先順位付けして、主役判定を行なうことができる。
【０１１５】
図５には、画像信号から検出された顔のサイズ情報及び位置情報に基づいて顔重要度を判定するための処理手順の一例をフローチャートの形式で示している。この処理手順は、図４に示したフローチャートのステップＳ４で実施される。図示の処理手順では、画像信号から検出された顔のサイズ情報及び位置情報を取得し、サイズ情報に基づいて第１の重要度因子を演算するとともに、位置情報に基づいて第２の重要度因子を演算し、これら第１及び第２の重要度因子に基づいて、最終的な重要度を演算することで、撮影者にとっての重要度を判定している。
【０１１６】
まず、優先順位算出部１０２は、顔認識部１０１から、検出された各顔の検出情報として、顔のサイズ、位置、及び傾きの情報を取得する（ステップＳ２１）。
【０１１７】
次いで、優先順位算出部１０２は、各検出顔について、そのサイズと画面全体のサイズとの比（顔の割合）を計算し、図示しないＲＡＭなどに一旦記憶する（ステップＳ２２）。
【０１１８】
次いで、優先順位算出部１０２は、ステップＳ２２における計算結果に基づいて、画面全体に対する顔のサイズ比から想定される重要度を示す顔のサイズ重要度因子Ｗｓｉｚｅを、各検出顔について計算する（ステップＳ２３）。顔のサイズ重要度因子Ｗｓｉｚｅは、例えば、顔の割合ｒ＿ｓｉｚｅの大きさに応じて以下の式（１）〜（２）により計算される。なお、Ｒｆｂ１，Ｒｆｂ２はそれぞれ閾値であり、Ｒｆｂ１＜Ｒｆｂ２である。
【０１１９】
ｒ＿ｓｉｚｅ＞Ｒｆｂ２のとき：
Ｗｓｉｚｅ＝１００［％］ …（１）
Ｒｆｂ１≦ｒ＿ｓｉｚｅ≦Ｒｆｂ２のとき：
Ｗｓｉｚｅ＝（ｒ＿ｓｉｚｅ−Ｒｆｂ１）／（Ｒｆｂ２−Ｒｆｂ１） …（２）
ｒ＿ｓｉｚｅ＜Ｒｆｂ１のとき：
Ｗｓｉｚｅ＝０ ……（３）
【０１２０】
図６には、顔の割合ｒ＿ｓｉｚｅと顔のサイズ重要度因子Ｗｓｉｚｅとの対応を表したグラフを示している。上記の式（１）〜（３）、及び図６によれば、画面に対する顔の割合ｒ＿ｓｉｚｅが一定の閾値Ｒｆｂ２を超えている場合には、撮影者がその顔を意図的に撮像対象としたものと判断して、顔のサイズ重要度因子Ｗｓｉｚｅを最大値の１００％としている。逆に、顔の割合ｒ＿ｓｉｚｅが一定のしきい値Ｒｆｂ１未満の場合には、その顔が撮像対象ではなく、他の顔や背景などが撮像対象になっていると判断して、顔のサイズ重要度因子Ｗｓｉｚｅを０としている。また、顔の割合ｒ＿ｓｉｚｅがある範囲（Ｒｆｂ１〜Ｒｆｂ２）の場合には、その顔が撮像対象であるか否かについて明確な判断ができないため、その割合に応じてサイズ重要度因子Ｗｓｉｚｅを連続的に変化させている。すなわち、顔の割合ｒ＿ｓｉｚｅが大きいほど、撮像対象である確率が高く、重要度が高いと判断する。
【０１２１】
次いで、優先順位判別部１０２は、顔のサイズ重要度因子Ｗｓｉｚｅが０であるか否かを判定する（ステップＳ２４）。そして、Ｗｓｉｚｅが０でない場合は（ステップＳ２４のＮｏ）、後続のステップＳ２５の処理を実行する。また、Ｗｓｉｚｅが０である場合は（ステップＳ２４のＹｅｓ）、ステップＳ１０の処理を実行する。
【０１２２】
ステップＳ５では、あらかじめ設定された画面中心領域と顔との距離Ｌを計算する。そして、画面内における顔の位置から想定される重要度を示す顔の位置重要度因子ＰｏｓＷを計算する（ステップＳ２６）。ここでは、ステップＳ５で算出した距離Ｌに応じて、顔の位置重要度因子の最大値ＰｏｓＷｈと最小値ＰｏｓＷｌを計算する。
【０１２３】
次いで、優先順位算出部１０２は、顔の位置と傾きの情報に基づいて、顔から足への予測重心射線ＬｉｎｅＡと、顔から画面中心への射線ＬｉｎｅＢとがなす夾角ａｎｇを計算する（ステップＳ２７）。
【０１２４】
次いで、上記のステップＳ２６及びＳ２７における各計算結果に基づいて、顔の位置姿勢重要度因子Ｗｐｏｓを計算する（ステップＳ２８）。この顔の位置姿勢重要度因子Ｗｐｏｓは、画面内の顔の位置と傾きとから想定される重要度を示すものである。顔の位置姿勢重要度因子Ｗｐｏｓの採る範囲は、ステップＳ２５での計算結果に基づいて、画面中心領域と顔との距離Ｌの値に応じて制限されるものとする。
【０１２５】
そして、優先順位算出部１０２は、以下の式（４）を用いて、検出顔についての最終的な重要度Ｗｆを計算する（ステップＳ２９）。
【０１２６】
Ｗｆ＝Ｗｓｉｚｅ×Ｗｐｏｓ …（４）
【０１２７】
上式（４）を用いることにより、顔の重要度Ｗｆは、画面上の顔の大きさ、位置、及び傾きの３つのパラメータに基づいて判定される。
【０１２８】
なお、顔の重要度Ｗｆの計算式の変形例として下式（５）を挙げておく。同式によれば、画面上の顔の大きさと位置に基づいて重要度Ｗｆが判定される。
【０１２９】
Ｗｆ＝（サイズ係数）×ｒ＿ｓｉｚｅ
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離） …（５）
【０１３０】
上式（５）において、サイズ係数を大きくとることによって、撮像画像中で大きく映されている被写体ほど主要被写体と判定され易くなる。また、ｘ係数並びにｙ係数を大きくとることにより、撮像画像中で水平方向並びに垂直方向のそれぞれで真ん中に近い位置に存在するほど主要被写体と判定され易くなる。
【０１３１】
また、優先順位算出部１０２は、上記のステップＳ２３で算出した顔の重要度Ｗｆが０であったときには（ステップＳ２４のＹｅｓ）、最終的な顔の重要度Ｗｆを０とする（ステップＳ３０）。
【０１３２】
ステップＳ２９又はＳ３０の処理を実行した後、優先順位算出部１０２は、顔認識部１０１で検出されたすべての顔について、重要度Ｗｆの計算が終了したか否かを判定する（ステップＳ３１）。終了していなかった場合には（ステップＳ３１のＮｏ）、ステップＳ２３に戻って、他の検出顔について同様に重要度Ｗｆの計算を実行する。そして、すべての顔についての計算が済んだ場合には（ステップＳ３１のＹｅｓ）、本処理ルーチン全体を終了する。
【０１３３】
なお、ステップＳ２５〜Ｓ２８における処理の詳細については、本出願人に既に譲渡されている特願２００６−２０１３７号明細書を参照されたい。
【０１３４】
優先順位算出部１０２は、上式（４）又は（５）を用いて各検出顔について重要度Ｗｆを計算し、重要度Ｗｆの値が大きい順に優先順位を付与する。したがって、最も優先順位の高い検出顔が、ユーザが意図的に撮像対象としたものか否かを適切に判定することができる。言い換えれば、カメラ制御部１０３は、最も優先順位の高い検出顔を対象にして、ＡＦやＡＥなどのカメラ・ワークの自動制御や、ＡＷＢなどの画質調整制御を実行すればよい。
【０１３５】
ここで、人物やペットなどの動物を対象とする撮影においては、撮像画像中のこれら被写体の位置や大きさは固定的ではなく時々刻々と変化する。１枚の静止画のみを処理対象とする場合には、重要度の判定結果は、判定アルゴリズムに応じて一意に決定される。これに対し、スルー画像など動画像から被写体の重要度判定を行なう場合には、各被写体の位置や大きさは、時間軸上で連続するすべての画像フレームにわたって固定的ではなく、時々刻々と変化する。
【０１３６】
上記の計算式（４）又は（５）などを用いた重要度の判定方法は、１枚の静止画から重要度を計算するものである。このため、画像フレーム間で各検出顔の大きさや位置が変化すると、これに伴って、検出顔の重要度すなわち優先順位の判定結果も変動することが想定される。この結果、主役が頻繁に切り替わってしまい、オート・フォーカスや画質補正の動作が時間方向で不安定になってしまう、という問題がある。
【０１３７】
この問題を解決すべく、本発明者らは、スルー画像などの動画像フレームから顔検出により検出された複数の被写体の重要度判定若しくは優先順位付けを行なう際に、以前の画像フレームにおいて判定された優先順位の結果を参照する、という方法を提案する。この方法によれば、画像フレーム内で各被写体の位置や大きさが時々刻々と変化する場合であっても、優先順位決定の結果が時間方向で安定化する。この結果、モニタリング中に検出された被写体に対するオート・フォーカスなどの制御を行なうときに、優先順位の高い被写体（すなわち主役）が頻繁に切り替わる現象を抑制して、安定した制御を実現することができる。
【０１３８】
また、本発明者らは、動画像において被写体の重要度判定若しくは優先順位付けを安定化する他の方法として、画面内で速く動き回る被写体の重要度が低くなる計算式を導入して、このような被写体が主要被写体と判定され難くする方法を提案する。この場合も、優先順位決定の結果が時間方向で安定化する。
【０１３９】
動画像から検出された検出顔の重要度Ｗｆを計算する方法の一例を以下の式（６）に示す。
【０１４０】
Ｗｆ＝（サイズ係数）×（ｒ＿ｓｉｚｅ：画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］） …（６）
【０１４１】
上式（６）の右辺の第３項までは上式（５）の重要度計算式と同様であり、重要な被写体は画面内で大きく且つ画面中央よりに配置される、という前提に基づく。そして、サイズ係数を大きくとることによって、撮像画像中で大きく映されている被写体ほど主要被写体と判定され易くなる。また、ｘ係数並びにｙ係数を大きくとることにより、撮像画像中で水平方向並びに垂直方向のそれぞれで真ん中に近い位置に存在するほど主要被写体と判定され易くなる。
【０１４２】
ここで、スルー画像などの動画像から検出顔の重要度を判定する場合、ある時点の画像フレーム内（あるいは画像フレーム単位）での計算では、式（６）の右辺第３項までは高い値を示したとしても、フレーム間での位置の動きが激しい検出顔に関しては、重要度が高いと判定すると、オート・フォーカスや画質補正の動作が時間方向で不安定になってしまう。そこで、同式（６）の第４項において、画面内での検出顔の平均速さに関するファクタ（ｖ係数）×（平均速さ）を重要度Ｗｆから引き算している。これによって、動きの大きな検出顔の優先順位を抑制するようにしている。また、ｖ係数を大きくすれば、速さが遅いほど主要被写体として判定され易くなる。
【０１４３】
ここで、式（６）の右辺で用いる各係数の基本的な大小関係は、例えば以下の通りである。
【０１４４】
ｖ係数 ＞ サイズ係数 ＞ ｘ係数 ＞ ｙ係数 …（７）
【０１４５】
上記のような大小関係によれば、画面内で動きの早い被写体はまず優先順位を下げるようにすることができる。また、複数の画像フレームにわたって静止している被写体のうち、サイズが大きく且つ、横方向で中心に近いものを優先するようにすることができる。但し、本発明の要旨は、上式（７）に示した係数間の大小関係に必ずしも限定されるものではない。ポートレート撮影、風景撮影、スポーツ撮影といった、カメラに設定する撮影モード若しくは動作モードや、夜景、暗闇といったカメラの撮影環境若しくは動作環境などに応じて、各重み係数の大小関係を動的に変更するようにしてもよい。
【０１４６】
なお、デジタルスチルカメラにおいて「スポーツ・モード」や「動画モード」などの撮影モード、あるいはビデオカメラなどでは、ｖ係数の符号をマイナスにとるか、又は当該係数の絶対値を小さくすることで、上記とは逆に、動いている被写体に対する優先度を上げるようにすることもできる。
【０１４７】
また、スルー画像などの動画像では画像フレーム間で各検出顔の大きさや位置が変化すると、これに伴って、式（６）の右辺第３項までで表される検出顔の重要度Ｗｆの計算結果も変動することが想定される。このような現象に単純に追従すると、主役が頻繁に切り替わってしまい、オート・フォーカスや画質補正の動作が時間方向で不安定になってしまう。そこで、同式（６）では、さらに右辺第５項として、優遇定数を重要度Ｗｆに加算している。ここで言う優遇定数は、前回の優先順位に応じた重み定数である。前回の優先順位が高い検出顔ほどより大きな値の優遇定数を与えることにより、制御周期毎の優先順位の変動を少なくすることで、オート・フォーカスや画質補正の動作を時間方向で安定化するという効果がある。
【０１４８】
優遇定数は、検出顔のサイズや画面中心からの距離などが１０％程度変動しても、前回は最も重要度Ｗｆが高い被写体の優先順位が変動しない程度の値に設定することが望ましい。
【０１４９】
上式（６）に示したような重要度Ｗｆの計算式を用いる場合、図４に示したフローチャート中のステップＳ４における顔の重要度の計算は、図７に示すような処理手順に置き換わる。すなわち、顔のループ（Ｓ３１）では、顔検出部５２で画像内から検出されたすべての顔について、平均速さを計算するとともに（Ｓ３２）、計算された平均速さと前回の優先順位に基づく優遇定数を考慮して、重要度Ｗｆを計算する（ステップＳ３３）。そして、算出された重要度Ｗｆに基づいて、各検出顔の優先順位を更新する（Ｓ３４）。
【０１５０】
なお、図７では、ＰＡＤ（Ｐｒｏｂｌｅｍ Ａｎａｌｙｓｉｓ Ｄｉａｇｒａｍ）と呼ばれる、ＪＩＳフローチャートとは異なるプログラム用チャート記法でアルゴリズムの構造を示している。アルゴリズムは本質的に、連接、反復、選択の３つの基本単位の合成として表現することができ、ＰＡＤはこの３種類を基本単位とした記述方式を採っている。但し、本発明に係る検出顔の優先度獣医を決定する処理は、特定のチャート記法に限定されるものではない。
【０１５１】
上記の重要度判別式（６）では、画像から得られる検出顔の幾何学的な情報として、検出顔のサイズと、画面内での検出顔の位置を利用している。ここで、重要度を決定する上で、画面内の検出顔の位置情報の解釈には幾通りの方法がある。
【０１５２】
上式（６）では画面中心から検出顔までの距離に基づいて重要度を算出しているが、例えば集合写真のように手前から順番に被写体が並んでいる場合には、画面下にある被写体の方がより至近にあることが推測され（図８を参照のこと）、優先すべきと考えられる。そこで、下式（８）のように、「画面中心から検出顔までのｙ距離」ではなく、「画面下端から検出顔までのｙ距離」に基づいて重要度Ｗｆを計算するようにしてもよい。
【０１５３】
Ｗｆ＝（サイズ係数）×（ｒ＿ｓｉｚｅ：画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面下端から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］） …（８）
【０１５４】
また、上式（６）では画面中心から検出顔までの距離に基づいて重要度を算出しているが、例えば背景を考慮して、複数の被写体が画面中心からは隔たった場所に並ぶという構図も考えられる（図９を参照のこと）。このような場合には、下式（９）のように、「画面中心から検出顔までのｘ距離」ではなく、「全被写体の重心から検出顔までのｘ距離」に基づいて重要度Ｗｆを計算するようにしてもよい。
【０１５５】
Ｗｆ＝（サイズ係数）×（ｒ＿ｓｉｚｅ：画面内での検出顔のサイズ）
−（ｘ係数）×（全被写体の重心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］） …（９）
【０１５６】
また、上記の重要度計算式（６）、（８）、（９）ではいずれも、顔検出部５２から出力される検出顔の情報を利用するものであるが、さらにその後段の顔認識部７４における顔認識結果も利用して、重要度の計算を行なうようにしてもよい。顔認識結果をさらに利用して検出顔の重要度Ｗｆを計算する方法の一例を以下の式（１０）に示す。
【０１５７】
Ｗｆ＝（サイズ係数）×（ｒ＿ｓｉｚｅ：画面内での検出顔のサイズ）
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）
−（ｖ係数）×（画面内で検出顔が動く平均速さ）
＋（優遇定数［前回順位］）
＋（認識定数） …（１０）
【０１５８】
上式（１０）では、式（６）の右辺に対し、第６項としてさらに認識定数が加算されている。同第６項は、顔認識部７４で登録顔と認識された検出された検出顔に対して、所定の定数を加算して重要度を高めるようにしている。この結果、登録顔が主要被写体として選ばれ易くなる。
【０１５９】
上式（１０）で用いられる認識定数は、学習データ格納部７３に既に登録されている登録顔に対して一様な値を与えるようにしてもよい。あるいは、学習データ格納部７３に登録された順序やその他の規則に従って、例えば下表のように人物毎に認識定数を差別化するようにしてもよい。
【０１６０】
【表１】
【０１６１】
なお、顔認識部１０１は、人物だけでなく、ペットの認識を行なうようにしてもよい。認識顔がペットの場合、人物よりも高い認識定数を与えることが良い。何故ならば、わざわざペットを含んだ構図を決める場合には、ペットが主役である可能性が極めて高いからである。
【０１６２】
上述のようにして、優先順位算出部１０２が決定した優先順位に従って、画像フレーム中の主要な被写体を判定することができる。そして、カメラ制御部１０３は、ＡＦ、ＡＥなどのカメラ・ワークの制御や、ＡＷＢ、シャープネス・再度コントラスト調整、フラッシュ調光や赤目軽減などの画質調整処理を、主要被写体に合わせて実施することができる。
【０１６３】
これまでは、主に顔検出結果に基づいて被写体の重要度・優先順位を算出するシステムに関する実施例について説明してきた。かかる実施例に対し、さらに物体追尾の技術を適用する実施例も考えられる。
【０１６４】
物体追尾はカメラを目的とする物体の動きに合わせて視線方向を動かして、目的物体を追跡する技術である。例えば、本出願人に既に譲渡されている特開２００５−７８３７６号公報には、肌色を用いた追尾を行なう技術について開示されている。
【０１６５】
図１０には、顔認識の結果とともに、肌色追尾の結果に基づいて、ＡＦやＡＥなどのカメラ信号処理や、画質補正などの信号補正処理を行なうための機能的構成を示している。優先順位算出部１０２において決定される各被写体の優先順位は、肌色追尾部１０４にもフィードバックされる。
【０１６６】
また、図１１には、肌色追尾を行なうためのアルゴリズム構造をＰＡＤ形式で示している。
【０１６７】
Ｓ４１では、前回の画像フレームにおける検出結果が１つ以上かどうかを判別する。
【０１６８】
ここで、前回の画像フレーム内で１人の被写体でも顔検出されている場合には、Ｓ４２で、前回は最優先だった顔の色を用いた領域抽出を行なう。
【０１６９】
一方、１人の被写体も検出されていない場合には、ステップＳ４３であらかじめ決まった色（例えば、典型的な肌色）を用いて領域抽出を行なう。
【０１７０】
そして、Ｓ４４ではその結果を用いて色を用いた追尾を行なう。
【０１７１】
これまで説明してきたように、本発明によれば、顔検出結果あるいは顔認識結果から画像フレーム内の各被写体の重要度を算出し、これによって得られた被写体に優先順位を用いて、ＡＦ、ＡＥなどのカメラ・ワークの自動制御や画質調整を好適に行なうことができる。また、本発明に係る被写体の重要度・優先順位の算出方法は、デジタルカメラにおける撮影時だけでなく、撮影画像の再生時においても効果的に利用することができる。
【０１７２】
例えば、従来のデジタルスチルカメラの多くは、撮影画像を再生する際には、単純に記録した順に記録メディア２６から読み出してモニタ２５上に表示出力するに過ぎない。これに対し、本発明に係る被写体の重要度・優先順位の算出技術を搭載したデジタルカメラの場合には、画像フレーム毎に、各被写体の重要度、主役となる被写体、主役の重要度といった数値データを有することができる。したがって、この種の数値データを基に、複数の画像フレームの再生順序や再生方法を制御することができる（図１２を参照のこと）。
【０１７３】
（１）主役となる人物毎に画像フレームをグループ化する。
（２）主役となる被写体の重要度の大きさ順に、画像フレームの再生順序を決定する。
（３）各画像フレームに含まれるすべての（あるいは上位数人までの主要な）被写体が持つ重要度の合計値の大きさ順に、画像フレームの再生順序を決定する。
（４）被写体に与えられた重要度に関する数値データの大きさに基づいて、各画像フレームの再生時間を決定する。例えば、（２）や（３）の方法を基に、画像フレーム毎の重要度を決定し、重要度の高い画像フレームほど再生時間を長くする。
【０１７４】
また、カメラからの映像出力を切り替える場合、ワイプなどの特殊効果（エフェクト）を用いて画面転換を行なう方法が広く知られている。例えば、デジタルスチルカメラやカムコーダなどで撮影された動画像や静止画などの複数のデジタル画像を合成する際、ワイプなどの特殊効果の手法を用いて画面転換若しくはシーン切り替えを行なうことができる。本発明に係る被写体の重要度・優先順位の算出技術を搭載したデジタルカメラの場合には、被写体の重要度を利用して画面遷移処理を効果的に行なうことができる。例えば、重要度の高い上位者にフォーカスしてスライドショーを作成する。あるいは、重要度の高い人の再生時間を長くする、重要度に応じてエフェクト効果などを変更する、といった処理を自動で行なうことができる。
【産業上の利用可能性】
【０１７５】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１７６】
本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。デジタルビデオカメラや、顔画像を含む画像データに対して補正や合成、保存・管理、再生といった処理を行なうその他のさまざまな装置に対しても、同様に本発明を適用することができる。
【０１７７】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【０１７８】
【図１】図１は、本発明の一実施形態に係るデジタルスチルカメラの構成を示した図である。
【図２】図２は、顔認識システムの構成例を示した図である。
【図３】図３は、顔認識の結果に基づいて、ＡＦやＡＥなどのカメラ信号処理や、画質補正などの信号補正処理を行なうための機能的構成を示した図である。
【図４】図４は、顔検出の結果に基づいてデジタルスチルカメラ１における露出制御並びにフラッシュ発光制御を行なうための処理手順を示したフローチャートである。
【図５】図５は、画像信号から検出された顔のサイズ情報及び位置情報に基づいて顔重要度を判定するための処理手順の一例を示したフローチャートである。
【図６】図６は、顔の割合ｒ＿ｓｉｚｅと顔のサイズ重要度因子Ｗｓｉｚｅとの対応を表したグラフである。
【図７】図７は、動画像中の各検出顔の重要度を計算するとともに優先順位を決定するためのアルゴリズム構造を示した図である。
【図８】図８は、手前から順番に被写体が並んでいる撮像画像の一例を示した図である。
【図９】図９は、複数の被写体が画面中心からは隔たった場所に並ぶ構図で撮影された画像の一例を示した図である。
【図１０】図１０は、顔認識の結果とともに、肌色追尾の結果に基づいて、ＡＦやＡＥなどのカメラ信号処理や、画質補正などの信号補正処理を行なうための機能的構成を示した図である。
【図１１】図１１は、肌色追尾を行なうためのアルゴリズム構造をＰＡＤ形式で示した図である。
【図１２】図１２は、被写体の重要度に応じて画像再生を制御する様子を示した図である。
【符号の説明】
【０１７９】
１…デジタルスチルカメラ
１０…光学系
１０ａ…ドライバ
１１…撮像素子
１２…ＡＦＥ部
１３…ＣＤＳ／ＡＧＣ／ＡＤＣブロック
１４…タイミング・ジェネレータ
１５…Ｖドライバ
１６…カメラＤＳＰ部
１７…カメラ信号処理部
１８…解像度変換部
１９…画像コーデック処理部
２０…メモリ制御部
２１…表示制御部
２２…メディア制御部
２３…バス・インターフェース・ユニット
２４…メモリ装置
２５…モニタ・ディスプレイ
２６…記録メディア
２７…制御部
２８…操作部
２９…ＣＰＵ
３０…ＲＡＭ
３１…ＥＥＰＲＯＭ
３２…フラッシュ発光部
５０…顔認識システム
５１…画像取得部
５２…顔検出部
５３…顔画像変換部
５４…顔認識処理部
５５…顔登録データベース
５６…認識結果出力部
６１…顔特徴点検出部
６２…顔アライメント部
７１…局所特徴計算部
７２…認識器生成部
７３…学習データ格納部
７４…顔認識部
１０１…顔認識部
１０２…優先順位算出部
１０３…カメラ制御部
１０４…肌色追跡部
【特許請求の範囲】
【請求項１】
顔画像を含む画像情報を処理する画像処理装置であって、
画像情報を入力する画像入力手段と、
入力された画像情報の画像フレーム内から顔画像を検出する顔検出手段と、
前記顔検出手段により検出された各検出顔の重要度を判定する重要度判定手段と、
前記重要度判定手段により判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定手段を備え、
前記重要度判定手段は、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定手段により前回までに決定された優先順位を考慮して、重要度を判定する、
ことを特徴とする画像処理装置。
【請求項２】
前記画像入力手段は、画像情報として動画像を入力し、
前記重要度判定手段は、動画像中で検出顔が動く速さをさらに考慮して、重要度を判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重要度判定手段は、画像フレームの中心に近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記重要度判定手段は、動画像中で検出顔が動く速度、画像フレーム内における検出顔の大きさ、画像フレーム内における検出顔の位置の順で重要度を判定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記重要度判定手段は、画像フレームの下端に近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記重要度判定手段は、画像フレーム内に複数の被写体が映されている場合において、すべての被写体の重心から近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記顔検出手段により検出された各検出顔を認識する顔認識手段をさらに備え、
前記重要度判定手段は、前記顔認識手段により人物を認識できた検出顔に対してより高い重要度を与える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
顔画像を含む画像情報を処理する画像処理方法であって、
画像情報を入力する画像入力ステップと、
画像フレーム内から顔画像を検出する顔検出ステップと、
前記顔検出手段により検出された各検出顔の重要度を判定する重要度判定ステップと、
前記重要度判定ステップにおいて判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定ステップを備え、
前記重要度判定ステップでは、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定ステップにおいて前回までに決定された優先順位を考慮して、重要度を判定する、
ことを特徴とする画像処理方法。
【請求項９】
被写体画像を撮像する撮像装置であって、
被写体からの入射光から画像信号を生成する撮像手段と、
被写体からの光を前記撮像手段の受光面に集光する光学系と、
前記光学系を駆動する光学系駆動手段と、
前記撮像手段により生成される画像信号を処理する画像信号処理手段と、
前記画像信号処理手段から供給される画像情報の画像フレーム内から顔画像を検出する顔検出手段と、
前記顔検出手段により検出された各検出顔の重要度を判定する重要度判定手段と、
前記重要度判定手段により判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定手段と、
優先順位の高い検出顔を主要被写体として、前記光学系駆動手段又は前記画像信号処理手段における動作を制御する制御手段を備え、
前記重要度判定手段は、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定手段により前回までに決定された優先順位を考慮して、重要度を判定する、
ことを特徴とする撮像装置。
【請求項１０】
前記制御手段は、優先順位の高い検出顔を主要被写体として、前記光学系駆動手段における前記光学系の自動焦点合わせ又は自動露光を行ない、又は、前記画像信号処理手段における自動焦点合わせ、自動露光、画質調整の処理を行なう、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記重要度判定手段は、前記撮像手段から供給されるスルー画像又は撮像された動画像中で、検出顔が動く速さをさらに考慮して、重要度を判定する、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記重要度判定手段は、画像フレームの中心に近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１３】
前記重要度判定手段は、動画像中で検出顔が動く速度、画像フレーム内における検出顔の大きさ、画像フレーム内における検出顔の位置の順で重要度を判定する、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１４】
前記重要度判定手段は、画像フレームの下端に近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１５】
前記重要度判定手段は、画像フレーム内に複数の被写体が映されている場合において、すべての被写体の重心から近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１６】
前記顔検出手段により検出された各検出顔を認識する顔認識手段をさらに備え、
前記重要度判定手段は、前記顔認識手段により人物を認識できた検出顔に対してより高い重要度を与える、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１７】
顔画像を含む画像情報の処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
画像情報を入力する画像入力手順と、
入力された画像情報の画像フレーム内から顔画像を検出する顔検出手順と、
前記顔検出手順を実行して検出された各検出顔の重要度を判定する重要度判定手順と、
前記重要度判定手順を実行して判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定手順を実行させ、
前記重要度判定手順では、前記コンピュータに対し、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定手段により前回までに決定された優先順位を考慮して、重要度を判定させる、
ことを特徴とするコンピュータ・プログラム。
【請求項１】
顔画像を含む画像情報を処理する画像処理装置であって、
画像情報を入力する画像入力手段と、
入力された画像情報の画像フレーム内から顔画像を検出する顔検出手段と、
前記顔検出手段により検出された各検出顔の重要度を判定する重要度判定手段と、
前記重要度判定手段により判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定手段を備え、
前記重要度判定手段は、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定手段により前回までに決定された優先順位を考慮して、重要度を判定する、
ことを特徴とする画像処理装置。
【請求項２】
前記画像入力手段は、画像情報として動画像を入力し、
前記重要度判定手段は、動画像中で検出顔が動く速さをさらに考慮して、重要度を判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重要度判定手段は、画像フレームの中心に近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記重要度判定手段は、動画像中で検出顔が動く速度、画像フレーム内における検出顔の大きさ、画像フレーム内における検出顔の位置の順で重要度を判定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記重要度判定手段は、画像フレームの下端に近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記重要度判定手段は、画像フレーム内に複数の被写体が映されている場合において、すべての被写体の重心から近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記顔検出手段により検出された各検出顔を認識する顔認識手段をさらに備え、
前記重要度判定手段は、前記顔認識手段により人物を認識できた検出顔に対してより高い重要度を与える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
顔画像を含む画像情報を処理する画像処理方法であって、
画像情報を入力する画像入力ステップと、
画像フレーム内から顔画像を検出する顔検出ステップと、
前記顔検出手段により検出された各検出顔の重要度を判定する重要度判定ステップと、
前記重要度判定ステップにおいて判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定ステップを備え、
前記重要度判定ステップでは、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定ステップにおいて前回までに決定された優先順位を考慮して、重要度を判定する、
ことを特徴とする画像処理方法。
【請求項９】
被写体画像を撮像する撮像装置であって、
被写体からの入射光から画像信号を生成する撮像手段と、
被写体からの光を前記撮像手段の受光面に集光する光学系と、
前記光学系を駆動する光学系駆動手段と、
前記撮像手段により生成される画像信号を処理する画像信号処理手段と、
前記画像信号処理手段から供給される画像情報の画像フレーム内から顔画像を検出する顔検出手段と、
前記顔検出手段により検出された各検出顔の重要度を判定する重要度判定手段と、
前記重要度判定手段により判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定手段と、
優先順位の高い検出顔を主要被写体として、前記光学系駆動手段又は前記画像信号処理手段における動作を制御する制御手段を備え、
前記重要度判定手段は、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定手段により前回までに決定された優先順位を考慮して、重要度を判定する、
ことを特徴とする撮像装置。
【請求項１０】
前記制御手段は、優先順位の高い検出顔を主要被写体として、前記光学系駆動手段における前記光学系の自動焦点合わせ又は自動露光を行ない、又は、前記画像信号処理手段における自動焦点合わせ、自動露光、画質調整の処理を行なう、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記重要度判定手段は、前記撮像手段から供給されるスルー画像又は撮像された動画像中で、検出顔が動く速さをさらに考慮して、重要度を判定する、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記重要度判定手段は、画像フレームの中心に近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１３】
前記重要度判定手段は、動画像中で検出顔が動く速度、画像フレーム内における検出顔の大きさ、画像フレーム内における検出顔の位置の順で重要度を判定する、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１４】
前記重要度判定手段は、画像フレームの下端に近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１５】
前記重要度判定手段は、画像フレーム内に複数の被写体が映されている場合において、すべての被写体の重心から近い検出顔に対してより高い重要度を与える、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１６】
前記顔検出手段により検出された各検出顔を認識する顔認識手段をさらに備え、
前記重要度判定手段は、前記顔認識手段により人物を認識できた検出顔に対してより高い重要度を与える、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１７】
顔画像を含む画像情報の処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
画像情報を入力する画像入力手順と、
入力された画像情報の画像フレーム内から顔画像を検出する顔検出手順と、
前記顔検出手順を実行して検出された各検出顔の重要度を判定する重要度判定手順と、
前記重要度判定手順を実行して判定された重要度に基づいて各検出顔の優先順位を決定する優先順位決定手順を実行させ、
前記重要度判定手順では、前記コンピュータに対し、画像フレーム内における検出顔の大きさ及び位置に関する情報とともに、前記優先順位決定手段により前回までに決定された優先順位を考慮して、重要度を判定させる、
ことを特徴とするコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図８】
【図９】
【公開番号】特開２００８−２０５６５０（Ｐ２００８−２０５６５０Ａ）
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願番号】特願２００７−３７１６５（Ｐ２００７−３７１６５）
【出願日】平成１９年２月１６日（２００７．２．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願日】平成１９年２月１６日（２００７．２．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]