映像処理装置および映像処理方法
【課題】顔認証の精度を維持したまま消費電力を抑制する。
【解決手段】映像処理装置１００は、取得された映像データから顔を検出する顔検出部１５０と、２つのフレーム間において、第１フレームで検出された顔から、予め定められた距離内の位置で、第２フレームで検出された顔には、第１フレームで検出された顔と同一の検出番号を付与し、予め定められた距離内の位置にあると判定されなかった顔には新規の検出番号を付与する検出番号付与部１５２と、検出された顔が登録顔と同一人物の顔である認証顔であるか否かを毎フレーム判定する顔認証処理を行う顔認証部１５４とを備え、顔認証部は、検出された顔が認証顔である場合、認証顔に付与された検出番号と同一の検出番号が、以降のフレームでも付与され続けている間、登録顔を利用した顔認証処理を行わず、同一の番号が付与された顔を認証顔とする。
【解決手段】映像処理装置１００は、取得された映像データから顔を検出する顔検出部１５０と、２つのフレーム間において、第１フレームで検出された顔から、予め定められた距離内の位置で、第２フレームで検出された顔には、第１フレームで検出された顔と同一の検出番号を付与し、予め定められた距離内の位置にあると判定されなかった顔には新規の検出番号を付与する検出番号付与部１５２と、検出された顔が登録顔と同一人物の顔である認証顔であるか否かを毎フレーム判定する顔認証処理を行う顔認証部１５４とを備え、顔認証部は、検出された顔が認証顔である場合、認証顔に付与された検出番号と同一の検出番号が、以降のフレームでも付与され続けている間、登録顔を利用した顔認証処理を行わず、同一の番号が付与された顔を認証顔とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データ中の顔の認証処理を行う映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
従来、カムコーダ、デジタルカメラ等の撮像装置であって、撮像装置で生成した映像データ中から人の顔を検出し、検出した顔の中で予め登録した顔を識別する顔認証機能を備えるものが知られている。具体的に、撮像装置で生成した映像データから顔領域を切り出し、登録された顔とのマッチング率を導出して、その顔を登録された顔であると判断する技術が提案されている（例えば、先行文献１）。
【０００３】
この顔認証機能を連続的に有効とするためには、連続した映像データに対して毎回顔認証を行い、認証結果を更新する方法が考えられる。このとき、顔の位置や向きによって認証結果にばらつきが生じてしまう。そこで、認証結果のばらつきを抑制するため、検出した顔を追跡し、追跡している顔と、登録されている登録顔とを照合して顔を識別し、所定フレーム周期毎に登録顔を現在の検出した顔で更新して顔認証機能の精度を高める技術が提案されている（例えば、先行文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３３３６５２号公報
【特許文献２】特開２００８−２５７４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年、撮像装置は、バッテリ駆動での長時間使用が望まれている。しかし、上述した特許文献１、２等の技術を用いて顔認証機能が実行される場合、顔認証に伴う画像処理の処理量が大きくなり、消費電力が増大してしまうため、バッテリの消耗が激しかった。
【０００６】
そこで本発明は、このような課題に鑑み、顔認証の精度を維持したまま消費電力を抑制することが可能な、映像処理装置および映像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の映像処理装置は、登録された顔である登録顔の特徴を示す顔画像情報を予め保持する情報保持部と、映像データを取得する映像取得部と、取得された映像データから顔を検出する顔検出部と、２つのフレーム間において、前のフレームである第１フレームで検出された顔から、予め定められた距離内の位置に、後のフレームである第２フレームで顔が検出されるか否かを毎フレーム判定し、予め定められた距離内の位置で検出された顔には、第１フレームで検出された顔と同一の検出番号を付与し、予め定められた距離内の位置にあると判定されなかった顔には、新規の検出番号を付与する検出番号付与部と、顔画像情報に基づいて、検出された顔が、登録顔と同一人物の顔である認証顔か否かを毎フレーム判定する顔認証処理を行う顔認証部と、を備え、顔認証部は、検出された顔が認証顔である場合、認証顔に付与された検出番号と同一の検出番号が、以降のフレームでも付与され続けている間、認証顔に対応する登録顔を利用した顔認証処理を行わず、同一の検出番号が付与された顔を認証顔とすることを特徴とする。
【０００８】
第１フレームで検出された顔に付与された検出番号と同一の検出番号が第２フレームで付与されなくなった後、予め定められた回数に到達するか、再度、予め定められた距離内の位置に顔が検出されるまで、第１フレームで検出された顔に対応する領域に同一の検出番号を付与する消失補間部をさらに備えてもよい。
【０００９】
上記課題を解決するために、本発明の映像処理方法は、登録された顔である登録顔の特徴を示す顔画像情報を予め保持し、映像データを取得し、取得された映像データから顔を検出し、２つのフレーム間において、前のフレームである第１フレームで検出された顔から、予め定められた距離内の位置に、後のフレームである第２フレームで顔が検出されるか否かを毎フレーム判定し、予め定められた距離内の位置で検出された顔には、第１フレームで検出された顔と同一の検出番号を付与し、予め定められた距離内の位置にあると判定されなかった顔には、新規の検出番号を付与し、顔画像情報に基づいて、検出された顔が、登録顔と同一人物の顔である認証顔か否かを毎フレーム判定する顔認証処理を行い、検出された顔が認証顔である場合、認証顔に付与された検出番号と同一の検出番号が、以降のフレームでも付与され続けている間、認証顔に対応する登録顔を利用した顔認証処理を行わず、同一の検出番号が付与された顔を認証顔とすることを特徴とする。
【発明の効果】
【００１０】
以上説明したように本発明では、顔認証の精度を維持したまま消費電力を抑制することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】映像処理装置の概略的な構成を示した機能ブロック図である。
【図２】映像処理方法の処理の流れを示すフローチャートである。
【図３】映像処理方法の処理の流れを示すフローチャートである。
【図４】映像処理方法の処理の流れを示すフローチャートである。
【図５】映像処理方法の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１３】
（映像処理装置１００）
映像処理装置１００は、例えば、被写体を撮像して映像データを生成する。このとき、生成された映像データ中の被写体の顔を検出したり（顔検出機能）、顔の認証を行ったり（顔認証機能）することで顔を特定し、その顔に焦点をあてる等、様々な処理が為される。以下の実施形態では、映像処理装置１００の機能のうち、上記顔検出機能および顔認証機能について詳述する。
【００１４】
図１は、映像処理装置１００の概略的な構成を示した機能ブロック図である。映像処理装置１００は、撮像レンズ１０８と、ＣＭＯＳセンサ１１０と、カメラコントローラ１１２と、映像メモリ１１４と、メモリコントローラ１１６と、メモリセレクタ１１８と、リサイズコントローラ１２０と、ＶＧＡ（Video Graphics Array）セレクタ１２２と、ＱＶＧＡ（Quarter VGA）コントローラ１２４と、第１メモリ１２６と、ＶＧＡコントローラ１２８と、第２メモリ１３０と、顔検出コントローラ１３２と、第３メモリ１３４と、顔認証コントローラ１３６と、第４メモリ１３８と、ＣＰＵ１４０とを含んで構成される。
【００１５】
ここで、カメラコントローラ１１２と、メモリコントローラ１１６と、メモリセレクタ１１８とは、映像取得部として機能し、映像データを取得する。
【００１６】
具体的に、被写体を撮像して生成した映像データを記録する記録モード時において、撮像レンズ１０８で集光された光をＣＭＯＳセンサ１１０が光電変換し、ＣＭＯＳセンサ１１０から入力された映像データがカメラコントローラ１１２を介してメモリセレクタ１１８に出力され、リサイズコントローラ１２０へ送られる。また、記録された映像データを再生する再生モード時、映像メモリ１１４から出力された映像データはメモリコントローラ１１６、メモリセレクタ１１８を介して、リサイズコントローラ１２０へ送られる。メモリセレクタ１１８は、このように、記録モード時と再生モード時とで、リサイズコントローラ１２０に出力する映像データを切り替える。
【００１７】
リサイズコントローラ１２０は、ゲイン、オフセット等の調整を行い、さらに、図示しない操作部を通じたユーザ入力に従い、電子ズーム、デジタルエフェクト等の処理を行って、処理後の映像データをＶＧＡセレクタ１２２に送る。
【００１８】
ＶＧＡセレクタ１２２は、顔検出を実行する場合、リサイズコントローラ１２０から出力された映像データをＱＶＧＡコントローラ１２４に出力し、ＱＶＧＡコントローラ１２４は、ワークメモリである第１メモリ１２６を用いて、入力された映像データにＱＶＧＡ変換を施し、顔検出用の映像データを生成する。
【００１９】
また、ＶＧＡセレクタ１２２は、顔認証を実行する場合、リサイズコントローラ１２０から出力された映像データをＶＧＡコントローラ１２８に出力し、ＶＧＡコントローラ１２８は、ワークメモリである第２メモリ１３０を用いて、顔認証用の映像データを生成する。
【００２０】
顔検出コントローラ１３２は、ＱＶＧＡコントローラ１２４によって顔検出用の映像データが新たに生成されたことを受け、後述するＣＰＵ１４０の顔検出部が出力する制御指令に応じて、顔検出を実行し検出結果をワークメモリである第３メモリ１３４に格納する。
【００２１】
第４メモリ１３８は、情報保持部として機能し、顔を登録するユーザ入力に応じて、登録された顔である登録顔の特徴を示す顔画像情報を予め保持する。そして、顔認証コントローラ１３６は、ＶＧＡコントローラ１２８により顔認証用の映像データが新たに生成されたことを受けたことによって顔検出部から出力される制御指令に応じ、顔検出コントローラ１３２より取得した検出結果と、第４メモリ１３８に保持された顔画像情報とに基づいて顔認証を実行し、認証結果をワークエリアである第４メモリ１３８に格納する。
【００２２】
映像処理装置１００は、映像データのフレーム毎に、上述した顔検出および顔認証の動作を連続的に実行する。以下、この顔検出および顔認証の動作を制御するＣＰＵ１４０について詳述する。
【００２３】
ＣＰＵ１４０は、中央処理装置、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、映像処理装置１００全体を管理および制御する。また、ＣＰＵ１４０は、顔検出部１５０、検出番号付与部１５２、顔認証部１５４、消失補間部１５６としても機能する。
【００２４】
顔検出部１５０は、顔検出コントローラ１３２に、取得された映像データから顔を検出させるよう制御指令を出力する。
【００２５】
検出番号付与部１５２は、顔検出部１５０から、検出された顔の中心座標等を取得する。そして、検出番号付与部１５２は、映像データの連続する２つのフレーム間において、時間的に前のフレームである第１フレームで検出された顔から、予め定められた距離内の位置に、時間的に後のフレームである第２フレームで顔が検出されるか否かを毎フレーム判定し、予め定められた距離内の位置で検出された顔には、第１フレームで検出された顔と同一の検出番号（ＩＤ）を付与し、予め定められた距離内の位置にあると判定されなかった顔には新規の検出番号を付与する。
【００２６】
映像データのフレーム周期は、例えば１／６０秒等、短時間であるため、その間に映像データ中の顔の位置は大きく変動しない場合が多い。そのため、連続する２つのフレーム間において、予め定められた距離内の位置でそれぞれ検出された顔は、同一人物の顔である可能性が高い。検出番号付与部１５２が、２つのフレーム間において予め定められた距離内の位置で検出された顔に同一の検出番号を付与することで、同一人物の顔を複数のフレームに渡って追跡することが可能となる。
【００２７】
また、本実施形態において、検出番号付与部１５２は、検出された顔について、中心座標の他に、顔のサイズ、顔の向き、顔の回転方向等の情報を顔検出部１５０から取得する。そして、検出番号付与部１５２は、第２フレームにおいて、第１フレームで検出された顔から予め定められた距離内の位置に顔が検出されると、その検出された顔について、顔のサイズの差（絶対値または比）が所定範囲内か否か、および顔の向きの角度差が所定角度範囲内か否か等に基づいて、同一人物か否かを判定する。
【００２８】
顔認証部１５４は、第３メモリ１３４に格納された検出結果を、顔検出コントローラ１３２を通じて取得し、第４メモリ１３８に保持された登録顔の特徴を示す顔画像情報に基づいて、顔検出コントローラ１３２によって検出された顔が、登録顔と同一人物の顔である認証顔であるか否かを毎フレーム判定する顔認証処理を、顔認証コントローラ１３６に行わせる。顔認証コントローラ１３６は、登録顔に対する検出された顔の類似度合いを示す認証スコアを導出し、認証スコアが所定値以上の場合、その顔を認証顔と判定する。
【００２９】
ただし、本実施形態の顔認証部１５４は、必ずしも毎フレーム顔認証処理を行わない。すなわち、顔認証部１５４は、検出された顔を一旦認証顔であると判断した場合、認証顔に付与した検出番号を、その認証顔に対応する登録顔に関連付けて保持しておき、以降のフレームでも、引き続き検出された顔に付与された検出番号が、保持された検出番号と等しい間（同一の検出番号が付与され続けている間）、その認証顔に対応する登録顔を利用した顔認証処理を行わず、同一の検出番号が付与された顔を認証顔とみなす。
【００３０】
登録顔と同一人物の顔であると認証された認証顔を、以降でも追跡できている場合、追跡できている顔は、登録顔と同一人物の顔である可能性が高い。そこで、本実施形態の映像処理装置１００は、認証後に追跡できている顔がある場合、以降のフレームでは、その認証顔を利用した顔認証処理を行わない。かかる構成により、映像処理装置１００は、顔認証の精度を維持したまま消費電力の抑制ができる。
【００３１】
消失補間部１５６は、第１フレームで検出された顔に付与された検出番号と同一の検出番号が第２フレームで付与されなくなった後、予め定められた回数に到達するか、再度、予め定められた距離内の位置に顔が検出されるまで、第１フレームで検出された顔に対応する領域に同一の検出番号を付与する（消失補間処理）。
【００３２】
例えば、撮像者の手ぶれや被写体への光の加減等で一時的に顔を検出できないことがある。このとき、顔の追跡が終わってしまうと、その位置において、数フレーム後に、認証顔と同一の顔が再度検出されたとしても、改めて顔認証処理をしなければならない。かかる消失補間部１５６を備える構成により、映像処理装置１００は、一時的な要因で認証顔の追跡が終わってしまう事態を回避し、すぐに検出が再開する顔に関しての顔認証処理の発生頻度を抑えることができるので、消費電力を抑制することが可能となる。
【００３３】
また、消失補間部１５６は、さらに、その検出番号と同一の検出番号が、消失する前に連続して顔に付与された回数が、所定回数以上であることを、消失補間処理を行う条件として加えてもよい。連続して所定回数以上、検出された顔に対して付与された検出番号に限定することで、検出頻度が少ない、また、検出時間が短い顔すべてに消失補間処理を行って処理負荷が高まるのを回避でき、消失補間処理の精度を向上することが可能となる。
【００３４】
上述したように、本実施形態の映像処理装置１００は、顔認証の精度を維持したまま消費電力を抑制することが可能となる。
【００３５】
（映像処理方法）
さらに、上述した映像処理装置１００を用いた映像処理方法も提供される。図２〜５は、映像処理方法の処理の流れを示すフローチャートである。本実施形態の映像処理方法のフローチャートでは、登録顔が一つの場合を例に挙げて説明したが、複数の登録顔を対象としてもよい。その場合、顔認証部１５４は、登録顔毎に、顔認証処理を行うか、認証顔に付与された検出番号と同一の検出番号が付与された顔を認証顔と見なす。
【００３６】
図２において、上述した映像取得部として機能する各機能部によって、記録モード時には撮像、再生モード時には映像データの再生が行われ（Ｓ２００）、映像取得部は映像データ（フレーム）を取得する（Ｓ２０２）。そして、取得された映像データについて顔検出および消失補間処理を行う（Ｓ２０４）。かかる検出補間ステップＳ２０４について、図３を用いて詳述する。
【００３７】
図３において、顔検出部１５０は、顔検出コントローラ１３２に、取得された映像データから顔を検出させるよう制御指令を出力し、検出番号付与部１５２は、検出された顔の数、顔の中心座標、顔のサイズ、顔の向き、回転方向等を取得する（Ｓ２３０）。続いて、検出番号付与部１５２は、検出された顔のうち、未処理の、すなわち、まだ検出番号の付与がされていない顔があるか否かを判定する（Ｓ２３２）。未処理の顔がある場合（Ｓ２３２におけるＹＥＳ）、検出番号付与部１５２は、未処理の顔のうち１つの顔について、第１フレームで検出された顔から、予め定められた距離内に位置するか否かを判定する（Ｓ２３４）。
【００３８】
未処理の顔のうち１つの顔が予め定められた距離内に位置する場合（Ｓ２３４におけるＹＥＳ）、検出番号付与部１５２は、予め定められた距離内に位置する、第１フレームの顔および第２フレームの未処理の顔について、顔のサイズの差が予め定められた範囲内であるか否かを判定する（Ｓ２３６）。
【００３９】
そして、顔のサイズの差が予め定められた範囲内であった場合（Ｓ２３６におけるＹＥＳ）、検出番号付与部１５２は、予め定められた距離内に位置する、第１フレームの顔および第２フレームの未処理の顔について、顔の向き（例えば、目線の方向等）の角度差が予め定められた角度範囲内であるか否かを判定する（Ｓ２３８）。
【００４０】
予め定められた角度範囲内であった場合（Ｓ２３８におけるＹＥＳ）、検出番号付与部１５２は、予め定められた距離内に位置する、第２フレームの未処理の顔に、第１フレームで検出された顔と同一の検出番号を付与する（Ｓ２４０）。
【００４１】
また、未処理の顔のうち１つの顔が予め定められた距離内の位置にあると判定されなかったり（Ｓ２３４におけるＮＯ）、顔のサイズの差が予め定められた範囲内でなかったり（Ｓ２３６におけるＮＯ）、顔の向きの角度差が予め定められた角度範囲内でなかったりした場合（Ｓ２３８におけるＮＯ）、検出番号付与部１５２は、第２フレームの未処理の顔には新規の検出番号を付与する（Ｓ２４２）。
【００４２】
未処理検出顔判定ステップＳ２３２において、検出された顔のうち、未処理の顔がなかった場合（Ｓ２３２におけるＮＯ）、検出番号付与部１５２は、消失補間を行い（Ｓ２４４）、検出補間ステップＳ２０４を終了する。消失補間ステップＳ２４４について、図４を用いて詳述する。
【００４３】
図４において、消失補間部１５６は、第１フレームまたはそれ以前のフレームで検出された顔に付与された検出番号と同一の検出番号が第２フレームで付与されなくなった、すなわち、消失した検出番号で、かつ未処理の、すなわち、まだ消失補間を行っていないものがあるか否かを判定する（Ｓ２６０）。消失し未処理の検出番号がある場合（Ｓ２６０におけるＹＥＳ）、消失補間部１５６は、消失し未処理の検出番号のいずれかについて、同じ検出番号の履歴を読み込み（Ｓ２６２）、その検出番号について、消失補間部１５６は、その検出番号と同一の検出番号が連続して顔に付与された回数が、所定回数（例えば、１０回）以上であるか否かを判定する（Ｓ２６４）。
【００４４】
所定回数未満の場合（Ｓ２６４におけるＮＯ）、その検出番号について消失補間は行わず消失検出番号判定ステップＳ２６０に戻る。所定回数以上である場合（Ｓ２６４におけるＹＥＳ）、第１フレームまでに消失補間が成されており、その回数が予め定められた上限回数（例えば、５回）に到達しているか否かを判定する（Ｓ２６６）。到達している場合（Ｓ２６６におけるＮＯ）、その検出番号について消失補間は行わず消失検出番号判定ステップＳ２６０に戻る。
【００４５】
上限回数未満の場合（Ｓ２６６におけるＹＥＳ）、消失補間部１５６は、その検出番号が付与された、第１フレームまたはそれ以前のフレームで検出された顔に対応する領域に同一の検出番号を付与する消失補間処理を実行する（Ｓ２６８）。その後、消失検出番号判定ステップＳ２６０に戻る。
【００４６】
消失検出番号判定ステップＳ２６０において、消失した検出番号で、かつ未処理のものがない場合（Ｓ２６０におけるＮＯ）、消失補間ステップＳ２４４を終了する。上述したように、消失補間処理を行うことにより、検出番号の連続性がより高められる。
【００４７】
図２に戻って、ＣＰＵ１４０は、顔画像情報の登録を指示するユーザ入力があるか否かを判定する（Ｓ２０６）。ユーザ入力がある場合（Ｓ２０６におけるＹＥＳ）、ＣＰＵ１４０は、例えば、図示しない表示部に供えられたタッチパネル等を通じてユーザに指定された位置付近で検出された顔の特徴を示す顔画像情報を第４メモリ１３８に保持させる（Ｓ２０８）。
【００４８】
顔画像情報の登録を指示するユーザ入力が無かった場合（Ｓ２０６におけるＮＯ）、顔認証部１５４は、第１フレームにおいてすでに登録顔に検出番号が関連付けられているか否かを判定する（Ｓ２１０）。登録顔に関連付けられた検出番号がある場合（Ｓ２１０におけるＹＥＳ）、顔認証部１５４は、登録顔に関連付けられた検出番号と同一の検出番号が、第２フレームで検出された顔に付与されているか否かを判定する（Ｓ２１２）。付与されていない場合（Ｓ２１２におけるＮＯ）、および登録顔に関連付けられた検出番号がなかった場合（Ｓ２１０におけるＮＯ）、顔認証部１５４は、第３メモリ１３４に格納された検出結果を取得し、顔検出コントローラ１３２によって検出された顔が、顔画像情報に示される特徴を持つ顔と同一人物の顔である認証顔であるか否かの判定を顔認証コントローラ１３６に行わせる（Ｓ２１４）。
【００４９】
また、登録顔に関連付けられた検出番号と同一の検出番号が、第２フレームで検出された顔に付与されている場合（Ｓ２１２におけるＹＥＳ）、顔認証部１５４は、顔認証コントローラ１３６に顔認証処理を行わせず、その同一の検出番号が付与された顔を認証顔と見なす（Ｓ２１６）。
【００５０】
次に、図５を用いて、当該映像処理方法について、顔認証回路（顔認証コントローラ１３６）の開始および停止のタイミングを中心に説明する。映像取得部が映像データを取得すると（Ｓ２８０におけるＹＥＳ）、上述した検出補間ステップＳ２０４と同様の処理が行われる。そして、顔認証部１５４は、顔認証回路が起動しているか否かを判定する（Ｓ２８２）。起動していなければ（Ｓ２８２におけるＮＯ）、顔認証部１５４は、顔認証回路へのＣＬＫ（CLocK）信号の供給を開始して起動させる（Ｓ２８４）。
【００５１】
顔認証回路が起動していた場合（Ｓ２８２におけるＹＥＳ）、または顔認証回路起動ステップＳ２８４の後、顔認証部１５４は、顔検出コントローラ１３２を通じて第３メモリ１３４に格納された検出結果を取得し、顔検出コントローラ１３２によって検出された顔が認証顔であるか否かの判定を顔認証コントローラ１３６に行わせる（Ｓ２８６）。そして、顔認証部１５４は、認証顔があるか否かを判定する（Ｓ２８８）。認証顔がなかった場合（Ｓ２８６におけるＮＯ）、第４メモリ１３８に登録顔に関連付けられた検出番号が保持されていればそれを破棄し（Ｓ２９０）、映像データ取得ステップＳ２８０に戻る。
【００５２】
認証顔がある場合（Ｓ２８８におけるＹＥＳ）、顔認証部１５４は、認証顔の検出番号を対応する登録顔に関連付けて（紐付けして）、第４メモリ１３８に保持させる（Ｓ２９２）。顔認証部１５４は、顔認証を実行させる顔認証回路に供給されているＣＬＫ信号を停止させることにより、顔認証回路を停止させる（Ｓ２９４）。
【００５３】
続いて、次の映像データ（フレーム）が取得されると（Ｓ２９６におけるＹＥＳ）、上述した検出補間ステップＳ２０４と同様の処理を行い、顔認証部１５４は、登録顔に関連付けられた検出番号と同一の検出番号が、第２フレームで検出された顔に付与されているか否かを判定する（Ｓ２９８）。第２フレームで検出された顔に同一の検出番号が付与されていない場合（Ｓ２９８におけるＮＯ）、顔認証回路起動判定ステップＳ２８２に戻る。
【００５４】
同一の検出番号が付与されている場合（Ｓ２９８におけるＹＥＳ）、顔認証部１５４は、顔認証コントローラ１３６に処理を行わせず、その同一の検出番号が付与された顔を認証顔と見なす（Ｓ３００）。そして、映像データ取得ステップＳ２９６に戻る。こうして、顔認証回路を停止しながら、検出された顔が認証顔であるか否かの判定が可能となる。
【００５５】
上述したように、映像処理装置１００を用いた映像処理方法によれば、顔認証の精度を維持したまま消費電力を抑制することが可能となる。
【００５６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００５７】
なお、本明細書の映像処理方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００５８】
本発明は、映像データ中の顔の認証処理を行う映像処理装置および映像処理方法に利用することができる。
【符号の説明】
【００５９】
１００ …映像処理装置
１１２ …カメラコントローラ（映像取得部）
１１６ …メモリコントローラ（映像取得部）
１１８ …メモリセレクタ（映像取得部）
１３８ …第４メモリ（情報保持部）
１５０ …顔検出部
１５２ …検出番号付与部
１５４ …顔認証部
１５６ …消失補間部
【技術分野】
【０００１】
本発明は、映像データ中の顔の認証処理を行う映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
従来、カムコーダ、デジタルカメラ等の撮像装置であって、撮像装置で生成した映像データ中から人の顔を検出し、検出した顔の中で予め登録した顔を識別する顔認証機能を備えるものが知られている。具体的に、撮像装置で生成した映像データから顔領域を切り出し、登録された顔とのマッチング率を導出して、その顔を登録された顔であると判断する技術が提案されている（例えば、先行文献１）。
【０００３】
この顔認証機能を連続的に有効とするためには、連続した映像データに対して毎回顔認証を行い、認証結果を更新する方法が考えられる。このとき、顔の位置や向きによって認証結果にばらつきが生じてしまう。そこで、認証結果のばらつきを抑制するため、検出した顔を追跡し、追跡している顔と、登録されている登録顔とを照合して顔を識別し、所定フレーム周期毎に登録顔を現在の検出した顔で更新して顔認証機能の精度を高める技術が提案されている（例えば、先行文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３３３６５２号公報
【特許文献２】特開２００８−２５７４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年、撮像装置は、バッテリ駆動での長時間使用が望まれている。しかし、上述した特許文献１、２等の技術を用いて顔認証機能が実行される場合、顔認証に伴う画像処理の処理量が大きくなり、消費電力が増大してしまうため、バッテリの消耗が激しかった。
【０００６】
そこで本発明は、このような課題に鑑み、顔認証の精度を維持したまま消費電力を抑制することが可能な、映像処理装置および映像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の映像処理装置は、登録された顔である登録顔の特徴を示す顔画像情報を予め保持する情報保持部と、映像データを取得する映像取得部と、取得された映像データから顔を検出する顔検出部と、２つのフレーム間において、前のフレームである第１フレームで検出された顔から、予め定められた距離内の位置に、後のフレームである第２フレームで顔が検出されるか否かを毎フレーム判定し、予め定められた距離内の位置で検出された顔には、第１フレームで検出された顔と同一の検出番号を付与し、予め定められた距離内の位置にあると判定されなかった顔には、新規の検出番号を付与する検出番号付与部と、顔画像情報に基づいて、検出された顔が、登録顔と同一人物の顔である認証顔か否かを毎フレーム判定する顔認証処理を行う顔認証部と、を備え、顔認証部は、検出された顔が認証顔である場合、認証顔に付与された検出番号と同一の検出番号が、以降のフレームでも付与され続けている間、認証顔に対応する登録顔を利用した顔認証処理を行わず、同一の検出番号が付与された顔を認証顔とすることを特徴とする。
【０００８】
第１フレームで検出された顔に付与された検出番号と同一の検出番号が第２フレームで付与されなくなった後、予め定められた回数に到達するか、再度、予め定められた距離内の位置に顔が検出されるまで、第１フレームで検出された顔に対応する領域に同一の検出番号を付与する消失補間部をさらに備えてもよい。
【０００９】
上記課題を解決するために、本発明の映像処理方法は、登録された顔である登録顔の特徴を示す顔画像情報を予め保持し、映像データを取得し、取得された映像データから顔を検出し、２つのフレーム間において、前のフレームである第１フレームで検出された顔から、予め定められた距離内の位置に、後のフレームである第２フレームで顔が検出されるか否かを毎フレーム判定し、予め定められた距離内の位置で検出された顔には、第１フレームで検出された顔と同一の検出番号を付与し、予め定められた距離内の位置にあると判定されなかった顔には、新規の検出番号を付与し、顔画像情報に基づいて、検出された顔が、登録顔と同一人物の顔である認証顔か否かを毎フレーム判定する顔認証処理を行い、検出された顔が認証顔である場合、認証顔に付与された検出番号と同一の検出番号が、以降のフレームでも付与され続けている間、認証顔に対応する登録顔を利用した顔認証処理を行わず、同一の検出番号が付与された顔を認証顔とすることを特徴とする。
【発明の効果】
【００１０】
以上説明したように本発明では、顔認証の精度を維持したまま消費電力を抑制することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】映像処理装置の概略的な構成を示した機能ブロック図である。
【図２】映像処理方法の処理の流れを示すフローチャートである。
【図３】映像処理方法の処理の流れを示すフローチャートである。
【図４】映像処理方法の処理の流れを示すフローチャートである。
【図５】映像処理方法の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１３】
（映像処理装置１００）
映像処理装置１００は、例えば、被写体を撮像して映像データを生成する。このとき、生成された映像データ中の被写体の顔を検出したり（顔検出機能）、顔の認証を行ったり（顔認証機能）することで顔を特定し、その顔に焦点をあてる等、様々な処理が為される。以下の実施形態では、映像処理装置１００の機能のうち、上記顔検出機能および顔認証機能について詳述する。
【００１４】
図１は、映像処理装置１００の概略的な構成を示した機能ブロック図である。映像処理装置１００は、撮像レンズ１０８と、ＣＭＯＳセンサ１１０と、カメラコントローラ１１２と、映像メモリ１１４と、メモリコントローラ１１６と、メモリセレクタ１１８と、リサイズコントローラ１２０と、ＶＧＡ（Video Graphics Array）セレクタ１２２と、ＱＶＧＡ（Quarter VGA）コントローラ１２４と、第１メモリ１２６と、ＶＧＡコントローラ１２８と、第２メモリ１３０と、顔検出コントローラ１３２と、第３メモリ１３４と、顔認証コントローラ１３６と、第４メモリ１３８と、ＣＰＵ１４０とを含んで構成される。
【００１５】
ここで、カメラコントローラ１１２と、メモリコントローラ１１６と、メモリセレクタ１１８とは、映像取得部として機能し、映像データを取得する。
【００１６】
具体的に、被写体を撮像して生成した映像データを記録する記録モード時において、撮像レンズ１０８で集光された光をＣＭＯＳセンサ１１０が光電変換し、ＣＭＯＳセンサ１１０から入力された映像データがカメラコントローラ１１２を介してメモリセレクタ１１８に出力され、リサイズコントローラ１２０へ送られる。また、記録された映像データを再生する再生モード時、映像メモリ１１４から出力された映像データはメモリコントローラ１１６、メモリセレクタ１１８を介して、リサイズコントローラ１２０へ送られる。メモリセレクタ１１８は、このように、記録モード時と再生モード時とで、リサイズコントローラ１２０に出力する映像データを切り替える。
【００１７】
リサイズコントローラ１２０は、ゲイン、オフセット等の調整を行い、さらに、図示しない操作部を通じたユーザ入力に従い、電子ズーム、デジタルエフェクト等の処理を行って、処理後の映像データをＶＧＡセレクタ１２２に送る。
【００１８】
ＶＧＡセレクタ１２２は、顔検出を実行する場合、リサイズコントローラ１２０から出力された映像データをＱＶＧＡコントローラ１２４に出力し、ＱＶＧＡコントローラ１２４は、ワークメモリである第１メモリ１２６を用いて、入力された映像データにＱＶＧＡ変換を施し、顔検出用の映像データを生成する。
【００１９】
また、ＶＧＡセレクタ１２２は、顔認証を実行する場合、リサイズコントローラ１２０から出力された映像データをＶＧＡコントローラ１２８に出力し、ＶＧＡコントローラ１２８は、ワークメモリである第２メモリ１３０を用いて、顔認証用の映像データを生成する。
【００２０】
顔検出コントローラ１３２は、ＱＶＧＡコントローラ１２４によって顔検出用の映像データが新たに生成されたことを受け、後述するＣＰＵ１４０の顔検出部が出力する制御指令に応じて、顔検出を実行し検出結果をワークメモリである第３メモリ１３４に格納する。
【００２１】
第４メモリ１３８は、情報保持部として機能し、顔を登録するユーザ入力に応じて、登録された顔である登録顔の特徴を示す顔画像情報を予め保持する。そして、顔認証コントローラ１３６は、ＶＧＡコントローラ１２８により顔認証用の映像データが新たに生成されたことを受けたことによって顔検出部から出力される制御指令に応じ、顔検出コントローラ１３２より取得した検出結果と、第４メモリ１３８に保持された顔画像情報とに基づいて顔認証を実行し、認証結果をワークエリアである第４メモリ１３８に格納する。
【００２２】
映像処理装置１００は、映像データのフレーム毎に、上述した顔検出および顔認証の動作を連続的に実行する。以下、この顔検出および顔認証の動作を制御するＣＰＵ１４０について詳述する。
【００２３】
ＣＰＵ１４０は、中央処理装置、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、映像処理装置１００全体を管理および制御する。また、ＣＰＵ１４０は、顔検出部１５０、検出番号付与部１５２、顔認証部１５４、消失補間部１５６としても機能する。
【００２４】
顔検出部１５０は、顔検出コントローラ１３２に、取得された映像データから顔を検出させるよう制御指令を出力する。
【００２５】
検出番号付与部１５２は、顔検出部１５０から、検出された顔の中心座標等を取得する。そして、検出番号付与部１５２は、映像データの連続する２つのフレーム間において、時間的に前のフレームである第１フレームで検出された顔から、予め定められた距離内の位置に、時間的に後のフレームである第２フレームで顔が検出されるか否かを毎フレーム判定し、予め定められた距離内の位置で検出された顔には、第１フレームで検出された顔と同一の検出番号（ＩＤ）を付与し、予め定められた距離内の位置にあると判定されなかった顔には新規の検出番号を付与する。
【００２６】
映像データのフレーム周期は、例えば１／６０秒等、短時間であるため、その間に映像データ中の顔の位置は大きく変動しない場合が多い。そのため、連続する２つのフレーム間において、予め定められた距離内の位置でそれぞれ検出された顔は、同一人物の顔である可能性が高い。検出番号付与部１５２が、２つのフレーム間において予め定められた距離内の位置で検出された顔に同一の検出番号を付与することで、同一人物の顔を複数のフレームに渡って追跡することが可能となる。
【００２７】
また、本実施形態において、検出番号付与部１５２は、検出された顔について、中心座標の他に、顔のサイズ、顔の向き、顔の回転方向等の情報を顔検出部１５０から取得する。そして、検出番号付与部１５２は、第２フレームにおいて、第１フレームで検出された顔から予め定められた距離内の位置に顔が検出されると、その検出された顔について、顔のサイズの差（絶対値または比）が所定範囲内か否か、および顔の向きの角度差が所定角度範囲内か否か等に基づいて、同一人物か否かを判定する。
【００２８】
顔認証部１５４は、第３メモリ１３４に格納された検出結果を、顔検出コントローラ１３２を通じて取得し、第４メモリ１３８に保持された登録顔の特徴を示す顔画像情報に基づいて、顔検出コントローラ１３２によって検出された顔が、登録顔と同一人物の顔である認証顔であるか否かを毎フレーム判定する顔認証処理を、顔認証コントローラ１３６に行わせる。顔認証コントローラ１３６は、登録顔に対する検出された顔の類似度合いを示す認証スコアを導出し、認証スコアが所定値以上の場合、その顔を認証顔と判定する。
【００２９】
ただし、本実施形態の顔認証部１５４は、必ずしも毎フレーム顔認証処理を行わない。すなわち、顔認証部１５４は、検出された顔を一旦認証顔であると判断した場合、認証顔に付与した検出番号を、その認証顔に対応する登録顔に関連付けて保持しておき、以降のフレームでも、引き続き検出された顔に付与された検出番号が、保持された検出番号と等しい間（同一の検出番号が付与され続けている間）、その認証顔に対応する登録顔を利用した顔認証処理を行わず、同一の検出番号が付与された顔を認証顔とみなす。
【００３０】
登録顔と同一人物の顔であると認証された認証顔を、以降でも追跡できている場合、追跡できている顔は、登録顔と同一人物の顔である可能性が高い。そこで、本実施形態の映像処理装置１００は、認証後に追跡できている顔がある場合、以降のフレームでは、その認証顔を利用した顔認証処理を行わない。かかる構成により、映像処理装置１００は、顔認証の精度を維持したまま消費電力の抑制ができる。
【００３１】
消失補間部１５６は、第１フレームで検出された顔に付与された検出番号と同一の検出番号が第２フレームで付与されなくなった後、予め定められた回数に到達するか、再度、予め定められた距離内の位置に顔が検出されるまで、第１フレームで検出された顔に対応する領域に同一の検出番号を付与する（消失補間処理）。
【００３２】
例えば、撮像者の手ぶれや被写体への光の加減等で一時的に顔を検出できないことがある。このとき、顔の追跡が終わってしまうと、その位置において、数フレーム後に、認証顔と同一の顔が再度検出されたとしても、改めて顔認証処理をしなければならない。かかる消失補間部１５６を備える構成により、映像処理装置１００は、一時的な要因で認証顔の追跡が終わってしまう事態を回避し、すぐに検出が再開する顔に関しての顔認証処理の発生頻度を抑えることができるので、消費電力を抑制することが可能となる。
【００３３】
また、消失補間部１５６は、さらに、その検出番号と同一の検出番号が、消失する前に連続して顔に付与された回数が、所定回数以上であることを、消失補間処理を行う条件として加えてもよい。連続して所定回数以上、検出された顔に対して付与された検出番号に限定することで、検出頻度が少ない、また、検出時間が短い顔すべてに消失補間処理を行って処理負荷が高まるのを回避でき、消失補間処理の精度を向上することが可能となる。
【００３４】
上述したように、本実施形態の映像処理装置１００は、顔認証の精度を維持したまま消費電力を抑制することが可能となる。
【００３５】
（映像処理方法）
さらに、上述した映像処理装置１００を用いた映像処理方法も提供される。図２〜５は、映像処理方法の処理の流れを示すフローチャートである。本実施形態の映像処理方法のフローチャートでは、登録顔が一つの場合を例に挙げて説明したが、複数の登録顔を対象としてもよい。その場合、顔認証部１５４は、登録顔毎に、顔認証処理を行うか、認証顔に付与された検出番号と同一の検出番号が付与された顔を認証顔と見なす。
【００３６】
図２において、上述した映像取得部として機能する各機能部によって、記録モード時には撮像、再生モード時には映像データの再生が行われ（Ｓ２００）、映像取得部は映像データ（フレーム）を取得する（Ｓ２０２）。そして、取得された映像データについて顔検出および消失補間処理を行う（Ｓ２０４）。かかる検出補間ステップＳ２０４について、図３を用いて詳述する。
【００３７】
図３において、顔検出部１５０は、顔検出コントローラ１３２に、取得された映像データから顔を検出させるよう制御指令を出力し、検出番号付与部１５２は、検出された顔の数、顔の中心座標、顔のサイズ、顔の向き、回転方向等を取得する（Ｓ２３０）。続いて、検出番号付与部１５２は、検出された顔のうち、未処理の、すなわち、まだ検出番号の付与がされていない顔があるか否かを判定する（Ｓ２３２）。未処理の顔がある場合（Ｓ２３２におけるＹＥＳ）、検出番号付与部１５２は、未処理の顔のうち１つの顔について、第１フレームで検出された顔から、予め定められた距離内に位置するか否かを判定する（Ｓ２３４）。
【００３８】
未処理の顔のうち１つの顔が予め定められた距離内に位置する場合（Ｓ２３４におけるＹＥＳ）、検出番号付与部１５２は、予め定められた距離内に位置する、第１フレームの顔および第２フレームの未処理の顔について、顔のサイズの差が予め定められた範囲内であるか否かを判定する（Ｓ２３６）。
【００３９】
そして、顔のサイズの差が予め定められた範囲内であった場合（Ｓ２３６におけるＹＥＳ）、検出番号付与部１５２は、予め定められた距離内に位置する、第１フレームの顔および第２フレームの未処理の顔について、顔の向き（例えば、目線の方向等）の角度差が予め定められた角度範囲内であるか否かを判定する（Ｓ２３８）。
【００４０】
予め定められた角度範囲内であった場合（Ｓ２３８におけるＹＥＳ）、検出番号付与部１５２は、予め定められた距離内に位置する、第２フレームの未処理の顔に、第１フレームで検出された顔と同一の検出番号を付与する（Ｓ２４０）。
【００４１】
また、未処理の顔のうち１つの顔が予め定められた距離内の位置にあると判定されなかったり（Ｓ２３４におけるＮＯ）、顔のサイズの差が予め定められた範囲内でなかったり（Ｓ２３６におけるＮＯ）、顔の向きの角度差が予め定められた角度範囲内でなかったりした場合（Ｓ２３８におけるＮＯ）、検出番号付与部１５２は、第２フレームの未処理の顔には新規の検出番号を付与する（Ｓ２４２）。
【００４２】
未処理検出顔判定ステップＳ２３２において、検出された顔のうち、未処理の顔がなかった場合（Ｓ２３２におけるＮＯ）、検出番号付与部１５２は、消失補間を行い（Ｓ２４４）、検出補間ステップＳ２０４を終了する。消失補間ステップＳ２４４について、図４を用いて詳述する。
【００４３】
図４において、消失補間部１５６は、第１フレームまたはそれ以前のフレームで検出された顔に付与された検出番号と同一の検出番号が第２フレームで付与されなくなった、すなわち、消失した検出番号で、かつ未処理の、すなわち、まだ消失補間を行っていないものがあるか否かを判定する（Ｓ２６０）。消失し未処理の検出番号がある場合（Ｓ２６０におけるＹＥＳ）、消失補間部１５６は、消失し未処理の検出番号のいずれかについて、同じ検出番号の履歴を読み込み（Ｓ２６２）、その検出番号について、消失補間部１５６は、その検出番号と同一の検出番号が連続して顔に付与された回数が、所定回数（例えば、１０回）以上であるか否かを判定する（Ｓ２６４）。
【００４４】
所定回数未満の場合（Ｓ２６４におけるＮＯ）、その検出番号について消失補間は行わず消失検出番号判定ステップＳ２６０に戻る。所定回数以上である場合（Ｓ２６４におけるＹＥＳ）、第１フレームまでに消失補間が成されており、その回数が予め定められた上限回数（例えば、５回）に到達しているか否かを判定する（Ｓ２６６）。到達している場合（Ｓ２６６におけるＮＯ）、その検出番号について消失補間は行わず消失検出番号判定ステップＳ２６０に戻る。
【００４５】
上限回数未満の場合（Ｓ２６６におけるＹＥＳ）、消失補間部１５６は、その検出番号が付与された、第１フレームまたはそれ以前のフレームで検出された顔に対応する領域に同一の検出番号を付与する消失補間処理を実行する（Ｓ２６８）。その後、消失検出番号判定ステップＳ２６０に戻る。
【００４６】
消失検出番号判定ステップＳ２６０において、消失した検出番号で、かつ未処理のものがない場合（Ｓ２６０におけるＮＯ）、消失補間ステップＳ２４４を終了する。上述したように、消失補間処理を行うことにより、検出番号の連続性がより高められる。
【００４７】
図２に戻って、ＣＰＵ１４０は、顔画像情報の登録を指示するユーザ入力があるか否かを判定する（Ｓ２０６）。ユーザ入力がある場合（Ｓ２０６におけるＹＥＳ）、ＣＰＵ１４０は、例えば、図示しない表示部に供えられたタッチパネル等を通じてユーザに指定された位置付近で検出された顔の特徴を示す顔画像情報を第４メモリ１３８に保持させる（Ｓ２０８）。
【００４８】
顔画像情報の登録を指示するユーザ入力が無かった場合（Ｓ２０６におけるＮＯ）、顔認証部１５４は、第１フレームにおいてすでに登録顔に検出番号が関連付けられているか否かを判定する（Ｓ２１０）。登録顔に関連付けられた検出番号がある場合（Ｓ２１０におけるＹＥＳ）、顔認証部１５４は、登録顔に関連付けられた検出番号と同一の検出番号が、第２フレームで検出された顔に付与されているか否かを判定する（Ｓ２１２）。付与されていない場合（Ｓ２１２におけるＮＯ）、および登録顔に関連付けられた検出番号がなかった場合（Ｓ２１０におけるＮＯ）、顔認証部１５４は、第３メモリ１３４に格納された検出結果を取得し、顔検出コントローラ１３２によって検出された顔が、顔画像情報に示される特徴を持つ顔と同一人物の顔である認証顔であるか否かの判定を顔認証コントローラ１３６に行わせる（Ｓ２１４）。
【００４９】
また、登録顔に関連付けられた検出番号と同一の検出番号が、第２フレームで検出された顔に付与されている場合（Ｓ２１２におけるＹＥＳ）、顔認証部１５４は、顔認証コントローラ１３６に顔認証処理を行わせず、その同一の検出番号が付与された顔を認証顔と見なす（Ｓ２１６）。
【００５０】
次に、図５を用いて、当該映像処理方法について、顔認証回路（顔認証コントローラ１３６）の開始および停止のタイミングを中心に説明する。映像取得部が映像データを取得すると（Ｓ２８０におけるＹＥＳ）、上述した検出補間ステップＳ２０４と同様の処理が行われる。そして、顔認証部１５４は、顔認証回路が起動しているか否かを判定する（Ｓ２８２）。起動していなければ（Ｓ２８２におけるＮＯ）、顔認証部１５４は、顔認証回路へのＣＬＫ（CLocK）信号の供給を開始して起動させる（Ｓ２８４）。
【００５１】
顔認証回路が起動していた場合（Ｓ２８２におけるＹＥＳ）、または顔認証回路起動ステップＳ２８４の後、顔認証部１５４は、顔検出コントローラ１３２を通じて第３メモリ１３４に格納された検出結果を取得し、顔検出コントローラ１３２によって検出された顔が認証顔であるか否かの判定を顔認証コントローラ１３６に行わせる（Ｓ２８６）。そして、顔認証部１５４は、認証顔があるか否かを判定する（Ｓ２８８）。認証顔がなかった場合（Ｓ２８６におけるＮＯ）、第４メモリ１３８に登録顔に関連付けられた検出番号が保持されていればそれを破棄し（Ｓ２９０）、映像データ取得ステップＳ２８０に戻る。
【００５２】
認証顔がある場合（Ｓ２８８におけるＹＥＳ）、顔認証部１５４は、認証顔の検出番号を対応する登録顔に関連付けて（紐付けして）、第４メモリ１３８に保持させる（Ｓ２９２）。顔認証部１５４は、顔認証を実行させる顔認証回路に供給されているＣＬＫ信号を停止させることにより、顔認証回路を停止させる（Ｓ２９４）。
【００５３】
続いて、次の映像データ（フレーム）が取得されると（Ｓ２９６におけるＹＥＳ）、上述した検出補間ステップＳ２０４と同様の処理を行い、顔認証部１５４は、登録顔に関連付けられた検出番号と同一の検出番号が、第２フレームで検出された顔に付与されているか否かを判定する（Ｓ２９８）。第２フレームで検出された顔に同一の検出番号が付与されていない場合（Ｓ２９８におけるＮＯ）、顔認証回路起動判定ステップＳ２８２に戻る。
【００５４】
同一の検出番号が付与されている場合（Ｓ２９８におけるＹＥＳ）、顔認証部１５４は、顔認証コントローラ１３６に処理を行わせず、その同一の検出番号が付与された顔を認証顔と見なす（Ｓ３００）。そして、映像データ取得ステップＳ２９６に戻る。こうして、顔認証回路を停止しながら、検出された顔が認証顔であるか否かの判定が可能となる。
【００５５】
上述したように、映像処理装置１００を用いた映像処理方法によれば、顔認証の精度を維持したまま消費電力を抑制することが可能となる。
【００５６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００５７】
なお、本明細書の映像処理方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００５８】
本発明は、映像データ中の顔の認証処理を行う映像処理装置および映像処理方法に利用することができる。
【符号の説明】
【００５９】
１００ …映像処理装置
１１２ …カメラコントローラ（映像取得部）
１１６ …メモリコントローラ（映像取得部）
１１８ …メモリセレクタ（映像取得部）
１３８ …第４メモリ（情報保持部）
１５０ …顔検出部
１５２ …検出番号付与部
１５４ …顔認証部
１５６ …消失補間部
【特許請求の範囲】
【請求項１】
登録された顔である登録顔の特徴を示す顔画像情報を予め保持する情報保持部と、
映像データを取得する映像取得部と、
取得された前記映像データから顔を検出する顔検出部と、
２つのフレーム間において、前のフレームである第１フレームで検出された顔から、予め定められた距離内の位置に、後のフレームである第２フレームで顔が検出されるか否かを毎フレーム判定し、前記予め定められた距離内の位置で検出された顔には、前記第１フレームで検出された顔と同一の検出番号を付与し、前記予め定められた距離内の位置にあると判定されなかった顔には、新規の検出番号を付与する検出番号付与部と、
前記顔画像情報に基づいて、前記検出された顔が、前記登録顔と同一人物の顔である認証顔か否かを毎フレーム判定する顔認証処理を行う顔認証部と、
を備え、
前記顔認証部は、前記検出された顔が前記認証顔である場合、前記認証顔に付与された検出番号と同一の検出番号が、以降のフレームでも付与され続けている間、前記認証顔に対応する前記登録顔を利用した顔認証処理を行わず、前記同一の検出番号が付与された顔を前記認証顔とすることを特徴とする映像処理装置。
【請求項２】
前記第１フレームで検出された顔に付与された検出番号と同一の検出番号が前記第２フレームで付与されなくなった後、予め定められた回数に到達するか、再度、前記予め定められた距離内の位置に顔が検出されるまで、前記第１フレームで検出された顔に対応する領域に前記同一の検出番号を付与する消失補間部をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
登録された顔である登録顔の特徴を示す顔画像情報を予め保持し、
映像データを取得し、
取得された前記映像データから顔を検出し、
２つのフレーム間において、前のフレームである第１フレームで検出された顔から、予め定められた距離内の位置に、後のフレームである第２フレームで顔が検出されるか否かを毎フレーム判定し、前記予め定められた距離内の位置で検出された顔には、前記第１フレームで検出された顔と同一の検出番号を付与し、前記予め定められた距離内の位置にあると判定されなかった顔には、新規の検出番号を付与し、
前記顔画像情報に基づいて、前記検出された顔が、前記登録顔と同一人物の顔である認証顔か否かを毎フレーム判定する顔認証処理を行い、
前記検出された顔が前記認証顔である場合、前記認証顔に付与された検出番号と同一の検出番号が、以降のフレームでも付与され続けている間、前記認証顔に対応する前記登録顔を利用した顔認証処理を行わず、前記同一の検出番号が付与された顔を前記認証顔とすることを特徴とする映像処理方法。
【請求項１】
登録された顔である登録顔の特徴を示す顔画像情報を予め保持する情報保持部と、
映像データを取得する映像取得部と、
取得された前記映像データから顔を検出する顔検出部と、
２つのフレーム間において、前のフレームである第１フレームで検出された顔から、予め定められた距離内の位置に、後のフレームである第２フレームで顔が検出されるか否かを毎フレーム判定し、前記予め定められた距離内の位置で検出された顔には、前記第１フレームで検出された顔と同一の検出番号を付与し、前記予め定められた距離内の位置にあると判定されなかった顔には、新規の検出番号を付与する検出番号付与部と、
前記顔画像情報に基づいて、前記検出された顔が、前記登録顔と同一人物の顔である認証顔か否かを毎フレーム判定する顔認証処理を行う顔認証部と、
を備え、
前記顔認証部は、前記検出された顔が前記認証顔である場合、前記認証顔に付与された検出番号と同一の検出番号が、以降のフレームでも付与され続けている間、前記認証顔に対応する前記登録顔を利用した顔認証処理を行わず、前記同一の検出番号が付与された顔を前記認証顔とすることを特徴とする映像処理装置。
【請求項２】
前記第１フレームで検出された顔に付与された検出番号と同一の検出番号が前記第２フレームで付与されなくなった後、予め定められた回数に到達するか、再度、前記予め定められた距離内の位置に顔が検出されるまで、前記第１フレームで検出された顔に対応する領域に前記同一の検出番号を付与する消失補間部をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
登録された顔である登録顔の特徴を示す顔画像情報を予め保持し、
映像データを取得し、
取得された前記映像データから顔を検出し、
２つのフレーム間において、前のフレームである第１フレームで検出された顔から、予め定められた距離内の位置に、後のフレームである第２フレームで顔が検出されるか否かを毎フレーム判定し、前記予め定められた距離内の位置で検出された顔には、前記第１フレームで検出された顔と同一の検出番号を付与し、前記予め定められた距離内の位置にあると判定されなかった顔には、新規の検出番号を付与し、
前記顔画像情報に基づいて、前記検出された顔が、前記登録顔と同一人物の顔である認証顔か否かを毎フレーム判定する顔認証処理を行い、
前記検出された顔が前記認証顔である場合、前記認証顔に付与された検出番号と同一の検出番号が、以降のフレームでも付与され続けている間、前記認証顔に対応する前記登録顔を利用した顔認証処理を行わず、前記同一の検出番号が付与された顔を前記認証顔とすることを特徴とする映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１３７８６１（Ｐ２０１２−１３７８６１Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２８８５９０（Ｐ２０１０−２８８５９０）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]