画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
【課題】個人認証を行う一周期の期間内に取り込まれた複数の画像から検出された顔の中から、好適な条件の顔を選択することで、個人認証を行う期間毎に高い認証精度が得られる画像処理技術を実現する。
【解決手段】画像処理装置は、画像から人物の顔領域を検出する顔検出処理を周期的に行う顔検出手段と、前記顔検出手段により検出された顔領域に対する個人認証処理を周期的に行う認証手段と、前記顔検出手段により検出された顔領域から、前記個人認証処理の対象とする顔領域を選択するための判定基準を算出する算出手段とを有し、前記認証手段は、前記顔検出手段による顔検出処理よりも長い周期で前記個人認証処理を行うものであり、前記個人認証処理を行う一周期の期間に、前記顔検出手段にて複数の画像から顔領域が検出された場合には、前記複数の画像の顔領域の中から前記算出手段によって算出された判定基準に合う顔領域を前記個人認証処理の対象とする。
【解決手段】画像処理装置は、画像から人物の顔領域を検出する顔検出処理を周期的に行う顔検出手段と、前記顔検出手段により検出された顔領域に対する個人認証処理を周期的に行う認証手段と、前記顔検出手段により検出された顔領域から、前記個人認証処理の対象とする顔領域を選択するための判定基準を算出する算出手段とを有し、前記認証手段は、前記顔検出手段による顔検出処理よりも長い周期で前記個人認証処理を行うものであり、前記個人認証処理を行う一周期の期間に、前記顔検出手段にて複数の画像から顔領域が検出された場合には、前記複数の画像の顔領域の中から前記算出手段によって算出された判定基準に合う顔領域を前記個人認証処理の対象とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から人物の顔を検出して、検出した顔に対して個人認証を行う画像処理技術に関する。
【背景技術】
【０００２】
近年では、撮影中に周期的に顔を検出し、予め保持している個人情報と比較を行い、その顔が誰であるか特定する個人認証が可能なスチルカメラが登場している。こうしたカメラでは、1秒間に複数回顔検出が行われている。そして顔検出が終わると、その検出結果を用いて個人認証を行う。個人認証の処理を実施するには顔検出より長い時間を要するため、その間に複数回顔検出が行われる。
【０００３】
しかしながら、検出された顔が個人認証をする上で最適な顔とは限らない。例えば、顔が傾いていたり、目を瞑っていたりする場合がある。そのような場合、信頼度の高い個人認証結果が得られない。
【０００４】
この課題を解決するための最適な顔を抽出する方法として、特許文献１には、顔検出を行いながらその検出結果を都度判定し、条件を満たした顔のみを表情認識に使用する画像処理装置について記述されている。このように、条件を満たした顔のみを表情認識に使用することで、最適な顔を抽出することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３１０７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術により個人認証を行う場合、顔検出結果が所定の条件を満たすのを待つことになり、個人認証の開始が遅くなる。よって、個人認証結果が出るまでの時間が長くなる可能性がある。
【０００７】
本発明は、上記課題に鑑みてなされ、その目的は、個人認証を行う一周期の期間内に取り込まれた複数の画像から検出された顔の中から、好適な条件の顔を選択することで、個人認証を行う期間毎に高い認証精度が得られる画像処理技術を実現することである。
【課題を解決するための手段】
【０００８】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、画像から人物の顔領域を検出する顔検出処理を周期的に行う顔検出手段と、前記顔検出手段により検出された顔領域に対する個人認証処理を周期的に行う認証手段と、前記顔検出手段により検出された顔領域から、前記個人認証処理の対象とする顔領域を選択するための判定基準を算出する算出手段とを有し、前記認証手段は、前記顔検出手段による顔検出処理よりも長い周期で前記個人認証処理を行うものであり、前記個人認証処理を行う一周期の期間に、前記顔検出手段にて複数の画像から顔領域が検出された場合には、前記複数の画像の顔領域の中から前記算出手段によって算出された判定基準に合う顔領域を前記個人認証処理の対象とする。
【発明の効果】
【０００９】
本発明によれば、個人認証を行う一周期の期間内に取り込まれた複数の画像から検出された顔の中から、好適な条件の顔を選択することで、個人認証を行う期間毎に高い認証精度が得られる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る実施形態の画像処理装置のブロック図。
【図２】顔検出処理と個人認証処理の各処理周期を説明する図。
【図３】実施形態１による個人認証を行う一周期の期間に顔検出された画像と検出結果を例示する図。
【図４】実施形態１による個人認証の対象とする顔を判定方法を例示する図。
【図５】実施形態２による個人認証の対象とする顔の判定方法を例示する図。
【図６】実施形態２による個人認証を行う一周期の期間に顔検出された画像と検出結果を例示する図。
【発明を実施するための形態】
【００１１】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
【００１２】
［実施形態１］先ず、実施形態１について説明する。以下では、本発明の画像処理装置を、撮影画像（動画や静止画）から顔検出／個人認証を行うデジタルビデオカメラとして説明する。
【００１３】
＜ビデオカメラの構成＞先ず、図１を参照して、ビデオカメラ１００の構成について説明する。図１において、ビデオカメラ１００は制御系１０１〜１０４を備える。１０１はプログラムに従い各種演算処理を実行するＣＰＵである。１０２はプログラムやデータ等を一時的に保持する揮発性メモリを構成するＲＡＭである。１０３は、ハードディスク等の補助記憶装置やフラッシュメモリ等の不揮発性メモリを構成するＲＯＭである。１０４はユーザ操作を受け付ける操作部である。
【００１４】
ＣＰＵ１０１は内部バス１０５を介して、ＲＡＭ１０２、ＲＯＭ１０３、操作部１０４その他各ブロックに接続され、ＲＯＭ１０３に格納された制御プログラムに従って、各ブロックの制御を行う。ＲＡＭ１０２は、ＣＰＵ１０１による演算処理時にデータの一時的な格納場所として用いられる。操作部１０４は、ユーザが操作可能なボタンやキー、レバー等の操作部材からなり、ユーザによる入力操作をＣＰＵ１０１に出力し、ＣＰＵ１０１はユーザの操作指示に応じて各種演算処理を実行する。
【００１５】
また、ビデオカメラ１００は撮像光学系１１０〜１１４を備える。１１０はズームレンズ、１１１はフォーカシングレンズ、１１２は絞り、１１３は、これらレンズ１１０、１１１や絞り１１２を駆動するレンズ駆動部である。１１４は被写体の画像を電気信号化するＣＣＤやＣＭＯＳからなるイメージセンサを構成する撮像素子である。ズームレンズ１１０及びフォーカシングレンズ１１１を通過した光は、撮像素子１１４の撮像面上に結像され、撮像面の光学像が光電変換されて画像信号として出力される。レンズ駆動部１１３はＣＰＵ１０１の制御指令に従い、ズームレンズ１１０やフォーカシングレンズ１１１、絞り１１２を駆動して、光学ズーム倍率、フォーカス及び絞り量の調整を行う。ＡＦＥ１１５はＣＰＵ１０１の制御指令に応じた電子シャッター速度で、撮像素子１１４を駆動し、１／６０秒毎に１フレーム分の画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。
【００１６】
更に、ビデオカメラ１００は画像処理系として、画像処理部１２０、露出評価部１２１、フォーカス評価部１２２、バッファメモリ１２３、顔検出部１２４、個人認証部１２５を備える。画像処理部１２０はＣＰＵ１０１の制御指令に従い、撮像素子１１４からＡＦＥ１１５を介して画像信号を入力して色変換等の信号処理を行い、バッファメモリ１２３に出力する。露出評価部１２１及びフォーカス評価部１２２は、画像処理部１２０から取得した画像信号に含まれる複数の画像領域に対して、露出状態及びフォーカス状態それぞれについて良否を評価する。顔検出部１２４は１フレーム毎にバッファメモリ１２３から画像信号を読み出し、画像に含まれる人物の顔の数や大きさ、位置等を周期的に検出する。
【００１７】
ＣＰＵ１０１は、顔検出部１２４が検出に用いた画像データをバッファメモリ１２３に一時的に格納する。更に、バッファメモリ１２３に格納されている画像データについて、顔検出部１２４で検出された顔の大きさや位置等の顔検出結果と検出対象の画像データとを関連付けてＲＡＭ１０２に格納する。
【００１８】
個人認証部１２５はＣＰＵ１０１の制御指令に従い、個人認証処理を顔検出処理よりも遅い一定の周期で実行する。個人認証処理は、顔検出部１２４で検出された顔の中から後述する判定基準にて選択された顔と、ＲＯＭ１０３に格納された個人情報リストに登録されている人物毎の顔とを比較し、検出された顔と類似する顔の人物がいるか否を判定する。すなわち、個人認証部１２５は、顔検出部１２４によって検出された顔の中から後述する判定基準にて選択された顔（画像データ）と、個人情報リストに登録されている顔（画像データ）との類似度を算出する。この類似度を算出する方法としては、例えば、特開２０００−０３００６５号公報に開示されたように、顔画像データの大きさ、角度、輝度などを正規化した後、フーリエスペクトルのＫＬ展開法を用いる方法がある。あるいは、特開２００４−０３８５３１号公報に開示されているように、検出した顔画像データを顔までの距離に応じて正規化し、マッチングを行う手法などがある。なお、予め登録されている顔画像データとは、圧縮されて保存されている顔画像データそのもの、若しくは目、鼻、口、眉毛など、顔に関する特徴量を示す情報である。
【００１９】
また、ビデオカメラ１００はＵＳＢ等のインタフェースを構成する出力部１３０を備え、バッファメモリ１２３から読み出した画像信号を、パーソナルコンピュータ（ＰＣ）やプリンタ等の外部機器に出力する。
【００２０】
＜顔検出処理及び個人認証処理＞次に、図２を参照して顔検出処理と個人認証処理について説明する。
【００２１】
図２は個人認証を行う一周期の期間毎に、顔検出に利用された画像データを例示している。図中の「検出画像」とは、顔検出部１２４がバッファメモリ１２３から読み出し、顔検出処理を行った画像である。画像２０１〜２０９を検出画像とすると、先ず、画像２０１をバッファメモリ１２３から読み出し、顔検出処理を行う。同様にして、画像２０２、２０３、２０４の順で顔検出処理を行う。これら検出画像２０１〜２０４から検出された顔の中から、ＣＰＵ１０１は、所定の判定条件を満たしている好適な条件の顔を選択し、選択された顔について、個人認証部１２５が個人認証処理を行う。
【００２２】
図中の「個人認証処理」とは、個人認証部１２５での処理期間を示したものである。２１１、２１２で示した期間が個人認証を行う一周期の期間を示す。検出画像２０１〜２０４は、次回の個人認証処理期間２１２で処理される。同様に、検出画像２０５〜２０８は、次回の個人認証処理期間２１３で処理される。本実施形態においては、図示のように、一回の個人認証処理に対して顔検出が４回行われる。
【００２３】
ここで、バッファメモリ１２３の動作について説明する。図中の個人認証処理期間２１１で行われた顔検出結果に対応する検出画像２０１〜２０４は、バッファメモリ１２３とＲＡＭ１０２にそれぞれ格納される。ここで、ＣＰＵ１０１は、検出画像２０２から検出された顔を好適な条件の顔として、次回の個人認証処理期間２１２における個人認証処理で利用する。個人認証部１２５が個人認証処理期間２１２での個人認証処理を開始すると、ＣＰＵ１０１は検出画像２０２とその顔検出結果をバッファメモリ１２３に残しつつ、それ以外の検出画像２０１、２０３、２０４と顔検出結果を削除する。そして次の検出画像２０５〜２０８を順次格納する。
【００２４】
このようにして、本実施形態によれば、ＣＰＵ１０１が、個人認証処理期間２１１の間に顔検出された検出画像２０１〜２０４の中で、好適な条件の顔を選択し、選択された顔に対して個人認証処理を行う。
【００２５】
なお、顔検出方法としては、画像データから肌色データを抽出し肌色範囲と判定された領域を顔領域として抽出するが、例えば、目、鼻、口など顔の部品に注目する方法や、顔の輪郭に注目した楕円形状情報を利用する方法など他の方法を用いても構わない。
【００２６】
＜顔選択方法＞次に、図３を参照して、個人認証処理の対象とするためにＣＰＵ１０１が検出画像から好適な条件の顔を選択する方法について説明する。本実施形態では、ＣＰＵ１０１は、検出された顔の大きさ（顔領域を構成する画素数）を判定基準として算出し、個人認証を行う一周期の期間に検出された顔の中で、顔領域が最も大きい顔を個人認証の対象とする顔として選択する。これは、顔領域が大きい方が画素数が多くなり、個人認証精度が高くなるからである。
【００２７】
図３（Ａ）は個人認証を行う一周期の期間に取り込まれた検出画像を例示している。図３（Ａ）において、顔検出部１２４は、検出画像３０１（フレーム１）、検出画像３０２（フレーム２）、検出画像３０３（フレーム３）、検出画像３０４（フレーム４）の順で検出処理を行う。
【００２８】
各検出画像３０１〜３０４における領域３１１〜３１４は、顔検出部１２４により検出された人物Ａの顔領域を模式的に表したものである。ＣＰＵ１０１は、この４枚の検出画像３０１〜３０４から検出された各顔から、個人認証に好適な条件の顔を決定する。
【００２９】
図３（Ｂ）は、顔検出部１２４が検出した各検出画像の顔の大きさを数値化した検出結果を例示している。顔検出部１２４は顔の大きさを演算し、検出画像の中で顔の大きいものほど数値を大きくする。図３（Ｂ）のフレーム２で検出された人物Ａの顔の大きさの値は６０であり、これら４つの値の中で最大である。この検出結果から、ＣＰＵ１０１はフレーム２の人物Ａの顔３１２を、個人認証の対象とする好適な条件の顔として決定する。
【００３０】
＜判定基準の例示＞
本実施形態では、個人認証の対象とする顔の判定基準を顔の大きさとしているが、他の判定基準を適用してもよい。例えば、顔検出部１２４が顔の傾き（例えば、両目の中心、鼻、口を結ぶ直線の鉛直方向に対する傾き）を検出できるものとし、顔の傾きを判定基準にして、傾きがより小さい顔を選択するようにしてもよい。具体的には、図４（Ａ）に示すように、顔検出部１２４が検出画像４０１〜４０４から各顔の傾きを検出し、ＣＰＵ１０１は検出された各顔の傾きを判定基準として算出し、個人認証の対象とする好適な条件の顔を決定する。この場合には、ＣＰＵ１０１は、各検出画像４０１〜４０４から検出された顔４１１〜４１４の中から、最も傾きが小さい顔４１２を選択する。
【００３１】
また、顔検出部１２４が顔の（正面に対する）向きを検出できるのとし、顔の向きを判定基準として、最も正面を向いている顔を選択するようにしてもよい。具体的には、図４（Ｂ）に示すように、顔検出部１２４が検出画像４２１〜４２４から各顔の向きを検出し、ＣＰＵ１０１は検出された各顔の向きを判定基準として算出し、個人認証の対象とする好適な条件の顔を決定する。この場合には、ＣＰＵ１０１は、各検出画像４２１〜４２４から検出された顔４３１〜４３４の中から、正面を向いている顔４３２を選択する。
【００３２】
更には、顔の表情（例えば、笑顔や目瞑り等）を検出する表情検出部を追加し、顔の表情を判定基準として、例えば目瞑りしてない顔を選択するようにしてもよい。具体的には、図４（Ｃ）に示すように、顔検出部１２４が検出画像４４１〜４４４から顔４５１〜４５４を検出し、表情検出部が各顔４５１〜４５４の目瞑りの状態を検出する。そして、ＣＰＵ１０１は検出された各顔の目瞑りの状態を判定基準として算出し、個人認証の対象とする好適な条件の顔を判定する。この場合には、ＣＰＵ１０１は、各検出画像４４１〜４４４から検出された顔４５１〜４５４の中から、目瞑りしていない顔４５２を選択する。
【００３３】
なお、笑顔等の表情の判定は、特開２００４−２９４４９８号公報に記載のように、顔の輪郭の形状、目の形状、口の形状等を抽出し、それらの相対位置や形状と予め規格化された形状とのパターンマッチングにより、笑顔であるか判定する方法を適用できる。一般に、表情が笑顔になると、口の両端部は顔の上方に移動し、目は細くなる。従って、例えば、パターンマッチングによって、口の形状において両端部が上がっていることを検知し、かつ、目の開閉度がある閾値以下であることを検知した場合に、表情が笑顔であると判定することが可能である。なお、目の開閉度は目が開いているほど、その値が大きくなるものとする。
【００３４】
また、目瞑りの判定は、特開平０６−０３２１５４号公報に記載のように、顔の輪郭の内側での黒色領域より目を抽出し、抽出した目領域での連続領域である黒色画素の最大数を用いて目の開閉を判定する方法を適用することができる。連続領域である黒色画素の最大数は、完全に目が閉じている状態ではゼロとなり、目が開いている状態では正の値となる。従って、例えば、連続領域である黒色画素の最大数を目の開閉度として利用し、この値がある閾値以下である場合には、目瞑りであると判定することが可能である。
【００３５】
更にまた、顔の動きを検出する動きベクトル検出部を追加し、顔の動きを判定基準として、顔の動きが小さい顔を選択するようにしてもよい。これは、動きベクトルが大きいと、画像上の顔がぶれたり、ボケている可能性があるためである。
【００３６】
その他、検出画像中で最も中央寄りにある顔や最も明るい顔を判定基準としたり、上記顔の大きさや傾き、向き、目の状態、顔の動きベクトル等の複数の判定基準を適宜組み合わせてもよい。その際に、判定基準毎に優先度（重み付け）を付加して、特定の判定基準を優先するようにしてもよい。
【００３７】
上述した実施形態によれば、個人認証を行う一周期の期間に検出された顔の中から、個人認証に好適な条件の顔を選択することで、一定周期で実行される個人認証処理の認証精度を高めることができる。
【００３８】
［実施形態２］次に、実施形態２について説明する。実施形態２は、実施形態１に対して、ＣＰＵ１０１が個人認証の対象とする顔の判定方法が異なっている。なお、実施形態２においても、ＣＰＵ１０１は検出された顔の大きさを判定基準として算出し、個人認証の対象とする好適な条件の顔を判定する。ここで、個人認証を行う一周期の期間の複数の検出画像の中で、最新の検出画像から検出されなかった人物の顔は判定対象から除外する。これは、最新の検出画像で検出されなかった顔は既に画像から消滅している可能性が高いためである。
【００３９】
実施形態２において、ＣＰＵ１０１は、一周期の期間に検出された各顔に対して、検出結果の位置と大きさの相関関係より、同一人物か否かを判定する（同一人物判定処理）。図５は一周期の期間に検出された検出画像を例示している。顔検出部１２４は検出画像５０１〜５０４の順で顔検出処理を行う。先ず、顔検出部１２４は、検出画像５０１に写る人物Ａの顔５１１を検出する。次に顔検出部１２４は、検出画像５０２に写る顔５１２が人物Ａのものではなかったものとし、図中の５２２の×印はそれを示したものである。引き続き、顔検出部１２４は、検出画像５０３で再度人物Ａの顔５１３を検出し、同様に検出画像５０４でも人物Ａの顔５１４を検出する。
【００４０】
このときＣＰＵ１０１は、各画像間での検出結果の位置と大きさの相関関係より、顔５１１、５１３、５１４が同一人物であると判定する。
【００４１】
次に、図６を参照して、本実施形態による個人認証の対象とする顔の判定方法について説明する。図６（Ａ）は個人認証を行う一周期の期間に検出された検出画像を例示している。図６（Ａ）で顔検出部１２４は検出画像６０１（フレーム１）、検出画像６０２（フレーム２）、検出画像６０３（フレーム３）、検出画像６０４（フレーム４）の順に顔検出処理を行う。検出画像６０１における６１１、６２１、６３１は人物Ａ、人物Ｂ、人物Ｃの各顔を模式的に表したものである。また６４１の×印は顔検出部１２４が下を向いていた人物Ｂを検出できなかったことを示している。同様に検出画像６０２の６１２、６２２、６３２と、検出画像６０３の６１３、６２３、６３３もそれぞれ人物Ａ、人物Ｂ、人物Ｃの顔を模式的に表している。このとき、検出画像６０３で人物Ｃは一部フレームアウトしており、顔検出部１２４が人物Ｃを検出できなくなったことを６４３の×印で示している。検出画像６０４では、人物Ｃが完全にフレームアウトしており、６１４、６２４で示した人物Ａと人物Ｂの顔のみが検出されている。
【００４２】
ＣＰＵ１０１は、この４枚の検出画像６０１〜６０４から検出された各顔から、個人認証の対象とする顔を判定する。ここで、上記同一人物判定処理によって、図６（Ａ）の６１１、６１２、６１３、６１４を人物Ａの顔として判定している。同様に、６２２、６２３、６２４を人物Ｂの顔として、６３１、６３２を人物Ｃの顔としてそれぞれ判定している。ＣＰＵ１０１は、同一人物判定処理結果に基づき、顔検出部１２４が検出した各検出画像６０１〜６０４の中の顔の大きさの検出結果を、同一人物毎にまとめた図６（Ｂ）に示すようなテーブルを生成する。顔検出部１２４は検出画像の中で顔の大きいものほど数値を大きくする。このとき、最新の検出画像６０４に検出されていない人物Ｃの顔は判定対象としない。
【００４３】
図６（Ｂ）のフレーム１で検出された人物Ｃの顔の大きさの値が５５で最大となるが、人物Ｃは判定対象外である。このため、判定対象である人物Ａと人物Ｂの顔のうち、最も大きいのはフレーム３で検出された人物Ａの顔６１３の値５０である。よって、ＣＰＵ１０１はフレーム３の人物Ａの顔６１３を個人認証の対象とする顔と判定する。あるいは、人物Ａと人物Ｂのそれぞれにおいて、最も大きい顔を個人認証の対象としてもよい。すなわち、人物Ａであればフレーム３で検出された顔６１３を、人物Ｂであればフレーム２で検出された顔６２２を個人認証の対象としてもよい。
【００４４】
ここで、ＣＰＵ１０１は、個人認証の対象とする顔を判定する際に閾値を設定し、いずれの顔も判定基準の評価値が閾値を超えない場合には、個人認証処理を行わないようにしてもよい。具体的には、図６（Ｃ）に、顔検出部１２４で検出した各検出画像での人物それぞれの顔の大きさを数値化した検出結果を例示しているように、顔の大きさを判定基準として、閾値を２０に設定する。すると、図６（Ｃ）の検出結果ではいずれの顔も大きさが２０を超えないため、ＣＰＵ１０１は個人認証処理を行わない。
【００４５】
上述した実施形態によれば、個人認証を行う一周期の期間に検出された顔の中から、不必要な顔を除外しつつ個人認証に好適な条件の顔を選択することで、一定周期で実行される個人認証処理の認証精度を高めることができる。
【００４６】
なお、上述した各実施形態においては、本発明をビデオカメラに適用した例を説明したが、本発明はこれに限定される趣旨ではない。すなわち、本発明は動画撮影機能付きのデジタルスチルカメラや携帯電話等、複数の画像を撮影可能な撮像装置にも適用可能である。
【００４７】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、画像から人物の顔を検出して、検出した顔に対して個人認証を行う画像処理技術に関する。
【背景技術】
【０００２】
近年では、撮影中に周期的に顔を検出し、予め保持している個人情報と比較を行い、その顔が誰であるか特定する個人認証が可能なスチルカメラが登場している。こうしたカメラでは、1秒間に複数回顔検出が行われている。そして顔検出が終わると、その検出結果を用いて個人認証を行う。個人認証の処理を実施するには顔検出より長い時間を要するため、その間に複数回顔検出が行われる。
【０００３】
しかしながら、検出された顔が個人認証をする上で最適な顔とは限らない。例えば、顔が傾いていたり、目を瞑っていたりする場合がある。そのような場合、信頼度の高い個人認証結果が得られない。
【０００４】
この課題を解決するための最適な顔を抽出する方法として、特許文献１には、顔検出を行いながらその検出結果を都度判定し、条件を満たした顔のみを表情認識に使用する画像処理装置について記述されている。このように、条件を満たした顔のみを表情認識に使用することで、最適な顔を抽出することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３１０７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術により個人認証を行う場合、顔検出結果が所定の条件を満たすのを待つことになり、個人認証の開始が遅くなる。よって、個人認証結果が出るまでの時間が長くなる可能性がある。
【０００７】
本発明は、上記課題に鑑みてなされ、その目的は、個人認証を行う一周期の期間内に取り込まれた複数の画像から検出された顔の中から、好適な条件の顔を選択することで、個人認証を行う期間毎に高い認証精度が得られる画像処理技術を実現することである。
【課題を解決するための手段】
【０００８】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、画像から人物の顔領域を検出する顔検出処理を周期的に行う顔検出手段と、前記顔検出手段により検出された顔領域に対する個人認証処理を周期的に行う認証手段と、前記顔検出手段により検出された顔領域から、前記個人認証処理の対象とする顔領域を選択するための判定基準を算出する算出手段とを有し、前記認証手段は、前記顔検出手段による顔検出処理よりも長い周期で前記個人認証処理を行うものであり、前記個人認証処理を行う一周期の期間に、前記顔検出手段にて複数の画像から顔領域が検出された場合には、前記複数の画像の顔領域の中から前記算出手段によって算出された判定基準に合う顔領域を前記個人認証処理の対象とする。
【発明の効果】
【０００９】
本発明によれば、個人認証を行う一周期の期間内に取り込まれた複数の画像から検出された顔の中から、好適な条件の顔を選択することで、個人認証を行う期間毎に高い認証精度が得られる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る実施形態の画像処理装置のブロック図。
【図２】顔検出処理と個人認証処理の各処理周期を説明する図。
【図３】実施形態１による個人認証を行う一周期の期間に顔検出された画像と検出結果を例示する図。
【図４】実施形態１による個人認証の対象とする顔を判定方法を例示する図。
【図５】実施形態２による個人認証の対象とする顔の判定方法を例示する図。
【図６】実施形態２による個人認証を行う一周期の期間に顔検出された画像と検出結果を例示する図。
【発明を実施するための形態】
【００１１】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
【００１２】
［実施形態１］先ず、実施形態１について説明する。以下では、本発明の画像処理装置を、撮影画像（動画や静止画）から顔検出／個人認証を行うデジタルビデオカメラとして説明する。
【００１３】
＜ビデオカメラの構成＞先ず、図１を参照して、ビデオカメラ１００の構成について説明する。図１において、ビデオカメラ１００は制御系１０１〜１０４を備える。１０１はプログラムに従い各種演算処理を実行するＣＰＵである。１０２はプログラムやデータ等を一時的に保持する揮発性メモリを構成するＲＡＭである。１０３は、ハードディスク等の補助記憶装置やフラッシュメモリ等の不揮発性メモリを構成するＲＯＭである。１０４はユーザ操作を受け付ける操作部である。
【００１４】
ＣＰＵ１０１は内部バス１０５を介して、ＲＡＭ１０２、ＲＯＭ１０３、操作部１０４その他各ブロックに接続され、ＲＯＭ１０３に格納された制御プログラムに従って、各ブロックの制御を行う。ＲＡＭ１０２は、ＣＰＵ１０１による演算処理時にデータの一時的な格納場所として用いられる。操作部１０４は、ユーザが操作可能なボタンやキー、レバー等の操作部材からなり、ユーザによる入力操作をＣＰＵ１０１に出力し、ＣＰＵ１０１はユーザの操作指示に応じて各種演算処理を実行する。
【００１５】
また、ビデオカメラ１００は撮像光学系１１０〜１１４を備える。１１０はズームレンズ、１１１はフォーカシングレンズ、１１２は絞り、１１３は、これらレンズ１１０、１１１や絞り１１２を駆動するレンズ駆動部である。１１４は被写体の画像を電気信号化するＣＣＤやＣＭＯＳからなるイメージセンサを構成する撮像素子である。ズームレンズ１１０及びフォーカシングレンズ１１１を通過した光は、撮像素子１１４の撮像面上に結像され、撮像面の光学像が光電変換されて画像信号として出力される。レンズ駆動部１１３はＣＰＵ１０１の制御指令に従い、ズームレンズ１１０やフォーカシングレンズ１１１、絞り１１２を駆動して、光学ズーム倍率、フォーカス及び絞り量の調整を行う。ＡＦＥ１１５はＣＰＵ１０１の制御指令に応じた電子シャッター速度で、撮像素子１１４を駆動し、１／６０秒毎に１フレーム分の画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。
【００１６】
更に、ビデオカメラ１００は画像処理系として、画像処理部１２０、露出評価部１２１、フォーカス評価部１２２、バッファメモリ１２３、顔検出部１２４、個人認証部１２５を備える。画像処理部１２０はＣＰＵ１０１の制御指令に従い、撮像素子１１４からＡＦＥ１１５を介して画像信号を入力して色変換等の信号処理を行い、バッファメモリ１２３に出力する。露出評価部１２１及びフォーカス評価部１２２は、画像処理部１２０から取得した画像信号に含まれる複数の画像領域に対して、露出状態及びフォーカス状態それぞれについて良否を評価する。顔検出部１２４は１フレーム毎にバッファメモリ１２３から画像信号を読み出し、画像に含まれる人物の顔の数や大きさ、位置等を周期的に検出する。
【００１７】
ＣＰＵ１０１は、顔検出部１２４が検出に用いた画像データをバッファメモリ１２３に一時的に格納する。更に、バッファメモリ１２３に格納されている画像データについて、顔検出部１２４で検出された顔の大きさや位置等の顔検出結果と検出対象の画像データとを関連付けてＲＡＭ１０２に格納する。
【００１８】
個人認証部１２５はＣＰＵ１０１の制御指令に従い、個人認証処理を顔検出処理よりも遅い一定の周期で実行する。個人認証処理は、顔検出部１２４で検出された顔の中から後述する判定基準にて選択された顔と、ＲＯＭ１０３に格納された個人情報リストに登録されている人物毎の顔とを比較し、検出された顔と類似する顔の人物がいるか否を判定する。すなわち、個人認証部１２５は、顔検出部１２４によって検出された顔の中から後述する判定基準にて選択された顔（画像データ）と、個人情報リストに登録されている顔（画像データ）との類似度を算出する。この類似度を算出する方法としては、例えば、特開２０００−０３００６５号公報に開示されたように、顔画像データの大きさ、角度、輝度などを正規化した後、フーリエスペクトルのＫＬ展開法を用いる方法がある。あるいは、特開２００４−０３８５３１号公報に開示されているように、検出した顔画像データを顔までの距離に応じて正規化し、マッチングを行う手法などがある。なお、予め登録されている顔画像データとは、圧縮されて保存されている顔画像データそのもの、若しくは目、鼻、口、眉毛など、顔に関する特徴量を示す情報である。
【００１９】
また、ビデオカメラ１００はＵＳＢ等のインタフェースを構成する出力部１３０を備え、バッファメモリ１２３から読み出した画像信号を、パーソナルコンピュータ（ＰＣ）やプリンタ等の外部機器に出力する。
【００２０】
＜顔検出処理及び個人認証処理＞次に、図２を参照して顔検出処理と個人認証処理について説明する。
【００２１】
図２は個人認証を行う一周期の期間毎に、顔検出に利用された画像データを例示している。図中の「検出画像」とは、顔検出部１２４がバッファメモリ１２３から読み出し、顔検出処理を行った画像である。画像２０１〜２０９を検出画像とすると、先ず、画像２０１をバッファメモリ１２３から読み出し、顔検出処理を行う。同様にして、画像２０２、２０３、２０４の順で顔検出処理を行う。これら検出画像２０１〜２０４から検出された顔の中から、ＣＰＵ１０１は、所定の判定条件を満たしている好適な条件の顔を選択し、選択された顔について、個人認証部１２５が個人認証処理を行う。
【００２２】
図中の「個人認証処理」とは、個人認証部１２５での処理期間を示したものである。２１１、２１２で示した期間が個人認証を行う一周期の期間を示す。検出画像２０１〜２０４は、次回の個人認証処理期間２１２で処理される。同様に、検出画像２０５〜２０８は、次回の個人認証処理期間２１３で処理される。本実施形態においては、図示のように、一回の個人認証処理に対して顔検出が４回行われる。
【００２３】
ここで、バッファメモリ１２３の動作について説明する。図中の個人認証処理期間２１１で行われた顔検出結果に対応する検出画像２０１〜２０４は、バッファメモリ１２３とＲＡＭ１０２にそれぞれ格納される。ここで、ＣＰＵ１０１は、検出画像２０２から検出された顔を好適な条件の顔として、次回の個人認証処理期間２１２における個人認証処理で利用する。個人認証部１２５が個人認証処理期間２１２での個人認証処理を開始すると、ＣＰＵ１０１は検出画像２０２とその顔検出結果をバッファメモリ１２３に残しつつ、それ以外の検出画像２０１、２０３、２０４と顔検出結果を削除する。そして次の検出画像２０５〜２０８を順次格納する。
【００２４】
このようにして、本実施形態によれば、ＣＰＵ１０１が、個人認証処理期間２１１の間に顔検出された検出画像２０１〜２０４の中で、好適な条件の顔を選択し、選択された顔に対して個人認証処理を行う。
【００２５】
なお、顔検出方法としては、画像データから肌色データを抽出し肌色範囲と判定された領域を顔領域として抽出するが、例えば、目、鼻、口など顔の部品に注目する方法や、顔の輪郭に注目した楕円形状情報を利用する方法など他の方法を用いても構わない。
【００２６】
＜顔選択方法＞次に、図３を参照して、個人認証処理の対象とするためにＣＰＵ１０１が検出画像から好適な条件の顔を選択する方法について説明する。本実施形態では、ＣＰＵ１０１は、検出された顔の大きさ（顔領域を構成する画素数）を判定基準として算出し、個人認証を行う一周期の期間に検出された顔の中で、顔領域が最も大きい顔を個人認証の対象とする顔として選択する。これは、顔領域が大きい方が画素数が多くなり、個人認証精度が高くなるからである。
【００２７】
図３（Ａ）は個人認証を行う一周期の期間に取り込まれた検出画像を例示している。図３（Ａ）において、顔検出部１２４は、検出画像３０１（フレーム１）、検出画像３０２（フレーム２）、検出画像３０３（フレーム３）、検出画像３０４（フレーム４）の順で検出処理を行う。
【００２８】
各検出画像３０１〜３０４における領域３１１〜３１４は、顔検出部１２４により検出された人物Ａの顔領域を模式的に表したものである。ＣＰＵ１０１は、この４枚の検出画像３０１〜３０４から検出された各顔から、個人認証に好適な条件の顔を決定する。
【００２９】
図３（Ｂ）は、顔検出部１２４が検出した各検出画像の顔の大きさを数値化した検出結果を例示している。顔検出部１２４は顔の大きさを演算し、検出画像の中で顔の大きいものほど数値を大きくする。図３（Ｂ）のフレーム２で検出された人物Ａの顔の大きさの値は６０であり、これら４つの値の中で最大である。この検出結果から、ＣＰＵ１０１はフレーム２の人物Ａの顔３１２を、個人認証の対象とする好適な条件の顔として決定する。
【００３０】
＜判定基準の例示＞
本実施形態では、個人認証の対象とする顔の判定基準を顔の大きさとしているが、他の判定基準を適用してもよい。例えば、顔検出部１２４が顔の傾き（例えば、両目の中心、鼻、口を結ぶ直線の鉛直方向に対する傾き）を検出できるものとし、顔の傾きを判定基準にして、傾きがより小さい顔を選択するようにしてもよい。具体的には、図４（Ａ）に示すように、顔検出部１２４が検出画像４０１〜４０４から各顔の傾きを検出し、ＣＰＵ１０１は検出された各顔の傾きを判定基準として算出し、個人認証の対象とする好適な条件の顔を決定する。この場合には、ＣＰＵ１０１は、各検出画像４０１〜４０４から検出された顔４１１〜４１４の中から、最も傾きが小さい顔４１２を選択する。
【００３１】
また、顔検出部１２４が顔の（正面に対する）向きを検出できるのとし、顔の向きを判定基準として、最も正面を向いている顔を選択するようにしてもよい。具体的には、図４（Ｂ）に示すように、顔検出部１２４が検出画像４２１〜４２４から各顔の向きを検出し、ＣＰＵ１０１は検出された各顔の向きを判定基準として算出し、個人認証の対象とする好適な条件の顔を決定する。この場合には、ＣＰＵ１０１は、各検出画像４２１〜４２４から検出された顔４３１〜４３４の中から、正面を向いている顔４３２を選択する。
【００３２】
更には、顔の表情（例えば、笑顔や目瞑り等）を検出する表情検出部を追加し、顔の表情を判定基準として、例えば目瞑りしてない顔を選択するようにしてもよい。具体的には、図４（Ｃ）に示すように、顔検出部１２４が検出画像４４１〜４４４から顔４５１〜４５４を検出し、表情検出部が各顔４５１〜４５４の目瞑りの状態を検出する。そして、ＣＰＵ１０１は検出された各顔の目瞑りの状態を判定基準として算出し、個人認証の対象とする好適な条件の顔を判定する。この場合には、ＣＰＵ１０１は、各検出画像４４１〜４４４から検出された顔４５１〜４５４の中から、目瞑りしていない顔４５２を選択する。
【００３３】
なお、笑顔等の表情の判定は、特開２００４−２９４４９８号公報に記載のように、顔の輪郭の形状、目の形状、口の形状等を抽出し、それらの相対位置や形状と予め規格化された形状とのパターンマッチングにより、笑顔であるか判定する方法を適用できる。一般に、表情が笑顔になると、口の両端部は顔の上方に移動し、目は細くなる。従って、例えば、パターンマッチングによって、口の形状において両端部が上がっていることを検知し、かつ、目の開閉度がある閾値以下であることを検知した場合に、表情が笑顔であると判定することが可能である。なお、目の開閉度は目が開いているほど、その値が大きくなるものとする。
【００３４】
また、目瞑りの判定は、特開平０６−０３２１５４号公報に記載のように、顔の輪郭の内側での黒色領域より目を抽出し、抽出した目領域での連続領域である黒色画素の最大数を用いて目の開閉を判定する方法を適用することができる。連続領域である黒色画素の最大数は、完全に目が閉じている状態ではゼロとなり、目が開いている状態では正の値となる。従って、例えば、連続領域である黒色画素の最大数を目の開閉度として利用し、この値がある閾値以下である場合には、目瞑りであると判定することが可能である。
【００３５】
更にまた、顔の動きを検出する動きベクトル検出部を追加し、顔の動きを判定基準として、顔の動きが小さい顔を選択するようにしてもよい。これは、動きベクトルが大きいと、画像上の顔がぶれたり、ボケている可能性があるためである。
【００３６】
その他、検出画像中で最も中央寄りにある顔や最も明るい顔を判定基準としたり、上記顔の大きさや傾き、向き、目の状態、顔の動きベクトル等の複数の判定基準を適宜組み合わせてもよい。その際に、判定基準毎に優先度（重み付け）を付加して、特定の判定基準を優先するようにしてもよい。
【００３７】
上述した実施形態によれば、個人認証を行う一周期の期間に検出された顔の中から、個人認証に好適な条件の顔を選択することで、一定周期で実行される個人認証処理の認証精度を高めることができる。
【００３８】
［実施形態２］次に、実施形態２について説明する。実施形態２は、実施形態１に対して、ＣＰＵ１０１が個人認証の対象とする顔の判定方法が異なっている。なお、実施形態２においても、ＣＰＵ１０１は検出された顔の大きさを判定基準として算出し、個人認証の対象とする好適な条件の顔を判定する。ここで、個人認証を行う一周期の期間の複数の検出画像の中で、最新の検出画像から検出されなかった人物の顔は判定対象から除外する。これは、最新の検出画像で検出されなかった顔は既に画像から消滅している可能性が高いためである。
【００３９】
実施形態２において、ＣＰＵ１０１は、一周期の期間に検出された各顔に対して、検出結果の位置と大きさの相関関係より、同一人物か否かを判定する（同一人物判定処理）。図５は一周期の期間に検出された検出画像を例示している。顔検出部１２４は検出画像５０１〜５０４の順で顔検出処理を行う。先ず、顔検出部１２４は、検出画像５０１に写る人物Ａの顔５１１を検出する。次に顔検出部１２４は、検出画像５０２に写る顔５１２が人物Ａのものではなかったものとし、図中の５２２の×印はそれを示したものである。引き続き、顔検出部１２４は、検出画像５０３で再度人物Ａの顔５１３を検出し、同様に検出画像５０４でも人物Ａの顔５１４を検出する。
【００４０】
このときＣＰＵ１０１は、各画像間での検出結果の位置と大きさの相関関係より、顔５１１、５１３、５１４が同一人物であると判定する。
【００４１】
次に、図６を参照して、本実施形態による個人認証の対象とする顔の判定方法について説明する。図６（Ａ）は個人認証を行う一周期の期間に検出された検出画像を例示している。図６（Ａ）で顔検出部１２４は検出画像６０１（フレーム１）、検出画像６０２（フレーム２）、検出画像６０３（フレーム３）、検出画像６０４（フレーム４）の順に顔検出処理を行う。検出画像６０１における６１１、６２１、６３１は人物Ａ、人物Ｂ、人物Ｃの各顔を模式的に表したものである。また６４１の×印は顔検出部１２４が下を向いていた人物Ｂを検出できなかったことを示している。同様に検出画像６０２の６１２、６２２、６３２と、検出画像６０３の６１３、６２３、６３３もそれぞれ人物Ａ、人物Ｂ、人物Ｃの顔を模式的に表している。このとき、検出画像６０３で人物Ｃは一部フレームアウトしており、顔検出部１２４が人物Ｃを検出できなくなったことを６４３の×印で示している。検出画像６０４では、人物Ｃが完全にフレームアウトしており、６１４、６２４で示した人物Ａと人物Ｂの顔のみが検出されている。
【００４２】
ＣＰＵ１０１は、この４枚の検出画像６０１〜６０４から検出された各顔から、個人認証の対象とする顔を判定する。ここで、上記同一人物判定処理によって、図６（Ａ）の６１１、６１２、６１３、６１４を人物Ａの顔として判定している。同様に、６２２、６２３、６２４を人物Ｂの顔として、６３１、６３２を人物Ｃの顔としてそれぞれ判定している。ＣＰＵ１０１は、同一人物判定処理結果に基づき、顔検出部１２４が検出した各検出画像６０１〜６０４の中の顔の大きさの検出結果を、同一人物毎にまとめた図６（Ｂ）に示すようなテーブルを生成する。顔検出部１２４は検出画像の中で顔の大きいものほど数値を大きくする。このとき、最新の検出画像６０４に検出されていない人物Ｃの顔は判定対象としない。
【００４３】
図６（Ｂ）のフレーム１で検出された人物Ｃの顔の大きさの値が５５で最大となるが、人物Ｃは判定対象外である。このため、判定対象である人物Ａと人物Ｂの顔のうち、最も大きいのはフレーム３で検出された人物Ａの顔６１３の値５０である。よって、ＣＰＵ１０１はフレーム３の人物Ａの顔６１３を個人認証の対象とする顔と判定する。あるいは、人物Ａと人物Ｂのそれぞれにおいて、最も大きい顔を個人認証の対象としてもよい。すなわち、人物Ａであればフレーム３で検出された顔６１３を、人物Ｂであればフレーム２で検出された顔６２２を個人認証の対象としてもよい。
【００４４】
ここで、ＣＰＵ１０１は、個人認証の対象とする顔を判定する際に閾値を設定し、いずれの顔も判定基準の評価値が閾値を超えない場合には、個人認証処理を行わないようにしてもよい。具体的には、図６（Ｃ）に、顔検出部１２４で検出した各検出画像での人物それぞれの顔の大きさを数値化した検出結果を例示しているように、顔の大きさを判定基準として、閾値を２０に設定する。すると、図６（Ｃ）の検出結果ではいずれの顔も大きさが２０を超えないため、ＣＰＵ１０１は個人認証処理を行わない。
【００４５】
上述した実施形態によれば、個人認証を行う一周期の期間に検出された顔の中から、不必要な顔を除外しつつ個人認証に好適な条件の顔を選択することで、一定周期で実行される個人認証処理の認証精度を高めることができる。
【００４６】
なお、上述した各実施形態においては、本発明をビデオカメラに適用した例を説明したが、本発明はこれに限定される趣旨ではない。すなわち、本発明は動画撮影機能付きのデジタルスチルカメラや携帯電話等、複数の画像を撮影可能な撮像装置にも適用可能である。
【００４７】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
画像から人物の顔領域を検出する顔検出処理を周期的に行う顔検出手段と、
前記顔検出手段により検出された顔領域に対する個人認証処理を周期的に行う認証手段と、
前記顔検出手段により検出された顔領域から、前記個人認証処理の対象とする顔領域を選択するための判定基準を算出する算出手段とを有し、
前記認証手段は、前記顔検出手段による顔検出処理よりも長い周期で前記個人認証処理を行うものであり、前記個人認証処理を行う一周期の期間に、前記顔検出手段にて複数の画像から顔領域が検出された場合には、前記複数の画像の顔領域の中から前記算出手段によって算出された判定基準に合う顔領域を前記個人認証処理の対象とすることを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記顔検出手段により検出された顔領域の大きさ、傾き、向き、表情、及び動きの少なくともいずれかを判定基準として算出し、
前記認証手段は、前記個人認証処理を行う一周期の期間に、前記顔検出手段にて複数の画像から顔領域が検出された場合には、前記複数の画像の顔領域の中から前記算出手段によって算出された前記顔領域の大きさが最も大きい顔領域、前記顔領域の傾きが最も小さい顔領域、最も正面を向いている顔領域、目瞑りしていない顔領域、最も動きの少ない顔領域の少なくともいずれかを、前記個人認証処理の対象とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記顔検出手段は、前記複数の画像から検出された顔領域の間の相関から、同一の人物を示す顔領域を特定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記認証手段は、前記顔検出手段により複数の画像から顔領域が検出された場合には、前記顔検出手段にて検出された最も新しい画像における顔領域と同一の人物を示す顔領域の中から、前記算出手段によって算出された判定基準に合う顔領域を前記個人認証処理の対象とすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記認証手段は、前記顔検出手段により検出された画像について、前記算出手段によって算出された判定基準が所定の閾値以下であった場合は、前記個人認証処理を行わないことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
顔検出手段、認証手段、及び算出手段を備える画像処理装置における画像処理方法であって、
顔検出手段が、画像から人物の顔領域を検出する顔検出処理を周期的に行う顔検出工程と、
認証手段が、前記顔検出工程により検出された顔領域に対する個人認証処理を周期的に行う認証工程と、
算出手段が、前記顔検出工程により検出された顔領域から、前記個人認証処理の対象とする顔領域を選択するための判定基準を算出する算出工程とを有し、
前記認証工程では、前記顔検出処理よりも長い周期で前記個人認証処理を行うものであり、前記個人認証処理を行う一周期の期間に、前記顔検出処理によって複数の画像から顔領域が検出された場合には、前記複数の画像の顔領域の中から前記算出工程によって算出された判定基準に合う顔領域を前記個人認証処理の対象とすることを特徴とする画像処理方法。
【請求項７】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【請求項１】
画像から人物の顔領域を検出する顔検出処理を周期的に行う顔検出手段と、
前記顔検出手段により検出された顔領域に対する個人認証処理を周期的に行う認証手段と、
前記顔検出手段により検出された顔領域から、前記個人認証処理の対象とする顔領域を選択するための判定基準を算出する算出手段とを有し、
前記認証手段は、前記顔検出手段による顔検出処理よりも長い周期で前記個人認証処理を行うものであり、前記個人認証処理を行う一周期の期間に、前記顔検出手段にて複数の画像から顔領域が検出された場合には、前記複数の画像の顔領域の中から前記算出手段によって算出された判定基準に合う顔領域を前記個人認証処理の対象とすることを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記顔検出手段により検出された顔領域の大きさ、傾き、向き、表情、及び動きの少なくともいずれかを判定基準として算出し、
前記認証手段は、前記個人認証処理を行う一周期の期間に、前記顔検出手段にて複数の画像から顔領域が検出された場合には、前記複数の画像の顔領域の中から前記算出手段によって算出された前記顔領域の大きさが最も大きい顔領域、前記顔領域の傾きが最も小さい顔領域、最も正面を向いている顔領域、目瞑りしていない顔領域、最も動きの少ない顔領域の少なくともいずれかを、前記個人認証処理の対象とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記顔検出手段は、前記複数の画像から検出された顔領域の間の相関から、同一の人物を示す顔領域を特定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記認証手段は、前記顔検出手段により複数の画像から顔領域が検出された場合には、前記顔検出手段にて検出された最も新しい画像における顔領域と同一の人物を示す顔領域の中から、前記算出手段によって算出された判定基準に合う顔領域を前記個人認証処理の対象とすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記認証手段は、前記顔検出手段により検出された画像について、前記算出手段によって算出された判定基準が所定の閾値以下であった場合は、前記個人認証処理を行わないことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
顔検出手段、認証手段、及び算出手段を備える画像処理装置における画像処理方法であって、
顔検出手段が、画像から人物の顔領域を検出する顔検出処理を周期的に行う顔検出工程と、
認証手段が、前記顔検出工程により検出された顔領域に対する個人認証処理を周期的に行う認証工程と、
算出手段が、前記顔検出工程により検出された顔領域から、前記個人認証処理の対象とする顔領域を選択するための判定基準を算出する算出工程とを有し、
前記認証工程では、前記顔検出処理よりも長い周期で前記個人認証処理を行うものであり、前記個人認証処理を行う一周期の期間に、前記顔検出処理によって複数の画像から顔領域が検出された場合には、前記複数の画像の顔領域の中から前記算出工程によって算出された判定基準に合う顔領域を前記個人認証処理の対象とすることを特徴とする画像処理方法。
【請求項７】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１１８８１７（Ｐ２０１２−１１８８１７Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６８７１９（Ｐ２０１０−２６８７１９）
【出願日】平成２２年１２月１日（２０１０．１２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月１日（２０１０．１２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]